**DeepSeek开源DeepInfer推理框架：从模型到工程的全面开放**
10月20日，DeepSeek正式对外开源了其内部推理框架DeepInfer。简单来说，这是一套旨在提升大模型运行效率、降低成本的软件系统。在大量用户并发提问的场景下，DeepInfer负责统筹计算任务，协调多张显卡协同工作，最大程度减少机器空转和重复计算。这使得同样的硬件资源能服务更多用户，响应速度也随之提升。目前，这套框架已成功支撑DeepSeek V4.1 Flash的大规模对外服务。
**高效运转：DeepInfer 的核心机制**
DeepSeek V4.1 Flash每次回答问题都需要消耗算力。硬件利用率越高，处理单次请求的成本就越低，从而为降价提供了空间。这也是DeepSeek能够长期维持低价API的重要原因之一。很多公司虽然下载了开源模型，却未必具备同等的运行效率。此次DeepSeek开源DeepInfer，实际上是将支撑其低成本服务的工程实现也公之于众。
DeepInfer的优化深入到了模型运行的每一个环节。
首先，在模型生成内容时，通常由显卡负责计算，CPU负责任务调度与结果处理。若两者串行工作，容易导致GPU在等待CPU安排任务时处于闲置状态。DeepInfer采用异步调度机制，让GPU和CPU并行工作：在显卡计算当前批次任务的同时，CPU提前安排下一批任务，尽量减少交接时的等待时间。这种微小的优化在单次生成中可能不明显，但在长回答生成的反复步骤中，累积效应显著。
其次，在生成方式上，DeepInfer采用了DSpark推测解码技术。大模型通常需要逐步生成token，而推测解码会先起草多个候选token，再由主模型批量验证通过的部分。这不仅减少了逐步生成的开销，还引入了智能判断机制：系统会根据候选token的预计接受率动态调整验证长度，避免将算力浪费在大概率会被拒绝的候选内容上。数据显示，相比每次固定验证5个token，这一改动将吞吐量提升了约6%。
最后，另一项显著的节省发生在输入处理阶段。模型处理长文本时会产生大量中间状态，其中滑动窗口缓存若需恢复，精确重算代价较高。DeepInfer引入SWA Bounded Replay机制，通过重算最近的一段内容来近似恢复状态。该方法仅需回放最近128个token，同样应用于解码准备阶段。据报告介绍，这一机制配合模型架构，使输入处理阶段的计算量近乎减半，对于处理大量长文本的业务场景极具价值。
**系统协同：从单卡到集群**
仅让显卡算得更快是不够的，大规模服务还需要高效的请求分配、排队管理和重复计算避免。围绕DeepInfer，DeepSeek采用了输入与生成阶段分离部署的策略，并根据负载动态分配资源。同时，系统会缓存中间结果，当后续请求遇到相同上下文时即可复用计算。只有将显卡节省下来的时间转化为集群的整体效率，才能实现真正的优化。根据部署报告披露的数据，V4.1 Flash单一集群每天的服务吞吐量达到155万亿token，平均约0.4秒开始返回结果，生成速度达到每秒230token。这些数字是模型、硬件与软件协同工作的成果，也让DeepInfer的开源价值更加清晰。
**开源策略：重新定义开放**
DeepInfer的开源延续了DeepSeek的一贯策略，其公开内容已从单纯的模型权重，逐渐深入到模型背后的工程系统。除了广为人知的V3和R1模型外，DeepSeek还开源了DeepGEMM（高性能矩阵计算）、FlashMLA（注意力计算）、DeepEP（多卡通信优化）、DualPipe（训练流水线优化）以及3FS（高速存储系统）等底层组件。DeepInfer将这些能力整合进了推理引擎，并配合deepseek-recipe框架处理API请求转换。开发者不仅能拿到模型，还能了解其计算过程、数据传输方式及存储机制，这大大降低了其他团队搭建服务的门槛。
一家公司的低成本优势本可成为其核心竞争力，但DeepSeek选择将其公开。这意味着竞争对手、开发者甚至学生都能参考其代码，减少摸索工程问题的时间。DeepSeek的官方仓库也提到，基于DeepInfer实现的V4.1 Flash服务，单集群日吞吐量达155万亿token，整体收入相当于每卡每小时38美元。尽管这种开源行为可能会削弱其短期利润，但DeepSeek似乎并不介意。它选择公开“斩杀线”的秘方，旨在让整个行业在更高的起点上竞争，让AI成本下降得更加迅猛。