DeepSeek 把推理引擎开源了：这次给的是印钞机的图纸
DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer，上线几天 7200+ star。HN 讨论聚焦三个问题：155 万亿 token/天和 38 美元/卡/小时的硬数字、README 里坦承缺失的 KV cache 系统、以及对华为 Ascend 950 的官方支持意味着什么。本期访谈请推理基础设施工程师聊聊，开源的到底是什么、没开源的又是什么。
这周 DeepSeek 把 DeepInfer 开源了——不是模型，是跑在其生产服务背后的推理框架，Apache 2.0 协议，上线几天拿下 7200+ star，HN 上 827 分、281 条评论。评论区最高赞的一条直接引用 DeepSeek 官方说法：基于这套框架的 DeepSeek-V4.1-Flash，单集群日吞吐 155 万亿 token，非高峰定价下每卡每小时营收 38 美元。我请来老朋友陈默——在一家云厂商做过 LLM 推理优化的工程师，现在自己折腾推理集群。我们聊了聊：这次开源的到底是什么，没开源的又是什么，以及那组硬数字意味着什么。
本文由每日自动管线生成：选题与素材来自 Hacker News 公开讨论，访谈内容由 AI 基于原文整理，嘉宾为角色设定，观点不代表任何真实人物。
小听： 先说说你的第一反应。DeepSeek 这两年开源了不少东西——FlashMLA、DeepGEMM、DeepEP、TileLang，现在连生产推理框架都放出来了。这是第几个“大件”了？
陈默： 按体量算，这是最大的一个。前面那些是零件：FlashMLA 是注意力算子，DeepGEMM 是 GEMM 库，DeepEP 是 MoE 的通信库。这次是整机——一个能实际跑起来的推理引擎，支持 DeepSeek-V4.1-Flash，README 里还带了性能基准和复现脚本。零件开源是给社区添砖加瓦，整机开源是把自己的生产线图纸贴出来，性质不一样。
小听： 评论区最高赞那条，schneehertz 引用的官方数字：单集群日吞吐 155 万亿 token，每卡每小时 38 美元营收。下面 abound 回复说，这是罕见的硬数字，能反驳“AI 全在烧钱”的说法。你怎么读这组数字？
陈默： 155 万亿 token 一天，这个量级先帮大家换算一下：按每 token 4 个字符算，相当于每天输出约 600 万亿字符——人类有史以来写下的所有文字加起来，一天就被它吞吐好几遍。38 美元/卡/小时是 off-peak 定价下的营收口径，abound 的反驳逻辑是：拥有一整个数据中心 GPU 的摊销成本远低于这个数，所以推理这门生意本身是赚钱的，至少 DeepSeek 这一家是。
小听： 所以“AI 全在烧钱”这个说法被证伪了？
陈默： 别急着下结论。abound 自己也补了一句：这不意味着没有泡沫，只说明推理有真实的利润空间。烧钱的是训练和抢卡，不是服务。真正值得记的是另一层：DeepSeek 敢把营收口径的数字公开，说明它对自己的成本结构有底气——这组数字本身就是一张牌，打给投资人和竞争对手看的。
小听： 聊聊技术。README 里最抓眼球的是 DSpark 和 confidence-scheduled verification——用草稿 token 加速解码，再用置信度调度验证。这不就是 speculative decoding 的变体吗？
陈默： 对，路子是 speculative decoding，但有两个细节值得说。第一，草稿长度可配（DEEPINFER_USE_NEXTN_DECODE 默认 5），配合的是它自己的 MTP（多 token 预测）变长解码；第二，验证是按置信度调度的，不是全量验——把握大的草稿少验、把握小的多验。这是一种“把验证预算花在刀刃上”的思路。评论区有人问它相对 vLLM、SGLang 的具体增益是多少，README 给了基准曲线但没给横向对比表，这问题现在没答案，得等社区实测。
让快的人先跑，验证随后跟上。
小听： 说到 vLLM，README 的致谢里写得很直白：DeepInfer 主要基于 vLLM 构建，还借鉴了 SGLang 和 TensorRT-LLM。评论区 Tepix 直接开怼：一个基于 vLLM 的项目，凭什么算 game changer？
陈默： 这是个好问题，但问反了。vLLM 是通用框架，要兼容几百个模型、几十种硬件；DeepInfer 是专用框架，只服务 DeepSeek-V4.1-Flash，只跑两种硬件（NVIDIA SM100 和华为 Ascend 950）。专用意味着可以砍掉所有抽象层、把算子写死、把调度假设焊进代码——FlashMLA、DeepGEMM 这些本来就是为自家模型形状定制的。game changer 不在于它替换了 vLLM，而在于它证明了“专用推理栈”的上限有多高。评论区 cmrdporcupine 那条说得实在：社区会把这里的新点子移植回 vLLM 和 SGLang，整体受益，包括 OpenAI 和 Anthropic 内部的 infra 工程师。
小听： 还有两个很“工程师友好”的特性：batch-invariant inference 和 deterministic sampling——不同 batch 组成下结果一致、相同输入和采样参数下输出确定。开个环境变量就行。这对谁最重要？
陈默： 做评测和做回归的人。LLM 推理的 batch 调度天然带来抖动：同样的 prompt，今天和明天跑可能因为 batch 里邻居不同、浮点累加顺序不同，输出有细微差别。你要做 A/B 评测、要复现一个线上 badcase，这种抖动是噩梦。DeepInfer 把“可复现”做成一等公民，说明它是从生产运维的真实痛里长出来的，不是 demo 工程。
小听： 转到评论区最扎眼的一条：aavaa 指出，这次开源缺了他们的 KV cache 系统代码。README 自己也列了“完整推理服务所需但未包含”的三样：KV cache 系统、VE/Prefill/Decode 解耦、跨副本负载均衡。给的是发动机，变速箱和传动轴没给？
陈默： 这个比喻基本准确，但要公平一点：README 是坦承的，不是藏着掖着。freakynit 那条评论给了关键背景——DeepSeek-V4.1-Flash 的 KV cache 极度优化，每 token 仅 890 字节，32K 上下文不到 30MB。这是模型架构层面的特性（MLA 的功劳），和引擎是否开源 cache 代码是两回事。换句话说，最值钱的那块——让超长上下文 KV cache 便宜到离谱的系统设计——确实没放进盒子里。GreenWatermelon 还翻到一张翻译截图：DeepSeek 给 V4.1-Flash 推理系统定的目标之一是“KVCache 保留超过 72 小时”。72 小时什么概念？上下文缓存从“请求级”变成了“会话级”基础设施，这是成本结构的质变。
最值钱的那几块，没放进盒子里。
小听： 硬件支持这栏也很有信息量：NVIDIA SM100 和华为 Ascend 950 NPU。评论区 yaoke259 说，支持 Ascend 950 的开源推理代码对全球 AI 硬件市场影响重大，能挑战 NVIDIA 的“死亡之握”，但真正的重磅会是开源在华为芯片上的训练代码。你认同吗？
陈默： 一半一半。推理开源确实降低了非 NVIDIA 硬件的生态门槛：小实验室可以基于这套代码去适配更多硬件、更多模型，这是实打实的。但 yaoke259 的后半句更准：推理只是 AI 工作负载的一部分，训练才是烧钱的大头，也才是 CUDA 护城河最深的地方。DeepSeek 这次只开了推理的口子，训练侧的分布式、容错、通信优化——那才是皇冠。一步一步来，这次先看社区能把 Ascend 这条路走多远。
小听： 最后聊聊动机。评论区 jdw64 有个判断：DeepSeek 开源一部分是为了中和竞争对手的技术，但核心原因是“数据才是真正重要的”。你怎么看这次开源的算盘？
陈默： jdw64 抓住了开源策略的本质：开源你不怕别人拿走的东西。推理框架开源出去，别人能学到工程技巧、能移植优化，但拿不走三样东西：DeepSeek 的流量规模、它的成本结构、它的训练数据和模型迭代速度。开源换来的是生态影响力、人才漏斗和“技术领导者”的叙事——这些在招聘和议价时都是真金白银。所以别把开源读成慈善，也别读成阴谋，读成生意就行。一句话总结：DeepSeek 这次开源的不是善意，是经过精算的善意——给出去的是图纸，留下来的是印钞机本身。
本文观点仅代表访谈角色设定，原始讨论见参考链接。