开源摸到闭源天花板:Kimi K3.1 Pro 的 65.7%|听懂AI #070
月之暗面发布 Kimi K3.1 Pro:终端编程测试 65.7%,超过一家闭源旗舰、距榜首只差 0.7 个百分点;167 个长程任务里让虚拟行人从站不稳练到连走 11.2 秒;11 月 4 日放出完整权重。最耐人寻味的是它的克制:为防止被用于网络攻击,团队主动删数据、把攻击测试得分从 90.5 降到 81.0。

开源模型第一次在终端编程上摸到了闭源的天花板。月之暗面发布 Kimi K3.1 Pro——新系列的首个专业版,开源权重、百万上下文——在 Terminal-Bench 4.0 上拿下 65.7%,超过一家闭源旗舰,离榜首只差 0.7 个百分点。
这个数字为什么值得认真看?终端编程测试不是选择题:它给模型一个真实的终端、真实的资源限制和严格的任务测试,让它像工程师一样干活。65.7% 意味着,在这类"动手干活"的任务上,开源权重第一次站到了和最强闭源模型同一档。
更难的是长程任务。内部的长程编程测试里,K3.1 Pro 接了 167 个任务、经过 420 次独立评审,让一个虚拟行人从站都站不稳,练到连续行走 11.2 秒;中途奖励怎么调都不见效时,它没有死磕奖励,而是自己去探模拟器的动力学,修好了 36 处肩部肌肉力臂计算错误,再重训控制器。这不是背答案,是长本事。

不是背答案,是长本事。
能力面也不止写代码:三维建模测试 92.7%、金融分析全面进步、事实幻觉率大幅下降;还有个 2 到 3 倍速的高速版,完整权重 11 月 4 日放出。
但本期最想聊的,是它的克制。团队发现,随着训练规模上去,模型的网络攻击能力也在涨——因为训练数据里本来就混着相关内容。于是他们在两个训练阶段都删掉了网络安全相关数据,攻击测试得分从 90.5% 主动降到 81.0%,同时保住通用编程能力。不是做不到,是选择不做满。今天请来 AI 系统研究员沈知远(大模型方向),聊聊这 0.7 个百分点背后,开源到底追到了哪一步。
本文由每日自动管线生成:选题与素材来自 Hacker News 公开讨论(HN 958 分 / 576 评论),访谈内容由 AI 基于公开资料整理,嘉宾为角色设定,观点不代表任何真实人物。
小听: 知远,先一句话:K3.1 Pro 到底是个什么东西?为什么说它摸到了闭源天花板?
沈知远: 它是月之暗面新系列的第一个专业版,3T 级的开源权重模型,上下文给到一百万词元。说它摸到天花板,是因为终端编程测试 65.7% 这个成绩:超过了一家闭源旗舰,离榜首的 66.4% 只差 0.7。以前开源和闭源之间隔着一道墙,这次墙上第一次出现了裂缝——而且是在"动手干活"这种最难作弊的测试上。
小听: 65.7% 这个数字,普通读者怎么理解它的含金量?会不会只是刷榜?
沈知远: 终端测试很难刷。它不是让你选 ABCD,而是把模型扔进一个真实终端:资源有限、任务有严格的通过测试,模型要自己敲命令、查文档、改代码、跑测试,一步错就全错。65.7% 就是在这种"真干活"里拿到的。而且官方也给了对照:上一代是 55.95%,这次长程测试涨到 61.2%,是一步一个脚印上来的,不是某个单点取巧。
小听: 长程任务那个行走模拟器的故事,听起来像科幻:167 个任务、420 次评审,最后行人走了 11.2 秒。关键转折在哪?
沈知远: 关键在它"卡住之后怎么办"。一开始行人几秒就摔倒,调奖励 shaping 没用——手臂动作就是上不去。它没有继续调参,而是自己去做开环探测,查模拟器的动力学,发现肩部肌肉力臂计算有 36 处错误,修好再重训,行人才走起来。这就是长程能力的本质:任务一长,中间一定会卡住,能不能自己诊断、自己修,是区分"会答题"和"会干活"的分水岭。
小听: 除了写代码,三维和金融这两块进步也很大。还有个高速版,2 到 3 倍速,这对普通用户意味着什么?
沈知远: 意味着它不只是一个编程模型,而是一个通用智能体底座。三维建模 92.7%,金融分析的事实幻觉率从 23.4% 降到 8.3%,这些都是"能交付"的能力。高速版则是把响应速度拉上来——智能体真正进日常工作流,慢是致命的。11 月 4 日权重一放出,任何人都能在自己的机器上跑它,这是开源路线最实在的承诺。
小听: 最后聊聊那个"克制":团队主动把攻击测试得分从 90.5 降到 81.0。这在开源发布里很少见,你怎么看?
沈知远: 这是我觉得这期发布最值得记住的一笔。他们做了对照实验:不删数据,同一条训练管线能做到 90.5%;删掉两阶段的相关数据,降到 81.0%,但通用能力保住了。等于公开承认:我们有能力做到更高,但选择不把最锋利的那一面放进开源权重。开源扩散和能力边界之间,第一次有人把账算得这么明白——不是做不到,是选择不做满。这条线以后会成为所有开源发布的参照。
小听: 所以一句话总结:开源追到了哪一步?
沈知远: 追到了"只差 0.7 个百分点"这一步。接下来就看两件事:11 月 4 日权重放出后,真实项目里能不能复现这个成绩;以及这条"主动设边界"的线,会不会成为行业的默认做法。

不是做不到,是选择不做满。
参考链接
- 月之暗面官方博客:Kimi K3.1 Pro — https://www.kimi.ai/blog/kimi-k3-1-pro
- Hacker News 讨论:https://news.ycombinator.com/item?id=50212065