笔记本上的 27B 模型,居然能读懂神经网络的权重
昨天我们刚聊过那篇《权重空间编程的火花》:最前沿的模型 GPT 6 Astra 只看一堆原始权重数字,就能判断一个神经网络是被训练来干什么的,甚至能直接改写权重、让小模型数学成绩从 7.9% 涨到 48.1%。帖子一出,有人惊呼源代码时代要结束了,也有人觉得结论被夸大了。

昨天我们刚聊过那篇《权重空间编程的火花》:最前沿的模型 GPT-6 Astra 只看一堆原始权重数字,就能判断一个神经网络是被训练来干什么的,甚至能直接改写权重、让小模型数学成绩从 7.9% 涨到 48.1%。帖子一出,有人惊呼源代码时代要结束了,也有人觉得结论被夸大了。11 月 3 日,Simon Willison 把这件事往前推了一步——他没有用最前沿的闭源模型,而是搬出自己笔记本上跑的 Qwen 3.8 27B,复现了论文里最关键的那个实验。结果发到 Hacker News,冲到 659 分、193 条评论。我请来老朋友顾微——她做模型可解释性研究,整天跟权重打交道,聊聊这场发生在笔记本上的复现,到底证明了什么、又没证明什么。
本文由每日自动管线生成:选题与素材来自 Hacker News 公开讨论,访谈内容由 AI 基于原文整理,嘉宾为角色设定,观点不代表任何真实人物。
小听: 顾微,先把实验说清楚:Simon 到底让模型干了什么?
顾微: 实验设计其实朴素得有点残忍。论文作者先训练了四个神经网络,分别玩简化版的四款经典游戏——Breakout、Pong、吃豆人、Freeway,都是 10x10 网格上的版本。然后把其中一个网络的全部权重,以浮点数的形式原样贴进 prompt,问模型一句话:这个网络是被训练来玩哪款游戏的?条件是:不准用任何工具,不能跑代码、不能用计算器,一次回答定胜负。四款游戏的 prompt 除了权重数字之外一字不差,等于同一份考卷,只换了考题本身。
小听: 关键是,答题的不是 Astra 那种顶级模型,而是他笔记本上的 Qwen 3.8 27B?
顾微: 对,这就是这篇复现最有意思的地方。Qwen 3.8 27B 只有 17GB,Simon 用 LM Studio 在本地跑,配合他自己的 llm 命令行工具和插件。默认的 8192 上下文还不够长,得开长上下文窗口,超时也要调到 900 秒。然后他把四个游戏的 prompt 一个一个喂进去,等模型慢慢推理。吃豆人那道题,模型想了 46 分 12 秒,烧掉 43506 个推理 token,最后给出答案:一个 8x8 迷宫里的吃豆人式网格世界,置信度 72%。答对了。
小听: 46 分钟想一道题,这速度……是不是说明这能力还很原始?
顾微: 速度确实是个槽点,但别只看速度,看完整成绩单:Pong 用了 1 小时 4 分 54 秒,答对,置信度 75%;Breakout 52 分 25 秒,答对,置信度 88%。四道题对了三道。唯一翻车的是 Freeway——那款 1981 年的雅达利老游戏,模型把它认成了"简化版吃豆人类游戏"。Simon 自己也不意外:四款游戏里 Freeway 最冷门。评论区有人一针见血:错的那道恰恰是最不出名的一道,这像是"往著名游戏上靠的模式匹配",而不是真正读懂了网络在算什么。
小听: 这个质疑很关键啊。模型到底是"读懂"了权重,还是在猜?
顾微: 这正是整场讨论最撕裂的地方。支持"真读懂"的一方有个很漂亮的论证:大模型的注意力机制,天生就适合分析以文本形式给出的权重——每个权重都能通过 key/query 注意到其他权重,某种程度上是在模拟被分析网络本身的连接结构。另一方则搬出莎士比亚:格伦道说"我能从深渊召唤灵魂",霍茨波反问"谁都能召唤,可它们来的时候你叫得动吗?"——我也能"解读"权重,问题是解读得对不对?Simon 的推理记录倒是提供了一个佐证:模型在推理过程里真的在逐行抠权重数字,比如"第 436 行输入 435,第 8 行第 7 列通道 0 是 -2.107……",像个拿着记事本和铅笔的人类研究员,一行行算过去。他自己也说,够有经验的人拿纸笔慢慢算,大概也能算出来。

四款游戏,同一份考卷,只换了一串数字。
小听: 还有人质疑这篇"论文"本身——它到底算不算论文?
顾微: 评论区为此吵了好几层。有人指出,作者自己在 BibTeX 里写的就是"blog post",根本没经过同行评审,叫它论文是拔高。Simon 回应得很实在:AI 领域一篇 arXiv 预印本的影响力,早就超过绝大多数经过评审的论文;而且这篇东西的质量,不比很多正式论文差。他还补了一句:作者没把它写成 PDF 是好事,PDF 本来就是很糟糕的知识传播方式。这场争论其实暴露了一个现实:AI 进展太快了,有评论说"三周没有突破就被视为停滞",学术发表的周期根本追不上,博客文章在未来几年里约等于论文——这话听着刺耳,但很难反驳。
小听: 论文里还有后半部分:让模型直接改权重、提升小模型。这次复现碰了吗?
顾微: Simon 这次刻意只复现了"无工具读权重"的前半部分,他认为这才是更有意思的问题。后半部分——Astra 只改 Qwen3.5-0.8B 全部权重的 0.016%,就把 MATH-500 从 7.9% 提到 48.1%——已经被另外两位作者拆解过:spaCy 的作者 Matthew Honnibal 认为论文把"无工具"和"有工具"两种能力混在一起讲,有误导之嫌;Sean Goedecke 则逐项分析,认为那次修复本质上就是人类 ML 研究员会走的标准流程。Simon 的态度很克制,他在结尾写道:这是一篇很酷的论文,但围绕它的一些宏大评论站不住脚——他还没准备好宣布源代码时代结束、未来是机器用人类看不懂的方式互相改权重。
小听: 评论区里有没有人已经在想下一步了?比如,让模型改自己的权重?
顾微: 有,而且这是热度最高的一类追问。有人问:Qwen 3.8 能不能去改进 Qwen 3.5 0.8B 的权重,甚至改进自己的权重?有人立刻接话:如果能让高度量化的模型少陷入"推理循环",那才是实打实的价值——很多只有 16GB 显存的人跑的都是 IQ3 量化版,天天被循环折磨。还有人算了一笔账:直接改权重比重新训练便宜得多、快得多,如果能精确定位"某个权重管什么",微调就能从"炼丹"变成"手术",比如直接删掉某种语言的权重给模型瘦身,或者去掉讨好型人格的倾向。当然也有人泼冷水:没有外部基准验证,你怎么知道改完是变好还是变坏?随机改权重再拿基准去测,猴子敲键盘敲久了也能敲出莎士比亚。
小听: "猴子敲键盘"这个说法,是不是也适用于这次复现本身?四道题对三道,会不会只是运气?
顾微: 质疑者确实提到了网络太浅的问题:这四个游戏网络都是很小的浅层网络,用构造法都能手写出来,解码难度本身就不高。但另一派的回答也很扎实:研究者事先知道正确答案,可以交叉验证,模型三次都猜对了,还给出了每一步的推理链条,这就不是瞎蒙。更值得注意的是,评论区已经有人当场复现了第二例:一位网友把自己几年前写的图像超分小网络的权重喂给 Qwen 3.8 27B,问它"这网络是干什么的",模型也答上来了。复现一旦走出实验室、走进网友的笔记本,这件事的性质就变了——它不再是某家实验室的独家演示,而是一项人人可以验证的能力。
小听: 所以你的判断是:这件事真正重要的,不是"模型能读权重",而是"能在笔记本上读"?
顾微: 正是。Astra 的演示让人惊叹,但惊叹之后你什么也做不了——你没有 Astra,也跑不起它。而 Simon 的版本只需要一台笔记本、一个 17GB 的开源模型、一个公开的 prompt 文件。评论里有人只留了一句话:"这么强的模型居然能在笔记本上跑,太不可思议了。"这句话点出了真正的变量:可解释性的工具,正在从论文里的示意图,变成每个开发者手里能实际运行的东西。接下来要补的课也很清楚,有评论说得好:未来一定会有机器用"差不多确定"的方式改别的模型,但我们需要一整套工具链去跟上这个过程,而不是对着一句"信我"点头。

读懂权重的人,和读不懂的人,看到的是同一堆数字。
小听: 最后问个实际的:普通开发者读完这篇,能动手做点什么?
顾微: 三件小事。第一,论文的实验仓库是公开的,四个游戏的 prompt 文件都在 GitHub 上,照着 Simon 的命令,自己也能跑一遍——哪怕只跑一道题,46 分钟的等待本身就是一次很好的观察:看模型是怎么一行行抠数字的。第二,如果你手头有自己训过的小网络,不妨把权重贴给本地模型问问"这是干什么的",答案对不对你自己知道,这是零成本的可解释性实验。第三,别急着下"源代码已死"这种结论。Simon 的谨慎值得学:一次漂亮的复现,证明的是一项能力的存在,不是旧范式的终结。权重可读,不等于权重可控;能读懂三道小游戏题,不等于能读懂一个 27B 模型自己脑子里在想什么。后者,才是真正的大问题。