神经网络原来没打结：可解释性老兵长文翻案，superposition 可能是个误读
这周 AI 可解释性圈出了篇 1.6 万词的长文，作者是 Goodfire 的研究员 Nick Cammarata——他早年在 OpenAI 和 Anthropic 做过第一代机械可解释性工作，也是当年 superposition 假说的共同提出者之一。
这周 AI 可解释性圈出了篇 1.6 万词的长文，作者是 Goodfire 的研究员 Nick Cammarata——他早年在 OpenAI 和 Anthropic 做过第一代机械可解释性工作，也是当年 superposition 假说的共同提出者之一。这次他出来"翻自己的案"：神经网络可能从来没打结，superposition 很可能是个误读，神经网络"本来就很干净"。HN 上 700 多赞、270 多条评论，讨论从"这个数字到底可不可信"吵到"开放权重是不是可解释性的前提"，还有人顺手怀念了一波 distill.pub 的黄金年代。我请来陈亦真——机械可解释性独立研究员，之前在开源模型团队做过神经元审计工具，superposition 的原始论文他当年是逐字读过的。我们聊了聊这个翻案到底翻了什么，以及它对做 alignment 和做模型的人意味着什么。
本文由每日自动管线生成：选题与素材来自 Hacker News 公开讨论，访谈内容由 AI 基于原文整理，嘉宾为角色设定，观点不代表任何真实人物。
小听： 亦真，先帮没跟过这段历史的读者补个课。当年 superposition 到底把大家吓成什么样？为什么整个领域后来都绕着它走？
陈亦真： 得从 polysemanticity 说起——"一义多用"神经元。最早在图像模型里发现：同一个神经元，既对猫脸强烈反应，也对车头强烈反应，两个概念八竿子打不着。这就很吓人：如果神经元是这么随意打包概念的，那直接研究神经元就是死路。于是 superposition 假说出现了：网络神经元不够用时，会把不相关的东西"折叠"塞进同一个神经元，反正它们互不干扰。结论很悲观——网络是个打了死结的耳机线，你得先想办法把结解开，才能研究里面的线。所以整个领域转向了第二条路：训练稀疏自编码器（SAE）这类"解结工具"，先学出一套干净的特征字典，再去解释那套字典，而不是解释网络本身。
小听： 所以这篇长文的第一刀，就是砍向"死结"这个比喻本身？
陈亦真： 对，而且他砍的是自己当年立的靶子。他把当年的"模式生物" InceptionV1 重新拿出来，用改进后的架构重训了一遍——模型大小、训练数据都没变。结果最后一层原本几乎没有可解释神经元，现在 99% 到 100% 的神经元都容易解释，整张网络"从头到尾都清晰可读"。他说这是他第一块"基本看懂"的非平凡神经网络。他的解释是：当年的"结"根本不是 superposition，是架构问题加上工具太弱——层与层之间信息溢出、解释工具又只会看皮毛，叠加起来像个死结。房间小了，神经元不会换一套学习原理，它只是把概念划得粗一点，比如一个"车"神经元管着各种车；房间大了，它自然分化成各种具体的车。
当年以为是个死结，其实只是线缠得紧。
小听： 那剩下那些看起来"一义多用"的神经元呢？总不能说全是误读吧。他提出的 recursive generalization（递归泛化）到底是什么意思？
陈亦真： 这是全文我最喜欢的概念。他的观察是：神经元会像树枝一样"长"出新芽。一个检测 "iy" 的神经元，训练过程中会长出 "diy"，再长出根本不含 "iy" 的 "do it yourself"——概念是沿着相邻、有意义的领地扩张的，不是随机折叠。他把这叫递归泛化：泛化是分形的。你可以这么理解两者的区别：superposition 是把不相关的东西硬塞进一个行李箱，塞的顺序是任意的，学不到任何规律；递归泛化是树长分枝，顺着纹理走，你可以从主干推测分枝，从分枝回溯主干。更妙的是解释可以分层：先给粗解释，想深挖再放大看细节。整个网络因此"几乎全是可解释的，只要你看得够仔细，尤其看它是怎么长成的"。
小听： 评论区吵得最凶的就是数字。他说 Qwen3-32B 初步审计下来，约 90% 的神经元极点只有一个主业，7% 有两个相关工作，只有 2–4% 还没看懂。有人直接说"我不买账"，也有人提醒 superposition 不一定全错。你怎么看？
陈亦真： 评论区抓得准。作者自己也承认：90% 这个数字对阈值很敏感——弱激活算不算、怎么定义"一件事"，都会晃动数字。他自己在更仔细看过的子集里说"接近 97% 是非任意混合"。但我觉得盯着精确数字是吵错了重点：2023 年 OpenAI 的自动解释项目，用最宽松的标准也只能解释 1.7% 的神经元；Anthropic 当时给小模型的中位神经元打了 0 分（满分 14，意思是连假设都形不成）。三年时间，从 1.7% 到九成量级，这才是真正的新闻。数字会修正，但"方向反转了"这件事，证据已经不止一处：他在万亿参数级的 MoE 模型上也看到了类似的结果。
小听： 还有一条评论我印象很深：有人说，这就是开放权重如此重要的根本原因——如果实验室想让模型尽可能自主，就得同时给出让人彻底理解它们的手段。
陈亦真： 这条评论把技术讨论接到了政策上，很准。可解释性研究有个前提：你得能打开盖子看。闭源 API 只给你输入输出，神经元长什么样、回路怎么连，你一无所知。SAE 那条路某种程度上也是"黑箱上的黑箱"——你解释的是学出来的字典，不是模型本身。如果"直接研究网络"这条路走得通，开放权重的价值就翻倍了：不只是能部署、能微调，而是人类第一次有可能真正"读懂"一个前沿模型。这也是为什么 Goodfire 随文放出了可交互的神经元浏览器——地图画出来，别人才能接着填。
拼图一旦开始合拢，每一块都在帮你找下一块。
小听： 他还有个很漂亮的比喻：可解释性像拼图，理解是有动量的——开头最难，一旦地图开始填满，每一块新理解都会约束剩下的部分，越到后面越快。这对做 alignment 的人意味着什么？
陈亦真： 意味着策略可能要变。过去大家默认"盯最危险的那几块机制就行"，但他说这像"在一张空拼图上只拼一行"——没有交叉约束，你很难确认自己拼对了。反而把整张网络的地图画出来可能更容易，因为每个神经元的解释都被周围的生态紧紧约束，错了立刻露馅。对 alignment 还有一层：他举了个"欺骗"的例子——"欺骗"是个好用的初始框架，但真正构成欺骗行为的神经机制，一定有只有钻进去看才能发现的微观结构。不钻进去，对齐就是在对着影子出拳。好消息是：如果网络本来就干净，拼图是拼得完的；坏消息是：网络太大了，拼完需要的时间和算力依然是个天文数字。
小听： 最后问个实在的。对中文开发者社区里天天调模型、做应用的人，这篇 1.6 万词的长文有什么能搬走的东西？
陈亦真： 三条。第一，别再把"神经网络不可解释"当公理背了——三年前的结论正在被推翻，你做技术选型时的底层假设可能已经过期。第二，解释工具正在从"黑魔法"变成"常规科学"：看神经元、看回路、做干预实验、验证假设，这套流程正在标准化，做安全、做评测的团队可以开始布局了。第三，一个轻松的提醒：HN 评论区好几个人吐槽这篇文章的网站——顶部的 3D 城市动画把手机都搞崩了。连写可解释性的人，都会在"炫技式前端"上翻车。技术传播里，克制也是种专业。
这篇长文最值钱的不是 90% 这个数字，而是一个被亲手推翻的悲观预期：提出 superposition 的人自己回来告诉你，当年读错了，网络没打结。至于评论区那句"superposition 不一定全错"，我也部分认同——科学史上的翻案很少一次翻干净。但方向已经变了：从"先解开结才能研究"，变成"直接研究，结本来就不存在"。本文观点仅代表访谈角色设定，原始讨论见参考链接。