$ grep -l "#transformer" ~/articles/*
tag: #transformer
2 post(s)
01
你本来可以发明 Transformer:把每一层都看成记忆库
一篇 HN 热文把线性层、MLP、自注意力统一成「联想记忆库」,用干扰-信号比算出容量从 64 到 2700 再到 120 万。本期访谈聊这套推导为什么漂亮、评论区为什么吵公式太多,以及它对理解长上下文的真正启发。
2026.10.18
02
从记忆的角度重新发明 Transformer:64、2700、100 万
大模型为什么能记住那么多知识?Alex Wang 的一篇长文给出了一个漂亮的第一性原理解释:把神经网络的每一层都看作一个「联想记忆库」,线性层大约能存 64 条记忆,MLP 能存 2700 条,而自注意力能存超过 100 万条。这篇文章在 HN 上拿到 500 多分,我们把它讲清楚。
2026.10.18