●terry.so
~/tags/transformermain*
PODCASTFORK
CONNECTED
$ grep -l "#transformer" ~/articles/*

tag: #transformer

2 post(s)

01

你本来可以发明 Transformer:把每一层都看成记忆库

一篇 HN 热文把线性层、MLP、自注意力统一成「联想记忆库」,用干扰-信号比算出容量从 64 到 2700 再到 120 万。本期访谈聊这套推导为什么漂亮、评论区为什么吵公式太多,以及它对理解长上下文的真正启发。

2026.10.18
02

从记忆的角度重新发明 Transformer:64、2700、100 万

大模型为什么能记住那么多知识?Alex Wang 的一篇长文给出了一个漂亮的第一性原理解释:把神经网络的每一层都看作一个「联想记忆库」,线性层大约能存 64 条记忆,MLP 能存 2700 条,而自注意力能存超过 100 万条。这篇文章在 HN 上拿到 500 多分,我们把它讲清楚。

2026.10.18
← all tags
NORMALtags/transformer.md
g homet tagsa aboutp podcast⌘K paletteUTF-8--:--听懂 AI · terryso.dev
Edit with