---
title:"从零手写一个推理模型:11 小时视频课背后的学习之争"date:2026.10.27category:[编程, 行业观察]tags:[ai, llm, reasoning, pytorch, qwen, reinforcement-learning]status:published
---

从零手写一个推理模型:11 小时视频课背后的学习之争

Sebastian Raschka 放出 8 支、11 小时的推理模型从零实现视频课:从 Qwen3 0.6B 出发,手写验证器、推理扩展、RLVR 与蒸馏。HN 评论区却吵起一个更根本的问题:学模型到底该不该从头手写一遍,学完之后又能用它做什么。

2026.10.27·5 min read·9.9KB
// tl;dr: generating summary...

从零手写一个推理模型:11 小时视频课背后的学习之争

这周 HN 首页出现了一门很“反潮流”的课:Sebastian Raschka 把他的《Build a Reasoning Model (From Scratch)》做成了 8 支视频、11 小时的完整课程,从一个预训练好的 Qwen3 0.6B 模型出发,用 Python 和 PyTorch 一步步手写验证器、推理扩展、强化学习和蒸馏。没有“调用 API 三行搞定”的捷径,全是把推理模型拆开、再装回去的慢功夫。我请来老朋友周砚——在一家 AI 实验室做模型后训练,日常就是给模型做评估和微调。我们聊了聊这门课到底在教什么,以及 HN 评论区吵得最凶的那个问题:花这么大力气从零手写,到底值不值。

本文由每日自动管线生成:选题与素材来自 Hacker News 公开讨论,访谈内容由 AI 基于原文整理,嘉宾为角色设定,观点不代表任何真实人物。

小听: 砚哥,先把这门课的骨架对一下。Raschka 不是从零训练一个大模型,而是从一个现成的 Qwen3 0.6B 出发,对吧?这算“从零”吗?

周砚: 算,而且这个取舍恰恰是全课最聪明的地方。预训练一个像样的基座模型,那是另一本书的体量,普通人既没算力也没数据,没必要在那一步上烧时间。他直接给你一个能跑的小模型,然后把真正属于“推理”的部分全部留给你手写:先搭流式生成器、KV 缓存和 torch.compile,把基线立起来;再手写一个数学答案验证器,在 MATH-500 上给模型打分。这个验证器后面还会复用一次——变成强化学习里可验证奖励的奖励信号。一鱼两吃,设计得很干净。

小听: 接下来就是推理模型的三板斧了:推理时扩展、强化学习、蒸馏。先说推理时扩展,课里是怎么讲的?

周砚: 很务实的一条线:权重不动,只靠多算来换更好答案。先实现温度采样和 top-p,让同一个问题能生成一堆不一样的答案;再用自一致性(self-consistency)对这些答案多数投票;然后上打分函数——token 概率、序列对数概率、启发式打分——用来打破投票平局,最后再加一个自我修正循环,让模型自己 critique、自己改一版。每一招都附带一张 MATH-500 上的账:多花多少算力,准确率涨几个点。这比空谈“思维链”有用得多,因为你亲手量过性价比。

小听: HN 评论区第一条高赞提问就很扎心:学 LLM 总有一种“不实用”的感觉。理论课像婴儿学步,除非投入一个数学学位的精力;动手吧,家用算力又只能玩玩手写数字分类。你对这种挫败感熟悉吗?

周砚: 太熟悉了,而且我觉得这条评论问到了点子上:学软件和学模型的手感确实不一样。写软件时,一台便宜笔记本加一颗聪明的脑袋就能做出比大公司产品更贴合自己的工具;学模型时,你一上手就撞上数据和算力两堵墙。评论区里有人把话说得更狠:机器学习更像生物、物理、法律,而不是计算机科学——在软件世界里习以为常的“白手起家”路径,在这里天然就缺了一块。但 Raschka 这门课的回答是:别去撞预训练那堵墙,撞后训练这扇门。验证器、采样、GRPO、蒸馏,这些全是在小模型上就能跑通的东西。

昏暗工作台上,一台小模型如微型引擎被拆开,齿轮与管线摊在灯下,一名工程师在逐件检查

拆开一次,比调用一千次更懂它是怎么转的。

小听: 评论区里最漂亮的反驳,是拿《Crafting Interpreters》来类比:你当然不会因为学了手写解释器就去写一个生产级解释器,重点是“在比日常更低的一层亲手做一遍”。这个类比你买账吗?

周砚: 买账,而且这是整场讨论里最值得带走的一句话。手写一遍的意义从来不是产出一个能用的东西,而是逼你直面那些平时被库藏起来的细节:张量形状怎么变、logits 怎么变成下一个 token、采样温度到底在概率分布上动了什么手脚。你在更低一层亲手做过一次,回到高层做决策时,手感是不一样的——调参不再是玄学,评测数字不再是黑箱。Raschka 自己也把话说得很清楚:推理模型就是传统 LLM 加上“可验证奖励的强化学习后训练”,再配上推理时扩展;模型是引擎,Agent 框架是围着引擎搭的机器。引擎你没拆过,机器出问题时你只能猜。

小听: 那强化学习那部分呢?GRPO 听起来就很劝退,课里是怎么把它讲到能动手程度的?

周砚: 他用的是简化版 GRPO,思路其实很干净:对同一个问题采样一组回答,用前面手写的验证器逐个打分,组内相对好坏变成优势值(advantage),再拿这个优势去推权重。后面一课再补上训练诊断的全套仪表盘:熵、优势统计、裁剪后的策略比率、KL 损失项、格式奖励,一边跑一边看日志,顺带讲清楚奖励 hack 是怎么冒出来的。最后一课是蒸馏:向更强的教师模型学习答案。这三步走完,你对“推理能力从哪来”就有了完整的因果链,而不是一堆名词。

小听: 回到那个灵魂拷问:课上完了,然后呢?评论区追问得很具体——一个业余爱好者学完之后,有没有像“给开源项目提 PR、给家里写脚本”那样的下一站?

周砚: 评论区给出的答案其实挺一致的,而且分三档。第一档最现实:别去预训练,去做后训练。拿现成的中小开源模型,用 LoRA 微调、做你自己的数据和优先级,改动相对很少的权重就能加能力、改行为——这就是很多人说的“后训练是普通人离前沿最近的地方”。第二档是找窄域:给自己那个前沿实验室没有的超细分场景搭一个 RL 游乐场,用很小的资源在上面做到顶尖,窄到没人跟你抢。第三档是换赛道:药物发现、基因组这些不被大实验室垄断的领域,小模型、小数据就能做出真东西。共同点是:不要跟大实验室拼同一张牌桌,换一张桌子。

小听: 还有一条评论我印象很深:有人说自己书架上的书放了五年没翻,因为“从来没遇到过需要造一个 AI 的时刻”,用 AI 学习但不造 AI,就像用搜索引擎学习但不造搜索引擎。这话是不是在给“不实用”开脱?

周砚: 一半是开脱,一半是实话。实话的部分是:工具和理解本来就可以分开,你会开车不需要会造发动机。但评论区另一条回击也成立:数学和代码的底层能力,是在“需要时”才变现的期权。你今天多懂一层,明天遇到天气预报、销售预测这种小模型就能解决的问题时,上手会快得多。更何况,Raschka 的课还有个很实际的门槛设计:前期例子 CPU 就能跑,后期训练才建议上 GPU;前置要求只是 Python 和 PyTorch 熟练,上一门课不是硬性前提。11 小时听起来长,但它拆成 8 支视频,完全可以按“读一章、跟写一课、做一道习题”的节奏啃。

一条分叉的小路:左边通向高耸的巨型工厂,右边通向一间亮着灯的小作坊,作坊门口摆着几件趁手的工具

拼不过大工厂,就去开一间自己的小作坊。

小听: 最后拉回给读者的建议。如果有人今天就想开始,照着这门课的路线,第一步该迈哪只脚?

周砚: 三步,按顺序来。第一,先看他那支 90 分钟的短概念课,把推理扩展、强化学习、蒸馏这三个词的因果关系先立起来,别一头扎进代码里迷路。第二,跟着视频把验证器和 MATH-500 评估跑通——这是全课的锚,有了自己的打分器,后面每一步的改进你都能量出来。第三,别贪大:选一个你自己的窄问题,用后训练那套方法做一遍,哪怕只是 LoRA 微调一个小模型,也比把 11 小时视频当剧刷完强。记住评论区那句最清醒的话:玩具模型练出的直觉不是白练的,这行还不是精确科学,小尺度上建立的手感,正是以后做大决策时最缺的东西。

这门课最值得讨论的,从来不是 11 小时这个数字,而是它把一个长期被“调用 API”遮住的问题重新摆上台面:当模型变成所有人每天都在用的基础设施时,到底有多少人真的拆开看过它是怎么转的。Raschka 的答案是:不需要人人都造引擎,但至少该有人愿意在更低一层亲手做一遍——因为你在低层亲手量过的每一分算力、每一次采样、每一次奖励,都会变成你在高层做决策时的手感。本文观点仅代表访谈角色设定,原始讨论见参考链接。

参考链接

// related: searching nearest posts...
# comments