没有 GPU 也能跑 284B 大模型?llama-modchip 把 DeepSeek 塞进 64GB 内存
一个 llama.cpp 补丁让 284B 的 DeepSeek-V4-Flash 跑进 64GB 内存、零 GPU,预填充 44 tok/s、解码 9–15 tok/s。HN 评论区一半喝彩一半质疑:压到平均 1.71 bit 之后,模型还剩几成本事?

这周 Hacker News 首页出现了一个很"反直觉"的帖子:《Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU》。284B 参数的 DeepSeek-V4-Flash,塞进一台 64GB 内存的纯 CPU 机器里跑,零 GPU,256K 上下文,预填充 44 tok/s、解码 9–15 tok/s。帖子冲到 437 分、193 条评论,评论区一半在喝彩、一半在质疑:2-bit 量化之后,这模型还剩几成本事?我请来老朋友林澈——本地推理优化工程师,常年折腾 llama.cpp 和消费级硬件,自己的 homelab 里跑过一打开源模型——聊聊这个"改装芯片"到底改了什么,以及它离"人人家里跑大模型"还有多远。
本文由每日自动管线生成:选题与素材来自 Hacker News 公开讨论,访谈内容由 AI 基于原文整理,嘉宾为角色设定,观点不代表任何真实人物。
小听: 林澈,先帮我把标题拆一下。284B 的模型,64GB 内存,零 GPU——这三个数字放在一起,第一反应是"不可能"。它到底是怎么做到的?是魔法,还是文字游戏?
林澈: 一半一半,但"可能"的那一半是真实的工程。关键在 DeepSeek-V4-Flash 是 MoE(混合专家)架构:总参数 284B,但每次推理只激活 13.17B——256 个路由专家里每层只挑 6 个,再加 1 个共享专家。所以真正要"跑起来"的部分只有 13B 量级,剩下的 270B 是躺在内存里等被挑中的"冷专家"。这就把问题从"跑一个 284B 的模型"变成了"存一个 284B 的模型,再以 13B 的速度跑它"。
小听: 存也不容易吧?284B 就算 2-bit 量化也要 70 多 GB,64GB 内存的机器可用内存才 62.5 GiB 左右。
林澈: 对,这就是这个项目的第一刀:量化。标准 UD-IQ1_S 打包的 DeepSeek-V4-Flash 是 76.87 GiB,塞不进 64GB。llama-modchip 把它压到了 56.56 GiB,平均 1.71 bit 每权重。做法是分层区别对待:embedding、第一层、43 个共享专家和注意力里关键的张量,保留在 Q4_K/Q5_K 甚至 F32;256 个路由专家主体压到 IQ1_S(1.5625 bit),敏感的边界层留到 IQ2_XXS 和 IQ1_M。作者还给这套办法起了个名字叫 Fractal-64,配一个叫 SwiGLU-H2 的二阶缩放匹配,声称路由专家部分的精度损失被"解析地"补偿回来了。
小听: "1.71 bit"——评论区第一个高赞问题就是 akie 问的:"At which quantization? That's the only thing I want to know."大家的第一反应都是:压到这个程度,质量还剩多少?
林澈: 问到点子上了。量化这件事有个经验规律,评论区 armcat 也提到了:4-bit 附近是性价比峰值,再往下压,性能掉得比体积省得快,是非线性的。作者在 README 里写了一个很扎眼的数字:和未打补丁的运行时跑同一份 checkpoint,logit 余弦相似度 1.00000——等于宣称"无损"。但注意,这个"无损"是和同一个量化 checkpoint 比,不是和原始 BF16 模型比。真正的质量问题——2-bit 的 284B 和满血的 284B 差多少——README 里那套 100/100 的自测门,用的也是作者自己的评测脚本。walrus01 在评论区说得很直接:他最近花了很多时间用 DeepSeek V4 Flash 0731,对任何声称"这么小还能保持质量"的说法都"极度怀疑"。

压得越狠,越要问一句:压掉的到底是什么。
小听: 先把质量争议放一边。速度这部分呢?9–15 tok/s 的解码,在一颗 16 核 Zen 5 CPU 上,这是什么体感?能用吗?
林澈: 能用,但要看你拿它干什么。9–15 tok/s 大概就是正常人读文章速度的 2–3 倍,聊天、写代码补全、跑 agent 循环都够了;但你要它一口气吐一篇长文,就得等。真正有意思的是预填充 44 tok/s——读提示词的速度。作者的第二刀就在这儿:把 llama.cpp 里量化矩阵向量乘的单列循环,换成 AVX-512 的 4 级寄存器分块(ZMM + L1D + L2 + L3 多列 tiling),预填充从 25 提到 44 tok/s,提升 77%。还有一招很"老派":用非 temporal 指令流式传输冷专家权重,让它们不把热的 KV 缓存从 L3 里挤出去。这是典型的 CPU 推理手艺——瓶颈不在算力,在内存带宽和缓存,别让冷数据污染热缓存。
小听: 还有个很"跨界"的细节:它用 Stockfish(国际象棋引擎)的 PVS 搜索思路做推测解码,草稿器只有 1.64MB,塞进 L2/L3 缓存。以及 13 毫秒恢复 Claude Code 上下文的 KV 快照。这项目怎么什么都往里装?
林澈: 这就是评论区另一派吐槽的来源。intoXbox 说这是"一份很讨厌的 README,AI slop 味很重",superkickstart 希望有人"把 emoji 从 README 里清掉"。README 确实写得像一份营销材料:徽章、表格、大写名词满天飞,657 个 star 的项目,50 个 commit,10 月 29 日才创建——非常年轻。但反过来想,作者的目标用户很明确:想在本地跑 Claude Code agent 的人。所以它直接给了 ./modchip claude 命令,把本地 256K 引擎接进 Claude Code CLI,KV 快照 13 毫秒恢复,agent 多轮对话不用每次重读上下文。这不是一个纯推理项目,它是一个"本地 agent 工作站"项目。
小听: 说到更实用的部分,README 里还有个 30B 的 Nemotron:14.35 GiB,16–32GB 内存的笔记本就能跑,解码 25–60 tok/s。这个是不是比 284B 那个更值得普通人关注?
林澈: 绝对是。284B 是个 headline,30B 才是产品。Nemotron-3.5-30B-A3B 只有 3B 激活参数,Fractal-64 压到 3.75 bit,14.35 GiB——一台 16GB 的 MacBook Air 或者迷你主机就能跑,25–60 tok/s 的解码速度已经接近可商用的流畅度,256K 上下文只占 432MB KV 缓存。评论区 real_faxenoff 说"很想在自己的系统上试试 Qwen",说的就是这个档位。284B 证明"天花板可以抬多高",30B 证明"门槛可以降多低"。后者对普通开发者的意义更大。

不需要 GPU 机房,一颗 CPU 也能当壁炉。
小听: 但有个"锁定"的代价我注意到了:Fractal-64 用的自定义张量类型 GGML_TYPE_Q2_0(type ID 40),没打补丁的 llama.cpp、Ollama、LM Studio 都会直接拒绝加载,报 unknown tensor type。你必须用它自带的二进制。
林澈: 对,这是所有这类"改装"项目的通病:性能来自对标准的偏离,偏离就带来锁定。你今天用它跑起来很爽,明天上游 llama.cpp 升级、或者你想换个前端,就得等它跟进。而且作者自己的二进制、自己的量化格式、自己的评测——整个信任链都系在一个人身上。antirez(Redis 作者)在评论区给了个很好的参照系:128GB 统一内存的机器上,这类模型本来就能跑得"甚至很快"。换句话说,64GB 这条线之所以性感,是因为它卡在"大多数人桌上那台机器"的配置上,而不是因为它是什么物理极限。
小听: 所以最后的判断是?这项目值得试吗?
林澈: 分两层说。工程层面值得尊敬:MoE 稀疏性 + 激进量化 + CPU 缓存手艺 + 推测解码,四层叠加,每一层都有真实数字,不是纯讲故事。产品层面值得试——但从 30B 那档开始试,别从 284B 开始。284B 的正确用法是"证明给你看",30B 才是"拿来天天用"。以及,README 里那个 1.00000 的"无损"声明,看看就好;真正判断质量的办法,是你自己拿它跑一遍你每天真实用的提示词。本地推理的终极问题从来不是"能不能跑起来",而是"跑起来的那个东西,还是不是你想要的那个模型"。这次"改装"最值得带走的不是结论,而是它点出的方向:GPU 不再是本地大模型的唯一门票,内存、缓存和量化手艺正在把门票的价格打下来。