●terry.so
~/tags/quantizationmain*
PODCASTFORK
CONNECTED
$ grep -l "#quantization" ~/articles/*

tag: #quantization

1 post(s)

01

没有 GPU 也能跑 284B 大模型?llama-modchip 把 DeepSeek 塞进 64GB 内存

一个 llama.cpp 补丁让 284B 的 DeepSeek-V4-Flash 跑进 64GB 内存、零 GPU,预填充 44 tok/s、解码 9–15 tok/s。HN 评论区一半喝彩一半质疑:压到平均 1.71 bit 之后,模型还剩几成本事?

2026.11.09
← all tags
NORMALtags/quantization.md
g homet tagsa aboutp podcast⌘K paletteUTF-8--:--听懂 AI · terryso.dev
Edit with