小模型知道自己不知道:Jev 请 Opus 复核,成本降 4 倍精度不掉队
Hightouch 用 Jev 和 GPT-6 Luna 给身份归并当裁判:小模型单打独斗便宜 90 倍却差 6 个点,关键是 Jev 的置信度足够诚实——拿不准的 22% 交给 Opus 复核,难题上反超 Opus 单打独斗,成本还只有一半。本期访谈聊校准为什么比准确率更值钱、以及大小模型到底该谁指挥谁。

这周 Hightouch 发了一篇很实在的工程笔记:他们拿新出的“决策模型”Jev 和 GPT-6 Luna 去当身份归并(identity resolution)的裁判,任务是判断一堆客户记录到底是不是同一个人。结果最扎眼的不是谁赢了——单打独斗时前沿模型仍然最准——而是 Jev 加 Opus 的混合打法:在简单的测试上 98.8% 准确率、每千条 0.88 美元,到了更难的测试上 95.3%,反过来超过了 Opus 单打独斗的 95.1%,成本还只有后者的一半多。HN 评论区很快抓住了重点:这事的关键根本不是谁更准,而是谁更知道自己不知道。我请来老朋友顾衡——在一家客户数据平台做身份归并,每天的工作就是跟“这两条记录是不是同一个人”死磕。我们聊了聊为什么“认怂”比“答对”更值钱、以及大小模型到底该谁指挥谁。
本文由每日自动管线生成:选题与素材来自 Hacker News 公开讨论,访谈内容由 AI 基于原文整理,嘉宾为角色设定,观点不代表任何真实人物。
小听: 顾衡,先给没做过这行的读者一句话:身份归并到底在解决什么问题?为什么 Hightouch 要拿模型来当裁判?
顾衡: 一句话就是:你数据库里有十条“张伟”,到底是十个人,还是一个人留了十次痕迹?客户的忠诚度记录、交易记录、地址、邮箱散在不同系统里,名字可能打错、地址可能搬家、生日可能被亲属的顶替。归并错了有两种死法:分错了,一个人的终身价值被拆成几份;合错了,两个人的账算到一个人头上。后者叫过度合并(over-merging),是最要命的那种。而最难受的是,真实数据里没有标准答案——你没法事后翻答案本,只能抽样人工检查,人一小时也就看 50 个身份,想把过度合并率的误差压到正负 1% 以内,得抽 1000 个以上。这就是他们想让模型当裁判的原因:人工抽查太慢,抽少了又不准。
小听: 所以这篇笔记的实验设计本身就挺有意思:他们用 pseudopeople 模拟了一个虚构小镇,造了 1000 个身份,一半是带噪声的单人记录,一半是故意合错的过度合并。先问结果:单打独斗时,各家表现怎么样?
顾衡: 数字很干净。简单测试上,Claude Opus 5.5 是 99.0%,每千条 3.86 美元、每条 2.2 秒;Gemini 3.1 Pro 和 GPT-6 Sol 都是 98.3%,分别是 4.48 和 2.50 美元。决策模型这边,GPT-6 Luna 97.3%,每千条只要 0.10 美元、0.17 秒;Jev 95.6%,每千条 0.05 美元、0.15 秒。换句话说,决策模型便宜 90 倍、快 10 倍以上,代价是准确率落后大约 3 到 6 个点。单独看这个账,谁都会犹豫:省 90% 的钱,丢几个点,值不值?但 Hightouch 真正想测的不是这个账,而是下一层:便宜模型错在哪里。
小听: 这就到这篇文章最精彩的部分了:Jev 和 Luna 单看准确率,Luna 更好(97.3% 对 95.6%),但最后赢的是 Jev。为什么?
顾衡: 因为它们的错法完全不一样。Jev 错的时候,置信度大多贴在 50% 附近——也就是它自己也拿不准。Luna 错的时候,置信度却经常冲到 90% 甚至 100%——错得理直气壮。这就是“校准”(calibration):一个模型的自信程度,和它实际答对的概率匹不匹配。校准好的模型,相当于一个知道自己几斤几两的员工;校准差的模型,相当于一个永远胸有成竹但时不时闯祸的员工。前者你敢把难事交给他、只在他犹豫时请人复核;后者你根本不知道什么时候该插手。所以标题那句话是准的:Jev 能向 Opus 求助,不是因为它更强,而是因为它更诚实。

便宜的错可以忍,错得理直气壮不行。
小听: 混合打法的具体规则是什么?Jev 什么时候把案子转给 Opus?
顾衡: 规则简单到有点土:Jev 先给每个身份打一个 0 到 1 的置信分,落在 30% 到 90% 之间的——也就是它不太确定的那部分——转给 Opus 做第二意见。简单测试上,这部分只占 22%,结果准确率从 Jev 单打的 95.6% 拉到 98.8%,每千条成本 0.88 美元。注意这个数字:Opus 单打是 99.0%、3.86 美元。混合打法用四分之一不到的成本,拿到了几乎一样的精度。更狠的是难题测试:他们专门构造了双胞胎、父子同名、同名同姓这种存心刁难的案子,Opus 单打掉到 95.1%、成本涨到 5.39 美元,而 Jev 混合打法是 95.3%、2.94 美元——精度反超,成本还不到六成。系统自己会根据难度伸缩开支:案子越难,送去复核的比例越高,花钱越多,但精度稳住了。
小听: 评论区里 giancarlostoro 那句我印象很深:关键是 Jev 的校准足够好,至于复核的那个贵模型是不是 Opus,其实没那么重要。你认同吗?
顾衡: 认同,而且这是全文最值得搬走的一句话。混合架构里,真正稀缺的不是“更强的模型”,而是“可靠的不确定性信号”。只要小模型能诚实地说“我不知道”,复核者换成 Sonnet、Gemini 甚至 GPT-6 Sol,效果大差不差。反过来,Luna 的混合版就证明了这一点:Luna 单打比 Jev 准,但它过度自信,难题上只肯把 6% 的案子送去复核,结果混合后只有 91.6%,远不如 Jev 混合版的 95.3%。便宜模型的第一性不是准,是自知之明。评论区也有人问:那能不能不用 Opus,用 Sonnet 或 Haiku 复核?理论上完全可以,成本还能再降一档——这篇笔记没测,但逻辑上复核者的精度只要明显高于小模型就行,边际收益递减得很快。
小听: 另一个评论区热议的方向是反过来的:不是小模型指挥大模型,而是大模型指挥小模型。有人用 Qwen 3.8 做编排、Opus 只做规划和复核,token 省了一大截;也有人让 Opus 当总指挥、Qwen 当执行者。这两种方向到底该怎么选?
顾衡: 评论区 rao-v 说得最到位:这事没有唯一正确答案,全看问题域的“品味”。需要大模型全程掌握上下文、理解意图的任务——比如复杂规划、开放式研究——适合大模型当指挥,小模型当手脚;反过来,任务能被切成大量廉价、可独立判断的小块时——比如这篇的身份判定、代码审查、安全规则检查——就适合小模型当前锋,只把拿不准的递上去。还有一个更实际的区分:小模型当前锋的架构,失败模式是可控的——它只会多花钱(多送复核)或漏判;大模型当指挥的架构,失败模式是小模型在没人盯着的地方悄悄跑偏。所以选方向之前先问自己:这个任务里,错的代价由谁承担?能承担错的,就让便宜模型先冲;承担不起错的,就让贵模型先看。
小听: 还有一条评论提到了 Anthropic 的原生方案:Claude Code 里的 /advisor,可以让 Haiku 或 Sonnet 干活、Opus 自动当顾问。这是不是说明这篇笔记的做法很快会被平台收编?
顾衡: 有可能,但收编不等于取代。平台给你的是通用机制:弱模型觉得不对劲就喊强模型。但“什么叫不对劲”——阈值定在哪、哪些案子值得复核、复核结果怎么合并——这些还是业务自己的判断。Hightouch 这篇的价值恰恰在这些细节里:60% 的 Jev 阈值、30% 到 90% 的转交区间、难题上自动多花钱的伸缩性,都是在自己的数据上调出来的。平台能给你一把锤子,但钉子在哪、钉多深,还得你自己在真实数据上量。更何况他们的下一步已经写在文末了:还要测欠合并(under-merging,同一个人的记录被拆开),还要测开源决策模型能不能替代商业 API。身份归并这口井,比一篇笔记深得多。
小听: 最后拉回做 AI 产品的人。这篇笔记如果只能带走一句话,你希望读者带走哪句?
顾衡: 带走这句:别只问模型准不准,先问它知不知道自己什么时候不准。准确率是单点指标,校准是系统能力。一个 95% 准确率但诚实说“我不确定”的模型,配上一个复核机制,能打赢 99% 但从不认怂的模型——不只是成本上赢,是架构上赢。因为前者给你留了一个可以工程化的抓手:不确定性。后者给你的只有一个数字,数字背后什么都没有。很多团队现在评估模型只看 benchmark 分数,等于只看员工的考试成绩,不看他会不会在拿不准的时候举手。而真实系统里,举手这个动作,比答对那几道题值钱得多。

知道何时求助,本身就是一种能力。
这篇笔记最值钱的地方,不是那张 4 倍成本的对比表,而是一个很容易被忽略的转向:评估模型的维度,正在从“答得对不对”变成“知不知道自己答不对”。Jev 不是最强的模型,甚至不是最准的便宜模型,但它是最诚实的那个——而诚实,恰好是唯一能被系统放大的优点。至于评论区那句“贵模型换谁都行”,我倒觉得可以再推一步:当小模型足够诚实,复核者甚至不一定是模型——可以是规则、可以是人工抽查、可以是另一个便宜模型交叉验证。混合架构的本质不是大小搭配,而是“不确定性”有了去处。本文观点仅代表访谈角色设定,原始讨论见参考链接。