AI 基准测试的盲区：90% 的美国工作时间无人测量

这两年 AI 基准测试满天飞，刷榜新闻每周都有。但 Mercor 的一项研究泼了盆冷水：他们把现有基准映射到美国经济的真实任务上，发现 90% 的美国工作时间花在了几乎没有基准覆盖的任务上。换句话说，我们对「AI 到底能不能干活」这件事的测量，存在巨大的盲区。这篇文章在 HN 上拿到 370 多分，值得一聊。

本文基于 Mercor 公开研究《A benchmark map of the US economy》整理，原始数据来自 O*NET 职业分类体系。

小听： 先说说他们到底怎么测的？

魏澜： 思路其实挺直白的。美国劳工部有个 ONET 数据库，把全美劳动力拆成 923 个职业、18797 项具体任务。Mercor 挑了 29 个他们认为质量高、有经济价值的 AI 基准，然后用一个 LLM 评判器把每条基准题目映射到对应的 ONET 任务上。一个任务至少要有 5 条基准题目覆盖，才算「被测量到了」。

小听： 结果如何？

魏澜： 挺触目惊心的。923 个职业里只有 208 个有任务被覆盖，18797 项任务里只有 924 项沾边。22 个职业大类里有 6 个完全没有任何被覆盖的职业。加权到工作时长上，就是 90% 的美国工作时间处于基准盲区。

923 个职业，只点亮了 208 个。

小听： 哪些领域覆盖得好，哪些几乎没有？

魏澜： 计算机和数学类最好，36 个职业覆盖了 29 个；商业金融也不错，48 个里覆盖 33 个。但你看另一边：销售 22 个职业只覆盖 6 个，管理 56 个只覆盖 21 个，医疗 89 个只覆盖 12 个。卡车司机、燃气电厂操作员这类工作，基准里基本是零。

小听： 这个覆盖是随机的吗？

魏澜： 不是，有两个很明显的规律。第一，AI 暴露度高的任务被覆盖的概率是暴露度低的大约 6 倍——这倒也合理，基准本来就是为测量 AI 进展设计的。第二更有意思：即使控制了 AI 暴露度，薪资总额大的职业显著更容易被覆盖。基准重度覆盖了律师的任务，却几乎不碰同样高度 AI 暴露的法律秘书和法院书记员。中等收入知识工作的长尾，被系统性地忽略了。

小听： 为什么会这样？

魏澜： 我的理解是，基准设计者天然会选「好测量」和「有话题性」的任务。软件工程任务容易自动评分、社区又大，所以基准扎堆。而像「协调一场跨部门会议」或者「安抚一个愤怒的客户」，既没有标准答案，也不性感，就没人做。

聚光灯打在好测量的地方，剩下的都在暗处。

小听： 这个研究本身有什么局限？

魏澜： Mercor 自己也很坦诚：29 个基准只是样本，不是全貌，任何不完整的清单都会低估覆盖率；他们为了广度限制了每个职业大类的基准数量，这会低估软件工程这类热门领域的覆盖；而且只选「未被刷爆」的基准，也可能低估简单任务上的覆盖。所以他们强调这些数字是初步的，会持续更新。

小听： 对普通读者来说，这件事的意义是什么？

魏澜： 我觉得是校准预期。下次看到「某模型在某基准上又涨了几个点」的新闻，可以先问一句：这个基准测的是真实经济里的工作吗？目前来看，AI 在基准上的分数和它在真实岗位上的表现之间，隔着一条我们还没开始测量的鸿沟。Mercor 这张「基准地图」至少把鸿沟画出来了——知道哪里没测，是开始测的第一步。

原文：Mercor Research – A benchmark map of the US economy。嘉宾「魏澜」为虚构的 AI 评估研究者人设，观点基于原文整理。