$ grep -l "#benchmark" ~/articles/*

tag: #benchmark

7 post(s)

01

AI 写同一个宝可梦应用 12 遍:最便宜的不是 React,跑得最快的几乎没 JS

Nolan Lawson 让 Opus 5.5 把同一个宝可梦应用用 12 个框架各写 5 遍,按美元、token、时间和 Lighthouse 成绩算账:Astro 几乎零 JS、Hono+htmx 最便宜,Angular 贵了一倍还最慢。选框架这件事,终于有了一张可以算的账单。

02

Gemini 4 Carbon:最会找漏洞的模型,先只给防守方用

两周前才发 Argon,Google 又推出了 Gemini 4 Carbon:找漏洞 88.2%、打补丁 71%、作弊率 0%——但普通人暂时用不上,它先只发给网络安全防守方。这期访谈聊聊这份成绩单的可信度、双刃剑的 rollout,以及评论区吵得最凶的命名混乱。

03

开源摸到闭源天花板:Kimi K3.1 Pro 的 65.7%|听懂AI #070

月之暗面发布 Kimi K3.1 Pro:终端编程测试 65.7%,超过一家闭源旗舰、距榜首只差 0.7 个百分点;167 个长程任务里让虚拟行人从站不稳练到连走 11.2 秒;11 月 4 日放出完整权重。最耐人寻味的是它的克制:为防止被用于网络攻击,团队主动删数据、把攻击测试得分从 90.5 降到 81.0。

04

KillSwitch:一门故意让 LLM 学不会的编程语言

这周 HN 上一篇 200 多分的文章,标题就很挑衅:《I built a programming language that LLMs can't use》。作者 Dominik Picheta 想回答一个问题:LLM 写代码这么强,到底是因为它「理解」了代码,还是只是在复读训练数据里见过的片段?

05

Meta 开放 Muse Spark 权重:816B 参数、1M 上下文,评论区说它是「美国最强的开源权重模型」

Meta 昨天把自家旗舰模型 Muse Spark 的权重开放了:816B 总参数、每 token 激活 42B 的 MoE,1M 上下文窗口,原生多模态(文本+图像+视频+音频输入),出自 Meta Superintelligence Labs。

06

「GLM-Legal」:AI 审合同全通过率 19.2%,剩下的 80.8% 谁签字?

智谱发布法律智能体模型 GLM-Legal,Harvey 律所真实工作流基准全通过率 19.2%。本期《听懂 AI》访谈法律科技产品人顾远,解读垂直模型的训练逻辑、HN 评论区对幻觉判例的真实担忧、签字权之争,以及中国法律场景在法域划分中的独特位置。

07

25位菲尔兹奖得主警告:拿数学当AI跑分的代价

25 位菲尔兹奖得主联名发布宣言:AI 公司把解题当基准的做法正在伤害数学共同体,签名里有陶哲轩、Deligne、Scholze。本期访谈解读解题与理解的根本错位、署名传承链的危机、宣言漏掉的东西,以及这场争论和做 AI 产品、做评测的人的关系。

← all tags