---
title:"上下文越长,模型越傻?长上下文时代的四个坑与六个工具"date:2026.10.26category:[编程, 行业观察]tags:[ai, context-engineering, agent, llm, harness, prompting]status:published
---

上下文越长,模型越傻?长上下文时代的四个坑与六个工具

Drew Breunig 在 AGNTCon 的演讲复盘:2024 年大家以为塞满百万 token 就能解决一切,结果换来中毒、分心、混淆与冲突四种失败;2026 年的解法是把上下文管理写进 harness 代码,并在该忘的时候果断遗忘。本期访谈聊聊为什么“重置上下文”是最被低估的调试手段。

2026.10.26·6 min read·11.4KB
// tl;dr: generating summary...

上下文越长,模型越傻?长上下文时代的四个坑与六个工具

这周 HN 首页有篇演讲复盘,标题很朴素:《上下文工程的现状》。作者 Drew Breunig 在 AGNTCon 上讲了一路走来的账:2024 年底,大家以为上下文窗口冲到一百万 token,“RAG 已死”,把什么都塞进去、让模型自己挑就行;结果窗口越大,毛病越多。到了 2026 年,风向又变了——不再是塞更多,而是教模型自己开车、管理自己的上下文,以及在该忘的时候忘掉。我请来老朋友陆一鸣——在一家 AI 应用公司做 agent 架构,日常就是给编码助手搭 harness。我们聊了聊长上下文的四个坑、六个工具,以及为什么“你试过重置上下文吗”正在成为新的“你试过重启吗”。

本文由每日自动管线生成:选题与素材来自 Hacker News 公开讨论,访谈内容由 AI 基于原文整理,嘉宾为角色设定,观点不代表任何真实人物。

小听: 一鸣,先问最反直觉的一句。上下文窗口从 128K 涨到 1M、甚至 10M,听起来是纯利好,为什么 Breunig 说“长上下文不是万能药”,反而先列了四个失败模式?

陆一鸣: 因为窗口变大,装进去的不只是信息,还有错误。Breunig 列的四个模式,我在生产里全踩过。第一是上下文中毒:一个幻觉或错误事实一旦进了上下文,就会被反复引用,模型再也绕不过去。第二是上下文分心:上下文越长,模型越盯着上下文、越忽略它自己权重里的基础知识。第三是上下文混淆:无关信息悄悄改变模型对你的假设,比如它从对话里推断你是谁,再用这个推断去回答下一个问题。第四是上下文冲突:工具、技能、记忆互相打架,指令之间自相矛盾。

小听: 中毒那个例子我印象最深:宝可梦。Gemini 2.5 玩 1996 年的初代《宝可梦红》,守卫要的是柠檬水,可模型脑子里装的是 2004 年重制版《火红》里的冰茶,结果花了好几个小时满世界找茶。这听起来像个笑话,但你说生产里也一样?

陆一鸣: 一模一样,只是换了个壳。权重里的旧知识就是那个“冰茶”:模型一旦把某个错误前提写进待办清单、写进计划、写进下一轮的上下文,它就不会再质疑这个前提了,只会越走越偏。调试的时候你看日志,会觉得它“很努力”,其实它从第一步就走错了方向。更麻烦的是,这种中毒不一定来自模型犯错,也可能来自你:一次手滑粘贴的错误日志、一个过期的接口文档,都会在上下文里住下来。

小听: 分心那个实验也挺扎心的:让模型把每个问题都翻译成俄语,再给它一堆法语回答的反例。反例一多,小模型几轮就投降了,开始跟着法语走;连很强的模型,反例堆到几十个也会动摇。评论区有人说,这不就是我们每天改前端样式的现场吗?

陆一鸣: 对,评论区这句说到点子上了。你跟模型来回改 CSS,前面几轮那些“不太对”的版本全留在历史里,它们不是指令,却是示例。模型学示例比听指令快得多。Breunig 自己的经验值是 20 万到 30 万 token 就开始警惕,看到 25 万会想:后面还有个大活,不如先重置再开工。而 Gemini 2.5 的技术报告附录里也藏着一句:上下文远超 10 万 token 后,agent 就开始重复历史动作,而不是综合出新计划。营销材料不会写这句,附录会。

昏暗房间里,一个人跟着一串循环往复的发光便签走,中间一张便签泛着红光

一旦写进清单的错误前提,模型就不再质疑它。

小听: 所以工具箱那六招——增强、工具装载、隔离、剪枝、卸载、摘要——你实际用下来,哪几招最值钱?

陆一鸣: 先说结论:没有一招是银弹,但组合起来就是 harness 的全部。增强就是 RAG 和技能,把相关的拉进来;工具装载是反向操作,别把 600 个技能全挂上去——Breunig 讲了个企业案例,启动就加载 600 个技能,agent 直接变傻,筛掉之后才恢复。隔离是把子任务交给一个空白历史的子 agent,主上下文不被污染。剪枝是让小模型逐轮判断哪些历史还值得留,删掉就别心疼,但要小心 prompt 缓存:删掉中间一轮,后面缓存就失效了,评论区有人专门提醒了这点。卸载是把信息写进文件或数据库,需要时再取。摘要就是大家熟悉的压缩,Breunig 还补了一个细节:压缩之前先让小模型筛一遍“什么重要”,再对筛过的子集做摘要,摘要质量会好很多。

小听: 评论区对“用小模型剪枝”有不同意见:有人说不值——你要把同样的内容再喂给决策模型一遍,省下的钱又花出去了;也有人说本地跑、上下文压到 128K 左右,速度收益实打实。你站哪边?

陆一鸣: 两边都对,看账怎么算。如果你瓶颈是速度、跑在本地、或者压缩模型比生成模型便宜一个数量级,剪枝就值;如果你已经在用厂商原生的压缩、缓存又贵,那确实没必要再套一层。关键不是“剪不剪”,而是“谁来决定剪什么”必须是个确定性的、可审计的步骤,不能再交给一个随缘的模型调用。Breunig 的原话我很认同:这六招都没有变,变的是它们从 prompt 里挪进了代码里。

小听: 这就接上了他那条时间线:2023 年叫提示工程,2025 年叫上下文工程,2026 年叫 harness 工程。但目标没变,都是决定“什么进代码、什么交给模型”。这个“确定性与概率性的分界”,你怎么理解?

陆一鸣: 这是我觉得整场演讲最值钱的一句话。凡是能写成代码、写死规则的地方,就别让模型猜;凡是必须靠判断、靠泛化的地方,才交给模型。提示工程是手写这条线,上下文工程是系统动态拼这条线,harness 工程是把这条线写进脚手架:一个十几行的 while 循环,ReAct agent、工具装载、隔离、剪枝、摘要各加一行,就齐了。难的从来不是写这十几行,而是每次模型升级,你都要重新划这条线——因为模型变了,它擅长和不擅长的事也变了。

小听: 2026 年的新坑也来了:模型被训练得越来越会“开 harness”,反而带出两个新失败模式。第一个叫“对抗权重”:模型不听你的,不是因为它笨,而是因为它训练时的工具长得和你现在的不一样。

陆一鸣: 对,典型例子是并行调用。模型训练环境长期偏串行,所以 Claude Code 的系统提示里要把“没有依赖就并行调用”重复七遍、四遍、两遍、三遍,用大写和重复硬掰。Breunig 说得好:当你打开一个提示,看到重复和全大写,基本就是在对抗权重——你在克服模型被训练出来的习惯。这不是提示写得丑,是训练与部署之间的缝隙,只能靠提示和 harness 去补。小模型在 Playwright 这类工具上第一次调用经常翻车、第二次才调对参数,也是同一个原因:它脑子里那个“长得很像的工具”不是你这个。

小听: 第二个新坑叫“上下文惯性”,而且是四方同时撞上的:Anthropic 的 Memento、微软研究院的 Fork-and-Flush、斯坦福的无状态 agent、伯克利的“扩展发现需要遗忘”。Agent 在一个错误假设上死磕几个小时,越坚持越错。

陆一鸣: 而且解法出奇地一致:定期清空上下文,但保留环境里已经产出的成果。Memento 是每 1.5 小时写一张小纸条、然后清空重开;伯克利那篇的曲线更直观——每次遗忘,分数就往上跳一截:忘一次,进一次。评论区也有人现身说法:开了 40 万 token 自动压缩的、手动限制在 20 万的、干脆每次写交接文档再清零的,都有。听起来很反常识:我们训练模型要“坚持、专注、有始有终”,结果这个优点跑长了就变成执念。持久 agent 的持久性问题,恰恰是持久本身。

深夜书桌前,一个人把墙上贴满的旧纸条一一摘下,只留一张新的便签,窗外透进晨光

忘掉的不是成果,是那条走不通的思路。

小听: 所以 Breunig 现在给人的第一建议,真的就是那句 meme:你试过重置上下文吗?看到 80 万 token 先别骂模型被削弱了,先清空?

陆一鸣: 是,而且我建议把这句写进团队手册。不是说每次都有效,而是它便宜、可逆、五秒钟就能验证:清空之后问题还在,再去查别的;清空之后好了,你就省下了半天调试。评论区也有反例:有人说新模型要到 70 万、80 万才明显变差,20 万就重置会丢掉有用的代码库上下文。所以我的规则是分层:20 万是黄灯,检查一下上下文里有没有中毒、过期、重复的东西;40 万以上还没进展,直接重置;跑长任务的 agent,定时遗忘要写进 harness,而不是靠人想起来。

小听: 最后他还有个 2027 年的预测:状态越往 harness 里挪,记忆和技能就会越积越乱、互相冲突,明年的上下文问题是“战略性遗忘”——不是上下文太多,而是记忆太旧、太杂、彼此打架。你买这个预测吗?

陆一鸣: 买,而且已经有征兆了。他自己跑了六个月的个人 agent,回头看技能库:一开始是解决方案,攒着攒着就变成一堆互相冲突的“奇怪补丁”,同一个问题两种解法,agent 今天用这个、明天用那个。记忆不是越多越好,记忆需要园艺:定期修剪、合并、删除过期的。输出等于上下文乘以权重,权重你改不了,能改的只有上下文——而上下文里最难的那部分,恰恰是“哪些该忘掉”。所以回到那句总结:我们的工作,就是在确定性与概率性之间划线,并且在划错的时候,有勇气把线擦掉重划。

一句话总结这场演讲:窗口变大没有消灭上下文工程,只是把问题从“装不下”换成了“装错了、忘不掉”。下次你的 agent 开始说胡话、原地打转,别先升级模型,先看一眼上下文有多大——答案可能就是清空它。

参考链接

// related: searching nearest posts...
# comments