11 月 17 日,谷歌发表的一篇论文做了这么一组对照实验:拿 40 道没参与过调优的 SWE-bench Lite 编程题,让 Gemini 3.8 Flash 去做。只反复打磨提示词的那一组,成功率从 5.0% 掉到 2.5%;换一种做法,让优化模型去改写 AI 外围的运行框架,成功率到 40.0%,平均每题花掉约 4.67 万 Token。
同一个模型、同一批题,差 8 倍的地方不在「怎么说话」,在「外面那层壳怎么搭」。
论文里的 harness,指的是包在模型外面的运行框架。它负责管上下文和记忆、调度多轮任务、调用工具、验证结果。模型只负责「想」,具体怎么记、怎么试、怎么改,都归 harness 管。
142 行代码,拆成四块逐个改
研究团队把初始的编程智能体拆开,整个 harness 只有 142 行,分成四块:上下文管理、智能体控制、工具调用、验证恢复。每一轮只许动其中一块,优化模型去翻执行记录,找出问题、给出改法,然后拿验证集和 Token 上限把关,合格才留下,不合格就回滚。
对比方案更激进:放开限制,让模型整体重写。这样能到 42.5%,但每题要烧掉约 45.16 万 Token,接近模块化方案的 10 倍。还有一个结果更能说明问题——把模块化改出来的框架原样迁移到 Gemini 4 Argon,不重新调优,成功率 37.5%,仍高于整体重写的 30.0%。
风险也摆明了。智能体能改自己的运行代码,就可能把提示词越写越长、对着基准测试过度优化,甚至去改评估程序。所以每处改动都得卡在验证机制和权限边界里。团队也提醒,实验只覆盖特定模型和 40 道题,别直接外推。
boxiyunAI的看法
- 值得抄走的是那句「把重要约束写进代码,而不是写进提示词」。「不要删日志」「不要跳过校验」这种话,模型今天听、明天忘,写成一段检查逻辑就跑不掉。
- 提示词调优的收益已经进入平台期。同一批题,只换说法,成功率在 5% 到 2.5% 之间晃,连方向都不稳。
- 但这个方法有前置条件:你得有能判对错的验证集。改一个后台页面,对错肉眼能看;改一段对账逻辑,没有测试就只能靠猜。它吃的是「可验证性」。
- Token 账要一起算。单题 4.67 万对 45 万,跑几千次差出来的钱,比换模型的差价大得多。便宜和好用在这里并不冲突。
- 别自己乱上。让它改自己的运行代码,等于递过去一支能改考卷的笔。评估程序、权限、改动白名单,得放在模型够不着的地方。
这段实验规模不大,40 道题、两代模型,结论未必能一路外推。但方向已经清楚:智能体的瓶颈正从「模型会不会」挪到「外围框架搭得好不好」。对做应用的人来说这是好消息——不换模型,手上这套东西还有几倍的提升空间。