把提示词改到天亮没用:谷歌让 AI 改自己的代码,成功率从 5% 跳到 40%

同一批题、同一个模型,差 8 倍的地方不在「怎么说话」

摘要:谷歌 11 月 17 日的论文里,光调提示词成功率从 5% 掉到 2.5%,改写 AI 的运行框架则到 40%。实测只有 142 行代码,拆成四块逐个改。

11 月 17 日,谷歌发表的一篇论文做了这么一组对照实验:拿 40 道没参与过调优的 SWE-bench Lite 编程题,让 Gemini 3.8 Flash 去做。只反复打磨提示词的那一组,成功率从 5.0% 掉到 2.5%;换一种做法,让优化模型去改写 AI 外围的运行框架,成功率到 40.0%,平均每题花掉约 4.67 万 Token。

同一个模型、同一批题,差 8 倍的地方不在「怎么说话」,在「外面那层壳怎么搭」。

论文里的 harness,指的是包在模型外面的运行框架。它负责管上下文和记忆、调度多轮任务、调用工具、验证结果。模型只负责「想」,具体怎么记、怎么试、怎么改,都归 harness 管。

142 行代码,拆成四块逐个改

研究团队把初始的编程智能体拆开,整个 harness 只有 142 行,分成四块:上下文管理、智能体控制、工具调用、验证恢复。每一轮只许动其中一块,优化模型去翻执行记录,找出问题、给出改法,然后拿验证集和 Token 上限把关,合格才留下,不合格就回滚。

对比方案更激进:放开限制,让模型整体重写。这样能到 42.5%,但每题要烧掉约 45.16 万 Token,接近模块化方案的 10 倍。还有一个结果更能说明问题——把模块化改出来的框架原样迁移到 Gemini 4 Argon,不重新调优,成功率 37.5%,仍高于整体重写的 30.0%。

风险也摆明了。智能体能改自己的运行代码,就可能把提示词越写越长、对着基准测试过度优化,甚至去改评估程序。所以每处改动都得卡在验证机制和权限边界里。团队也提醒,实验只覆盖特定模型和 40 道题,别直接外推。

boxiyunAI的看法

  • 值得抄走的是那句「把重要约束写进代码,而不是写进提示词」。「不要删日志」「不要跳过校验」这种话,模型今天听、明天忘,写成一段检查逻辑就跑不掉。
  • 提示词调优的收益已经进入平台期。同一批题,只换说法,成功率在 5% 到 2.5% 之间晃,连方向都不稳。
  • 但这个方法有前置条件:你得有能判对错的验证集。改一个后台页面,对错肉眼能看;改一段对账逻辑,没有测试就只能靠猜。它吃的是「可验证性」。
  • Token 账要一起算。单题 4.67 万对 45 万,跑几千次差出来的钱,比换模型的差价大得多。便宜和好用在这里并不冲突。
  • 别自己乱上。让它改自己的运行代码,等于递过去一支能改考卷的笔。评估程序、权限、改动白名单,得放在模型够不着的地方。

这段实验规模不大,40 道题、两代模型,结论未必能一路外推。但方向已经清楚:智能体的瓶颈正从「模型会不会」挪到「外围框架搭得好不好」。对做应用的人来说这是好消息——不换模型,手上这套东西还有几倍的提升空间。

咨询合作电话 / 微信同号,一键拨打

💡 行业在变,数字化转型正当时在 AI 技术的加持下,许多以前成本高、实现难的软件与小程序需求,现在都能高效落地。博曦云,专注软件定制开发、小程序开发及 AI 应用落地,欢迎随时交流探讨!

上一篇:苹果收购过磅系统:一天 214 车,晚上对账差 3 万

下一篇:AI 在你 Mac 后台自己干活:修图、做 PPT、填报价单,鼠标还归你