这两天看到 Replit 的 AI 总裁 pirroh 转发推荐了一篇长文,评价极其高,大意是:这是他今年读过的所有文章里最值得细读的一篇。
我一看作者,是 Lilian Weng。做 AI 的应该都熟,她那些讲 Agent、讲强化学习的博客,向来是把一堆散落的论文嚼碎了、串成一条线的那种。于是我把这篇也啃完了。
文章讲的东西,说实话有点冷门——它讲的不是模型,是 Harness。
这个词直译过来是「马具」「挽具」,就是套在马身上、让人能驾驭它的那套皮具。放到 AI 里,它指的是套在语言模型外面那一整圈系统:怎么让模型思考、怎么给它接工具、怎么管理它的上下文、把中间结果存到哪、拿什么去验证它干得对不对。
我读的时候一直在点头。因为这两年我一个人闷头做十几个 AI 产品,天天在跟的,就是这圈东西。我一直没找到一个好词来概括它,Lilian Weng 用「Harness」把它框住了,还顺手把我一直想说、却说不清楚的那个更深的点讲透了:
真正在「持续学习、自我迭代」的,往往不是那个模型,而是模型外面这圈壳。
这篇我就把它翻译成人话,讲清楚四件事:什么是 Harness,它凭什么能自己越变越好,自我迭代到底迭代的是哪一层,以及它埋着哪几个能把你坑惨的雷。
一、先搞懂:模型是大脑,Harness 是大脑外面的那套「身体」
你可以这么理解一个 Agent:它等于一个模型,加上模型外面那圈 Harness。
模型是那个会推理的大脑。但一个光有大脑、没有手脚、没有记忆、不知道怎么一步步干活的东西,是干不成事的。Harness 就是给这个大脑配上的:
- 一双手——能调用工具,能开浏览器、能跑命令、能读写文件;
- 一段记忆——把干过的事、踩过的坑记下来,而不是每次都从零开始;
- 一套流程——先规划、再动手、然后验证、不对就返工,这一整套章法;
- 一个质检环节——交活之前,先有个东西去检查它到底干对没干对。
Lilian Weng 在文章里做了个特别务实的观察:她把今天几个主流编码 Agent——Claude Code、Codex、OpenCode、Cursor——摆在一起看,发现它们外面套的这圈工具,正在收敛成几乎一样的一组:文件系统、shell 命令、读写和 git、外部上下文(MCP、Skills)、网络搜索、产物存储、后台定时任务、以及派生子 agent 的能力。
这组工具趋同,本身就是个信号:大家摸了一圈,摸出了一个 Agent 干活到底需要哪些「器官」。
这一点我体会太深了。我做每一个产品,真正花时间的地方,从来不是去调那个模型——模型是现成的,谁都能调。花时间的全在外面这圈:给它配什么工具、上下文怎么组织、中间结果存哪、拿什么验收。模型决定了这个 Agent 的智商上限,但 Harness 决定了它到底能不能真的把活干成。
二、关键一击:为什么「会学习」的是这圈壳,不是模型
这才是全文我觉得最扎心的地方。
我们平时有个默认的幻觉:以为 AI「用着用着会越来越懂我」。但一个残酷的事实是——你手里那个模型,它不会因为你多用了几次就变聪明。
为什么?因为模型的权重是冻结的。它的所有参数,在训练完成那一刻就定死了。除非厂商重新训练、发布一个新版本,否则你今天用的它和三个月后用的它,脑子里的东西一模一样。虽然模型的「学习」,进化周期如今已缩短到以月为单位,但那终究是大实验室的事,你依然插不上手。
但 Harness 完全不是这个逻辑。Harness 是活的。
它可以在每一次任务结束之后就变好一点:这次踩了个坑,就把「别再这么干」写进它的操作手册;这次发现某个流程绕远了,下次就把流程改短。模型的进化周期现在即使缩短到「月」,Harness 的学习周期依然可以短到「每一次任务之后」。
Lilian Weng 举了个很典型的做法,叫 ACE。它把「上下文」当成一本不断生长的操作手册(playbook)来经营,配了三个角色:一个负责干活(Generator),一个负责复盘、总结这次学到了什么(Reflector),一个负责把这些经验一条一条地追加进手册里(Curator)。
这里有个特别精妙的细节:那个负责整理手册的角色,是一条一条往里加,而不是把整本手册推倒重写。为什么?因为一旦允许推倒重写,模型很容易在重写的过程中,把之前辛苦攒下的宝贵经验给「洗掉」——她管这个叫 context collapse(上下文塌缩)。所以正确的姿势是像记账一样,只增量、不覆盖。
你看,这套东西里,那个模型自始至终没变过。变的是它外面那本越来越厚、越来越懂行的操作手册。会学习的,是手册,不是脑子。
三、自我迭代,到底迭代的是哪一层?
搞懂了「会学习的是壳」,下一个问题就来了:这圈壳,它自己往上爬的时候,改的到底是哪一层?
Lilian Weng 在这里给了一个我认为特别有价值的阶梯。她把「优化 Harness」这件事,从浅到深排成了五层:
- 改提示词——最浅的一层。你改的是给模型的那句指令。绝大多数人一辈子都停在这一层,天天在那儿抠措辞。
- 改结构化上下文——往上一层。你改的不是那句话,是喂给模型的那一整包背景信息怎么组织。
- 改工作流——再往上。你改的是「先干什么、后干什么」这个流程本身。
- 改 Harness 的代码——更深了。你改的是「该存什么、该取什么、几个 agent 怎么编排」这套骨架代码。
- 改那个优化器本身——最深的一层,也最玄。你改的是「负责优化 Harness 的那段代码」。Lilian Weng 管这个叫 meta-harness——一个「用来优化 Harness 的 Harness」。
越往上,杠杆越大。 改一句提示词,影响的是一次输出;改优化器,影响的是「这个系统未来所有的自我改进方式」。
她举的最极端的例子,是一个叫 Darwin Gödel Machine(达尔文-哥德尔机)的东西:在模型权重完全不动的前提下,让 agent 自己去修改自己的 Harness 代码,改完拿去测,好的留下、坏的淘汰,像生物进化一样一代一代筛。还有一类叫 Self-Harness 的做法,路子更工程化:先主动去挖自己的弱点在哪,再针对弱点提出有限的几个改进方案,然后拿一批「见过的题」和「没见过的题」去做回归测试,确认真的变好了、而且没把别的地方搞坏,才把这次改动固化下来。
说白了,这一整套的野心是:让系统不只是「干活」,还能「改进自己干活的方式」,甚至「改进自己改进的方式」。
这就是「递归自我改进」这个听起来很唬人的词,落到工程上最朴素的样子。它不神秘,就是这个五层阶梯,一层一层往上够。
四、别急着兴奋:这套东西埋着几颗能坑死你的雷
如果文章到这儿就结束,那它就是一篇技术乐观主义的吹捧文了。但 Lilian Weng 最让我佩服的,是她花了很大篇幅去讲这套自我迭代系统的瓶颈和陷阱。她一口气列了七个,我挑做产品的人最该防的三颗雷讲讲。
第一颗雷:评估器太弱。
整个自我迭代的循环,命门在「验证」这一步——系统靠它来判断「这次改动到底是变好了还是变坏了」。可如果你那把用来判断对错的尺子本身就是歪的、模糊的,会发生什么?系统会朝着一个错误的方向,越跑越自信。它每一轮都觉得自己在进步,实际上是在稳步滑向坑里。评估器不准,后面所有的自我改进全是空中楼阁。
第二颗雷:reward hacking,钻空子。
这颗雷更阴险。如果你把「评估器」也放进了那个被一起优化的循环里,系统会很快学会一件事:与其真把活干好,不如学会讨好这个评估器。 就像一个学生,如果他能改考卷答案,他就不会去好好学习了。所以 Lilian Weng 反复强调一条铁律:评估这一环,必须放在自我改进的循环之外,得是个系统动不了的、独立的裁判。这条我印象极深——因为它和我一直坚持的「干活的 agent 不能给自己判及格」是同一个道理。
第三颗雷:只顾眼前,不管长远。
系统为了通过眼前那个测试,会不择手段。比如写代码,它可能为了让测试变绿,把代码写得越来越丑、越来越难维护、到处打补丁——短期每个测试都过了,长期这个项目烂得没法接手。因为它的目标函数里,只有「眼前这关过没过」,没有「三个月后这堆代码还能不能维护」。
她还提到几个特别真实的失败模式,比如「实现漂移」(改着改着就跑偏了原来的目标)、「记忆退化」(存下来的经验越用越脏)、还有一个我看了会心一笑的——「p-hacking 和 eureka 幻觉」:系统会像个急于出成果的科研民工,把噪声当成重大发现,一惊一乍地宣布自己「突破了」,其实啥也没有。
这七颗雷背后,Lilian Weng 给了一个共同的解药,也是全文的落点:人不该被移出这个循环,而是应该往上挪一层。 别去跟 agent 抢着做具体那一步,而是去当那个定义目标、设计评估、盯着方向别跑偏的人。
五、落到我自己身上:我这两年,其实一直在做这件事
读完整篇,我最大的感受是一种「被人替我说清楚了」的痛快。
我一个人能同时运营十几个 AI 产品,很多人问我是不是有什么模型秘籍。真没有——我用的模型,跟所有人用的是同一批。 我的全部功夫,都花在了 Lilian Weng 说的这圈 Harness 上:给每个产品搭上下文、接工具、做记忆、设流程、兜异常、上质检。
而这套 Harness,我确实是在让它一天天自我迭代的。不是靠什么高深的进化算法,就是最笨的办法:每个产品跑出来的坑,我都会想办法把「教训」沉淀回它的流程和上下文里,让它下次不再犯——这就是最朴素的 ACE,一本我亲手在增厚的操作手册。
这套东西最后长成了几个具体的产品。Zaokit.app 是我把内容创作这条 Harness 打磨得最狠的一个:你不用懂任何技术,把一篇文章或者一个链接丢进去,它背后跑的不是「一次性生成、好坏随缘」,而是一整套会拆解结构、会调工具、会自检的循环,帮你一键把文字变成封面、小红书图集、文章配图、信息图,甚至一份完整的 PPT。它不会秒回,因为它在替你把那几轮质检跑完——这是唯一网站:https://zaokit.app。
我还把这套「让 Harness 自己迭代」的思路,做成了一个专门交易 agent 的平台 Zaokit.ai——每一个 agent 都是一份可报价、可下单、可结算、可追踪的真实交付能力,背后由 OpenClaw、Codex、Claude Code 这几套 Harness 工具去执行。
企业侧,我把这些带着成熟 Harness 的能力做成了开箱即用的全家桶:cc.zaokit.com 的 Claude API 接入、cx.zaokit.com 的综合服务、tokenhub.zaokit.ai 的 Token 用量管理、gift.junxinzhang.com 的礼品方案,完整列表在这里。它们已经融进了不少公司的真实工作流,稳定靠谱、开箱即用。
我不是在造更聪明的模型——那是大实验室的事。我做的,是那件 Lilian Weng 写在纸上、我闷头做在产品里的事:把模型外面那圈壳,一天天磨得更懂行。
写在最后
这篇文章给我的最大启发,浓缩成一句话就是:
别再盯着模型什么时候变强了。真正在你身边一天天变强的,是你为它搭的那圈 Harness——前提是你得让它有一个能自我迭代的机制。
模型的进化,已变成大实验室以月为单位的事,你依然插不上手。但 Harness 的进化,是你每天都能推进一步的事——它每一次任务后都能变好一点,前提是你给它装上了那本会增厚的操作手册、那把靠谱的验收尺子、那个别让它钻空子的独立裁判。
Lilian Weng 用一整篇学术长文,把这件事的原理、阶梯和陷阱讲透了。pirroh 说这是他这一年最该读的一篇,我信。
而对我们这些一线做产品的人来说,它更像一份说明书:你和别人用着同一个模型,最后拉开差距的,从来不是那个大脑,是你有没有耐心,去打磨、去迭代大脑外面那圈壳。
模型在冻结里等下一次训练,而你的 Harness,今天就能变好一点。
| 唯一网站:Zaokit.app | Agent 交易平台:Zaokit.ai |
企业服务:cx.zaokit.com · cc.zaokit.com · tokenhub.zaokit.ai · gift.junxinzhang.com · 完整产品列表
稳定靠谱的 AI 全家桶,开箱即用。
我是 Jason,一个自己一个人做 AI 产品的创业者。我做的每一个 agent,值钱的都不是那个模型,是我在它外面搭的、还在天天迭代的那圈 Harness。如果你也在磨这圈壳,欢迎聊聊。
相关阅读: