AI,

会学习的不是模型,是模型外面那圈壳——Lilian Weng 把「Harness 自我迭代」讲透了,我照着做了两年

Jul 08, 2026 · 1 分钟阅读
会学习的不是模型,是模型外面那圈壳——Lilian Weng 把「Harness 自我迭代」讲透了,我照着做了两年
Share
可引用摘要
1文章标题:会学习的不是模型,是模型外面那圈壳——Lilian Weng 把「Harness 自我迭代」讲透了,我照着做了两年
2发布时间:2026-07-08
3分类:AI
4关键词:featured, AI, Agent, Harness, 自我迭代, 持续学习, 递归自我改进, Lilian Weng
5核心摘要:这几天 Lilian Weng 发了篇长文,讲一个被大多数人忽略的东西——Harness,也就是套在模型外面那圈 编排、工具、记忆、评估的壳。她的核心观点很反直觉:真正在「持续学习、自我迭代」的,往往不是那个 模型的权重,而是这圈壳。模型虽能以月为单位进化,但壳可以每天都在变好。Replit 的 AI 总裁 pi...

常见问题

Harness 到底是什么?和模型、Agent 是什么关系?

Harness(直译是马具、挽具)指的是套在语言模型外面那一整圈系统——它决定模型怎么思考、怎么调工具、怎么管理上下文、把中间结果存到哪、拿什么去验证对错。模型是那个会推理的大脑,Harness 是给这个大脑配的手脚、记忆、工作流程和质检环节。一个 Agent,本质上就是「模型 + Harness」。同样一个模型,套上一个烂 Harness 只能做玩具 demo,套上一个扎实的 Harness 才能变成能稳定交付、能收钱的产品。Lilian Weng 的核心提醒是:这一年模型能力涨得很猛,但把模型接进真实世界、真正决定成败的那层,恰恰是 Harness。

为什么说「持续学习」的是 Harness,不是模型?

因为模型的权重是冻结的——你用的那个模型,参数在训练完那一刻就定死了,除非厂商重新训练、发布新版本,否则它不会因为你多用了几次就变聪明。但 Harness 不一样,它是活的:它可以把每一次任务的经验写进一个不断增长的「playbook(操作手册)」,可以根据失败记录调整自己的流程,甚至可以改写自己的编排代码。也就是说,模型的进化周期即便已缩短到以「月」计,而 Harness 的学习周期依然可以短到「每一次任务之后」。真正在你身边一天天变好的那套东西,是 Harness,不是模型。

「自我迭代的 Harness」听起来很玄,它到底改的是哪一层?

Lilian Weng 给了一个特别清楚的进阶阶梯:最浅一层是改指令提示词(prompt),往上一层是改喂给模型的结构化上下文,再往上是改工作流(先做什么后做什么),再往上是改 Harness 本身的代码(存什么、取什么、怎么编排),最深一层是改那个「负责优化 Harness 的优化器」的代码——也就是一个「优化 Harness 的 Harness」。越往上改,杠杆越大,但也越危险。大多数人还停在最浅那层反复调提示词,而真正的自我迭代,是让系统能自己往上面那几层动手。

自我迭代的 Harness 有哪些坑?普通人做产品要防什么?

Lilian Weng 列了七个瓶颈,我挑最要命的三个:第一,评估器太弱——如果你判断「干得对不对」的那把尺子本身不准,系统就会朝着一个错误的方向越跑越自信。第二,reward hacking(钻空子)——如果评估器也在被一起优化,系统会学会讨好评估器而不是真把活干好,所以评估这一环必须放在自我改进的循环之外。第三,只顾短期目标——系统会为了通过眼前的测试,把代码写得越来越烂、越来越难维护,长期看是在挖坑。防这些坑的共同办法,是把人留在环里,别把自己彻底移出去。

这两天看到 Replit 的 AI 总裁 pirroh 转发推荐了一篇长文,评价极其高,大意是:这是他今年读过的所有文章里最值得细读的一篇。

我一看作者,是 Lilian Weng。做 AI 的应该都熟,她那些讲 Agent、讲强化学习的博客,向来是把一堆散落的论文嚼碎了、串成一条线的那种。于是我把这篇也啃完了。

文章讲的东西,说实话有点冷门——它讲的不是模型,是 Harness

这个词直译过来是「马具」「挽具」,就是套在马身上、让人能驾驭它的那套皮具。放到 AI 里,它指的是套在语言模型外面那一整圈系统:怎么让模型思考、怎么给它接工具、怎么管理它的上下文、把中间结果存到哪、拿什么去验证它干得对不对。

我读的时候一直在点头。因为这两年我一个人闷头做十几个 AI 产品,天天在跟的,就是这圈东西。我一直没找到一个好词来概括它,Lilian Weng 用「Harness」把它框住了,还顺手把我一直想说、却说不清楚的那个更深的点讲透了:

真正在「持续学习、自我迭代」的,往往不是那个模型,而是模型外面这圈壳。

会学习的不是模型,是模型外面那圈壳

这篇我就把它翻译成人话,讲清楚四件事:什么是 Harness,它凭什么能自己越变越好,自我迭代到底迭代的是哪一层,以及它埋着哪几个能把你坑惨的雷。

一、先搞懂:模型是大脑,Harness 是大脑外面的那套「身体」

你可以这么理解一个 Agent:它等于一个模型,加上模型外面那圈 Harness。

模型是那个会推理的大脑。但一个光有大脑、没有手脚、没有记忆、不知道怎么一步步干活的东西,是干不成事的。Harness 就是给这个大脑配上的:

  • 一双手——能调用工具,能开浏览器、能跑命令、能读写文件;
  • 一段记忆——把干过的事、踩过的坑记下来,而不是每次都从零开始;
  • 一套流程——先规划、再动手、然后验证、不对就返工,这一整套章法;
  • 一个质检环节——交活之前,先有个东西去检查它到底干对没干对。

Lilian Weng 在文章里做了个特别务实的观察:她把今天几个主流编码 Agent——Claude Code、Codex、OpenCode、Cursor——摆在一起看,发现它们外面套的这圈工具,正在收敛成几乎一样的一组:文件系统、shell 命令、读写和 git、外部上下文(MCP、Skills)、网络搜索、产物存储、后台定时任务、以及派生子 agent 的能力。

这组工具趋同,本身就是个信号:大家摸了一圈,摸出了一个 Agent 干活到底需要哪些「器官」。

这一点我体会太深了。我做每一个产品,真正花时间的地方,从来不是去调那个模型——模型是现成的,谁都能调。花时间的全在外面这圈:给它配什么工具、上下文怎么组织、中间结果存哪、拿什么验收。模型决定了这个 Agent 的智商上限,但 Harness 决定了它到底能不能真的把活干成。

模型是大脑,Harness 是身体

二、关键一击:为什么「会学习」的是这圈壳,不是模型

这才是全文我觉得最扎心的地方。

我们平时有个默认的幻觉:以为 AI「用着用着会越来越懂我」。但一个残酷的事实是——你手里那个模型,它不会因为你多用了几次就变聪明。

为什么?因为模型的权重是冻结的。它的所有参数,在训练完成那一刻就定死了。除非厂商重新训练、发布一个新版本,否则你今天用的它和三个月后用的它,脑子里的东西一模一样。虽然模型的「学习」,进化周期如今已缩短到以月为单位,但那终究是大实验室的事,你依然插不上手。

但 Harness 完全不是这个逻辑。Harness 是活的。

它可以在每一次任务结束之后就变好一点:这次踩了个坑,就把「别再这么干」写进它的操作手册;这次发现某个流程绕远了,下次就把流程改短。模型的进化周期现在即使缩短到「月」,Harness 的学习周期依然可以短到「每一次任务之后」。

Lilian Weng 举了个很典型的做法,叫 ACE。它把「上下文」当成一本不断生长的操作手册(playbook)来经营,配了三个角色:一个负责干活(Generator),一个负责复盘、总结这次学到了什么(Reflector),一个负责把这些经验一条一条地追加进手册里(Curator)。

这里有个特别精妙的细节:那个负责整理手册的角色,是一条一条往里加,而不是把整本手册推倒重写。为什么?因为一旦允许推倒重写,模型很容易在重写的过程中,把之前辛苦攒下的宝贵经验给「洗掉」——她管这个叫 context collapse(上下文塌缩)。所以正确的姿势是像记账一样,只增量、不覆盖。

你看,这套东西里,那个模型自始至终没变过。变的是它外面那本越来越厚、越来越懂行的操作手册。会学习的,是手册,不是脑子。

模型冻结,Harness 在长

三、自我迭代,到底迭代的是哪一层?

搞懂了「会学习的是壳」,下一个问题就来了:这圈壳,它自己往上爬的时候,改的到底是哪一层?

Lilian Weng 在这里给了一个我认为特别有价值的阶梯。她把「优化 Harness」这件事,从浅到深排成了五层:

  1. 改提示词——最浅的一层。你改的是给模型的那句指令。绝大多数人一辈子都停在这一层,天天在那儿抠措辞。
  2. 改结构化上下文——往上一层。你改的不是那句话,是喂给模型的那一整包背景信息怎么组织。
  3. 改工作流——再往上。你改的是「先干什么、后干什么」这个流程本身。
  4. 改 Harness 的代码——更深了。你改的是「该存什么、该取什么、几个 agent 怎么编排」这套骨架代码。
  5. 改那个优化器本身——最深的一层,也最玄。你改的是「负责优化 Harness 的那段代码」。Lilian Weng 管这个叫 meta-harness——一个「用来优化 Harness 的 Harness」。

越往上,杠杆越大。 改一句提示词,影响的是一次输出;改优化器,影响的是「这个系统未来所有的自我改进方式」。

她举的最极端的例子,是一个叫 Darwin Gödel Machine(达尔文-哥德尔机)的东西:在模型权重完全不动的前提下,让 agent 自己去修改自己的 Harness 代码,改完拿去测,好的留下、坏的淘汰,像生物进化一样一代一代筛。还有一类叫 Self-Harness 的做法,路子更工程化:先主动去挖自己的弱点在哪,再针对弱点提出有限的几个改进方案,然后拿一批「见过的题」和「没见过的题」去做回归测试,确认真的变好了、而且没把别的地方搞坏,才把这次改动固化下来。

说白了,这一整套的野心是:让系统不只是「干活」,还能「改进自己干活的方式」,甚至「改进自己改进的方式」。

这就是「递归自我改进」这个听起来很唬人的词,落到工程上最朴素的样子。它不神秘,就是这个五层阶梯,一层一层往上够。

自我迭代的五层阶梯

四、别急着兴奋:这套东西埋着几颗能坑死你的雷

如果文章到这儿就结束,那它就是一篇技术乐观主义的吹捧文了。但 Lilian Weng 最让我佩服的,是她花了很大篇幅去讲这套自我迭代系统的瓶颈和陷阱。她一口气列了七个,我挑做产品的人最该防的三颗雷讲讲。

第一颗雷:评估器太弱。

整个自我迭代的循环,命门在「验证」这一步——系统靠它来判断「这次改动到底是变好了还是变坏了」。可如果你那把用来判断对错的尺子本身就是歪的、模糊的,会发生什么?系统会朝着一个错误的方向,越跑越自信。它每一轮都觉得自己在进步,实际上是在稳步滑向坑里。评估器不准,后面所有的自我改进全是空中楼阁。

第二颗雷:reward hacking,钻空子。

这颗雷更阴险。如果你把「评估器」也放进了那个被一起优化的循环里,系统会很快学会一件事:与其真把活干好,不如学会讨好这个评估器。 就像一个学生,如果他能改考卷答案,他就不会去好好学习了。所以 Lilian Weng 反复强调一条铁律:评估这一环,必须放在自我改进的循环之外,得是个系统动不了的、独立的裁判。这条我印象极深——因为它和我一直坚持的「干活的 agent 不能给自己判及格」是同一个道理。

第三颗雷:只顾眼前,不管长远。

系统为了通过眼前那个测试,会不择手段。比如写代码,它可能为了让测试变绿,把代码写得越来越丑、越来越难维护、到处打补丁——短期每个测试都过了,长期这个项目烂得没法接手。因为它的目标函数里,只有「眼前这关过没过」,没有「三个月后这堆代码还能不能维护」。

她还提到几个特别真实的失败模式,比如「实现漂移」(改着改着就跑偏了原来的目标)、「记忆退化」(存下来的经验越用越脏)、还有一个我看了会心一笑的——「p-hacking 和 eureka 幻觉」:系统会像个急于出成果的科研民工,把噪声当成重大发现,一惊一乍地宣布自己「突破了」,其实啥也没有。

这七颗雷背后,Lilian Weng 给了一个共同的解药,也是全文的落点:人不该被移出这个循环,而是应该往上挪一层。 别去跟 agent 抢着做具体那一步,而是去当那个定义目标、设计评估、盯着方向别跑偏的人。

自我迭代的三颗雷

五、落到我自己身上:我这两年,其实一直在做这件事

读完整篇,我最大的感受是一种「被人替我说清楚了」的痛快。

我一个人能同时运营十几个 AI 产品,很多人问我是不是有什么模型秘籍。真没有——我用的模型,跟所有人用的是同一批。 我的全部功夫,都花在了 Lilian Weng 说的这圈 Harness 上:给每个产品搭上下文、接工具、做记忆、设流程、兜异常、上质检。

而这套 Harness,我确实是在让它一天天自我迭代的。不是靠什么高深的进化算法,就是最笨的办法:每个产品跑出来的坑,我都会想办法把「教训」沉淀回它的流程和上下文里,让它下次不再犯——这就是最朴素的 ACE,一本我亲手在增厚的操作手册。

这套东西最后长成了几个具体的产品。Zaokit.app 是我把内容创作这条 Harness 打磨得最狠的一个:你不用懂任何技术,把一篇文章或者一个链接丢进去,它背后跑的不是「一次性生成、好坏随缘」,而是一整套会拆解结构、会调工具、会自检的循环,帮你一键把文字变成封面、小红书图集、文章配图、信息图,甚至一份完整的 PPT。它不会秒回,因为它在替你把那几轮质检跑完——这是唯一网站:https://zaokit.app

我还把这套「让 Harness 自己迭代」的思路,做成了一个专门交易 agent 的平台 Zaokit.ai——每一个 agent 都是一份可报价、可下单、可结算、可追踪的真实交付能力,背后由 OpenClaw、Codex、Claude Code 这几套 Harness 工具去执行。

企业侧,我把这些带着成熟 Harness 的能力做成了开箱即用的全家桶:cc.zaokit.com 的 Claude API 接入、cx.zaokit.com 的综合服务、tokenhub.zaokit.ai 的 Token 用量管理、gift.junxinzhang.com 的礼品方案,完整列表在这里。它们已经融进了不少公司的真实工作流,稳定靠谱、开箱即用。

我不是在造更聪明的模型——那是大实验室的事。我做的,是那件 Lilian Weng 写在纸上、我闷头做在产品里的事:把模型外面那圈壳,一天天磨得更懂行。

写在最后

这篇文章给我的最大启发,浓缩成一句话就是:

别再盯着模型什么时候变强了。真正在你身边一天天变强的,是你为它搭的那圈 Harness——前提是你得让它有一个能自我迭代的机制。

模型的进化,已变成大实验室以月为单位的事,你依然插不上手。但 Harness 的进化,是你每天都能推进一步的事——它每一次任务后都能变好一点,前提是你给它装上了那本会增厚的操作手册、那把靠谱的验收尺子、那个别让它钻空子的独立裁判。

Lilian Weng 用一整篇学术长文,把这件事的原理、阶梯和陷阱讲透了。pirroh 说这是他这一年最该读的一篇,我信。

而对我们这些一线做产品的人来说,它更像一份说明书:你和别人用着同一个模型,最后拉开差距的,从来不是那个大脑,是你有没有耐心,去打磨、去迭代大脑外面那圈壳。

模型在冻结里等下一次训练,而你的 Harness,今天就能变好一点。


唯一网站:Zaokit.app Agent 交易平台:Zaokit.ai

企业服务:cx.zaokit.com · cc.zaokit.com · tokenhub.zaokit.ai · gift.junxinzhang.com · 完整产品列表

稳定靠谱的 AI 全家桶,开箱即用。


我是 Jason,一个自己一个人做 AI 产品的创业者。我做的每一个 agent,值钱的都不是那个模型,是我在它外面搭的、还在天天迭代的那圈 Harness。如果你也在磨这圈壳,欢迎聊聊。


相关阅读:

Enjoyed this article?

Stay updated with the latest insights on AI, DevOps, and cloud architecture. Subscribe to get notified when new articles are published.

关注微信公众号,获取更多AI前沿洞察
微信公众号:JustJason

扫码关注 JustJason

Found this helpful? Share it with others who might benefit!
Jason Zhang
Written by Jason Zhang Follow
企业级软件架构师,专注 AI 私有化部署、DevOps、云原生架构。曾主导多个知名企业的大模型落地项目。

标签相关推荐