一、Agent自進化RSI簡述Agent自進化RSI已成為LLM Agent在垂直領域可靠落地的最熱門前沿課題之一其核心思路是讓Agent在運行過程中不斷自我修正做到越用越好、越用越聰明。目前行業(yè)共識正從投入巨資打造全能行業(yè)模型轉(zhuǎn)向推動通用模型在具體場景中持續(xù)自我進化。自我修正的核心方法論可以概括為一句話不只看結(jié)果更要看過程。具體來說就是充分利用以下三類信息源執(zhí)行過程軌跡Agent在完成任務過程中的每一步推理、每一次工具調(diào)用、每一個中間狀態(tài)構(gòu)成了豐富的“過程數(shù)據(jù)”。這些軌跡中隱藏著比最終結(jié)果更豐富的信息——成功的步驟可復用失敗的步驟可標記和規(guī)避。歷史記憶跨任務、跨時間積累的經(jīng)驗庫包括過去的成功案例、失敗教訓、環(huán)境認知等讓Agent不必每次從零開始。人工參與的反饋領域?qū)＜覍gent行為的糾正、評價和引導。在金融等專業(yè)領域人類專家的經(jīng)驗和直覺仍然是不可替代的稀缺資源將這些隱性知識顯性化是Agent進化的重要推力。從這些信息中抽取出有效且明確的信號即“顯性信噪”后有兩條核心的固化路徑參數(shù)固化訓練路徑將經(jīng)驗通過后訓練內(nèi)化到模型參數(shù)中。優(yōu)點是模型推理時無需外部依賴經(jīng)驗已成為模型“本能”缺點是訓練成本高、迭代周期長。外掛固化非訓練路徑將經(jīng)驗沉淀為外掛Harness的上下文、記憶或可復用技能Skill。優(yōu)點是靈活輕量、可快速迭代缺點是依賴檢索和上下文窗口。兩條路徑并非互斥而是協(xié)同進步的外掛記憶和技能庫的不斷積累為下一輪參數(shù)固化提供了高質(zhì)量訓練數(shù)據(jù)來源而參數(shù)能力的提升又讓Agent能更高效地利用外掛知識。這種“參數(shù)-外掛”雙循環(huán)協(xié)同進化模式構(gòu)成了Agent自進化體系的核心架構(gòu)。二、代表性方法探研當前Agent自進化方向上涌現(xiàn)了大量研究。按照是否進行模型參數(shù)更新可大致分為“訓練”與“非訓練”兩大類。以下選擇五篇代表性論文進行簡要介紹分別代表了這兩類路徑的前沿探索。1. SEED自我演化的在線策略蒸餾訓練類SEEDSelf-Evolving On-Policy Distillation來自清華大學等機構(gòu)解決的核心問題是強化學習訓練Agent時往往只在任務結(jié)束后給一個“成功/失敗”的籠統(tǒng)獎勵Agent根本不知道自己幾十個動作里哪個做對了、哪個做錯了——就像老師只告訴你期末考試及格與否卻不告訴你哪道題錯了。SEED的核心思路可以用一句話概括讓AI做自己的私教。具體做法分為兩步第一步先用強模型如GLM-5.2微調(diào)教會待優(yōu)化模型“事后復盤”的能力。對一批歷史軌跡寫“事后總結(jié)”——成功的總結(jié)套路失敗的總結(jié)教訓然后讓待優(yōu)化模型學著寫這種總結(jié)。第二步則是精髓——讓模型邊訓練邊自我復盤邊內(nèi)化。每次訓練時先用當前模型跑一批任務得到軌跡然后讓同一個模型“換個身份”當分析員回頭看自己的軌跡提煉出“事后技能”關鍵的一步——把同一批動作樣本放在兩個不同背景下重新打分一個版本給模型看事后技能當“老師”另一個不給看當“學生”。兩個版本的打分差距就是該動作“該不該做”的精細信號被攤到軌跡中每一個token上作為稠密學習損失并與GRPO的環(huán)境獎勵損失結(jié)合一起優(yōu)化模型。最妙的設計是事后技能只在訓練時當“私教”推理時完全消失所有經(jīng)驗已被“吃進”模型參數(shù)里。模型越訓越強后既能跑得更好、復盤也復得更好兩者手拉手一起進化——這就是“自演化”的精髓。消融實驗還發(fā)現(xiàn)用靜態(tài)經(jīng)驗庫替代“自己當下跑出來的經(jīng)驗”掉分最狠恰說明on-policy的自演化才是這套方法的命根子。2. LLM-as-a-Coach體驗式學習的教練模型訓練類LLM-as-a-Coach來自微軟研究院提出了“體驗式學習”Experiential Learning, EL框架。傳統(tǒng)RL用評估模型Judge給答案打分只輸出一個標量分數(shù)但評估過程中產(chǎn)生的大量文本分析被全部丟棄了。這就是信息瓶頸兩個答案同樣得7分但一個邏輯更強、一個文筆更好優(yōu)化器無從區(qū)分。EL的核心創(chuàng)新是把評估模型從“裁判”升級為“教練”。教練的產(chǎn)出不只是一個分數(shù)而是一段“可遷移的經(jīng)驗知識”——通用的、可復用在類似任務上的改進建議。該框架涉及三類模型策略模型優(yōu)化對象中小規(guī)模、評估模型越強越好必然優(yōu)于策略模型、教師模型策略模型的初始凍結(jié)副本。訓練時將經(jīng)驗知識作為額外上下文輸入教師模型教師與策略模型對同一回答分別計算每個位置下一個token的概率分布然后計算兩個分布的反向KL散度作為損失讓策略分布向教師靠攏。這段經(jīng)驗知識的信息量是標量獎勵的數(shù)千倍能提供遠超分數(shù)的稠密監(jiān)督信號。實驗顯示EL在開放式任務上一致優(yōu)于基于評分的RL泛化性更好不易出現(xiàn)“刷分”reward hacking。但EL也有局限Coach模型質(zhì)量決定上限錯誤放大比RL更嚴重反復迭代會導致基礎指令遵循能力下降訓練成本大幅增加且經(jīng)驗提取有效性依賴Prompt工程。3. RHI遞歸式Harness自改進非訓練類RHIRecursive Harness Self-Improvement來自Sakana AI和UC Berkeley聚焦于多Agent協(xié)同場景。現(xiàn)在很多復雜編碼任務不是單個模型獨立完成的而是一群Agent分工合作。這套分工協(xié)作的“規(guī)矩”行話叫Harness編排層/外殼層包含角色role、工作流workflow、信息契約contract、執(zhí)行步hop等組件。廠商給的通用Harness模板往往不夠好用而用戶自己寫一套特化規(guī)矩又太難。RHI的思路是讓這套規(guī)矩自己進化。具體做法是一個四步循環(huán)用當前Harness跑一遍任務生成代碼倉庫找個裁判對比本次結(jié)果和上次結(jié)果判輸贏把歷次輸贏記錄攢起來當“勢頭”參考讓一個“Harness優(yōu)化器”AI看著歷史記錄把規(guī)矩文本改一版進入下一輪。這里有兩個巧妙的設計。第一只跟昨天的自己比不搞多方案PK——以前的方法搞一堆候選互相競爭成本是平方級別。RHI只跟前一輪比單次信號雖噪但攢成歷史就很穩(wěn)成本從平方降到常數(shù)。第二評判標準不直接告訴“改規(guī)矩的AI”優(yōu)化器只看裁判的輸贏記錄RHI是隱式地往評估標準靠而不是直接拿獎勵信號去最大化——這反而更穩(wěn)。此外Harness寫成文本prompt而非代碼讓任何閉源的coding agent都能用。實驗效果令人驚訝Claude Sonnet配RHI打敗了同模型開最大推理強度的版本Opus配RHI連官方最強的ultracode都打不過它且推理成本降60%。而且輸出token數(shù)基本不變——增益不是來自“想得更久”而是來自“配合得更好”。論文還提出了一個信息論假設來解釋RHI的隱含優(yōu)化目標讓組件跟任務更相關加法項讓組件之間少重復減法項——既要更懂活兒又要不啰嗦。核心洞察是真正決定多Agent效率的不是每個Agent的思考量而是Agent之間的信息流。4. MCSE從記憶到技能的證據(jù)驅(qū)動協(xié)同進化非訓練類MCSEMemory-Skill Co-Evolution來自MemTensor和中國科學技術(shù)大學等機構(gòu)解決的核心問題是現(xiàn)有Agent的記憶系統(tǒng)大多是“被動檢索”——把過去的交互記錄原樣塞回上下文窗口讓Agent重新推理既費Token又容易抓錯重點。即便一個Agent裝了十次插件、找了十次測試文件第十一次還是從頭摸索。MCSE構(gòu)建了三級記憶層級L1軌跡記憶每一步的狀態(tài)、動作、觀察、自我反思、價值不存原始觀察只存歸一化證據(jù)是最底層的“證據(jù)卡片”所有高層抽象都必須能追溯到L1。L2策略記憶從跨回合軌跡中歸納出的可復用“套路”——觸發(fā)條件、步驟、驗證規(guī)則、適用邊界。L3環(huán)境認知抽象出“這個環(huán)境長什么樣”——如目錄結(jié)構(gòu)、包管理器類型、系統(tǒng)約束等聲明式知識。關鍵設計是技能結(jié)晶的門控機制一個L2策略要“晉升”成技能卡需過兩道關——一是確實有正收益用了它成功率更高二是近期表現(xiàn)穩(wěn)定不是偶爾蒙對。過關后結(jié)晶成一張“技能卡”帶有觸發(fā)條件、執(zhí)行過程、驗證規(guī)則、適用邊界、證據(jù)出處、決策指引含反模式、可靠性評分。技能還有生命周期管理試用→活躍→歸檔用砸了就降級。MCSE另一個巧妙設計是“反思加權(quán)價值回填”Agent每一步都寫一句自我反思然后用LLM給反思的靠譜程度打分——反思越實在、越跟結(jié)果因果相關權(quán)重越高。最后用這個權(quán)重把終端成功/失敗的反饋“倒推”分攤到每一步得到每一步的精細價值。實驗中MCSE在EvoAgentBench五個領域Pass1均第一且展現(xiàn)出跨域遷移能力和終身進化特征。5. AgentBrew強師出高徒的知識釀造非訓練類AgentBrew來自香港大學解決了一個非常實際的部署場景訓練期能用強模型Teacher但生產(chǎn)環(huán)境只能跑弱模型Student且不能更新弱模型參數(shù)。環(huán)境只給二元反饋通過/失敗沒有專家示范軌跡。AgentBrew提出了一套“釀造-服務”框架。釀造階段當弱模型執(zhí)行任務失敗時成功則不需要介入強模型介入分析失敗軌跡。關鍵創(chuàng)新是“學生感知”——強模型必須站在弱模型的認知水平上去寫操作指南顆粒度校準到弱模型強模型認為“顯然”的推理步驟必須拆開寫清楚概念用弱模型熟悉的詞匯表達操作具體到弱模型可直接執(zhí)行的顆粒度。然后通過“Ralph循環(huán)”驗證將候選筆記塞回弱模型讓它在同一任務上重跑——只有確實幫助弱模型從失敗翻轉(zhuǎn)為成功這條筆記才算“釀造成功”存入外部記憶庫。服務階段弱模型推理時從凍結(jié)的記憶庫中檢索Top-K筆記拼入prompt全程不需要強模型參與也不需要更新參數(shù)。實驗顯示弱模型加釀造后只跑一次就追平甚至超過Reflexion的多次反思在Terminal-Bench真實任務上弱模型加釀造能以三分之二的API成本取得比強模型更高的通過率——知識的“可執(zhí)行性”比“深度”更重要。三、LLM Agent自進化方法總結(jié)綜合以上五篇代表性工作可以提煉出Agent自進化方法的幾個核心共識第一從“黑盒優(yōu)化”到“白盒學習”。所有方法的總體思路都是不只看結(jié)果黑盒優(yōu)化而是從推理決策過程軌跡和人類反饋中在低信噪比的情況下用各種方法抽取出顯性信噪。SEED通過on-policy事后總結(jié)、LLM-as-a-Coach通過教練經(jīng)驗知識、RHI通過遞歸歷史對比、MCSE通過反思加權(quán)價值回填、AgentBrew通過結(jié)構(gòu)化筆記都在打開這個黑盒。即便環(huán)境反饋本身稀疏且嘌雜通過對過程軌跡的精細分析和人類反饋的校準仍可以提煉出高質(zhì)量的監(jiān)督信號。第二兩種固化路徑并行發(fā)展。這些顯性信噪要么進行模型參數(shù)后訓練要么進行harness上下文要么沉淀為記憶與技能。訓練路徑SEED、LLM-as-a-Coach將經(jīng)驗內(nèi)化到模型參數(shù)中推理時無需外部依賴非訓練路徑RHI、MCSE、AgentBrew將經(jīng)驗外掛到Harness上下文、結(jié)構(gòu)化記憶或技能中靈活輕量。兩條路徑并非對立而是互補外掛經(jīng)驗的持續(xù)積累為參數(shù)固化提供了高質(zhì)量訓練數(shù)據(jù)參數(shù)能力的提升又讓Agent更高效地利用外掛知識。第三On-Policy與Off-Policy各有側(cè)重。On-Policy方法如SEED強調(diào)的“自己當下跑出來的經(jīng)驗”重視本次執(zhí)行與自身經(jīng)驗確保學習信號與當前策略分布一致。Off-Policy方法如AgentBrew的跨任務記憶庫、MCSE的跨回合策略歸納重視歷史與別人經(jīng)驗的遷移讓Agent站在更宏大的經(jīng)驗基礎上。實踐中兩者結(jié)合——既有即時反思又有歷史積淀——往往效果最好。第四從“記憶”到“技能”的范式升級。記憶不應只是被動檢索的“日記本”而應被組織成可執(zhí)行、可驗證、可進化的“技能”。這一思路貫穿了幾乎所有方法SEED的“事后技能”、RHI的“優(yōu)化后的Harness”、AgentBrew的“結(jié)構(gòu)化筆記”——本質(zhì)上都是將原始經(jīng)驗轉(zhuǎn)化為可復用知識單元。四、展望Agent自進化與領域數(shù)字孿生縱觀當前的技術(shù)格局LLM與Agent在產(chǎn)業(yè)垂直領域真正釋放產(chǎn)能目前看來有兩條最為關鍵的技術(shù)方向兩者互為支撐、缺一不可第一個方向是Agent自進化。它解決的是“模型如何越用越好”的問題。通過從執(zhí)行軌跡、歷史記憶和人類反饋中持續(xù)萃取高質(zhì)量信號讓Agent的能力隨使用而增長形成正向飛輪。它讓產(chǎn)業(yè)應用不再依賴“等待下一個更強的基礎模型發(fā)布”而是讓現(xiàn)有模型在實戰(zhàn)中自我成長。第二個方向是領域數(shù)字孿生許多人稱之為“本體”。它解決的是“領域知識如何被模型高效理解和利用”的問題。產(chǎn)業(yè)垂直領域積累了海量結(jié)構(gòu)化與非結(jié)構(gòu)化知識但這些知識的組織形式通常面向人類閱讀而非面向模型推理。將其以LLM-friendly的方式重構(gòu)為語義結(jié)構(gòu)如知識圖譜、本體模型可以大幅提升Agent在領域內(nèi)的理解和推理效率。如果說Agent自進化解決的是“學習能力”那么領域數(shù)字孿生解決的就是“學習素材”。相信這兩大方向的深度結(jié)合將大幅度推進LLM與Agent在金融、醫(yī)療、法律、制造等產(chǎn)業(yè)垂直領域的產(chǎn)能釋放。當模型既擁有結(jié)構(gòu)化的領域知識底座又具備在實踐中不斷自我修正的能力“AI賦能產(chǎn)業(yè)”才能真正從概念走向現(xiàn)實。