1. 從“失敗”中學(xué)習(xí)推理時自我改進的核心理念最近在折騰各種AI智能體Agent特別是那些能操作電腦、完成實際任務(wù)的“計算機使用智能體”Computer-Use Agents我發(fā)現(xiàn)一個挺有意思的現(xiàn)象很多智能體在第一次執(zhí)行任務(wù)時表現(xiàn)往往不盡如人意。比如你讓它“打開瀏覽器搜索最近的咖啡店并把地址復(fù)制到記事本里”它可能會卡在某個步驟——也許是沒找到正確的搜索框也許是復(fù)制粘貼操作錯了地方。傳統(tǒng)的做法是我們作為開發(fā)者會去分析日志修改提示詞Prompt或者調(diào)整智能體的決策邏輯然后重新訓(xùn)練模型再部署一個新版本。這個過程周期長成本高而且智能體在部署后遇到新問題依然會“犯傻”。“Learning from Failure: Inference-Time Self-Improvement” 這個概念直譯過來是“從失敗中學(xué)習(xí)推理時的自我改進”它瞄準(zhǔn)的正是這個痛點。它不主張在訓(xùn)練階段就把所有情況都教給模型而是讓智能體在實際運行推理過程中一旦發(fā)現(xiàn)自己“搞砸了”就能立刻分析原因并當(dāng)場調(diào)整自己的行為策略嘗試用更好的方法再試一次。這就像一個有經(jīng)驗的程序員在代碼運行報錯時不是立刻去問別人而是自己看錯誤日志、調(diào)試、修改然后重新運行直到成功。這個能力對于追求真正自主和實用的AI智能體來說至關(guān)重要。為什么要在“推理時”自我改進因為真實世界是開放、動態(tài)且充滿不確定性的。訓(xùn)練數(shù)據(jù)再豐富也無法覆蓋所有可能的軟件界面、網(wǎng)絡(luò)狀態(tài)、用戶意圖的細微差別。一個只能在訓(xùn)練集上表現(xiàn)完美的智能體一旦投入實際使用面對千變?nèi)f化的環(huán)境其脆弱性就會暴露無遺。推理時自我改進相當(dāng)于給智能體裝上了“實時糾錯”和“經(jīng)驗學(xué)習(xí)”的機制讓它能適應(yīng)非訓(xùn)練時見過的場景從而大幅提升其魯棒性和任務(wù)成功率。這不僅僅是讓智能體“更聰明”更是讓它變得更“皮實”和“可靠”。2. 計算機使用智能體的獨特挑戰(zhàn)與失敗模式要理解“從失敗中學(xué)習(xí)”的價值我們得先看看計算機使用智能體通常會在哪些地方“翻車”。這類智能體的核心任務(wù)是理解自然語言指令并將其轉(zhuǎn)化為一系列對圖形用戶界面GUI或操作系統(tǒng)的精確操作比如點擊、輸入、滾動、切換窗口等。它的工作流可以簡化為觀察屏幕或DOM結(jié)構(gòu)- 理解任務(wù) - 規(guī)劃步驟 - 執(zhí)行動作 - 觀察結(jié)果 - 循環(huán)直至任務(wù)完成。在這個過程中失敗是家常便飯。我根據(jù)實際開發(fā)和測試經(jīng)驗把這些失敗模式大致歸為以下幾類2.1 感知與理解錯誤這是最基礎(chǔ)的錯誤。智能體“看”錯了屏幕。元素定位失敗這是最常見的問題。智能體基于當(dāng)前的屏幕截圖或可訪問性樹Accessibility Tree尋找一個按鈕比如“搜索”按鈕。但由于界面主題變化、窗口縮放、動態(tài)加載的元素如“加載更多”按鈕出現(xiàn)前后、或是使用了非標(biāo)準(zhǔn)的UI組件庫智能體用來識別元素的特征如文本內(nèi)容、控件類型、相對位置失效了導(dǎo)致它要么找不到目標(biāo)要么錯誤地點擊了另一個相似的元素。狀態(tài)誤判智能體無法準(zhǔn)確判斷某個交互元素當(dāng)前的狀態(tài)。例如一個復(fù)選框到底是勾選了還是沒勾選一個下拉菜單是展開的還是收起的一個按鈕是可點擊的還是灰顯的如果判斷錯誤后續(xù)的操作序列就會完全亂套。任務(wù)意圖理解偏差用戶說“整理一下桌面”智能體可能理解為刪除所有文件而用戶的真實意圖可能是將文件按類型歸類到文件夾。這種高級語義理解的偏差會導(dǎo)致整個任務(wù)方向錯誤。2.2 規(guī)劃與執(zhí)行錯誤即使“看”對了也可能“做”錯。操作序列規(guī)劃不合理任務(wù)需要多個步驟智能體規(guī)劃的順序有問題。比如它可能試圖在未登錄的情況下就去訪問需要權(quán)限的頁面或者在保存文件之前就關(guān)閉了編輯窗口。這種規(guī)劃錯誤源于對任務(wù)流程的常識或領(lǐng)域知識缺失。動作執(zhí)行不精確找到了正確的按鈕但點擊的坐標(biāo)有細微偏差可能點到了按鈕邊緣導(dǎo)致沒反應(yīng)或者更糟點開了旁邊的菜單。對于拖拽操作起始點和結(jié)束點的判斷失誤更是常見。缺乏等待與容錯智能體執(zhí)行了一個操作如點擊“提交”但網(wǎng)絡(luò)延遲或應(yīng)用程序處理需要時間界面不會立刻更新。如果智能體沒有“等待”的機制或者等待時間設(shè)置不當(dāng)它會在新界面加載完成前就進行下一步操作從而導(dǎo)致失敗。它也需要處理彈窗、錯誤提示等意外中斷。2.3 環(huán)境與上下文錯誤環(huán)境的變化超出了智能體的瞬時感知范圍。多窗口與焦點管理任務(wù)可能涉及多個應(yīng)用程序窗口。智能體可能在一個窗口中完成了部分操作但需要切換到另一個窗口時錯誤地激活了第三個無關(guān)窗口或者根本沒有執(zhí)行切換操作。外部依賴變化智能體操作依賴于某個網(wǎng)站或服務(wù)的特定布局。一旦該網(wǎng)站前端更新UI元素ID或結(jié)構(gòu)發(fā)生變化智能體原有的定位策略立即失效。資源競爭與狀態(tài)沖突例如智能體試圖寫入一個已被其他進程鎖定的文件或者嘗試安裝一個需要管理員權(quán)限但當(dāng)前沒有的軟件。這些失敗模式往往是交織在一起的。一個感知錯誤可能導(dǎo)致規(guī)劃錯誤進而引發(fā)一連串的執(zhí)行錯誤。傳統(tǒng)的、靜態(tài)的智能體在面對這些失敗時通常就“卡住”了要么無限循環(huán)要么直接報錯退出等待人工干預(yù)。而“推理時自我改進”的目標(biāo)就是讓智能體自己具備診斷這些失敗并嘗試修復(fù)的能力。3. 實現(xiàn)推理時自我改進的關(guān)鍵技術(shù)組件讓一個智能體在運行時自我改進聽起來很科幻但其技術(shù)實現(xiàn)路徑正在變得清晰。它不是一個單一的技術(shù)而是一個由多個組件協(xié)同工作的系統(tǒng)。結(jié)合當(dāng)前開源社區(qū)如與OpenCUA-72B相關(guān)的探索和業(yè)界的前沿實踐我們可以梳理出以下幾個核心組件3.1 精細化的失敗檢測與歸因模塊這是自我改進的起點。智能體必須能明確知道自己“失敗了”并且最好能知道“大概敗在哪兒”。這比聽起來要難因為很多失敗沒有明確的錯誤信號?；谀繕?biāo)的檢查最直接的方式。智能體有一個明確的任務(wù)目標(biāo)例如“記事本中應(yīng)包含‘拿鐵咖啡’的文字”。在關(guān)鍵步驟后它可以主動檢查這個目標(biāo)狀態(tài)是否達成。如果未達成則標(biāo)記該步驟可能失敗?；陬A(yù)期與現(xiàn)實的對比智能體在執(zhí)行一個動作前會對動作的結(jié)果有一個預(yù)期例如“點擊‘搜索’按鈕后應(yīng)出現(xiàn)一個搜索輸入框”。動作執(zhí)行后它通過再次觀察屏幕對比現(xiàn)實狀態(tài)與預(yù)期狀態(tài)是否匹配。如果不匹配則說明該動作可能未產(chǎn)生預(yù)期效果?；诃h(huán)境反饋的推斷操作系統(tǒng)或應(yīng)用程序有時會提供明確的反饋如錯誤彈窗、狀態(tài)欄提示音、或控制臺輸出錯誤日志。智能體需要集成對這些反饋信號的監(jiān)聽和解析能力。超時與無進展檢測如果智能體在一段時間內(nèi)反復(fù)執(zhí)行相似操作而屏幕狀態(tài)沒有發(fā)生任何有意義的變化則可以推斷它可能陷入了死循環(huán)或無效操作這也是一種失敗信號。歸因則更近一步它需要將失敗信號與具體的決策環(huán)節(jié)關(guān)聯(lián)起來。是元素定位錯了還是動作執(zhí)行無效或者是整個任務(wù)規(guī)劃的前提就不對這通常需要結(jié)合動作歷史、觀察歷史和內(nèi)部決策日志來進行分析。3.2 動態(tài)提示工程與策略記憶庫這是自我改進的核心執(zhí)行機制。當(dāng)檢測到失敗并初步歸因后智能體不能簡單地重試而需要調(diào)整策略。動態(tài)提示詞Prompt改寫大型語言模型LLM是許多現(xiàn)代智能體的“大腦”。它的行為很大程度上由我們給的系統(tǒng)提示詞System Prompt和上下文Context決定。在失敗時智能體可以動態(tài)地修改或增補這些提示詞。例如如果是因為元素定位模糊導(dǎo)致點擊錯誤可以在后續(xù)的提示中增加“特別注意目標(biāo)按鈕的文本可能包含‘Search’而不是‘Find’且其顏色是藍色的?！比绻且驗槿狈Φ却梢栽黾印霸趫?zhí)行任何點擊操作后等待至少2秒直到界面元素穩(wěn)定再觀察?！边@相當(dāng)于讓智能體在運行時給自己“打補丁”注入針對當(dāng)前失敗場景的特定指引。策略記憶與檢索智能體可以將每次成功和失敗的經(jīng)驗以結(jié)構(gòu)化的方式如任務(wù)描述 初始狀態(tài) 采取的動作序列 結(jié)果狀態(tài) 成功/失敗原因存儲到一個記憶庫中。當(dāng)遇到類似的新任務(wù)或相同的失敗信號時它可以快速從這個記憶庫中檢索出歷史上有效的解決方案或需要避開的坑并將其作為上下文信息提供給LLM從而影響本次的決策。這就是“吃一塹長一智”的數(shù)字化體現(xiàn)。3.3 基于強化學(xué)習(xí)的動作策略微調(diào)對于更底層的、重復(fù)性的操作問題動態(tài)提示可能不夠高效。這時可以引入輕量級的強化學(xué)習(xí)RL機制在推理時對動作策略進行在線微調(diào)。狀態(tài)-動作價值函數(shù)在線更新智能體的每個動作如在某個坐標(biāo)點擊都可以被評估。如果一系列動作后任務(wù)成功了這些動作會獲得正向獎勵如果失敗了則獲得負向獎勵。智能體可以在運行時用一個非常小的、專門負責(zé)動作選擇的模型或價值函數(shù)來快速更新這些“狀態(tài)-動作對”的價值估計。下次再遇到相似界面狀態(tài)時它會更傾向于選擇歷史上帶來高價值的動作如更精確的點擊位置而避免低價值動作。探索-利用策略調(diào)整在未知環(huán)境中智能體需要一定的隨機探索來發(fā)現(xiàn)新解法。但在經(jīng)歷失敗后它可以動態(tài)降低探索率更多地利用已知的有效策略或者轉(zhuǎn)向針對失敗點進行有目的的探索例如只在之前點擊失敗的按鈕周圍小范圍嘗試其他坐標(biāo)。3.4 分層級的反思與重規(guī)劃機制對于復(fù)雜的、多步驟的任務(wù)失敗可能需要更高層級的調(diào)整。子目標(biāo)反思與回溯當(dāng)任務(wù)在某個子目標(biāo)上卡住時智能體可以反思這個子目標(biāo)是否必須是否有替代路徑例如任務(wù)要求“從網(wǎng)站A下載報告然后用郵件發(fā)送”。如果網(wǎng)站A暫時無法訪問智能體可以反思并決定“子目標(biāo)‘從網(wǎng)站A下載報告’當(dāng)前不可行啟用備用方案從本地備份文件夾B中尋找最新的報告文件?！?然后它回溯任務(wù)規(guī)劃替換掉失敗的子目標(biāo)生成一個新的可行計劃。工具使用策略調(diào)整智能體可用的操作工具可能不止一套。比如要獲取一個文本框的內(nèi)容既可以通過模擬鼠標(biāo)選擇后復(fù)制也可以通過讀取應(yīng)用程序的可訪問性接口。如果一種方法持續(xù)失敗智能體可以反思并切換到另一種工具或方法。這些技術(shù)組件并非孤立而是需要被集成在一個統(tǒng)一的智能體架構(gòu)中。一個典型的推理時自我改進循環(huán)可能是這樣的執(zhí)行與監(jiān)控智能體按初始計劃執(zhí)行動作同時運行失敗檢測模塊。失敗識別檢測模塊觸發(fā)確認當(dāng)前步驟失敗。分析與歸因結(jié)合歷史記錄分析失敗可能的原因如元素X未找到點擊后無響應(yīng)。策略調(diào)整查詢策略記憶庫看是否有類似問題的解決方案。動態(tài)修改提示詞加入更精確的元素描述或操作提醒。輕微調(diào)整動作策略如點擊坐標(biāo)。重試或重規(guī)劃如果失敗點在當(dāng)前步驟用調(diào)整后的策略重試該步驟。如果失敗點涉及更高層規(guī)劃則啟動重規(guī)劃生成新的步驟序列。經(jīng)驗固化無論最終成功與否將這次“失敗-分析-調(diào)整”的完整經(jīng)歷存儲到記憶庫中供未來參考。4. 實戰(zhàn)構(gòu)建一個簡單的推理時自我改進智能體原型理論說了這么多我們來動手設(shè)計一個極簡化的原型看看核心思想如何落地。假設(shè)我們要構(gòu)建一個能操作特定Web應(yīng)用的智能體并為其添加基礎(chǔ)的推理時自我改進能力。我們將使用基于LLM的架構(gòu)。4.1 基礎(chǔ)架構(gòu)搭建首先我們需要一個基礎(chǔ)的工作流觀察Observation使用工具如Selenium、Playwright獲取當(dāng)前網(wǎng)頁的DOM結(jié)構(gòu)或可訪問性樹并將其簡化為LLM可理解的文本描述。例如“頁面頂部有一個導(dǎo)航欄包含‘Home’ ‘Products’ ‘Contact’鏈接。主體部分有一個標(biāo)題為‘Login’的文本框其下方有一個‘Submit’按鈕?！彼伎寂c規(guī)劃Think Plan將用戶指令“請登錄系統(tǒng)”和當(dāng)前觀察到的狀態(tài)一起發(fā)送給LLM例如通過API調(diào)用OpenCUA-72B或類似開源模型。LLM的輸出需要被約束為一種特定的結(jié)構(gòu)化格式比如JSON{ thought: 用戶要求登錄。我看到了登錄框和提交按鈕。我需要先在登錄框中輸入用戶名然后可能需要找到密碼框輸入密碼最后點擊提交。, action: { type: click, selector: #username, // 假設(shè)的CSS選擇器 confidence: 0.9 } }執(zhí)行Act智能體解析LLM返回的JSON根據(jù)action字段執(zhí)行相應(yīng)的自動化操作如用playwright.locator(#username).click()。循環(huán)執(zhí)行后再次觀察新狀態(tài)重復(fù)步驟1-3直到LLM輸出一個標(biāo)記任務(wù)完成的特殊動作如{action: {type: finish}}。4.2 注入失敗檢測與改進循環(huán)現(xiàn)在我們在基礎(chǔ)循環(huán)中插入自我改進的鉤子。第一步增強觀察與狀態(tài)對比在執(zhí)行動作前我們不僅記錄屏幕的“描述”還可以記錄關(guān)鍵元素的“快照”。執(zhí)行動作后我們再次觀察。# 偽代碼示例 def execute_action_with_self_improvement(agent_state, llm_client): previous_observation agent_state[current_observation] planned_action agent_state[planned_action] # 來自LLM的規(guī)劃 # 執(zhí)行前記錄我們期望的變化基于LLM的‘thought’或簡單規(guī)則 expected_change fAfter {planned_action}, the element {planned_action[selector]} should be focused/clicked, and maybe a new input field appears. # 執(zhí)行動作 actual_success automation_tool.execute(planned_action) # 獲取執(zhí)行后的新觀察 new_observation get_observation() # 簡單的失敗檢測邏輯 failure_detected False failure_reason # 檢測1動作本身是否執(zhí)行成功如元素不存在無法點擊 if not actual_success: failure_detected True failure_reason fAction execution failed. Selector {planned_action[selector]} might be invalid or element not interactable. # 檢測2關(guān)鍵預(yù)期是否達成這里用簡單字符串匹配模擬 elif password in expected_change.lower() and password not in new_observation.lower(): failure_detected True failure_reason fExpected a password field to appear after action, but not found in new observation. # 檢測3狀態(tài)是否長時間無變化對比前后觀察的哈希值 elif compute_similarity(previous_observation, new_observation) 0.95: failure_detected True failure_reason fScreen state did not change significantly after action, might be stuck. if failure_detected: # 進入改進流程 improved_plan self_improve(agent_state, failure_reason, llm_client) return improved_plan # 返回新的行動計劃外層循環(huán)用這個重試 else: # 正常更新狀態(tài)繼續(xù)下一步 agent_state[current_observation] new_observation return None # 指示繼續(xù) def self_improve(agent_state, failure_reason, llm_client): # 構(gòu)建改進提示詞 improvement_prompt f 你是一個計算機操作智能體。你剛剛嘗試執(zhí)行一個動作但失敗了。 失敗原因{failure_reason} 當(dāng)前屏幕狀態(tài)描述{agent_state[current_observation]} 你的原始任務(wù)目標(biāo)是{agent_state[original_goal]} 你剛剛計劃執(zhí)行的動作是{agent_state[planned_action]} 請分析失敗原因并給出一個修正后的下一步行動計劃。你的輸出必須是JSON格式 {{ analysis: 簡短分析為什么失敗以及如何調(diào)整, new_action: {{ type: click|type|..., selector: 新的或修正后的選擇器, value: 如果需要輸入的話, confidence: 0.8 }} }} response llm_client.complete(improvement_prompt) # 解析response中的JSON返回new_action部分 return parse_new_action_from_response(response)第二步維護一個簡易的策略記憶庫我們可以用一個內(nèi)存中的列表或小數(shù)據(jù)庫來存儲經(jīng)驗。experience_db [] def record_experience(goal, initial_state, action, result_state, success, failure_reasonNone): experience { goal: goal, initial_state_hash: hash(initial_state), # 簡化處理 action: action, result_state_hash: hash(result_state), success: success, reason: failure_reason, timestamp: time.time() } experience_db.append(experience) # 可以設(shè)置一個大小限制只保留最近N條經(jīng)驗 def retrieve_similar_experience(current_state, goal): current_hash hash(current_state) for exp in reversed(experience_db): # 從最新開始查 # 簡單的相似度匹配目標(biāo)相似且初始狀態(tài)相似 if exp[goal] goal and abs(exp[initial_state_hash] - current_hash) SIMILARITY_THRESHOLD: return exp return None在self_improve函數(shù)中可以先查詢記憶庫similar_exp retrieve_similar_experience(current_obs, original_goal)。如果找到并且那次經(jīng)驗是成功的可以直接采用當(dāng)時的action如果是失敗的可以在提示詞中明確加入“歷史上在類似狀態(tài)下嘗試動作X導(dǎo)致了失敗原因是Y請避免?！?.3 原型運行的注意事項與局限這個原型非常簡陋但體現(xiàn)了核心思想。在實際操作中你會遇到更多挑戰(zhàn)狀態(tài)表示與相似度計算用字符串哈希或簡單匹配來比較“狀態(tài)”過于粗糙。真實場景需要更復(fù)雜的表示方法比如提取關(guān)鍵UI元素的特征向量。LLM的穩(wěn)定性要求LLM輸出嚴格JSON格式并且在改進提示下能給出合理分析和新動作這對提示詞設(shè)計和模型能力都有要求。可能需要多輪調(diào)試和少量示例Few-shot來穩(wěn)定其行為。改進循環(huán)的終止條件必須設(shè)置一個最大重試次數(shù)或時間限制防止智能體在死循環(huán)中不斷“改進”卻無法脫身。性能開銷每次失敗都調(diào)用LLM進行分析和重新規(guī)劃會增加延遲和API成本。需要權(quán)衡改進的收益與開銷。盡管有這些局限這個原型已經(jīng)能夠處理一些簡單場景了比如第一次點擊#submitBtn失敗因為實際ID是#submit-button失敗檢測觸發(fā)LLM在改進提示下分析屏幕描述可能發(fā)現(xiàn)另一個高亮度的按鈕描述是“提交”從而輸出一個新的選擇器.primary-button智能體重試后成功。這個過程完全發(fā)生在一次任務(wù)執(zhí)行的推理過程中無需重新訓(xùn)練模型。5. 開源生態(tài)與未來展望OpenCUA-72B與超越當(dāng)我們討論“推理時自我改進”這類前沿概念時開源社區(qū)和大型基礎(chǔ)模型的進展是不可忽視的推動力。像“OpenCUA-72B”這樣的模型從其命名推測可能是一個擁有720億參數(shù)的開源通用智能體模型如果屬實將為此提供強大的“大腦”基礎(chǔ)。更大的參數(shù)規(guī)模通常意味著更強的上下文理解、任務(wù)規(guī)劃和指令跟隨能力這對于在運行時進行復(fù)雜的失敗分析和策略調(diào)整至關(guān)重要。開源生態(tài)的價值在于提供了可復(fù)現(xiàn)、可修改、可研究的基線。開發(fā)者可以基于這樣的開源大模型構(gòu)建我們上面討論的改進框架而不必從零開始訓(xùn)練一個昂貴的專用模型。社區(qū)可以共同貢獻各種“失敗-改進”的經(jīng)驗?zāi)Ｊ健⑻崾驹~模板和記憶庫結(jié)構(gòu)加速這類智能體的實用化進程。展望未來我認為推理時自我改進技術(shù)會朝著以下幾個方向發(fā)展更輕量、更快速的改進機制目前嚴重依賴LLM進行反思延遲高。未來可能會出現(xiàn)專用的、參數(shù)更小的“反思模型”或“策略校正器”專門負責(zé)快速診斷和微調(diào)與主規(guī)劃模型協(xié)同工作?？缛蝿?wù)、跨應(yīng)用的通用經(jīng)驗遷移一個智能體在操作瀏覽器時學(xué)會的“等待頁面加載”策略能否被抽象成通用規(guī)則應(yīng)用于操作桌面軟件如何構(gòu)建一個通用的“計算機操作常識”記憶庫讓智能體在新應(yīng)用上也能快速上手與模仿學(xué)習(xí)、強化學(xué)習(xí)的深度融合將推理時的改進經(jīng)驗以一種安全、高效的方式反哺到智能體底層模型的微調(diào)中實現(xiàn)從“在線學(xué)習(xí)”到“持續(xù)學(xué)習(xí)”的跨越讓智能體越用越聰明。安全與可控性的挑戰(zhàn)自我改進是一把雙刃劍。智能體可能會“學(xué)習(xí)”到一些意想不到的、甚至有害的規(guī)避策略。如何為它的改進過程設(shè)置安全護欄Safety Guardrails確保其行為始終符合設(shè)計者的意圖和倫理規(guī)范將是一個至關(guān)重要的課題。說到底構(gòu)建一個能從失敗中學(xué)習(xí)的計算機使用智能體就像教一個孩子學(xué)用電腦。你不可能預(yù)先教會他所有軟件的所有操作。但你可以教會他一些基本原則看屏幕反饋、嘗試不同的方法、記住什么管用、什么不管用。推理時自我改進就是在給AI智能體注入這種“基本原則”。這條路還很長但每一次讓智能體自己成功解決一個之前會失敗的任務(wù)都讓我們離真正智能、自主的數(shù)字助手更近了一步。在實際開發(fā)中從小處著手從一個具體的失敗場景開始構(gòu)建你的改進循環(huán)你會對這個問題有更深刻、更實際的理解。