化實現(xiàn)智能體長程連貫決策)
1. 從“一次性指令”到“連續(xù)劇式”推理為什么我們需要ODYSSE如果你嘗試過讓大語言模型LLM幫你規(guī)劃一次旅行、寫一份周報或者解決一個復(fù)雜的編程問題你大概率經(jīng)歷過這樣的挫敗你給了它一個目標它洋洋灑灑地輸出了一大段計劃但當你要求它執(zhí)行第一步時它可能就“忘了”第二步或者給出的后續(xù)步驟與最初的宏偉藍圖完全脫節(jié)。這就是當前大多數(shù)“智能體”Agent框架的核心痛點——它們擅長在單次交互中生成一個看似合理的計劃卻缺乏在多輪、動態(tài)、個性化的任務(wù)執(zhí)行中進行連貫、自適應(yīng)決策的能力。換句話說現(xiàn)有的智能體更像是一個才華橫溢但缺乏耐心的“戰(zhàn)略顧問”給你畫了一張地圖后就撒手不管了。而真正的“智能助手”應(yīng)該是一個能陪你走完全程的“向?qū)А蹦芨鶕?jù)路況環(huán)境反饋、你的體力用戶狀態(tài)隨時調(diào)整路線并且記住你之前說過“討厭爬山”的偏好。這就是“ODYSSE: Episode-wise Policy Optimization for Personalized Agentic Reasoning”這個工作試圖解決的根本問題。它不再把智能體的訓(xùn)練看作是對無數(shù)獨立指令的應(yīng)答優(yōu)化而是將其視為對完整任務(wù)片段Episode的序列決策優(yōu)化。這里的“Episode”可以理解為一整部“連續(xù)劇”比如完成一次從需求分析到代碼部署的完整開發(fā)任務(wù)或者協(xié)助用戶完成一次包含信息搜集、比價、決策的購物流程。ODYSSE的核心思想是智能體的“策略”Policy——即它如何根據(jù)當前狀態(tài)選擇下一步行動——應(yīng)該在完整的任務(wù)片段上進行評估和優(yōu)化而不僅僅看它單步回答的對錯。最近社區(qū)熱議的GRPOGroup Relative Policy Optimization正是推動這類研究的關(guān)鍵算法之一。它通過相對偏好比較來優(yōu)化策略避免了傳統(tǒng)RLHF基于人類反饋的強化學(xué)習(xí)中獎勵模型難以設(shè)計和泛化的難題。然而標準的GRPO等算法在應(yīng)用于智能體時往往還是以單輪對話或單步?jīng)Q策為優(yōu)化單元缺乏對長程任務(wù)連貫性的考量。ODYSSE正是在此基礎(chǔ)上的重要演進它提出了“按片段優(yōu)化”的框架讓智能體學(xué)會的不是如何漂亮地回答一個問題而是如何漂亮地演完一整出戲。2. 拆解“片段式優(yōu)化”O(jiān)DYSSE的核心機制與GRPO的演進要理解ODYSSE我們得先看看它要改進的基線——GRPO以及為什么單純的GRPO在智能體場景下會“力不從心”。2.1 GRPO的快速回顧與它在智能體中的局限GRPO的核心創(chuàng)新點在于“去獎勵模型化”。傳統(tǒng)的RLHF流程是收集人類對模型輸出的偏好數(shù)據(jù) - 訓(xùn)練一個復(fù)雜的獎勵模型RM來打分 - 用強化學(xué)習(xí)如PPO根據(jù)這個RM的分數(shù)來優(yōu)化模型策略。這個過程復(fù)雜且不穩(wěn)定獎勵模型本身的偏差會直接傳導(dǎo)給策略模型。GRPO跳過了訓(xùn)練RM這一步。它直接使用一組通常是4-8個針對同一提示詞Prompt生成的不同回應(yīng)通過人類或AI反饋進行兩兩比較形成一個偏好排名。然后它通過一個基于排名的損失函數(shù)來直接優(yōu)化策略模型使其生成的回應(yīng)更傾向于被偏好的一方。其損失函數(shù)通常包含兩部分策略梯度部分鼓勵模型生成高偏好回應(yīng)的token抑制低偏好回應(yīng)的token。KL散度約束部分防止優(yōu)化后的策略模型偏離原始預(yù)訓(xùn)練模型SFT模型太遠避免模型“胡說八道”或遺忘原有知識。那么GRPO用在智能體上有什么問題呢假設(shè)我們的任務(wù)是“幫我訂一張下周一北京飛上海的最便宜機票”。一個智能體可能需要執(zhí)行以下步驟1) 詢問具體時間偏好2) 搜索航班信息3) 比價并篩選4) 確認用戶身份和支付信息。如果我們用標準的GRPO來訓(xùn)練我們可能會這樣構(gòu)造數(shù)據(jù)Prompt: “當前狀態(tài)用戶想訂機票。歷史對話無。請執(zhí)行下一步?！鄙啥鄠€回應(yīng)比如回應(yīng)A是“請問您對起飛時間有具體要求嗎”回應(yīng)B是“直接為您搜索所有航班”。人工標注偏好我們可能認為A更好因為它更符合服務(wù)邏輯先澄清需求。這樣訓(xùn)練出來的智能體在單步?jīng)Q策上可能表現(xiàn)不錯。但問題在于短視決策智能體只優(yōu)化了當前這一步的“好評率”但沒有考慮這一步對后續(xù)任務(wù)完成的長期影響。比如它可能學(xué)會了每次都先問一個無關(guān)緊要的細節(jié)來顯得“謹慎”但這會拖慢整個任務(wù)流程讓用戶煩躁。連貫性缺失每一步的優(yōu)化是獨立的模型沒有顯式地學(xué)習(xí)到“問清楚時間”是為了“更精準地搜索”這一邏輯鏈條。它可能在這一步問了時間下一步卻忘了用這個信息。個性化難以捕捉如果用戶在第三步說“我要靠窗的座位”這個信息如何影響第四步的決策單步優(yōu)化很難讓模型建立這種長程的、個性化的狀態(tài)依賴。2.2 ODYSSE的“片段式”策略優(yōu)化框架ODYSSE的“Episode-wise”直擊上述痛點。它將一個完整的用戶任務(wù)定義為一個“片段”Episode這個片段由一系列的狀態(tài)State、智能體的動作Action和環(huán)境的反饋Reward/Observation組成。其核心訓(xùn)練機制可以概括為以下幾步1. 片段收集與評估不再收集單輪的Prompt, Response偏好對而是收集完整的任務(wù)片段。例如記錄智能體從接收任務(wù)“訂機票”開始到最終成功輸出訂單號或失敗結(jié)束的整個多輪對話軌跡。對于這個完整的軌跡標注者或一個評判模型會給出一個整體的偏好評分或排序。這個評分綜合考慮了任務(wù)是否成功完成、效率如何輪次多少、用戶體驗是否流暢、是否遵循了用戶的個性化要求如預(yù)算、偏好。2. 基于片段的策略梯度ODYSSE的優(yōu)化目標是最大化智能體策略在整個片段上獲得高整體評價的期望。在技術(shù)上這通常需要用到強化學(xué)習(xí)中的時序差分方法。模型在片段中的每一步?jīng)Q策其“價值”不再由當前回應(yīng)的即時偏好決定而是由當前決策所導(dǎo)致的后續(xù)整個片段所能獲得的累計回報來評估。這就好比教練評價一個籃球運動員不是看他某一次傳球是否漂亮單步GRPO而是看他這次傳球是否最終幫助球隊在這次進攻回合Episode中得分片段式優(yōu)化。一次冒險的長傳可能本身失誤率高單步看是“壞動作”但如果能直接創(chuàng)造得分機會在片段評估下它就是“好動作”。3. 個性化狀態(tài)的嵌入與利用“Personalized Agentic Reasoning”是標題的另一半重點。ODYSSE框架天然適合融入個性化。在片段的每個狀態(tài)State中除了當前的對話歷史和任務(wù)上下文還可以顯式地嵌入一個用戶畫像向量。這個向量可以來自用戶的歷史交互記錄例如該用戶通常選擇經(jīng)濟艙、討厭紅眼航班、喜歡靠窗座位并在整個片段中持續(xù)存在并更新。 策略模型在決定每一步動作時都會參考這個動態(tài)更新的用戶畫像。優(yōu)化過程會鼓勵那些不僅完成任務(wù)而且動作序列與用戶畫像高度契合的策略。例如對于已知“價格敏感”的用戶智能體在比價和推薦環(huán)節(jié)會表現(xiàn)出更細致和積極的行為而這些行為在片段整體評估中會得到獎勵。一個技術(shù)上的簡化類比我們可以把ODYSSE看作是將GRPO的優(yōu)化單元從一個“句子”擴展到了一個“段落”或“篇章”。GRPO的損失函數(shù)計算是基于單個輸出序列的token級概率而ODYSSE的損失函數(shù)則需要基于一個輸出序列的序列即多個動作組成的軌跡來進行計算和反向傳播這通常需要更精巧的軌跡采樣和信用分配Credit Assignment技術(shù)。3. 實現(xiàn)ODYSSE風格訓(xùn)練的關(guān)鍵實踐與挑戰(zhàn)理解了原理我們來看看如果要實踐這種“片段式”優(yōu)化在工程和算法上需要面對什么。這里結(jié)合最新的技術(shù)討論熱點比如“verl如何配置微調(diào)grpo”來展開說明。3.1 數(shù)據(jù)管道構(gòu)建從單輪對話到任務(wù)片段這是最大的挑戰(zhàn)之一?，F(xiàn)有的高質(zhì)量開源數(shù)據(jù)如ShareGPT、OpenAssistant等大多是單輪或短輪對話。構(gòu)建片段數(shù)據(jù)有兩種主要路徑路徑一模擬環(huán)境與合成數(shù)據(jù)這是目前最可行的方案。你需要為你的目標領(lǐng)域如旅行規(guī)劃、代碼調(diào)試構(gòu)建一個模擬器Simulator。環(huán)境模擬例如一個簡單的機票預(yù)訂模擬器可以模擬航班數(shù)據(jù)庫、查詢接口、座位選擇、支付網(wǎng)關(guān)等。它接收智能體的動作如“查詢2024-05-20北京到上海的航班”并返回一個結(jié)構(gòu)化的觀察結(jié)果如航班列表JSON。用戶模擬你需要一個“模擬用戶”來與智能體交互。這個模擬用戶可以有預(yù)設(shè)的個性化屬性預(yù)算、時間偏好和行為腳本例如當智能體問“您的預(yù)算多少”時回答“1000元以內(nèi)”。更高級的可以用一個LLM來扮演用戶使其反應(yīng)更自然。軌跡生成用你的初始智能體例如一個經(jīng)過SFT的模型在模擬環(huán)境中運行大量任務(wù)每個任務(wù)從開始到結(jié)束成功或失敗記錄為一個完整的片段軌跡。路徑二從現(xiàn)有長程交互日志中挖掘如果你擁有像Claude、GPT-4等模型在復(fù)雜任務(wù)上的真實API調(diào)用日志或者某些智能體產(chǎn)品如AutoGPT、ChatDev的運行日志這些是黃金數(shù)據(jù)。你需要對這些日志進行清洗、標注判斷整個任務(wù)是否成功、用戶體驗評分并分割成獨立的任務(wù)片段。注意片段的質(zhì)量和多樣性直接決定最終模型的性能。模擬環(huán)境雖然可控但可能過于“干凈”導(dǎo)致模型無法應(yīng)對真實世界的混亂。真實日志數(shù)據(jù)噪聲大但泛化性可能更好。通常需要結(jié)合使用。3.2 訓(xùn)練框架配置以VERL為例的GRPO片段化改造假設(shè)我們使用一個類似于VERLVision-Enhanced Reinforcement Learning或?qū)ｉT為LLM優(yōu)化設(shè)計的強化學(xué)習(xí)庫如TRL、DeepSpeed-Chat來進行訓(xùn)練。我們的目標是將標準的單輪GRPO流程改造為支持片段式訓(xùn)練。關(guān)鍵配置點軌跡緩沖區(qū)Trajectory Buffer 標準GRPO每次輸入一個Prompt生成多個Response進行比較。在ODYSSE框架下我們需要一個緩沖區(qū)來存儲完整的片段軌跡。每條軌跡數(shù)據(jù)包括初始任務(wù)描述/用戶目標每一步的狀態(tài)包含對話歷史、環(huán)境觀察、用戶畫像每一步智能體采取的動作生成的響應(yīng)或API調(diào)用片段結(jié)束時的整體獎勵整體成功率、效率評分等信用分配與優(yōu)勢估計 這是核心中的核心。我們需要計算軌跡中每一步動作的優(yōu)勢Advantage即這一步動作相對于平均水平對最終整體獎勵貢獻了多少。方法通常使用GAEGeneralized Advantage Estimation來計算。這需要我們對每個狀態(tài)估計一個“價值函數(shù)V(s)”即從這個狀態(tài)出發(fā)期望能獲得的累計獎勵。V(s)可以通過一個額外的價值網(wǎng)絡(luò)來學(xué)習(xí)也可以由最終獎勵進行衰減回傳來近似對于短片段。在GRPO上下文中的整合GRPO的損失函數(shù)原本基于單步輸出的偏好概率。現(xiàn)在我們需要用每一步的優(yōu)勢估計A_t來加權(quán)這一步的偏好損失。對于軌跡中高優(yōu)勢正面貢獻的動作我們加大其偏好學(xué)習(xí)的權(quán)重對于低優(yōu)勢或負優(yōu)勢的動作我們減少其權(quán)重甚至進行懲罰。公式上可以粗略理解為損失 Σ_t (A_t * GRPO_損失_t)當然實際實現(xiàn)會更復(fù)雜。策略模型與價值網(wǎng)絡(luò)的協(xié)同訓(xùn)練 在ODYSSE中我們通常需要同時訓(xùn)練兩個模型策略模型Policy即我們要優(yōu)化的智能體LLM負責生成動作。價值網(wǎng)絡(luò)Value Network一個較小的網(wǎng)絡(luò)用于估計狀態(tài)價值V(s)輔助計算優(yōu)勢。它可以是一個獨立的小模型也可以與策略模型共享底層Transformer僅頂層輸出不同。 訓(xùn)練時兩者交替優(yōu)化價值網(wǎng)絡(luò)通過最小化價值預(yù)測誤差來學(xué)習(xí)準確估計回報策略網(wǎng)絡(luò)則利用價值網(wǎng)絡(luò)提供的優(yōu)勢估計通過上述加權(quán)的GRPO損失進行優(yōu)化。個性化狀態(tài)的表示與更新 用戶畫像如何作為狀態(tài)的一部分輸入模型一個實用的方法是初始化將用戶的歷史行為關(guān)鍵詞如“常選經(jīng)濟艙”、“討厭中轉(zhuǎn)”通過一個嵌入層Embedding編碼成固定維度的向量P_init。動態(tài)更新在片段每一步將上一步的用戶畫像向量P_{t-1}、當前的環(huán)境觀察O_t和智能體上一步的動作A_{t-1}共同輸入一個輕量的RNN或Transformer更新模塊輸出更新后的用戶畫像P_t。輸入策略模型將P_t與當前的文本對話歷史拼接或通過交叉注意力機制融合作為策略模型生成下一步動作的輸入。3.3 實操中的“坑”與應(yīng)對策略坑1訓(xùn)練不穩(wěn)定策略崩潰片段式RL訓(xùn)練比單步監(jiān)督學(xué)習(xí)不穩(wěn)定得多。策略可能突然退化開始輸出無意義的亂碼或重復(fù)動作。應(yīng)對嚴格且動態(tài)的KL懲罰。在GRPO損失中KL散度約束至關(guān)重要。你需要仔細調(diào)整約束系數(shù)β。一個技巧是使用動態(tài)β當KL散度超過目標閾值時增大β低于時減小β。這能更好地在探索新策略和保持模型基礎(chǔ)能力之間平衡。坑2模擬環(huán)境與真實世界差距大在模擬器里表現(xiàn)完美的智能體面對真實用戶時可能漏洞百出。應(yīng)對課程學(xué)習(xí)Curriculum Learning與域隨機化Domain Randomization。不要一開始就在最復(fù)雜的模擬環(huán)境中訓(xùn)練。先從簡單的、確定性的任務(wù)片段開始如“查詢天氣”再逐步增加難度和隨機性如模擬用戶突然改變需求、網(wǎng)絡(luò)接口返回錯誤。在模擬環(huán)境中引入隨機噪聲、不完整的API響應(yīng)等提升模型的魯棒性?？?計算成本高昂收集片段數(shù)據(jù)、進行多步的前向傳播和反向傳播計算量和內(nèi)存消耗遠大于單輪訓(xùn)練。應(yīng)對分布式經(jīng)驗收集與混合精度訓(xùn)練?？梢圆渴鸲鄠€模擬環(huán)境實例并行運行加速數(shù)據(jù)收集。利用如DeepSpeed ZeRO-3這樣的技術(shù)來減少大模型訓(xùn)練時的內(nèi)存占用。對于價值網(wǎng)絡(luò)可以用比策略模型小得多的架構(gòu)如MLP?？?整體獎勵稀疏且難以設(shè)計一個訂機票任務(wù)只有最終“成功訂票”才能獲得高獎勵中間步驟的獎勵為0。這會導(dǎo)致信用分配極其困難模型很難學(xué)到哪些中間動作是好的。應(yīng)對設(shè)計稠密的中間獎勵Reward Shaping。這不是作弊而是給模型提供更豐富的學(xué)習(xí)信號。例如成功獲取到航班列表可以給一個小獎勵正確篩選出符合預(yù)算的航班再給一個獎勵成功引導(dǎo)用戶到支付頁面再給一個獎勵。這些獎勵需要精心設(shè)計確保與最終目標一致避免模型學(xué)會“刷獎勵”的捷徑行為。4. 超越訂票O(jiān)DYSSE范式的應(yīng)用場景展望“個性化片段式推理優(yōu)化”這個范式其應(yīng)用絕不僅限于對話式智能體。任何需要多步?jīng)Q策、且決策質(zhì)量取決于長程連貫性和用戶上下文的任務(wù)都是它的用武之地。場景一游戲NPC與劇情生成在開放世界游戲中NPC非玩家角色不再是擁有固定對話樹的木偶。ODYSSE可以訓(xùn)練一個NPC智能體其“片段”是與玩家的一次完整互動遭遇從打招呼到告別。整體獎勵基于玩家的沉浸感、劇情推進的合理性和趣味性。NPC能記住玩家的選擇并在后續(xù)互動中體現(xiàn)出來實現(xiàn)真正的個性化劇情。場景二自動化運維與故障排查面對一個復(fù)雜的線上故障運維智能體需要執(zhí)行一系列診斷命令、查看日志、嘗試修復(fù)步驟。這是一個典型的多步?jīng)Q策片段。整體獎勵是系統(tǒng)恢復(fù)的速度和穩(wěn)定性。通過片段式優(yōu)化智能體能學(xué)習(xí)到更高效的排查路徑避免那些看似合理但實則繞遠或帶來副作用的操作序列。場景三個性化學(xué)習(xí)輔導(dǎo)一個教育智能體輔導(dǎo)學(xué)生完成一個數(shù)學(xué)專題的學(xué)習(xí)。片段是從診斷學(xué)生薄弱點開始到講解概念、給出練習(xí)題、根據(jù)答題情況調(diào)整講解策略直至學(xué)生通過測試。整體獎勵是學(xué)生的最終掌握程度和學(xué)習(xí)體驗。智能體通過片段優(yōu)化能學(xué)會如何為不同學(xué)習(xí)風格的學(xué)生個性化編排最有效的教學(xué)動作序列。場景四代碼生成與迭代開發(fā)這不是單次的“根據(jù)注釋寫函數(shù)”而是貫穿“理解需求 - 生成模塊代碼 - 運行測試 - 根據(jù)錯誤信息調(diào)試 - 重構(gòu)優(yōu)化”的完整開發(fā)周期。智能體在這個片段中的決策選擇修復(fù)哪個錯誤、如何重構(gòu)將影響最終代碼的質(zhì)量和開發(fā)效率。ODYSSE可以優(yōu)化智能體在長周期開發(fā)任務(wù)中的決策能力。5. 當前局限與未來演進方向盡管ODYSSE范式前景廣闊但它仍處于早期階段面臨諸多挑戰(zhàn)評估瓶頸對完整片段進行高質(zhì)量、可擴展的評估是最大瓶頸。依賴人工標注成本極高且慢。雖然可以使用強大的LLM如GPT-4作為評判員但其評估標準可能不穩(wěn)定、有偏差且無法覆蓋所有專業(yè)領(lǐng)域。如何構(gòu)建可靠、高效的自動化片段評估體系是推動該領(lǐng)域發(fā)展的關(guān)鍵。探索效率在巨大的決策空間所有可能的動作序列組合中如何讓智能體高效地探索到高質(zhì)量的策略純粹的在線強化學(xué)習(xí)采樣效率低下。結(jié)合離線數(shù)據(jù)、模仿學(xué)習(xí)從人類專家片段中學(xué)習(xí)、以及世界模型預(yù)測環(huán)境動態(tài)來提高探索效率是必然的方向。安全性與對齊在長程互動中智能體可能會學(xué)會一些“投機取巧”但有害的策略來獲得高獎勵。例如為了快速結(jié)束對話獲得效率獎勵它可能選擇欺騙用戶或強行關(guān)閉任務(wù)。確保片段式優(yōu)化過程中的智能體行為與人類價值觀長期對齊是一個比單輪對話更復(fù)雜的安全性問題。計算范式現(xiàn)有的Transformer架構(gòu)是為“下一詞預(yù)測”而優(yōu)化的并非天然適合做序列決策。是否需要為智能體專門設(shè)計新的模型架構(gòu)使其內(nèi)部擁有更好的工作記憶、規(guī)劃能力和狀態(tài)表示能力是一個根本性的問題。從我個人的實驗和觀察來看ODYSSE所代表的“片段式、個性化”優(yōu)化思路確實是下一代智能體進化的核心路徑。它迫使我們將AI從“靜態(tài)的知識庫”推向“動態(tài)的決策者”。實現(xiàn)它的道路充滿工程和算法上的挑戰(zhàn)但每解決一個我們就離真正實用、可靠、貼心的智能助手更近一步。目前從相對簡單的、有明確模擬環(huán)境的領(lǐng)域如游戲、特定運維場景開始積累經(jīng)驗和數(shù)據(jù)可能是最務(wù)實的切入點。在這個過程中對GRPO等基礎(chǔ)優(yōu)化算法的深刻理解以及對強化學(xué)習(xí)、序列建模等核心概念的掌握將是不可或缺的基石。 ODYSSE：基于片段式策略優(yōu)化實現(xiàn)智能體長程連貫決策
1. 從“一次性指令”到“連續(xù)劇式”推理為什么我們需要ODYSSE如果你嘗試過讓大語言模型LLM幫你規(guī)劃一次旅行、寫一份周報或者解決一個復(fù)雜的編程問題你大概率經(jīng)歷過這樣的挫敗你給了它一個目標它洋洋灑灑地輸出了一大段計劃但當你要求它執(zhí)行第一步時它可能就“忘了”第二步或者給出的后續(xù)步驟與最初的宏偉藍圖完全脫節(jié)。這就是當前大多數(shù)“智能體”Agent框架的核心痛點——它們擅長在單次交互中生成一個看似合理的計劃卻缺乏在多輪、動態(tài)、個性化的任務(wù)執(zhí)行中進行連貫、自適應(yīng)決策的能力。換句話說現(xiàn)有的智能體更像是一個才華橫溢但缺乏耐心的“戰(zhàn)略顧問”給你畫了一張地圖后就撒手不管了。而真正的“智能助手”應(yīng)該是一個能陪你走完全程的“向?qū)А蹦芨鶕?jù)路況環(huán)境反饋、你的體力用戶狀態(tài)隨時調(diào)整路線并且記住你之前說過“討厭爬山”的偏好。這就是“ODYSSE: Episode-wise Policy Optimization for Personalized Agentic Reasoning”這個工作試圖解決的根本問題。它不再把智能體的訓(xùn)練看作是對無數(shù)獨立指令的應(yīng)答優(yōu)化而是將其視為對完整任務(wù)片段Episode的序列決策優(yōu)化。這里的“Episode”可以理解為一整部“連續(xù)劇”比如完成一次從需求分析到代碼部署的完整開發(fā)任務(wù)或者協(xié)助用戶完成一次包含信息搜集、比價、決策的購物流程。ODYSSE的核心思想是智能體的“策略”Policy——即它如何根據(jù)當前狀態(tài)選擇下一步行動——應(yīng)該在完整的任務(wù)片段上進行評估和優(yōu)化而不僅僅看它單步回答的對錯。最近社區(qū)熱議的GRPOGroup Relative Policy Optimization正是推動這類研究的關(guān)鍵算法之一。它通過相對偏好比較來優(yōu)化策略避免了傳統(tǒng)RLHF基于人類反饋的強化學(xué)習(xí)中獎勵模型難以設(shè)計和泛化的難題。然而標準的GRPO等算法在應(yīng)用于智能體時往往還是以單輪對話或單步?jīng)Q策為優(yōu)化單元缺乏對長程任務(wù)連貫性的考量。ODYSSE正是在此基礎(chǔ)上的重要演進它提出了“按片段優(yōu)化”的框架讓智能體學(xué)會的不是如何漂亮地回答一個問題而是如何漂亮地演完一整出戲。2. 拆解“片段式優(yōu)化”O(jiān)DYSSE的核心機制與GRPO的演進要理解ODYSSE我們得先看看它要改進的基線——GRPO以及為什么單純的GRPO在智能體場景下會“力不從心”。2.1 GRPO的快速回顧與它在智能體中的局限GRPO的核心創(chuàng)新點在于“去獎勵模型化”。傳統(tǒng)的RLHF流程是收集人類對模型輸出的偏好數(shù)據(jù) - 訓(xùn)練一個復(fù)雜的獎勵模型RM來打分 - 用強化學(xué)習(xí)如PPO根據(jù)這個RM的分數(shù)來優(yōu)化模型策略。這個過程復(fù)雜且不穩(wěn)定獎勵模型本身的偏差會直接傳導(dǎo)給策略模型。GRPO跳過了訓(xùn)練RM這一步。它直接使用一組通常是4-8個針對同一提示詞Prompt生成的不同回應(yīng)通過人類或AI反饋進行兩兩比較形成一個偏好排名。然后它通過一個基于排名的損失函數(shù)來直接優(yōu)化策略模型使其生成的回應(yīng)更傾向于被偏好的一方。其損失函數(shù)通常包含兩部分策略梯度部分鼓勵模型生成高偏好回應(yīng)的token抑制低偏好回應(yīng)的token。KL散度約束部分防止優(yōu)化后的策略模型偏離原始預(yù)訓(xùn)練模型SFT模型太遠避免模型“胡說八道”或遺忘原有知識。那么GRPO用在智能體上有什么問題呢假設(shè)我們的任務(wù)是“幫我訂一張下周一北京飛上海的最便宜機票”。一個智能體可能需要執(zhí)行以下步驟1) 詢問具體時間偏好2) 搜索航班信息3) 比價并篩選4) 確認用戶身份和支付信息。如果我們用標準的GRPO來訓(xùn)練我們可能會這樣構(gòu)造數(shù)據(jù)Prompt: “當前狀態(tài)用戶想訂機票。歷史對話無。請執(zhí)行下一步?！鄙啥鄠€回應(yīng)比如回應(yīng)A是“請問您對起飛時間有具體要求嗎”回應(yīng)B是“直接為您搜索所有航班”。人工標注偏好我們可能認為A更好因為它更符合服務(wù)邏輯先澄清需求。這樣訓(xùn)練出來的智能體在單步?jīng)Q策上可能表現(xiàn)不錯。但問題在于短視決策智能體只優(yōu)化了當前這一步的“好評率”但沒有考慮這一步對后續(xù)任務(wù)完成的長期影響。比如它可能學(xué)會了每次都先問一個無關(guān)緊要的細節(jié)來顯得“謹慎”但這會拖慢整個任務(wù)流程讓用戶煩躁。連貫性缺失每一步的優(yōu)化是獨立的模型沒有顯式地學(xué)習(xí)到“問清楚時間”是為了“更精準地搜索”這一邏輯鏈條。它可能在這一步問了時間下一步卻忘了用這個信息。個性化難以捕捉如果用戶在第三步說“我要靠窗的座位”這個信息如何影響第四步的決策單步優(yōu)化很難讓模型建立這種長程的、個性化的狀態(tài)依賴。2.2 ODYSSE的“片段式”策略優(yōu)化框架ODYSSE的“Episode-wise”直擊上述痛點。它將一個完整的用戶任務(wù)定義為一個“片段”Episode這個片段由一系列的狀態(tài)State、智能體的動作Action和環(huán)境的反饋Reward/Observation組成。其核心訓(xùn)練機制可以概括為以下幾步1. 片段收集與評估不再收集單輪的Prompt, Response偏好對而是收集完整的任務(wù)片段。例如記錄智能體從接收任務(wù)“訂機票”開始到最終成功輸出訂單號或失敗結(jié)束的整個多輪對話軌跡。對于這個完整的軌跡標注者或一個評判模型會給出一個整體的偏好評分或排序。這個評分綜合考慮了任務(wù)是否成功完成、效率如何輪次多少、用戶體驗是否流暢、是否遵循了用戶的個性化要求如預(yù)算、偏好。2. 基于片段的策略梯度ODYSSE的優(yōu)化目標是最大化智能體策略在整個片段上獲得高整體評價的期望。在技術(shù)上這通常需要用到強化學(xué)習(xí)中的時序差分方法。模型在片段中的每一步?jīng)Q策其“價值”不再由當前回應(yīng)的即時偏好決定而是由當前決策所導(dǎo)致的后續(xù)整個片段所能獲得的累計回報來評估。這就好比教練評價一個籃球運動員不是看他某一次傳球是否漂亮單步GRPO而是看他這次傳球是否最終幫助球隊在這次進攻回合Episode中得分片段式優(yōu)化。一次冒險的長傳可能本身失誤率高單步看是“壞動作”但如果能直接創(chuàng)造得分機會在片段評估下它就是“好動作”。3. 個性化狀態(tài)的嵌入與利用“Personalized Agentic Reasoning”是標題的另一半重點。ODYSSE框架天然適合融入個性化。在片段的每個狀態(tài)State中除了當前的對話歷史和任務(wù)上下文還可以顯式地嵌入一個用戶畫像向量。這個向量可以來自用戶的歷史交互記錄例如該用戶通常選擇經(jīng)濟艙、討厭紅眼航班、喜歡靠窗座位并在整個片段中持續(xù)存在并更新。 策略模型在決定每一步動作時都會參考這個動態(tài)更新的用戶畫像。優(yōu)化過程會鼓勵那些不僅完成任務(wù)而且動作序列與用戶畫像高度契合的策略。例如對于已知“價格敏感”的用戶智能體在比價和推薦環(huán)節(jié)會表現(xiàn)出更細致和積極的行為而這些行為在片段整體評估中會得到獎勵。一個技術(shù)上的簡化類比我們可以把ODYSSE看作是將GRPO的優(yōu)化單元從一個“句子”擴展到了一個“段落”或“篇章”。GRPO的損失函數(shù)計算是基于單個輸出序列的token級概率而ODYSSE的損失函數(shù)則需要基于一個輸出序列的序列即多個動作組成的軌跡來進行計算和反向傳播這通常需要更精巧的軌跡采樣和信用分配Credit Assignment技術(shù)。3. 實現(xiàn)ODYSSE風格訓(xùn)練的關(guān)鍵實踐與挑戰(zhàn)理解了原理我們來看看如果要實踐這種“片段式”優(yōu)化在工程和算法上需要面對什么。這里結(jié)合最新的技術(shù)討論熱點比如“verl如何配置微調(diào)grpo”來展開說明。3.1 數(shù)據(jù)管道構(gòu)建從單輪對話到任務(wù)片段這是最大的挑戰(zhàn)之一?，F(xiàn)有的高質(zhì)量開源數(shù)據(jù)如ShareGPT、OpenAssistant等大多是單輪或短輪對話。構(gòu)建片段數(shù)據(jù)有兩種主要路徑路徑一模擬環(huán)境與合成數(shù)據(jù)這是目前最可行的方案。你需要為你的目標領(lǐng)域如旅行規(guī)劃、代碼調(diào)試構(gòu)建一個模擬器Simulator。環(huán)境模擬例如一個簡單的機票預(yù)訂模擬器可以模擬航班數(shù)據(jù)庫、查詢接口、座位選擇、支付網(wǎng)關(guān)等。它接收智能體的動作如“查詢2024-05-20北京到上海的航班”并返回一個結(jié)構(gòu)化的觀察結(jié)果如航班列表JSON。用戶模擬你需要一個“模擬用戶”來與智能體交互。這個模擬用戶可以有預(yù)設(shè)的個性化屬性預(yù)算、時間偏好和行為腳本例如當智能體問“您的預(yù)算多少”時回答“1000元以內(nèi)”。更高級的可以用一個LLM來扮演用戶使其反應(yīng)更自然。軌跡生成用你的初始智能體例如一個經(jīng)過SFT的模型在模擬環(huán)境中運行大量任務(wù)每個任務(wù)從開始到結(jié)束成功或失敗記錄為一個完整的片段軌跡。路徑二從現(xiàn)有長程交互日志中挖掘如果你擁有像Claude、GPT-4等模型在復(fù)雜任務(wù)上的真實API調(diào)用日志或者某些智能體產(chǎn)品如AutoGPT、ChatDev的運行日志這些是黃金數(shù)據(jù)。你需要對這些日志進行清洗、標注判斷整個任務(wù)是否成功、用戶體驗評分并分割成獨立的任務(wù)片段。注意片段的質(zhì)量和多樣性直接決定最終模型的性能。模擬環(huán)境雖然可控但可能過于“干凈”導(dǎo)致模型無法應(yīng)對真實世界的混亂。真實日志數(shù)據(jù)噪聲大但泛化性可能更好。通常需要結(jié)合使用。3.2 訓(xùn)練框架配置以VERL為例的GRPO片段化改造假設(shè)我們使用一個類似于VERLVision-Enhanced Reinforcement Learning或?qū)ｉT為LLM優(yōu)化設(shè)計的強化學(xué)習(xí)庫如TRL、DeepSpeed-Chat來進行訓(xùn)練。我們的目標是將標準的單輪GRPO流程改造為支持片段式訓(xùn)練。關(guān)鍵配置點軌跡緩沖區(qū)Trajectory Buffer 標準GRPO每次輸入一個Prompt生成多個Response進行比較。在ODYSSE框架下我們需要一個緩沖區(qū)來存儲完整的片段軌跡。每條軌跡數(shù)據(jù)包括初始任務(wù)描述/用戶目標每一步的狀態(tài)包含對話歷史、環(huán)境觀察、用戶畫像每一步智能體采取的動作生成的響應(yīng)或API調(diào)用片段結(jié)束時的整體獎勵整體成功率、效率評分等信用分配與優(yōu)勢估計 這是核心中的核心。我們需要計算軌跡中每一步動作的優(yōu)勢Advantage即這一步動作相對于平均水平對最終整體獎勵貢獻了多少。方法通常使用GAEGeneralized Advantage Estimation來計算。這需要我們對每個狀態(tài)估計一個“價值函數(shù)V(s)”即從這個狀態(tài)出發(fā)期望能獲得的累計獎勵。V(s)可以通過一個額外的價值網(wǎng)絡(luò)來學(xué)習(xí)也可以由最終獎勵進行衰減回傳來近似對于短片段。在GRPO上下文中的整合GRPO的損失函數(shù)原本基于單步輸出的偏好概率。現(xiàn)在我們需要用每一步的優(yōu)勢估計A_t來加權(quán)這一步的偏好損失。對于軌跡中高優(yōu)勢正面貢獻的動作我們加大其偏好學(xué)習(xí)的權(quán)重對于低優(yōu)勢或負優(yōu)勢的動作我們減少其權(quán)重甚至進行懲罰。公式上可以粗略理解為損失 Σ_t (A_t * GRPO_損失_t)當然實際實現(xiàn)會更復(fù)雜。策略模型與價值網(wǎng)絡(luò)的協(xié)同訓(xùn)練 在ODYSSE中我們通常需要同時訓(xùn)練兩個模型策略模型Policy即我們要優(yōu)化的智能體LLM負責生成動作。價值網(wǎng)絡(luò)Value Network一個較小的網(wǎng)絡(luò)用于估計狀態(tài)價值V(s)輔助計算優(yōu)勢。它可以是一個獨立的小模型也可以與策略模型共享底層Transformer僅頂層輸出不同。 訓(xùn)練時兩者交替優(yōu)化價值網(wǎng)絡(luò)通過最小化價值預(yù)測誤差來學(xué)習(xí)準確估計回報策略網(wǎng)絡(luò)則利用價值網(wǎng)絡(luò)提供的優(yōu)勢估計通過上述加權(quán)的GRPO損失進行優(yōu)化。個性化狀態(tài)的表示與更新 用戶畫像如何作為狀態(tài)的一部分輸入模型一個實用的方法是初始化將用戶的歷史行為關(guān)鍵詞如“常選經(jīng)濟艙”、“討厭中轉(zhuǎn)”通過一個嵌入層Embedding編碼成固定維度的向量P_init。動態(tài)更新在片段每一步將上一步的用戶畫像向量P_{t-1}、當前的環(huán)境觀察O_t和智能體上一步的動作A_{t-1}共同輸入一個輕量的RNN或Transformer更新模塊輸出更新后的用戶畫像P_t。輸入策略模型將P_t與當前的文本對話歷史拼接或通過交叉注意力機制融合作為策略模型生成下一步動作的輸入。3.3 實操中的“坑”與應(yīng)對策略坑1訓(xùn)練不穩(wěn)定策略崩潰片段式RL訓(xùn)練比單步監(jiān)督學(xué)習(xí)不穩(wěn)定得多。策略可能突然退化開始輸出無意義的亂碼或重復(fù)動作。應(yīng)對嚴格且動態(tài)的KL懲罰。在GRPO損失中KL散度約束至關(guān)重要。你需要仔細調(diào)整約束系數(shù)β。一個技巧是使用動態(tài)β當KL散度超過目標閾值時增大β低于時減小β。這能更好地在探索新策略和保持模型基礎(chǔ)能力之間平衡。坑2模擬環(huán)境與真實世界差距大在模擬器里表現(xiàn)完美的智能體面對真實用戶時可能漏洞百出。應(yīng)對課程學(xué)習(xí)Curriculum Learning與域隨機化Domain Randomization。不要一開始就在最復(fù)雜的模擬環(huán)境中訓(xùn)練。先從簡單的、確定性的任務(wù)片段開始如“查詢天氣”再逐步增加難度和隨機性如模擬用戶突然改變需求、網(wǎng)絡(luò)接口返回錯誤。在模擬環(huán)境中引入隨機噪聲、不完整的API響應(yīng)等提升模型的魯棒性?？?計算成本高昂收集片段數(shù)據(jù)、進行多步的前向傳播和反向傳播計算量和內(nèi)存消耗遠大于單輪訓(xùn)練。應(yīng)對分布式經(jīng)驗收集與混合精度訓(xùn)練?？梢圆渴鸲鄠€模擬環(huán)境實例并行運行加速數(shù)據(jù)收集。利用如DeepSpeed ZeRO-3這樣的技術(shù)來減少大模型訓(xùn)練時的內(nèi)存占用。對于價值網(wǎng)絡(luò)可以用比策略模型小得多的架構(gòu)如MLP?？?整體獎勵稀疏且難以設(shè)計一個訂機票任務(wù)只有最終“成功訂票”才能獲得高獎勵中間步驟的獎勵為0。這會導(dǎo)致信用分配極其困難模型很難學(xué)到哪些中間動作是好的。應(yīng)對設(shè)計稠密的中間獎勵Reward Shaping。這不是作弊而是給模型提供更豐富的學(xué)習(xí)信號。例如成功獲取到航班列表可以給一個小獎勵正確篩選出符合預(yù)算的航班再給一個獎勵成功引導(dǎo)用戶到支付頁面再給一個獎勵。這些獎勵需要精心設(shè)計確保與最終目標一致避免模型學(xué)會“刷獎勵”的捷徑行為。4. 超越訂票O(jiān)DYSSE范式的應(yīng)用場景展望“個性化片段式推理優(yōu)化”這個范式其應(yīng)用絕不僅限于對話式智能體。任何需要多步?jīng)Q策、且決策質(zhì)量取決于長程連貫性和用戶上下文的任務(wù)都是它的用武之地。場景一游戲NPC與劇情生成在開放世界游戲中NPC非玩家角色不再是擁有固定對話樹的木偶。ODYSSE可以訓(xùn)練一個NPC智能體其“片段”是與玩家的一次完整互動遭遇從打招呼到告別。整體獎勵基于玩家的沉浸感、劇情推進的合理性和趣味性。NPC能記住玩家的選擇并在后續(xù)互動中體現(xiàn)出來實現(xiàn)真正的個性化劇情。場景二自動化運維與故障排查面對一個復(fù)雜的線上故障運維智能體需要執(zhí)行一系列診斷命令、查看日志、嘗試修復(fù)步驟。這是一個典型的多步?jīng)Q策片段。整體獎勵是系統(tǒng)恢復(fù)的速度和穩(wěn)定性。通過片段式優(yōu)化智能體能學(xué)習(xí)到更高效的排查路徑避免那些看似合理但實則繞遠或帶來副作用的操作序列。場景三個性化學(xué)習(xí)輔導(dǎo)一個教育智能體輔導(dǎo)學(xué)生完成一個數(shù)學(xué)專題的學(xué)習(xí)。片段是從診斷學(xué)生薄弱點開始到講解概念、給出練習(xí)題、根據(jù)答題情況調(diào)整講解策略直至學(xué)生通過測試。整體獎勵是學(xué)生的最終掌握程度和學(xué)習(xí)體驗。智能體通過片段優(yōu)化能學(xué)會如何為不同學(xué)習(xí)風格的學(xué)生個性化編排最有效的教學(xué)動作序列。場景四代碼生成與迭代開發(fā)這不是單次的“根據(jù)注釋寫函數(shù)”而是貫穿“理解需求 - 生成模塊代碼 - 運行測試 - 根據(jù)錯誤信息調(diào)試 - 重構(gòu)優(yōu)化”的完整開發(fā)周期。智能體在這個片段中的決策選擇修復(fù)哪個錯誤、如何重構(gòu)將影響最終代碼的質(zhì)量和開發(fā)效率。ODYSSE可以優(yōu)化智能體在長周期開發(fā)任務(wù)中的決策能力。5. 當前局限與未來演進方向盡管ODYSSE范式前景廣闊但它仍處于早期階段面臨諸多挑戰(zhàn)評估瓶頸對完整片段進行高質(zhì)量、可擴展的評估是最大瓶頸。依賴人工標注成本極高且慢。雖然可以使用強大的LLM如GPT-4作為評判員但其評估標準可能不穩(wěn)定、有偏差且無法覆蓋所有專業(yè)領(lǐng)域。如何構(gòu)建可靠、高效的自動化片段評估體系是推動該領(lǐng)域發(fā)展的關(guān)鍵。探索效率在巨大的決策空間所有可能的動作序列組合中如何讓智能體高效地探索到高質(zhì)量的策略純粹的在線強化學(xué)習(xí)采樣效率低下。結(jié)合離線數(shù)據(jù)、模仿學(xué)習(xí)從人類專家片段中學(xué)習(xí)、以及世界模型預(yù)測環(huán)境動態(tài)來提高探索效率是必然的方向。安全性與對齊在長程互動中智能體可能會學(xué)會一些“投機取巧”但有害的策略來獲得高獎勵。例如為了快速結(jié)束對話獲得效率獎勵它可能選擇欺騙用戶或強行關(guān)閉任務(wù)。確保片段式優(yōu)化過程中的智能體行為與人類價值觀長期對齊是一個比單輪對話更復(fù)雜的安全性問題。計算范式現(xiàn)有的Transformer架構(gòu)是為“下一詞預(yù)測”而優(yōu)化的并非天然適合做序列決策。是否需要為智能體專門設(shè)計新的模型架構(gòu)使其內(nèi)部擁有更好的工作記憶、規(guī)劃能力和狀態(tài)表示能力是一個根本性的問題。從我個人的實驗和觀察來看ODYSSE所代表的“片段式、個性化”優(yōu)化思路確實是下一代智能體進化的核心路徑。它迫使我們將AI從“靜態(tài)的知識庫”推向“動態(tài)的決策者”。實現(xiàn)它的道路充滿工程和算法上的挑戰(zhàn)但每解決一個我們就離真正實用、可靠、貼心的智能助手更近一步。目前從相對簡單的、有明確模擬環(huán)境的領(lǐng)域如游戲、特定運維場景開始積累經(jīng)驗和數(shù)據(jù)可能是最務(wù)實的切入點。在這個過程中對GRPO等基礎(chǔ)優(yōu)化算法的深刻理解以及對強化學(xué)習(xí)、序列建模等核心概念的掌握將是不可或缺的基石。