簡介面向希望系統(tǒng)學(xué)習(xí)多智能體強(qiáng)化學(xué)習(xí)的高校學(xué)生與開發(fā)者這份基于Python與MADDPG的多智能體博弈對抗算法資源完整覆蓋算法搭建、訓(xùn)練與測試流程可直接用于畢業(yè)設(shè)計、課程設(shè)計、工程實訓(xùn)或初期項目立項。壓縮包共含14個文件其中10個Python腳本構(gòu)成核心代碼分別實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)定義、DDPG與MADDPG智能體構(gòu)建、經(jīng)驗回放緩沖區(qū)、訓(xùn)練主循環(huán)、測試環(huán)境交互等模塊同時附帶README說明文檔、配置文件及虛擬環(huán)境配置信息方便快速還原運行環(huán)境。整個壓縮包僅19KB代碼量不大但結(jié)構(gòu)完整便于逐行閱讀與二次開發(fā)。目前已有266人學(xué)習(xí)適合希望從零理解多智能體博弈機(jī)制的入門者或中高級學(xué)習(xí)者。讀者可通過這些腳本搭建自己的對抗實驗觀察智能體在競爭與合作環(huán)境中的策略演化并在此基礎(chǔ)上修改獎勵函數(shù)或環(huán)境邏輯擴(kuò)展出更強(qiáng)的自定義博弈算法。1. 多智能體博弈對抗為什么簡單復(fù)制單智能體策略會全線翻車設(shè)一個場景三架無人機(jī)圍堵一架入侵機(jī)。你把單智能體的 DDPG 復(fù)制成三個獨立進(jìn)程去跑結(jié)果經(jīng)常是——三架無人機(jī)先亂撞一氣然后集體躺平在原地轉(zhuǎn)圈。原因不復(fù)雜多智能體強(qiáng)化學(xué)習(xí)里每個智能體面對的“環(huán)境”都包含其他智能體的策略而別人的策略一直在變單智能體那套“環(huán)境穩(wěn)定”假設(shè)被直接打破。MADDPG 算法就是沖這個痛點來的。它保留 DDPG 在連續(xù)控制上的優(yōu)勢用“中心化訓(xùn)練、去中心化執(zhí)行”的思路讓訓(xùn)練階段每個智能體能看到他人的狀態(tài)和動作部署時卻只依賴自身局部觀測。這篇文章會從算法原理、環(huán)境搭建、PyTorch 落地到訓(xùn)練踩坑把一條可復(fù)現(xiàn)的博弈對抗訓(xùn)練路線完整走一遍。適合剛開始做多智能體強(qiáng)化學(xué)習(xí)的同學(xué)也適合想把現(xiàn)有單智能體代碼升級改造的工程師。2. 讀懂 MADDPG 的核心思想中心化訓(xùn)練、去中心化執(zhí)行改的是什么2.1 先理解 DDPG再看 MADDPG 改了什么DDPG 是單智能體連續(xù)控制的經(jīng)典方案actor 網(wǎng)絡(luò)根據(jù)狀態(tài)輸出動作critic 網(wǎng)絡(luò)評估“狀態(tài) 動作”的價值。訓(xùn)練時 critic 給 actor 提供梯度方向actor 負(fù)責(zé)實際決策。它在機(jī)械臂、自動駕駛等單智能體連續(xù)控制任務(wù)上表現(xiàn)穩(wěn)定到了多智能體對抗場景卻會出問題。根本原因是每個智能體的 reward 不只取決于自己的動作還取決于對手和隊友的當(dāng)前策略當(dāng)隊友的策略隨訓(xùn)練不斷更新“環(huán)境”對任意單個智能體都是非平穩(wěn)的。非平穩(wěn)性對經(jīng)驗回放的傷害尤其明顯。DDPG 依賴經(jīng)驗回放假設(shè)過去采樣的經(jīng)驗仍然能代表當(dāng)前環(huán)境分布但多智能體對抗中對手策略一變舊經(jīng)驗的獎勵含義就過時了直接拿去更新會讓價值估計左右搖擺。MADDPG 的解法很直接每個智能體訓(xùn)練時把環(huán)境中所有智能體的觀測和動作都喂給自己的 critic讓價值函數(shù)在“看得見全局”的前提下做評估從而把其他智能體策略變化帶來的非平穩(wěn)性部分轉(zhuǎn)化成了可觀測的輸入變量。這就是它和 DDPG 最本質(zhì)的區(qū)別。2.2 critic 看全局、actor 看局部為什么這是對抗場景下的正確折衷先明確一點MADDPG 并不是一個全局策略算法而是一組“每個智能體一套 actor-critic”的結(jié)構(gòu)。訓(xùn)練階段第 i 個智能體的 critic 輸入是環(huán)境中所有智能體的觀測拼接、所有智能體的動作拼接而它的 actor 輸入只有自己的觀測。兩者結(jié)構(gòu)差異可以這樣對比結(jié)構(gòu)項單智能體 DDPGMADDPGactor 輸入自身觀測 o自身觀測 o_icritic 輸入自身觀測 自身動作全部觀測 [o_1,...,o_N] 全部動作 [a_1,...,a_N]目標(biāo)網(wǎng)絡(luò)數(shù)量actor、critic 各 1 個每智能體 actor、critic 各 1 個目標(biāo)網(wǎng)絡(luò)部署時actor 可用只部署 actorcritic 留在訓(xùn)練端critic 看全局能帶來兩個實際好處。第一在對抗中對手動作被顯式作為輸入Q 值擬合時不用再去“猜測”對手下一步會干什么對手策略更新造成的影響被納入了輸入維度經(jīng)驗回放的失效問題大幅緩解。第二在協(xié)作對抗混合場景里隊友動作也在 critic 輸入里價值評估能正確反映“配合”帶來的增益而不是把隊友造成的獎勵變化誤判成環(huán)境噪聲。actor 保持局部觀測則是一個工程折衷。在真實對抗系統(tǒng)里部署時往往沒有全局通信條件鏈路可能丟包、帶寬有限、某些觀測天然不可共享。如果策略依賴全局狀態(tài)部署時就會因為信息缺失而直接失靈。MADDPG 把“全局信息”只留在訓(xùn)練端部署時每個智能體靠自己的局部觀測獨立決策這符合絕大多數(shù)實際系統(tǒng)的約束。很多初學(xué)著看到 CTDE 就以為算法能集中決策這是最常見的誤解——它只是集中地“學(xué)”并不要集中地“做”。2.3 目標(biāo)網(wǎng)絡(luò)與軟更新參數(shù)怎么設(shè)才不激進(jìn)MADDPG 的更新邏輯沿襲 DDPG每個智能體都有主網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)兩組參數(shù)。計算 TD 目標(biāo)時下一時刻的 Q 值用目標(biāo)網(wǎng)絡(luò)算避免自舉式更新導(dǎo)致的價值發(fā)散。目標(biāo)值的表達(dá)式是y r γ × Q_target(全部下一觀測, 全部目標(biāo)動作)這里的“目標(biāo)動作”不是主網(wǎng)絡(luò)輸出的動作而是每個智能體各自目標(biāo) actor 網(wǎng)絡(luò)輸出的動作。我見過不少實現(xiàn)圖省事直接用當(dāng)前 actor 輸出算下一時刻動作這樣會讓目標(biāo)值里同時包含兩份在更新的參數(shù)梯度被持續(xù)注入偏置收斂會慢很多。正確做法是目標(biāo) actor 輸出后接 detach切斷梯度回傳。軟更新參數(shù) tau 是第二個容易踩的坑。常見做法是每訓(xùn)練一步就把目標(biāo)網(wǎng)絡(luò)參數(shù)向主網(wǎng)絡(luò)滑動一點tau 取 0.01 起步。在多智能體對抗里我一般取 tau0.01同時把更新頻率從“每步”改成“每 100 步同步一次”相當(dāng)于兼顧平滑和穩(wěn)定。如果 Q 值曲線像鋸齒一樣劇烈抖動把 tau 降到 0.005并把同步間隔拉大到 200 步。注意目標(biāo)網(wǎng)絡(luò)參數(shù)不是復(fù)制越勤越好。多智能體場景里每個 critic 都耦合了所有智能體的策略某個智能體策略突變會被同步放大到其他人的目標(biāo)值里表現(xiàn)為集體振蕩。軟更新參數(shù)寧可保守。另外要強(qiáng)調(diào)的是MADDPG 并沒有修改 DDPG 的另一個基礎(chǔ)組件——探索。訓(xùn)練時 actor 輸出的動作要疊加噪聲常見做法是高斯噪聲或 Ornstein-Uhlenbeck 噪聲。對抗環(huán)境下 OU 噪聲的時序相關(guān)性有助于維持探索的連貫性但參數(shù)不好調(diào)我實際用下來簡單的高斯噪聲配合噪聲方差衰減在大多數(shù)仿真環(huán)境里已經(jīng)夠用也更少出現(xiàn)調(diào)參玄學(xué)。3. 環(huán)境與博弈配置用 MPE 搭一個可訓(xùn)練的對抗環(huán)境3.1 選哪個環(huán)境simple_tag 里天然帶對抗與追逐博弈算法學(xué)習(xí)不能只在 gym 的連續(xù)控制環(huán)境里跑那里壓根沒有第二個對手。做 MADDPG 博弈對抗入門最常用的是 OpenAI 早期開源的 multiagent-particle-envs簡稱 MPE。它是一組 2D 粒子世界環(huán)境雖然物理精度不高但動作連續(xù)、觀測可控、訓(xùn)練速度快非常適合先驗證多智能體算法邏輯再遷移到重仿真場景。MPE 里有幾個環(huán)境選型時要分清楚simple_spread 是純協(xié)作多個智能體分散覆蓋地標(biāo)里面沒有對手不適合驗證對抗simple_adversary 是“1 個追蹤者 vs 2 個被追者”的不對稱博弈適合練手simple_tag 則是最經(jīng)典的追逐對抗追捕方若干、獵物若干還有一塊障礙區(qū)域每個 agent 都能施加連續(xù)加速度。做 2v2 或 3v3 對稱對抗我通常從 simple_tag 改起。選這個環(huán)境的理由很實際。一是它足夠小一次完整訓(xùn)練幾分鐘到十幾分鐘就能看出策略有沒有分化迭代速度快。二是它的觀測是“相對位置 相對速度 自身信息”這種低維向量便于排查 Q 值、獎勵曲線等訓(xùn)練指標(biāo)比一上來就上 AirSim、Isaac 這類重型仿真器好定位問題。等算法在 MPE 上真的學(xué)出追逐和逃跑策略再遷移到高保真環(huán)境是效率最高的技術(shù)路線。3.2 多智能體如何配置最小安裝與依賴版本MPE 的安裝不算復(fù)雜但版本兼容問題容易卡住新手。這個環(huán)境包依賴較早版本的 gym 接口直接用最新 gym 運行常會報 API 不匹配。常見的做法是 clone 源碼后在虛擬環(huán)境里以可編輯模式安裝之后如果跑出 gym 相關(guān)報錯就說明依賴版本偏新需要把 gym 降到老版本。我第一次跑的時候問題就出在 gym 新老接口的差異上折騰了一個多小時才定位到所以這步值得提前注意。一個更省事的配置做法是先把環(huán)境目錄放到項目文件夾里直接在代碼里 import避免全局安裝帶來依賴污染。下面的命令是最小配置路徑# 創(chuàng)建虛擬環(huán)境避免污染系統(tǒng) Python python3 -m venv maddpg_env source maddpg_env/bin/activate # 安裝 torch 和基本依賴 pip install torch numpy # 從源碼安裝 MPE在項目目錄下執(zhí)行 git clone https://github.com/openai/multiagent-particle-envs.git cd multiagent-particle-envs pip install -e .參數(shù)說明虛擬環(huán)境是這里最重要的一步多智能體項目后續(xù)會頻繁改依賴版本沒有虛擬環(huán)境隔離系統(tǒng)級 Python 會被搞得一團(tuán)糟。-e表示可編輯安裝環(huán)境包源碼在 project 目錄中改動后立即生效方便臨時修改環(huán)境邏輯比如改獎勵函數(shù)。安裝完成后用一段腳本確認(rèn)環(huán)境能正常加載# test_env.py from multiagent.environment import MultiAgentEnv import multiagent.scenarios as scenarios # 加載 simple_tag 場景 scenario scenarios.load(simple_tag.py).Scenario() world scenario.make_world() env MultiAgentEnv( world, scenario.reset_world, scenario.reward, scenario.observation, info_callbackscenario.info, ) obs_n env.reset() print(智能體數(shù)量:, env.n) print(觀測維度:, [o.shape[0] for o in obs_n]) print(動作空間:, env.action_space[0])這段代碼只做一件事確認(rèn)環(huán)境對象能不能正常創(chuàng)建。環(huán)境數(shù)量env.n打印出來應(yīng)該是場景中的智能體總數(shù)觀測維度每個智能體可能不同這取決于場景各自的觀測函數(shù)定義。動作空間打印出的類型決定了后續(xù)網(wǎng)絡(luò)輸出層怎么設(shè)計。如果這段腳本直接報錯先檢查 gym 版本再看 Python 版本是否過新而不是去懷疑算法代碼。3.3 觀測空間與動作空間寫 reward 前先把坐標(biāo)算明白MPE 的動作空間默認(rèn)是離散的 5 個動作上下左右不動。但 MADDPG 的 actor 輸出層通常接 Tanh輸出連續(xù)值在 [-1, 1]。兩個對不上時常見的做法是寫一個動作映射層把連續(xù)動作映射到離散動作區(qū)間。例如 [-1, -0.5) 映射為向左、[-0.5, 0.5) 映射為不動、(0.5, 1] 映射為向右。更順手的做法是直接改場景把動作空間改成連續(xù)力控制這樣 MADDPG 原生的連續(xù)動作輸出就能直接用。我建議走連續(xù)動作這條路原因有兩個。一是省掉映射層的精度損失離散映射會讓細(xì)小的策略差異被抹平二是后續(xù)遷移到真實機(jī)器人或無人機(jī)仿真時控制量本來就是連續(xù)的提前用連續(xù)動作訓(xùn)練策略遷移性更好。改法不復(fù)雜在場景的make_world里把 mover agent 的action_space從離散改成連續(xù)即可。觀測空間則要看場景的observation函數(shù)。simple_tag 里每個智能體的觀測大致包括自己的相對位置、相對速度、標(biāo)記以及與其他實體的相對坐標(biāo)。訓(xùn)練前一定要打印一份實際觀測向量逐段搞明白每個維度是什么。我踩過最典型的坑是reward 里用了“距離差”做目標(biāo)但觀測里給的是相對坐標(biāo)網(wǎng)絡(luò)要自己學(xué)習(xí)“距離 坐標(biāo)差的范數(shù)”這個映射。這個映射不是學(xué)不會而是會拖慢收斂。不如直接在 reward 和觀測里都用距離讓網(wǎng)絡(luò)把精力放在策略上而不是解算術(shù)。一個穩(wěn)定的 reward 設(shè)計方案是分層給追逐方設(shè)置“接近獵物給正獎勵 持續(xù)貼近保持不動給正獎勵 出界懲罰”給獵物設(shè)置“遠(yuǎn)離追捕者給正獎勵 被抓住給大懲罰”。注意獎勵幅度不要跨數(shù)量級距離獎勵量級在 0.1 左右、捕獲懲罰在 -5 左右這樣一個量級內(nèi)的獎勵設(shè)計Q 值不會因為方差過大而爆炸。4. PyTorch 落地MADDPG 訓(xùn)練主循環(huán)的四個關(guān)鍵代碼步驟4.1 網(wǎng)絡(luò)結(jié)構(gòu)兩層 MLP 起步先別上復(fù)雜結(jié)構(gòu)很多初學(xué)者一上來就給 actor 加注意力機(jī)制、給 critic 加圖神經(jīng)網(wǎng)絡(luò)結(jié)果收斂更差。做 MADDPG 博弈對抗我的經(jīng)驗是最穩(wěn)的結(jié)構(gòu)就是兩層 MLPactor 中間層 128critic 中間層 128。先把這條基線跑通再根據(jù)任務(wù)復(fù)雜度逐步加深。下面是最小可用的網(wǎng)絡(luò)定義import torch import torch.nn as nn class Actor(nn.Module): 每個智能體一套輸入只看自己的觀測 def __init__(self, obs_dim, act_dim, hidden128): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, act_dim), nn.Tanh(), # 輸出限制在 [-1, 1]匹配連續(xù)動作范圍 ) def forward(self, obs): return self.net(obs) class Critic(nn.Module): 訓(xùn)練階段用輸入所有智能體的觀測和動作 def __init__(self, n_agents, obs_dim, act_dim, hidden128): super().__init__() input_dim (obs_dim act_dim) * n_agents self.net nn.Sequential( nn.Linear(input_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, 1), ) def forward(self, obs_all, act_all): x torch.cat([obs_all, act_all], dim-1) return self.net(x)邏輯說明actor 輸出層用 Tanh 把動作限制在 [-1, 1]這正好匹配 MPE 連續(xù)動作空間的邊界。如果動作空間范圍不是 [-1, 1]可以在環(huán)境側(cè)做 scale而不是改網(wǎng)絡(luò)的激活函數(shù)。critic 把“所有觀測”和“所有動作”拼成一個大向量這個拼接發(fā)生在特征維度上所以每個智能體的 obs 和 act 都要先展平再拼接。參數(shù)說明hidden128是起步值對絕大多數(shù) MPE 級別的任務(wù)足夠如果任務(wù)狀態(tài)維度特別高可以先翻倍到 256而不是直接加網(wǎng)絡(luò)層數(shù)。激活函數(shù)用 ReLU 即可不需要 Gelu 這類花活多智能體訓(xùn)練穩(wěn)定性瓶頸通常不在激活函數(shù)。4.2 經(jīng)驗回放多智能體數(shù)據(jù)的結(jié)構(gòu)比容量更重要多智能體的經(jīng)驗回放和單智能體有一個關(guān)鍵區(qū)別一條經(jīng)驗必須同時保存所有智能體的觀測、動作、獎勵否則更新時 critic 拿不齊全局輸入。很多直接把單智能體經(jīng)驗回放搬過來的實現(xiàn)只存了當(dāng)前智能體的數(shù)據(jù)訓(xùn)練時其他智能體的歷史數(shù)據(jù)全是亂的導(dǎo)致 critic 輸入格式對不上。import numpy as np from collections import deque class ReplayBuffer: def __init__(self, capacity100000): self.buffer deque(maxlencapacity) def push(self, obs_n, act_n, rew_n, next_obs_n, done_n): # 一次性存入所有智能體的數(shù)據(jù) self.buffer.append((obs_n, act_n, rew_n, next_obs_n, done_n)) def sample(self, batch_size): batch np.random.choice(len(self.buffer), batch_size, replaceFalse) # 按智能體維度拆開每個智能體拿到自己的一批數(shù)據(jù) obs_n [[] for _ in range(len(self.buffer[0][0]))] act_n [[] for _ in range(len(self.buffer[0][1]))] rew_n [[] for _ in range(len(self.buffer[0][2]))] next_obs_n [[] for _ in range(len(self.buffer[0][3]))] done_n [[] for _ in range(len(self.buffer[0][4]))] for i in batch: o, a, r, no, d self.buffer[i] for j in range(len(o)): obs_n[j].append(o[j]) act_n[j].append(a[j]) rew_n[j].append(r[j]) next_obs_n[j].append(no[j]) done_n[j].append(d[j]) return ([np.array(x) for x in obs_n], [np.array(x) for x in act_n], [np.array(x) for x in rew_n], [np.array(x) for x in next_obs_n], [np.array(x) for x in done_n])邏輯說明push這次把整條多智能體經(jīng)驗存進(jìn)去而不是只存某個智能體的sample返回的是按智能體索引拆分后的列表每個元素形狀為(batch_size, obs_dim)。更新時訪問obs_n[i]就拿到第 i 個智能體的一批觀測。參數(shù)說明capacity100000是中小型對抗任務(wù)的起步值太小會讓經(jīng)驗分布頻繁被新策略覆蓋失去回放的意義太大則老樣本占比過高策略更新后舊經(jīng)驗價值失真。跑一次訓(xùn)練如果發(fā)現(xiàn)前中期 Q 值擺動劇烈優(yōu)先檢查 buffer 容量是不是設(shè)太小。batch_size我建議取 512 或 1024比單智能體常用的 64 大一個量級因為 critic 的輸入維度更高小 batch 的梯度方差更大。4.3 更新公式的代碼化actor 的梯度到底從哪來這一節(jié)是整個實現(xiàn)里最容易寫錯的部分。MADDPG 更新分兩步先更新 critic再更新 actor。critic 的 loss 是 TD 誤差actor 的 loss 則不是常見的策略梯度形式而是“最大化當(dāng)前狀態(tài)下被 critic 打分的 Q 值”。換句話說actor 的梯度來自 critic 對自己輸出動作的評分def update(agent_id, replay_buffer, batch_size, actors, critics, target_actors, target_critics, optimizers_actor, optimizers_critic, gamma0.95, tau0.01): obs_n, act_n, rew_n, next_obs_n, done_n replay_buffer.sample(batch_size) # 當(dāng)前智能體自己的數(shù)據(jù) obs torch.FloatTensor(obs_n[agent_id]) act torch.FloatTensor(act_n[agent_id]) rew torch.FloatTensor(rew_n[agent_id]).unsqueeze(-1) next_obs torch.FloatTensor(next_obs_n[agent_id]) done torch.FloatTensor(done_n[agent_id]).unsqueeze(-1) # 用目標(biāo) actor 生成所有智能體的下一個動作 next_act_n [] for j in range(len(actors)): next_act_j target_actors[j](torch.FloatTensor(next_obs_n[j])).detach() next_act_n.append(next_act_j) obs_all [torch.FloatTensor(o) for o in obs_n] act_all [torch.FloatTensor(a) for a in act_n] next_obs_all [torch.FloatTensor(o) for o in next_obs_n] # 更新 critic target_q target_critics[agent_id](next_obs_all, next_act_n).detach() y rew gamma * (1 - done) * target_q q_current critics[agent_id](obs_all, act_all) critic_loss ((q_current - y) ** 2).mean() optimizers_critic[agent_id].zero_grad() critic_loss.backward() optimizers_critic[agent_id].step() # 更新 actor # 用當(dāng)前 actor 替換掉自己原來的動作 act_all[agent_id] actors[agent_id](obs) q_actor critics[agent_id](obs_all, act_all) actor_loss -q_actor.mean() optimizers_actor[agent_id].zero_grad() actor_loss.backward() optimizers_actor[agent_id].step() return critic_loss.item(), actor_loss.item()邏輯說明更新 critic 時y里的 target Q 值完全用目標(biāo)網(wǎng)絡(luò)計算并 detach防止梯度穿回目標(biāo)網(wǎng)絡(luò)。更新 actor 時act_all[agent_id]被替換成當(dāng)前 actor 的輸出然后整體送給 critic 打分對actor_loss反向傳播時梯度會流經(jīng) critic 網(wǎng)絡(luò)再回到 actor這就是“critic 指導(dǎo) actor”的含義。其他智能體的動作在這次更新里保持采樣值不變這體現(xiàn)的是 MADDPG“站在別人真實動作上評估自己動作價值”的思想。參數(shù)說明gamma0.95適合步數(shù)較短、回合結(jié)束快的對抗博弈如果任務(wù)是長程圍捕可以提到 0.99。但不要在高 gamma 下配合稀疏獎勵直接訓(xùn)前期的 Q 值會因為遠(yuǎn)期回報方差過大而飄。我一般把 gamma 和回合長度掛鉤回合長度越長gamma 越接近 1。4.4 目標(biāo)網(wǎng)絡(luò)軟更新一條命令的事別省略目標(biāo)網(wǎng)絡(luò)更新有兩種寫法硬復(fù)制每 N 步直接賦值和軟更新每步滑動混合。多智能體對抗里我堅持用軟更新因為多個智能體的目標(biāo)網(wǎng)絡(luò)同時硬復(fù)制會造成目標(biāo)值跳躍式變化這種跳躍在多智能體相互耦合的情況下會被放大成集體振蕩def soft_update(target_net, net, tau): for target_param, param in zip(target_net.parameters(), net.parameters()): target_param.data.copy_( tau * param.data (1.0 - tau) * target_param.data ) # 每個智能體更新后調(diào)用一次 for agent_id in range(n_agents): soft_update(target_actors[agent_id], actors[agent_id], tau0.01) soft_update(target_critics[agent_id], critics[agent_id], tau0.01)參數(shù)說明tau0.01意味著每步只把主網(wǎng)絡(luò)參數(shù)向目標(biāo)網(wǎng)絡(luò)移動 1%目標(biāo)網(wǎng)絡(luò)的變化足夠平滑。實際項目中我常用另一個版本每 100 步把上面這段soft_update循環(huán)執(zhí)行一次每次 tau 取 0.05。這樣既控制了更新頻率又保持了平滑度比每步都軟更新省計算資源效果反而更穩(wěn)。訓(xùn)練結(jié)束時還有一個容易被忽略的細(xì)節(jié)actor 網(wǎng)絡(luò)保存時要把訓(xùn)練時疊加的噪聲去掉后再保存一輪“干凈版本”。如果直接保存正在帶噪聲探索的 actor評估時會發(fā)現(xiàn)策略表現(xiàn)明顯偏差因為噪聲已經(jīng)把動作污染了。保存前先eval()模式跑一遍推理再存權(quán)重文件。torch.save(actors[0].state_dict(), actor_0.pt) torch.save(actors[1].state_dict(), actor_1.pt) # 加載時同樣先建網(wǎng)絡(luò)再 load_state_dict加載模型時注意和保存時保持相同的網(wǎng)絡(luò)結(jié)構(gòu)隱藏層數(shù)、激活函數(shù)都對齊否則state_dict會直接報 key 不匹配。多智能體項目里每個智能體一套權(quán)重文件是最清晰的做法比混合在一個文件里省去不少定位時間。5. 訓(xùn)練避坑收斂慢、策略崩潰、Q 值爆炸的六個典型問題5.1 現(xiàn)象所有智能體 reward 一起歸零策略集體“擺爛”訓(xùn)練到中期曲線突然斷崖式下跌所有智能體的回合獎勵都在零附近無論調(diào)學(xué)習(xí)率還是 batch size 都拉不回來。原因是 reward 設(shè)計給對抗雙方設(shè)了絕對值相反的導(dǎo)向而某一方策略先崩了另一方跟著失去訓(xùn)練信號。比如追逐方的獎勵是“接近獵物 1”獵物是“被接近 -1”追逐方一旦找到“站住不動也能拿 0 分”的局部最優(yōu)獵物就再沒有逃跑壓力雙方策略同時固化。解決的做法是在 reward 里加一個“過程導(dǎo)向”的持續(xù)激勵而不是只給相對量。追逐方除了“接近”加分還要在持續(xù)追出距離時給額外獎勵讓“行動”而不是“不動作”成為收益來源。同時給雙方訓(xùn)練曲線分開記錄不要只看平均 reward——對抗場景下平均獎勵被兩個相反方向的曲線抵消看起來像歸零實際是雙方在對抗。5.2 現(xiàn)象Q 值起步正常幾千步后直接上千萬訓(xùn)練日志里 critic loss 從個位數(shù)跳到百萬級Q 值輸出數(shù)值爆炸。原因是 reward 量級跨度過大或者 target Q 的更新里用了沒 detach 的目標(biāo)網(wǎng)絡(luò)輸出。MADDPG 的 critic 輸入是所有智能體拼接向量維度高、數(shù)值量級差異大比如速度在 0.1 量級、距離在 10 量級未經(jīng)歸一化直接進(jìn)全連接層梯度會不穩(wěn)定。解決的順序先確認(rèn)更新代碼里next_act_n和target_q都加了.detach()再檢查 reward 量級是否控制在 0.1 到 5 之間最后給 critic 輸入做標(biāo)準(zhǔn)化。我常寫一個簡單的觀測歸一化層把 reward 和觀測都縮放到 [-1, 1] 區(qū)間Q 值爆炸基本會在前一萬步內(nèi)暴露并解決。5.3 現(xiàn)象訓(xùn)練曲線反復(fù)橫跳甚至出現(xiàn)間歇性瘋狂尖峰同一份代碼同一份超參數(shù)訓(xùn)練曲線每次跑出來長得很不一樣有幾條 run 的曲線會突然出現(xiàn)尖峰后回彈。原因是多智能體環(huán)境初始狀態(tài)是隨機(jī)的智能體出生位置分布差異大某些初始配置下回合特別長或獎勵特別高被存進(jìn)經(jīng)驗回放后干擾了價值估計。這在博弈對抗里是常態(tài)因為對抗雙方的初始位形直接決定了一整局的難度。解決的關(guān)鍵是固定初始分布的隨機(jī)種子并做“混合采 樣”。我在環(huán)境 reset 時固定隨機(jī)種子讓每局初始條件覆蓋到主要位形但不必完全確定。更有效的辦法是經(jīng)驗回放里按回合分段抽樣讓每局的經(jīng)驗被均勻抽到避免某一局極端經(jīng)驗獨占 batch。實現(xiàn)的代價不大但對曲線穩(wěn)定性的改善非常明顯。5.4 現(xiàn)象訓(xùn)練完成后策略變成“高頻抖動機(jī)”actor 輸出的動作序列在很小的時間尺度上劇烈跳動仿真里表現(xiàn)為智能體原地高頻抖動幾乎沒有有效位移。原因是追求平滑的策略梯度下actor 被訓(xùn)練得對輸入中的噪聲高度敏感而輸入觀測本身就有 1e-3 量級的數(shù)值噪聲。策略在噪聲方向放大了微小差異反映出動作的高頻分量。解決的思路是在 replay buffer 保存時對觀測做輕量低通濾波或者更直接的做法是訓(xùn)練時給 actor 輸出加動作平滑懲罰將相鄰兩步動作差值的平方加入 loss。我一般會同時做兩件事訓(xùn)練開始時把噪聲方差的衰減調(diào)慢一些讓探索噪聲在最早期保證動作充分多樣性訓(xùn)練后期則對動作加平滑項讓策略只保留低頻控制分量。5.5 現(xiàn)象target 網(wǎng)絡(luò)每步都在更新前期正常后期震蕩加劇目標(biāo)網(wǎng)絡(luò)跟隨主網(wǎng)絡(luò)太緊訓(xùn)練后期主網(wǎng)絡(luò)參數(shù)在局部區(qū)域輕微來回移動目標(biāo)網(wǎng)絡(luò)也跟著在每個時間步追最新值導(dǎo)致 target Q 持續(xù)小幅跳變critic 永遠(yuǎn)追不上會動的標(biāo)靶震蕩越到后期越明顯。原因是 tau 設(shè)成較大固定值加上目標(biāo)網(wǎng)絡(luò)更新頻率和主網(wǎng)絡(luò)訓(xùn)練頻率完全一致。在多智能體場景這種“跟得太緊”的問題尤其突出因為每個智能體的目標(biāo)網(wǎng)絡(luò)耦合了所有人的策略變化。解決的要點是把軟更新變成“低頻大幅”模式每 100 到 200 步做一次完整軟更新tau 取 0.05比每步 0.01 的版本更穩(wěn)。運行完第一萬步后如果震蕩仍明顯把同步間隔繼續(xù)加大到 300 步。這個操作不對實驗曲線造成顯著副作用卻能把后期策略崩潰的概率降一個量級。5.6 現(xiàn)象reward 曲線一路向上但實際對抗還是一碰就碎訓(xùn)練日志里 reward 穩(wěn)步上升你覺得快成功了拿訓(xùn)練好的 actor 去做實際對抗測試卻發(fā)現(xiàn)策略莽撞、經(jīng)常被簡單戰(zhàn)術(shù)克制。原因是 reward 曲線只能衡量“在當(dāng)前對手策略下的收益”不能衡量策略的真實強(qiáng)度。對抗訓(xùn)練中對手是自己所以 reward 上升可能只是雙方同時變笨后的“和平相處”而不是真的更強(qiáng)。repo 里訓(xùn)練日志展示的 reward 上升往往沒法和實際對抗能力畫等號。解決的唯一可靠手段是定期評估對抗勝率。訓(xùn)練過程每 N 局保存一組候選模型訓(xùn)練結(jié)束后把不同 checkpoints 兩兩對戰(zhàn)繪制固定種子的勝率熱力圖。只有勝率矩陣能告訴你哪個 checkpoint 真正更強(qiáng)而不是看誰 reward 曲線更高。這個習(xí)慣應(yīng)該從第一天就建立不要等技術(shù)方案全跑完了才去補(bǔ)評估腳本。6. 從“能跑”到“能打”自對弈、優(yōu)先經(jīng)驗回放與勝率評估多智能體博弈對抗訓(xùn)練里最難的不是讓 reward 上升而是讓策略“真的變強(qiáng)”。要驗證和固化成 果我常用的三招是自對弈蓄水、優(yōu)先經(jīng)驗回放、勝率矩陣選模型。自對弈的思路是維護(hù)一個“歷史策略池”每隔一段訓(xùn)練輪數(shù)就把當(dāng)前模型復(fù)制一份放進(jìn)去然后讓在線智能體和歷史版本隨機(jī)對戰(zhàn)。這樣做的目的很樸素如果只和“現(xiàn)在的自己”練雙方會同時進(jìn)化但可能一起走向某個局部最優(yōu)和歷史版本打相當(dāng)于逼策略去適應(yīng)更多變體而不是只記住當(dāng)前對手的弱點。在 MPE 這類輕環(huán)境里策略池每個階段就存一份池子容量 10 個左右每次對戰(zhàn)隨機(jī)抽一個對手效果比單純和當(dāng)前版本對練好很多。優(yōu)先經(jīng)驗回放是另一個收益明顯的改動。博弈對抗中大部分經(jīng)驗是平淡的雙方距離遠(yuǎn)、沒接觸、獎勵接近零這些樣本對網(wǎng)絡(luò)價值不大。反而是那些發(fā)生捕獲、發(fā)生劇烈機(jī)動、獎勵差異大的稀有經(jīng)驗攜帶了更多策略信息。給每條經(jīng)驗按 TD 誤差大小記一個優(yōu)先級采樣時按優(yōu)先級加權(quán)能讓網(wǎng)絡(luò)更頻繁地“復(fù)習(xí)”關(guān)鍵時刻。實現(xiàn)時注意兩點優(yōu)先級指數(shù) alpha 取 0.6 左右不要設(shè)過高否則采樣分布太偏剛存進(jìn)去的經(jīng)驗給一個中等偏上的初始優(yōu)先級避免完全不被采到。勝率評估是最終裁決手段。訓(xùn)練過程中每幾個訓(xùn)練輪次固定保存一組 actor全部訓(xùn)練結(jié)束后把所有 checkpoint 兩兩對陣用相同隨機(jī)種子跑足夠多局統(tǒng)計勝率。為什么必須這樣因為對抗訓(xùn)練里 reward 的絕對數(shù)值沒有意義只有相對某個固定對手的勝率才反映真實強(qiáng)度。我看過太多 reward 曲線很好看、實際對戰(zhàn)一碰就碎的項目都是因為跳過了這一步。評估用的對手必須是“凍結(jié)策略”不能在評估時打開探索噪聲否則勝率數(shù)據(jù)會混入噪聲變量無法反映策略本身水平。這三步做完一個 MADDPG 博弈對抗項目才算真正閉環(huán)自對弈保證訓(xùn)練動力優(yōu)先回放提高樣本效率勝率矩陣給出可信的模型選擇依據(jù)。做項目時我養(yǎng)成的習(xí)慣是評估腳本和訓(xùn)練腳本同步開發(fā)第一次啟動訓(xùn)練前評估代碼就已經(jīng)能跑通了而不是訓(xùn)練跑了幾天之后才補(bǔ)評估。這個習(xí)慣省下過無數(shù)次返工希望幫到你。本文還有配套的精品資源點擊獲取