Image-to-Video 生成任務(wù)中的 adherence指生成視頻在多大程度上忠于輸入?yún)⒖紙D首幀是否一致、人物身份是否保持、場(chǎng)景結(jié)構(gòu)是否延續(xù)、物體細(xì)節(jié)是否漂移。Agentic Optimization 則是把“生成-評(píng)估-調(diào)整”的循環(huán)交給智能體自動(dòng)完成讓每一次參數(shù)變更都有反饋依據(jù)。這個(gè)思路正在被越來(lái)越多的視頻生成項(xiàng)目用作調(diào)優(yōu)手段本文用一個(gè)最小示例完整拆開(kāi)這套流程覆蓋參數(shù)設(shè)計(jì)、評(píng)估指標(biāo)、核心代碼、日志驗(yàn)證和排錯(cuò)路徑。視頻生成不是“給一張圖模型自己會(huì)搞定一切”。它背后有采樣步數(shù)、引導(dǎo)強(qiáng)度、參考條件、運(yùn)動(dòng)幅度等多個(gè)旋鈕。這些旋鈕疊加在一起后輸出和參考圖之間很容易出現(xiàn)偏差。過(guò)去最常見(jiàn)的處理方式是肉眼試錯(cuò)改小 CFG換一個(gè) seed加一個(gè)負(fù)面提示詞再生成一版然后比較哪一版更像原圖。這個(gè)方式在小規(guī)模實(shí)驗(yàn)里勉強(qiáng)能用但一旦進(jìn)入批量生成、多模型版本迭代、復(fù)雜畫面控制等工程場(chǎng)景就會(huì)出現(xiàn)三個(gè)問(wèn)題可復(fù)現(xiàn)性差、歷史結(jié)論無(wú)法復(fù)用、調(diào)參經(jīng)驗(yàn)只能停留在個(gè)人腦子里。Agentic Optimization 的目的就是把這個(gè)人肉調(diào)參過(guò)程結(jié)構(gòu)化讓程序自動(dòng)描述“當(dāng)前生成結(jié)果離參考圖差在哪”再讓智能體決定“下一輪應(yīng)該怎么改參數(shù)”。它不會(huì)替代生成模型本身而是替代生成模型之外那層反復(fù)試錯(cuò)的調(diào)度邏輯。1. 先搞清楚 Image-to-Video 的 adherence 為什么難調(diào)1.1 什么是 Image-to-Video adherenceImage-to-Video 任務(wù)輸入是一張靜態(tài)參考圖輸出是一段連續(xù)視頻。Adherence 描述的是這段視頻在多大程度上保留了參考圖中的有效信息。最常見(jiàn)的檢查點(diǎn)是首幀。生成視頻的第一幀是否和參考圖保持一致的構(gòu)圖、人物、背景和顏色是最直接的 adherence 信號(hào)。如果首幀就已經(jīng)換了人后面的一切都無(wú)從談起。但 adherence 不只是首幀。它還包括人物身份一致性同一個(gè)角色在連續(xù)幀中臉型、服裝、膚色是否穩(wěn)定。場(chǎng)景結(jié)構(gòu)一致性參考圖的背景布局是否被破壞例如椅子數(shù)量變多、窗戶位置改變。細(xì)節(jié)保持文字、標(biāo)識(shí)、物體紋理是否在動(dòng)態(tài)變化中發(fā)生漂移。語(yǔ)義一致性參考圖里的對(duì)象是否仍然是同一個(gè)概念比如“一只藍(lán)色的馬克杯”不能變成“一個(gè)藍(lán)色碗”。從工程角度看adherence 不是一個(gè)單一指標(biāo)而是一組需要分層量化的對(duì)齊程度。正因?yàn)樗嵌嗑S度問(wèn)題單靠人力來(lái)回試錯(cuò)很難覆蓋全部維度。1.2 手動(dòng)調(diào)參為什么容易陷入 trial-and-error手動(dòng)調(diào)參看起來(lái)門檻低實(shí)際操作時(shí)問(wèn)題很多。參數(shù)空間是連續(xù)且高維的。以常見(jiàn)文生視頻或圖生視頻模型為例至少要同時(shí)考慮采樣步數(shù)、CFG scale、seed、負(fù)向提示詞、參考圖控制強(qiáng)度、運(yùn)動(dòng)幅度等參數(shù)。這些參數(shù)之間有交互效應(yīng)單獨(dú)把 CFG scale 調(diào)高可能提升 prompt 跟隨能力但會(huì)損失動(dòng)態(tài)自然度單純降低 controlnet 權(quán)重可能讓動(dòng)作更自由但會(huì)脫離參考圖結(jié)構(gòu)。人的反饋是主觀且不連續(xù)的。肉眼判斷“更接近了”無(wú)法退化成具體數(shù)值無(wú)法告訴下一次實(shí)驗(yàn)應(yīng)該改變哪個(gè)方向。連續(xù)兩次微調(diào)人只能得到一個(gè)粗略排序很難知道是哪個(gè)參數(shù)導(dǎo)致了差異尤其是當(dāng) seed 也在隨機(jī)變化時(shí)實(shí)驗(yàn)結(jié)果甚至?xí)催^(guò)來(lái)。另一個(gè)容易被忽視的問(wèn)題是緩存和復(fù)現(xiàn)。手動(dòng)操作時(shí)經(jīng)常改完某個(gè)參數(shù)后直接重新生成不會(huì)自動(dòng)記錄完整參數(shù)組合、模型版本、提示詞和參考圖預(yù)處理方式。等到需要回看“上次那個(gè)效果很好的版本是怎么生成的”往往只能從視頻文件名反推信息嚴(yán)重不足。這些原因疊加起來(lái)導(dǎo)致人肉調(diào)參的穩(wěn)定性很差。它不是說(shuō)絕對(duì)無(wú)效而是效率低、不可維護(hù)無(wú)法支撐批量實(shí)驗(yàn)和團(tuán)隊(duì)協(xié)作。1.3 Agentic Optimization 到底是做什么的Agentic Optimization 是一套讓程序自主決定“下一組參數(shù)怎么調(diào)”的優(yōu)化方法。它把整個(gè)調(diào)優(yōu)過(guò)程拆成三個(gè)角色生成器接收參考圖和參數(shù)產(chǎn)出視頻。評(píng)估器接收參考圖和視頻產(chǎn)出一組量化分?jǐn)?shù)。優(yōu)化 Agent接收歷史實(shí)驗(yàn)記錄和當(dāng)前分?jǐn)?shù)產(chǎn)出下一組參數(shù)。核心差異在于“決策者”。傳統(tǒng)手動(dòng)調(diào)參時(shí)決策者是人網(wǎng)格搜索時(shí)決策者是窮舉器Agentic Optimization 時(shí)決策者是具備歷史記憶和推理能力的智能體。它既可以是基于 LLM 的 Agent也可以是基于貝葉斯優(yōu)化的策略器二者都可以承接“根據(jù)反饋調(diào)整參數(shù)”的任務(wù)。這里先使用一個(gè)對(duì)比表格幫助理解三種方式之間的差異。優(yōu)化方式?jīng)Q策依據(jù)文本參數(shù)處理歷史使用能力計(jì)算開(kāi)銷可解釋性手動(dòng)試錯(cuò)人眼觀察擅長(zhǎng)但不可記錄依賴個(gè)人記憶低高網(wǎng)格搜索窮舉組合很難處理不利用歷史高高Agentic Optimization量化反饋 Agent 推理可以通過(guò) LLM 改寫自動(dòng)積累實(shí)驗(yàn)歷史中高中高Agentic Optimization 更貼近工程師理解調(diào)參過(guò)程的思路先看當(dāng)前結(jié)果哪里不對(duì)再判斷是什么原因最后小步調(diào)整少數(shù)參數(shù)驗(yàn)證后再繼續(xù)。它把“人肉經(jīng)驗(yàn)”變成“可描述的反饋回路”。2. 設(shè)計(jì)一個(gè) Agentic Optimization 最小閉環(huán)2.1 整條優(yōu)化鏈路由哪幾部分組成在動(dòng)手寫代碼前先定義清楚閉環(huán)里的數(shù)據(jù)流。一次典型優(yōu)化實(shí)驗(yàn)的主鏈路如下ref_image params - generator - video video ref_image - evaluator - metrics history metrics - agent - new_params loop這個(gè)鏈路并不復(fù)雜但工程上需要明確幾個(gè)邊界。生成器要保證相同參數(shù)和 seed 的情況下輸出可復(fù)現(xiàn)。否則評(píng)估器算出分?jǐn)?shù)下降時(shí)無(wú)法判斷是參數(shù)變化導(dǎo)致還是模型抽樣本身不穩(wěn)定。評(píng)估器要固定輸入格式比如參考圖的分辨率、視頻幀采樣間隔、指標(biāo)計(jì)算方式。優(yōu)化 Agent 要受約束不能無(wú)限擴(kuò)大參數(shù)范圍也不能每輪把所有參數(shù)都改一遍。這樣設(shè)計(jì)之后優(yōu)化過(guò)程才能被觀察、被復(fù)現(xiàn)、被審計(jì)。2.2 參數(shù)空間怎么定義哪些參數(shù)值得自動(dòng)搜索Image-to-Video 模型可調(diào)參數(shù)很多但不是所有參數(shù)都適合交給 Agent 去搜。有些參數(shù)直接影響生成質(zhì)量有些參數(shù)只影響效率有些參數(shù)反復(fù)改動(dòng)沒(méi)有意義。適合自動(dòng)搜索的參數(shù)通常滿足兩個(gè)條件對(duì)輸出影響明顯取值空間是可理解的。常見(jiàn)可以納入搜索空間的參數(shù)如下表參數(shù)含義建議搜索范圍對(duì) adherence 的影響guidance_scale引導(dǎo)強(qiáng)度5.0 - 15.0越高越貼近提示詞但可能丟失運(yùn)動(dòng)自然度num_inference_steps采樣步數(shù)20 - 60步數(shù)過(guò)少可能出現(xiàn)噪聲過(guò)多增加耗時(shí)seed隨機(jī)種子0 - 999999影響生成結(jié)果的隨機(jī)性和部分細(xì)節(jié)controlnet_weight參考圖結(jié)構(gòu)控制權(quán)重0.0 - 1.5越高越保持構(gòu)圖但可能限制動(dòng)態(tài)幅度ip_adapter_weight內(nèi)容特征注入權(quán)重0.0 - 1.2越高越保留物體細(xì)節(jié)和風(fēng)格motion_strength運(yùn)動(dòng)幅度0.0 - 1.0過(guò)高時(shí)容易脫離參考圖結(jié)構(gòu)negative_prompt負(fù)面提示詞不同文本組合影響崩壞、變形和細(xì)節(jié)丟失數(shù)值型參數(shù)適合交給常規(guī)搜索策略或 Agent 調(diào)整。文本型參數(shù)如 negative_prompt普通網(wǎng)格搜索很難處理但 LLM Agent 可以理解語(yǔ)義并生成新的提示詞組合。這也是 Agentic Optimization 相比傳統(tǒng)自動(dòng)調(diào)參工具的一個(gè)重要優(yōu)勢(shì)。這里要注意參數(shù)空間不是越大越好。每輪調(diào)整 2 到 3 個(gè)參數(shù)比每輪同時(shí)改 6 個(gè)參數(shù)更容易歸因。搜索范圍也應(yīng)該參考生成模型的實(shí)際能力過(guò)寬的范圍會(huì)導(dǎo)致大量實(shí)驗(yàn)浪費(fèi)在無(wú)效區(qū)域。2.3 反饋信號(hào)如何設(shè)計(jì)從 CLIP Score 到分層評(píng)估Image-to-Video adherence 不能用單一數(shù)值完全表達(dá)。只用一個(gè)平均 CLIP Score容易讓 Agent 在數(shù)值上過(guò)擬合最終得到“分?jǐn)?shù)高但人眼看著很奇怪”的視頻。反饋信號(hào)至少應(yīng)該分成四層首幀相似度參考圖與生成視頻首幀在語(yǔ)義或像素層面的對(duì)齊程度。身份保持度人物或主體在整段視頻中的一致性。運(yùn)動(dòng)自然度光流大小和連續(xù)性是否合理是否因?yàn)檫^(guò)度貼近參考圖而出現(xiàn)“凝固感”。美學(xué)質(zhì)量畫面是否出現(xiàn)明顯變形、閃爍、噪聲。每個(gè)維度都可以找到對(duì)應(yīng)計(jì)算方式。下面是一個(gè)反饋設(shè)計(jì)示例指標(biāo)計(jì)算方式示例作用clip_simCLIP 對(duì)參考圖和首幀的特征余弦相似度衡量語(yǔ)義級(jí)首幀一致性lpipsLPIPS 或簡(jiǎn)單 L2 距離衡量像素級(jí)結(jié)構(gòu)接近程度identity_simReID 特征向量余弦相似度衡量人物身份保持motion_magnitude相鄰幀光流平均幅度衡量運(yùn)動(dòng)是否充足aesthetic_score美學(xué)評(píng)分模型衡量畫面觀感在實(shí)際項(xiàng)目中可以對(duì)這些指標(biāo)做加權(quán)合成。示例公式如下composite 0.35 * clip_sim 0.20 * identity_sim - 0.15 * lpips 0.10 * min(motion_magnitude, 1.0) 0.20 * aesthetic_score具體權(quán)重取決于業(yè)務(wù)目標(biāo)。如果產(chǎn)品更重視“人物不動(dòng)也要像原圖”就要提高 clip_sim 和 identity_sim 的權(quán)重如果產(chǎn)品更重視“動(dòng)起來(lái)是否自然”則要保留 motion 指標(biāo)的正面權(quán)重。反饋信號(hào)設(shè)計(jì)得越合理Agent 收到的“原因”越準(zhǔn)確后續(xù)參數(shù)調(diào)整的方向性也就越強(qiáng)。3. 環(huán)境準(zhǔn)備與示例工程結(jié)構(gòu)3.1 運(yùn)行環(huán)境與依賴版本怎么選Agentic Optimization 涉及模型推理、指標(biāo)計(jì)算和 Agent 調(diào)用環(huán)境依賴比普通腳本多一些。下面是一組示例依賴實(shí)際項(xiàng)目落地前需要結(jié)合自己的 GPU 驅(qū)動(dòng)和模型版本核對(duì)。依賴作用示例版本Python運(yùn)行環(huán)境3.10PyTorch深度學(xué)習(xí)推理2.2.xDiffusers加載生成模型0.27.xTransformers加載 CLIP 評(píng)估模型4.40.xOpenCV讀取視頻、抽幀4.9.xOpenAI SDK調(diào)用 Agent 服務(wù)1.xFFmpeg視頻抽幀或編碼輔助6.x建議使用 16GB 以上顯存的 GPU 運(yùn)行視頻生成模型。如果顯存不足可以啟用enable_model_cpu_offload()但生成速度會(huì)明顯下降。學(xué)習(xí)環(huán)境可以用較小的模型跑通流程生產(chǎn)環(huán)境再替換為更高精度的模型。關(guān)鍵是先把“生成 - 評(píng)估 - Agent 調(diào)整”的閉環(huán)跑起來(lái)驗(yàn)證鏈路設(shè)計(jì)是否合理。3.2 示例工程目錄結(jié)構(gòu)為了讓實(shí)驗(yàn)可追蹤建議把代碼和實(shí)驗(yàn)產(chǎn)物分開(kāi)。示例目錄如下image2video-agent/ ├── configs/ │ └── optimize_face.yaml ├── src/ │ ├── generator.py │ ├── evaluator.py │ ├── agent.py │ └── main.py ├── inputs/ │ └── ref_face.png ├── experiments/ │ └── run_001/ └── requirements.txtconfigs/存放優(yōu)化任務(wù)配置。src/generator.py封裝生成模型。src/evaluator.py封裝評(píng)估指標(biāo)。src/agent.py封裝智能體決策邏輯。experiments/按 run_id 保存每一輪視頻、參數(shù)和指標(biāo)。這種結(jié)構(gòu)的好處是職責(zé)劃分清楚新增模型或指標(biāo)時(shí)不需要改動(dòng)主循環(huán)。3.3 用配置文件描述一次優(yōu)化任務(wù)配置文件的目的是讓實(shí)驗(yàn)參數(shù)外置化避免每次修改都要改代碼。下面是一個(gè) YAML 示例task: ref_image: inputs/ref_face.png output_dir: experiments/run_001 max_trials: 12 early_stop_patience: 3 save_top_k: 3 generator: model_id: stabilityai/stable-video-diffusion-img2vid-xt device: cuda max_frames: 16 search_space: guidance_scale: min: 5.0 max: 15.0 num_inference_steps: min: 20 max: 60 controlnet_weight: min: 0.0 max: 1.5 motion_strength: min: 0.0 max: 1.0 seed: type: categorical values: [0, 42, 123, 888, 1024] evaluator: weights: clip_sim: 0.35 identity_sim: 0.20 lpips: 0.15 motion_magnitude: 0.10 aesthetic_score: 0.20 agent: type: llm model_name: gpt-4o-mini max_text_params_change: 1這個(gè)配置明確了三個(gè)問(wèn)題這一次優(yōu)化任務(wù)要跑多少輪允許 Agent 修改哪些參數(shù)最終用什么公式綜合判斷好壞。注意model_id和評(píng)估器權(quán)重都屬于示例配置真實(shí)項(xiàng)目要根據(jù)所選模型和業(yè)務(wù)目標(biāo)調(diào)整。比如有些生成模型不支持motion_strength配置里就不應(yīng)該出現(xiàn)這個(gè)字段。4. 核心代碼實(shí)現(xiàn)生成器、評(píng)估器、優(yōu)化 Agent4.1 用生成器封裝底層 image-to-video 模型生成器的任務(wù)不是復(fù)現(xiàn)模型源碼而是把“參考圖 參數(shù)”變成“視頻文件”并保證相同的參數(shù)輸入能夠復(fù)現(xiàn)相同結(jié)果。下面是一個(gè)示例性實(shí)現(xiàn)用于表達(dá)參數(shù)傳遞邏輯。實(shí)際接入不同開(kāi)源模型時(shí)需要根據(jù)模型的 API 簽名調(diào)整。import torch from diffusers import StableVideoDiffusionPipeline from PIL import Image class ImageToVideoGenerator: def __init__(self, model_id: str, device: str cuda): self.device device self.pipe StableVideoDiffusionPipeline.from_pretrained( model_id, torch_dtypetorch.float16, ).to(device) self.pipe.enable_model_cpu_offload() def generate(self, ref_image: Image.Image, params: dict, output_path: str): seed params.get(seed, 0) generator torch.Generator(cuda).manual_seed(seed) result self.pipe( imageref_image, promptparams.get(prompt), negative_promptparams.get(negative_prompt), num_framesparams.get(num_frames, 16), guidance_scaleparams.get(guidance_scale, 6.0), num_inference_stepsparams.get(num_inference_steps, 30), generatorgenerator, ) frames result.frames[0] if isinstance(result.frames, list) else result.frames self._save_video(frames, output_path) return output_path這段代碼中有三個(gè)關(guān)鍵點(diǎn)需要解釋。第一生成器必須顯式接收seed否則每次生成結(jié)果都會(huì)不同后續(xù)評(píng)估和歸因都會(huì)失效。第二StableVideoDiffusionPipeline的具體參數(shù)名在不同版本中可能不同。比如有的版本支持height和width有的版本通過(guò)參考圖尺寸自動(dòng)推導(dǎo)。編寫時(shí)要先閱讀自己所用版本的__call__簽名不要照搬。第三enable_model_cpu_offload()能降低顯存占用但會(huì)增加推理耗時(shí)。如果顯存充足可以去掉換成.to(device)。4.2 評(píng)估器計(jì)算參考圖與視頻的對(duì)齊分?jǐn)?shù)評(píng)估器接收參考圖和視頻路徑輸出一組可比較的指標(biāo)。下面是一個(gè)最小實(shí)現(xiàn)重點(diǎn)展示如何使用 CLIP 計(jì)算參考圖與首幀的相似度。import cv2 import torch from PIL import Image from transformers import CLIPProcessor, CLIPModel class AdherenceEvaluator: def __init__(self): self.model CLIPModel.from_pretrained(openai/clip-vit-base-patch32) self.processor CLIPProcessor.from_pretrained(openai/clip-vit-base-patch32) staticmethod def extract_first_frame(video_path: str): cap cv2.VideoCapture(video_path) ok, frame cap.read() cap.release() if not ok: raise RuntimeError(fread video failed: {video_path}) return cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) def compute(self, ref_image_path: str, video_path: str) - dict: ref_image Image.open(ref_image_path).convert(RGB) first_frame Image.fromarray(self.extract_first_frame(video_path)) inputs self.processor( images[ref_image, first_frame], return_tensorspt, ) features self.model.get_image_features(**inputs) clip_sim torch.nn.functional.cosine_similarity( features[0:1], features[1:2] ).item() return { clip_sim: clip_sim, first_frame_similarity: clip_sim, }這個(gè)實(shí)現(xiàn)只計(jì)算了首幀維度。生產(chǎn)環(huán)境中可以繼續(xù)擴(kuò)展對(duì)多個(gè)中間幀計(jì)算 CLIP避免只看首幀。用 LPIPS 計(jì)算像素級(jí)距離。用 ReID 模型計(jì)算身份保持度。用光流模型統(tǒng)計(jì)運(yùn)動(dòng)幅度。引入美學(xué)評(píng)分模型。評(píng)估器返回的指標(biāo)最好保持為字典結(jié)構(gòu)鍵名固定。Agent 和主循環(huán)都能根據(jù)鍵名統(tǒng)一讀取方便后續(xù)添加新指標(biāo)。4.3 優(yōu)化 Agent 根據(jù)反饋生成下一組參數(shù)優(yōu)化 Agent 是整個(gè) loop 的決策核心。它需要把歷史實(shí)驗(yàn)和當(dāng)前指標(biāo)一起放入 prompt讓模型輸出下一組參數(shù)。下面是一個(gè)基于 LLM 的最小示例。import json import openai class OptimizationAgent: def __init__(self, model_name: str gpt-4o-mini): self.client openai.OpenAI() self.model_name model_name self.history [] staticmethod def _system_prompt(): return ( 你是一個(gè)圖像到視頻生成參數(shù)優(yōu)化器。 你會(huì)收到一組歷史實(shí)驗(yàn)記錄記錄包含實(shí)驗(yàn)編號(hào)、參數(shù)和指標(biāo)。 請(qǐng)分析當(dāng)前 adherence 分?jǐn)?shù)輸出下一組實(shí)驗(yàn)參數(shù)。 嚴(yán)格要求\n 1. 只輸出 JSON 對(duì)象\n 2. 不要修改 search_space 之外的字段\n 3. 每輪最多修改 2 個(gè)數(shù)值參數(shù)和 1 個(gè)文本參數(shù)\n 4. 如果指標(biāo)已經(jīng)很高優(yōu)先微調(diào)不要大幅改變參數(shù)。 ) def _build_messages(self): messages [{role: system, content: self._system_prompt()}] for item in self.history: messages.append({role: user, content: json.dumps(item, ensure_asciiFalse)}) messages.append({ role: user, content: 請(qǐng)根據(jù)以上歷史輸出下一組參數(shù)返回 JSON。, }) return messages def optimize(self, feedback: dict) - dict: self.history.append(feedback) resp self.client.chat.completions.create( modelself.model_name, messagesself._build_messages(), response_format{type: json_object}, ) content resp.choices[0].message.content params json.loads(content) return self._sanitize(params) def _sanitize(self, params: dict) - dict: allowed {guidance_scale, seed, num_inference_steps, controlnet_weight, motion_strength, negative_prompt, prompt} return {k: v for k, v in params.items() if k in allowed}Agent 的關(guān)鍵不是調(diào)用 LLM 本身而是如何約束它的輸出。第一系統(tǒng)提示詞必須明確“只輸出 JSON”避免模型輸出多余解釋文字導(dǎo)致解析失敗。第二必須限定修改范圍和修改數(shù)量。否則 LLM 有時(shí)會(huì)在所有參數(shù)上大幅跳躍導(dǎo)致畫面崩塌且無(wú)法歸因。第三_sanitize只做字段白名單校驗(yàn)生產(chǎn)環(huán)境還要加入數(shù)值范圍 clamp。例如guidance_scale不能小于 0num_inference_steps不能為 0。4.4 主循環(huán)多輪迭代與提前停止主循環(huán)負(fù)責(zé)把三個(gè)模塊串起來(lái)并處理日志、緩存、提前停止和最優(yōu)結(jié)果保存。import json import shutil from pathlib import Path from PIL import Image from src.generator import ImageToVideoGenerator from src.evaluator import AdherenceEvaluator from src.agent import OptimizationAgent def combine_metrics(metrics: dict, weights: dict) - float: score 0.0 for name, weight in weights.items(): score metrics.get(name, 0.0) * weight return score def run_optimization(config: dict): ref_path config[task][ref_image] output_dir Path(config[task][output_dir]) output_dir.mkdir(parentsTrue, exist_okTrue) ref_image Image.open(ref_path).convert(RGB) generator ImageToVideoGenerator(config[generator][model_id]) evaluator AdherenceEvaluator() agent OptimizationAgent(config[agent][model_name]) best {score: float(-inf), params: None, video: None} no_improve 0 for trial in range(config[task][max_trials]): round_dir output_dir / ftrial_{trial:03d} round_dir.mkdir(parentsTrue, exist_okTrue) if trial 0: params { guidance_scale: 6.0, num_inference_steps: 30, seed: 42, negative_prompt: blurry, distorted, flicker, } else: feedback { trial: trial, best_so_far: best[score], last_metrics: last_metrics, last_params: params, } params agent.optimize(feedback) video_path str(round_dir / output.mp4) generator.generate(ref_image, params, video_path) metrics evaluator.compute(ref_path, video_path) score combine_metrics(metrics, config[evaluator][weights]) last_metrics metrics with open(round_dir / params.json, w, encodingutf-8) as f: json.dump({params: params, score: score, metrics: metrics}, f, ensure_asciiFalse, indent2) if score best[score]: best {score: score, params: params, video: video_path} no_improve 0 else: no_improve 1 if no_improve config[task][early_stop_patience]: break shutil.copy(best[video], output_dir / best.mp4) return best這段代碼把核心邏輯串起來(lái)了。首輪使用基礎(chǔ)參數(shù)后續(xù)每一輪都通過(guò) Agent 決策。每輪結(jié)果會(huì)寫入params.json便于回看和復(fù)現(xiàn)。只要連續(xù)幾輪沒(méi)有提升就提前停止避免計(jì)算資源浪費(fèi)在無(wú)效搜索上。生產(chǎn)環(huán)境還需要增加兩個(gè)細(xì)節(jié)一是生成失敗時(shí)捕獲異常并記錄錯(cuò)誤而不是直接讓整個(gè)進(jìn)程崩潰二是相同參考圖和相同參數(shù)組合的請(qǐng)求可以走緩存跳過(guò)重復(fù)生成。5. 運(yùn)行驗(yàn)證從單輪生成到多輪收斂5.1 單輪生成驗(yàn)證人工觀察完成上述代碼后先用一次最小運(yùn)行驗(yàn)證鏈路是否正常。執(zhí)行命令python src/main.py --config configs/optimize_face.yaml --max_trials 2首次運(yùn)行如果成功會(huì)在experiments/run_001/trial_000目錄下生成output.mp4和params.json。打開(kāi)output.mp4主要看三點(diǎn)第一幀是否和輸入?yún)⒖紙D高度一致。后續(xù)幀是否保持了人物身份和背景結(jié)構(gòu)。是否有明顯崩壞、閃爍或運(yùn)動(dòng)僵硬。如果首幀都和第二幀完全錯(cuò)位問(wèn)題往往出在生成模型配置或參考圖預(yù)處理上而不是優(yōu)化 Loop 本身。單輪運(yùn)行的意義在于確認(rèn)基礎(chǔ)鏈路沒(méi)有問(wèn)題。此時(shí)不要急于讓 Agent 自動(dòng)跑 20 輪先把“生成 - 評(píng)估 - 保存日志”這條鏈路固定下來(lái)。5.2 多輪迭代結(jié)果分析鏈路穩(wěn)定后再運(yùn)行多輪優(yōu)化。下面是一個(gè)示例輸出的 CSV 表格用來(lái)描述參數(shù)和分?jǐn)?shù)變化趨勢(shì)。這里不是真實(shí)實(shí)驗(yàn)數(shù)據(jù)只用于說(shuō)明常見(jiàn)的收斂模式。trial,guidance_scale,controlnet_weight,motion_strength,clip_sim,composite 0,6.0,0.8,0.5,0.86,0.72 1,8.0,0.9,0.4,0.89,0.78 2,10.0,1.0,0.3,0.91,0.82 3,12.0,1.1,0.2,0.90,0.80 4,9.0,0.95,0.35,0.92,0.85 5,9.5,1.0,0.33,0.93,0.86從趨勢(shì)上看前兩輪 Agent 在逐步提高 guidance_scale 和控制權(quán)重提升首幀對(duì)齊分?jǐn)?shù)。第三輪繼續(xù)提高導(dǎo)致分?jǐn)?shù)回落說(shuō)明參數(shù)過(guò)沖。Agent 隨后把參數(shù)回調(diào)到中間范圍并微調(diào) motion_strength最終在第 5 輪拿到最高分。這就是 Agentic Optimization 的價(jià)值它能夠從歷史反饋中判斷方向而不是簡(jiǎn)單在所有參數(shù)網(wǎng)格上窮舉。如果多輪運(yùn)行后分?jǐn)?shù)始終沒(méi)有變化優(yōu)先檢查配置是否真正傳入了生成器。比如seed是否固定、guidance_scale是否被代碼覆蓋。5.3 日志與中間產(chǎn)物怎么記錄實(shí)驗(yàn)記錄是否完整直接決定了這套優(yōu)化流程是否可維護(hù)。建議每個(gè) trial 目錄至少保存以下內(nèi)容experiments/run_001/ ├── trial_000/ │ ├── output.mp4 │ ├── first_frame.png │ └── params.json ├── trial_001/ │ ├── output.mp4 │ ├── first_frame.png │ └── params.json ├── best.mp4 ├── best_params.json └── metrics_summary.csvparams.json內(nèi)容建議包含完整參數(shù)、評(píng)估指標(biāo)、綜合分?jǐn)?shù)、模型版本和運(yùn)行時(shí)間。這樣即使幾個(gè)月后回看也能知道一個(gè)視頻是怎么生成的。metrics_summary.csv用于橫向比較多次試驗(yàn)也可以在 Jupyter 中快速畫趨勢(shì)圖。日志越完整后續(xù)排查 Agent 決策錯(cuò)誤時(shí)的速度就越快。6. 常見(jiàn)問(wèn)題與排查鏈路6.1 評(píng)估分?jǐn)?shù)一直不動(dòng)怎么辦問(wèn)題現(xiàn)象常見(jiàn)原因檢查方式處理建議多輪生成后分?jǐn)?shù)幾乎沒(méi)有變化Agent 返回的參數(shù)沒(méi)有真正傳入生成器打印每輪params并核對(duì)生成器接收值在生成器入口增加參數(shù)日志保證參數(shù)一路傳遞分?jǐn)?shù)不變但視頻畫面明顯變化評(píng)估器讀取的參考圖與輸入不一致檢查評(píng)估器讀取路徑和預(yù)處理統(tǒng)一參考圖路徑保存為預(yù)處理好后的輸入分?jǐn)?shù)不變且視頻畫面完全相同seed沒(méi)有被真正設(shè)置查看日志中的 seed 和生成器實(shí)現(xiàn)固定 seed并驗(yàn)證兩輪同參數(shù)生成結(jié)果是否一致Agent 每次返回相同建議prompt 中缺少歷史反饋或模型輸出被固定 prompt 限制打印 Agent 請(qǐng)求 payload在 prompt 中明確列出最近分?jǐn)?shù)和參數(shù)變化方向排查順序應(yīng)該從數(shù)據(jù)流的上游開(kāi)始先確認(rèn)輸入的參考圖正確再確認(rèn)生成器確實(shí)消費(fèi)了參數(shù)最后確認(rèn)評(píng)估器使用的視頻就是本輪生成結(jié)果。6.2 Agent 總是改大參數(shù)導(dǎo)致畫面崩壞有些時(shí)候Agent 會(huì)連續(xù)提高guidance_scale或controlnet_weight因?yàn)樗跀?shù)值上看到首幀相似度提升但忽略了畫面僵硬、變形等問(wèn)題。等到分?jǐn)?shù)驟降已經(jīng)浪費(fèi)了好幾輪實(shí)驗(yàn)。這個(gè)問(wèn)題要從約束端解決。第一在_sanitize中做參數(shù)范圍 clamp。示例def _sanitize(self, params: dict) - dict: params[guidance_scale] min(max(params.get(guidance_scale, 6.0), 5.0), 15.0) params[controlnet_weight] min(max(params.get(controlnet_weight, 0.8), 0.0), 1.5) return params第二在系統(tǒng)提示詞中限制每輪修改的參數(shù)量要求“沒(méi)有明確證據(jù)不要改動(dòng)多個(gè)參數(shù)”。第三在評(píng)估器里加入“崩壞懲罰”。例如當(dāng)lpips超過(guò)某個(gè)閾值或motion_magnitude過(guò)低時(shí)直接調(diào)低綜合分讓 Agent 學(xué)會(huì)避免這種參數(shù)方向。這一步很重要Agent 不是萬(wàn)能的它只能根據(jù)反饋信號(hào)優(yōu)化。反饋信號(hào)如果只包含“越像越好”它自然會(huì)忽略“動(dòng)得太少”的問(wèn)題。6.3 多輪優(yōu)化后結(jié)果仍不滿足要求如果跑完設(shè)定的 12 輪甚至 20 輪最終視頻仍然不滿意不要急著斷言 Agent 不行先排查下面幾個(gè)方向。檢查項(xiàng)說(shuō)明指標(biāo)是否覆蓋業(yè)務(wù)目標(biāo)如果只算了 CLIP加入身份和運(yùn)動(dòng)指標(biāo)后再試參數(shù)空間是否太窄例如只調(diào)guidance_scale但問(wèn)題出在ip_adapter_weight參考圖是否適合不同光照、背景、遮擋條件下生成難度差別很大Agent 是否只看最近一輪需要把完整歷史傳給 Agent或至少傳遞 best 參數(shù)作為基線模型本身是否已經(jīng)達(dá)到能力上限換更強(qiáng)的基礎(chǔ)模型比調(diào)參更有效當(dāng)模型本身已經(jīng)無(wú)法再貼合參考圖時(shí)任何調(diào)參手段都只是在小范圍內(nèi)尋找“相對(duì)更好”。Agentic Optimization 解決的是參數(shù)搜索效率問(wèn)題不能憑空提高基礎(chǔ)模型的上限。6.4 生產(chǎn)環(huán)境部署需要注意什么把這套閉環(huán)放到生產(chǎn)環(huán)境不能直接照搬學(xué)習(xí)環(huán)境的單進(jìn)程代碼需要補(bǔ)上幾個(gè)工程能力。并發(fā)控制生成視頻非常吃 GPU多任務(wù)要進(jìn)入隊(duì)列限制同時(shí)生成的視頻數(shù)量。緩存對(duì)參考圖 hash 參數(shù) hash 模型版本做緩存。相同的輸入組合不要重復(fù)跑。失敗重試生成器可能因?yàn)轱@存抖動(dòng)或模型加載失敗退出需要捕獲異常并最多重試兩次。預(yù)先設(shè)置最大輪數(shù)和超時(shí)時(shí)間避免一個(gè)任務(wù)卡住整個(gè)隊(duì)列。監(jiān)控記錄每輪生成耗時(shí)、成功率、平均分?jǐn)?shù)方便判斷 Agent 是否在收斂。審計(jì)保存完整歷史包括 Agent 的輸入和輸出必要時(shí)可以回溯是哪一輪決策導(dǎo)致了結(jié)果漂移。生產(chǎn)環(huán)境的優(yōu)化目標(biāo)是“穩(wěn)定找到可接受的參數(shù)組合”而不是“無(wú)限提升分?jǐn)?shù)”。要設(shè)定可接受的分?jǐn)?shù)閾值達(dá)到閾值后提前退出節(jié)省算力。7. 最佳實(shí)踐與擴(kuò)展方向7.1 參數(shù)調(diào)優(yōu)的可復(fù)用檢查清單在每一次 Image-to-Video adherence 調(diào)優(yōu)實(shí)驗(yàn)前建議先過(guò)一遍下面的清單。固定生成模型版本和依賴版本并在實(shí)驗(yàn)結(jié)果中記錄版本號(hào)。統(tǒng)一參考圖分辨率、裁剪方式和預(yù)處理邏輯。每一輪實(shí)驗(yàn)記錄完整params包括 prompt、negative_prompt 和 seed。驗(yàn)證生成器確實(shí)使用了傳入的每個(gè)參數(shù)尤其是 seed。評(píng)估器使用與生成輸入一致的參考圖不能后臺(tái)另外加載一份不同圖片。使用至少 2 個(gè)評(píng)估指標(biāo)不要只依賴 CLIP Score。為每個(gè) Agent 輸出參數(shù)做范圍校驗(yàn)和 clamp。每輪最多修改 2 到 3 個(gè)參數(shù)避免無(wú)法歸因。對(duì)相同參考圖和相同參數(shù)組合開(kāi)啟緩存。設(shè)置最大輪數(shù)和提前停止條件避免無(wú)限試錯(cuò)。每輪保存視頻、首幀、參數(shù)和指標(biāo)。設(shè)定業(yè)務(wù)可接受的分?jǐn)?shù)閾值達(dá)到后直接終止。這份清單既適用于學(xué)習(xí)階段跑通 Demo也適用于生產(chǎn)環(huán)境上線前檢查。7.2 從離線優(yōu)化到在線自適應(yīng)一批實(shí)驗(yàn)跑完后得到的結(jié)論可以沉淀成“參數(shù)基線”。例如人像特寫場(chǎng)景適合guidance_scale9.0、controlnet_weight0.95。場(chǎng)景運(yùn)動(dòng)較多的片段適合motion_strength0.4但需要提高clip_sim權(quán)重。含復(fù)雜文字的畫面需要更高的ip_adapter_weight。這些基線可以先通過(guò)離線優(yōu)化得到再存到配置中心或規(guī)則庫(kù)。當(dāng)新的參考圖進(jìn)入產(chǎn)線時(shí)不用每次都從零搜索而是先加載對(duì)應(yīng)場(chǎng)景基線再跑 3 到 5 輪微調(diào)即可。從“每次全量搜索”變成“按場(chǎng)景微調(diào)”能顯著降低算力消耗也使優(yōu)化結(jié)果更可控。7.3 后續(xù)可以接入的方向Agentic Optimization 是一個(gè)框架不是單一算法。后續(xù)可以沿著幾個(gè)方向擴(kuò)展。第一個(gè)方向是接入人類偏好反饋。每輪優(yōu)化后讓人工從幾個(gè)候選結(jié)果中排序把排序結(jié)果作為額外指標(biāo)返回給 Agent。這樣可以在自動(dòng)化優(yōu)化基礎(chǔ)上加入主觀質(zhì)量判斷。第二個(gè)方向是多目標(biāo)優(yōu)化。把 adherence、運(yùn)動(dòng)自然度、美學(xué)質(zhì)量拆成多個(gè)目標(biāo)使用 Pareto 前沿搜索讓業(yè)務(wù)方在“更像原圖”和“動(dòng)得更自然”之間做選擇。第三個(gè)方向是更細(xì)粒度的條件控制。比如在生成器里加入 ControlNet 深度圖或姿態(tài)圖然后把 ControlNet 的導(dǎo)引權(quán)重也納入 Agent 搜索空間。第四個(gè)方向是策略沉淀。讓 Agent 在每次優(yōu)化結(jié)束時(shí)輸出一段“優(yōu)化經(jīng)驗(yàn)”例如“當(dāng)lpips超過(guò)某閾值時(shí)應(yīng)該先降低controlnet_weight”。把這些經(jīng)驗(yàn)累積到策略庫(kù)中可以讓后續(xù)優(yōu)化更快收斂。從工程角度來(lái)看Agentic Optimization 的核心價(jià)值不是“自動(dòng)化”本身而是把原本藏在大腦里的調(diào)參經(jīng)驗(yàn)變成可記錄、可量化、可復(fù)用的反饋循環(huán)。真正落地時(shí)最優(yōu)先要做的事情不是把 Agent 寫得多智能而是先把評(píng)估指標(biāo)定義清楚。指標(biāo)一旦定義錯(cuò)誤Agent 優(yōu)化得再快也只是在錯(cuò)誤的方向上跑得更遠(yuǎn)。