Agentic Auto-Research is Fuzz Testing先聊一個(gè)現(xiàn)象。最近在做 LLM Agent 相關(guān)的項(xiàng)目時(shí)發(fā)現(xiàn)一個(gè)很有意思的結(jié)論團(tuán)隊(duì)里負(fù)責(zé)構(gòu)建 Auto-Research自動(dòng)研究系統(tǒng)的同事和負(fù)責(zé)安全測(cè)試的同學(xué)最終在系統(tǒng)設(shè)計(jì)上幾乎收斂到了同一套架構(gòu)——一個(gè)不斷生成輸入、執(zhí)行評(píng)估、收集反饋、再次變異的閉環(huán)。換句話說Agentic Auto-Research 的本質(zhì)就是 Fuzz Testing模糊測(cè)試。這篇文章我想把這個(gè)觀點(diǎn)拆開講清楚先分別解釋兩個(gè)概念然后從探索空間、反饋回路、變異策略、停止條件幾個(gè)維度做映射最后用一個(gè)可運(yùn)行的簡(jiǎn)化示例演示如何用 Fuzz Testing 的思路來設(shè)計(jì)和評(píng)估一個(gè)自動(dòng)研究系統(tǒng)。無論你是做 Agent 應(yīng)用開發(fā)還是對(duì) LLM 評(píng)測(cè)、自動(dòng)化測(cè)試感興趣這篇文章都值得讀完。1. 兩個(gè)概念先對(duì)齊Auto-Research 與 Fuzz Testing1.1 什么是 Agentic Auto-ResearchAgentic Auto-Research 是指由智能體Agent自主完成信息檢索、假設(shè)生成、驗(yàn)證、歸納和報(bào)告輸出的研究流程。常見的表現(xiàn)形態(tài)包括輸入一個(gè)研究主題Agent 自動(dòng)搜索網(wǎng)頁、閱讀文檔、提取關(guān)鍵信息。Agent 生成多個(gè)子問題逐層拆解形成研究大綱。在回答過程中Agent 不斷根據(jù)新獲取的信息修正之前的結(jié)論。最終輸出一份結(jié)構(gòu)化的研究報(bào)告。這類系統(tǒng)的核心挑戰(zhàn)不在于“能不能調(diào)用工具”而在于如何在巨大的研究空間中高效地找到有價(jià)值的結(jié)論。結(jié)合熱詞來看Agentic 方向還在持續(xù)演變Agentic RAG 強(qiáng)調(diào)檢索過程的智能路由與多輪追問Meta Context Engineering 則關(guān)注如何通過 Agent 的技能進(jìn)化來動(dòng)態(tài)組織上下文。這些方向本質(zhì)上都在解決同一個(gè)問題如何讓模型更有策略地在信息空間中探索。1.2 什么是 Fuzz TestingFuzz Testing模糊測(cè)試是一種軟件測(cè)試方法。它的基本流程是生成大量隨機(jī)或半隨機(jī)的輸入數(shù)據(jù)。將輸入數(shù)據(jù)投喂給被測(cè)程序。觀察程序是否崩潰、斷言失敗、內(nèi)存溢出或產(chǎn)生異常輸出。依據(jù)反饋結(jié)果調(diào)整后續(xù)輸入生成策略。循環(huán)往復(fù)直到達(dá)到預(yù)設(shè)的覆蓋目標(biāo)或時(shí)間預(yù)算。模糊測(cè)試最著名的應(yīng)用場(chǎng)景是安全領(lǐng)域比如 Google 的 OSS-Fuzz、AFL、libFuzzer 等工具它們?cè)诟鞔箝_源項(xiàng)目中發(fā)現(xiàn)了大量真實(shí)漏洞。但模糊測(cè)試的思想并不局限于安全。它的核心是用自動(dòng)化方式探索輸入空間發(fā)現(xiàn)超出預(yù)期行為的邊界條件。這個(gè)思想和 Auto-Research 的研究過程驚人地一致。1.3 兩者的共同點(diǎn)都在探索“未知空間”讓我們把兩個(gè)概念放到同一張表里對(duì)比維度Fuzz TestingAgentic Auto-Research探索對(duì)象程序輸入空間知識(shí)/信息空間生成策略隨機(jī)變異、結(jié)構(gòu)感知生成問題生成、子問題拆解反饋信號(hào)崩潰、超時(shí)、覆蓋率信息增益、相關(guān)性評(píng)分、事實(shí)一致性目標(biāo)發(fā)現(xiàn)崩潰與漏洞發(fā)現(xiàn)高質(zhì)量結(jié)論與關(guān)鍵證據(jù)終止條件時(shí)間預(yù)算、覆蓋率閾值時(shí)間預(yù)算、結(jié)論置信度可以看出兩者在系統(tǒng)層面高度同構(gòu)。2. 系統(tǒng)同構(gòu)從五個(gè)維度拆解映射關(guān)系為了把“Auto-Research is Fuzz Testing”這個(gè)論斷落到實(shí)處下面從五個(gè)維度做拆解。2.1 探索空間的定義Fuzz Testing被測(cè)程序的輸入空間。例如一個(gè) JSON 解析器它的輸入空間是所有可能的字節(jié)序列其中真正合法的 JSON 只占極小比例而能觸發(fā) Bug 的非法輸入則散布在空間各處。Auto-Research圍繞一個(gè)主題的所有可能問題、證據(jù)來源和推理路徑。例如研究“Transformer 的訓(xùn)練穩(wěn)定性”可能涉及的問題包括學(xué)習(xí)率 warmup 的數(shù)學(xué)原理、梯度裁剪對(duì) loss spike 的影響、不同初始化策略的對(duì)比、以及各個(gè)開源實(shí)現(xiàn)中的差異。在 Fuzz 中好的輸入生成器能高效覆蓋空間在 Auto-Research 中好的問題生成器同樣決定了研究的天花板。2.2 生成與變異策略Fuzz 領(lǐng)域的核心概念是“變異”Mutation。AFL 這樣的工具之所以高效是因?yàn)樗鼤?huì)在已有種子輸入的基礎(chǔ)上做微調(diào)而不是完全從零隨機(jī)生成。這樣的“種子 變異”模式在 Auto-Research 中同樣適用。具體來說Fuzz 變異策略Auto-Research 對(duì)應(yīng)策略位翻轉(zhuǎn)覆蓋邊界值從不同角度提問翻轉(zhuǎn)假設(shè)條件插入合法/非法數(shù)據(jù)塊混合權(quán)威來源和反方觀點(diǎn)結(jié)構(gòu)感知的語法生成基于領(lǐng)域知識(shí)生成結(jié)構(gòu)化子問題從語料庫中交叉重疊將不同論文、文檔中的觀點(diǎn)交叉引用一個(gè)優(yōu)秀的 Auto-Research 系統(tǒng)不應(yīng)該每次從零開始生成全新問題而是應(yīng)該基于已有研究結(jié)論持續(xù)變異出“下一個(gè)值得驗(yàn)證的問題”。這與 Fuzzing 的“種子 變異”思路如出一轍。2.3 反饋回路Fuzz Testing 最核心的設(shè)計(jì)是閉環(huán)反饋生成輸入 - 執(zhí)行程序 - 采集信號(hào)覆蓋率/崩潰 - 更新語料庫 - 生成下一批輸入Auto-Research 同樣需要閉環(huán)生成問題 - 檢索/閱讀 - 評(píng)估相關(guān)性/一致性 - 更新研究狀態(tài) - 生成下一個(gè)問題很多 Auto-Research 系統(tǒng)效果差原因不在于模型不夠強(qiáng)而在于沒有建立有效的反饋回路。它們只是機(jī)械地遞歸調(diào)用模型生成大綱、填充內(nèi)容缺少“評(píng)估當(dāng)前已獲取信息是否足夠”“哪個(gè)方向值得繼續(xù)深挖”“哪些信息互相矛盾需要驗(yàn)證”這些反饋機(jī)制。類似地Fuzz 如果沒有覆蓋率反饋就是純粹的隨機(jī)輸入效率會(huì)低幾個(gè)數(shù)量級(jí)。2.4 信號(hào)函數(shù)的設(shè)計(jì)在 Fuzz 中覆蓋率是衡量探索進(jìn)度的核心指標(biāo)。在 Auto-Research 中我們需要定義類似的“研究覆蓋率”或“信息增益”指標(biāo)。常見的信號(hào)函數(shù)包括知識(shí)覆蓋度當(dāng)前收集到的關(guān)鍵概念、子主題占整個(gè)主題空間的比例。證據(jù)一致性收集到的信息是否互相支持是否存在沖突?？沈?yàn)證性結(jié)論是否可以被多個(gè)獨(dú)立來源交叉驗(yàn)證。檢索增益新搜索到的文檔中有多少比例是此前未見過的有效信息。這些信號(hào)的價(jià)值在于它們?yōu)?Agent 的下一步行動(dòng)提供了優(yōu)化方向相當(dāng)于 Fuzzing 中的覆蓋率反饋。2.5 資源預(yù)算與停止條件Fuzz Testing 通常有明確的時(shí)間預(yù)算或者在覆蓋率不再增長時(shí)停止。Auto-Research 面臨同樣的問題研究類任務(wù)往往沒有唯一正確答案如果沒有停止條件Agent 會(huì)無限擴(kuò)展研究范圍導(dǎo)致成本失控。實(shí)用的停止條件包括達(dá)到預(yù)設(shè)的輪次上限或時(shí)間預(yù)算。信息增益連續(xù)多輪低于閾值。多個(gè)獨(dú)立來源達(dá)成一致的結(jié)論。用戶指定的答案豐富度目標(biāo)已經(jīng)滿足。這一點(diǎn)和 Fuzzing 異曲同工資源總是有限的如何在有限預(yù)算內(nèi)最大化探索收益是兩個(gè)領(lǐng)域共同的根本問題。3. 用 Fuzz 思想設(shè)計(jì)一個(gè) Mini Auto-Research 系統(tǒng)光講概念不夠下面用 Python 實(shí)現(xiàn)一個(gè)簡(jiǎn)化版的 Auto-Research 原型重點(diǎn)展示 Fuzz Testing 的閉環(huán)結(jié)構(gòu)如何落地。3.1 系統(tǒng)結(jié)構(gòu)與設(shè)計(jì)我們?cè)O(shè)計(jì)一個(gè)“假設(shè)驅(qū)動(dòng)的自動(dòng)研究引擎”核心組件包括ResearchSeed種子語料庫初始研究主題和少量種子問題。QuestionMutator問題變異器基于種子問題變異出新問題類似 Fuzzer 的 Mutation Engine。ResearchExecutor研究執(zhí)行器模擬“檢索 閱讀 提煉”的過程。SignalEvaluator信號(hào)評(píng)估器根據(jù)信息增益、相關(guān)性等指標(biāo)打分過濾低價(jià)值研究方向。ResearchCorpus知識(shí)庫保存已經(jīng)探索過的方向和獲得的結(jié)論。整體循環(huán)如下種子問題 - 變異出新問題 - 執(zhí)行研究 - 評(píng)估信號(hào) - 更新語料庫 - 繼續(xù)變異3.2 項(xiàng)目環(huán)境說明本示例使用 Python 3.8不需要第三方依賴庫以模擬方式運(yùn)行。如果你要擴(kuò)展到真實(shí) LLM 調(diào)用可以自行接入 OpenAI、Claude 或本地模型的 API核心流程不變。3.3 完整示例代碼# 文件路徑mini_auto_research.py Mini Auto-Research Engine 一個(gè)演示 Agentic Auto-Research 與 Fuzz Testing 同構(gòu)關(guān)系的簡(jiǎn)化實(shí)現(xiàn)。 import random import time from dataclasses import dataclass, field from typing import Dict, List # --------------------------- # 1. 數(shù)據(jù)模型 # --------------------------- dataclass class ResearchQuestion: 研究問題對(duì)應(yīng) Fuzz Testing 中的 Test Case text: str keywords: List[str] field(default_factorylist) parent_id: int -1 dataclass class Signal: 反饋信號(hào)對(duì)應(yīng) Fuzz Testing 中的覆蓋率/崩潰信號(hào) relevance_score: float information_gain: float source_count: int conflicting: bool dataclass class ResearchResult: 一次研究的輸出 question: ResearchQuestion signal: Signal conclusion: str # --------------------------- # 2. 種子語料庫 # --------------------------- INITIAL_SEEDS [ ResearchQuestion( textWhat is the role of learning rate warmup in Transformer training?, keywords[learning_rate, warmup, transformer] ), ResearchQuestion( textHow does gradient clipping affect training stability?, keywords[gradient_clipping, stability] ), ] # 模擬的“互聯(lián)網(wǎng)知識(shí)空間”每個(gè)主題有若干可發(fā)現(xiàn)的“知識(shí)片段” KNOWLEDGE_SPACE { learning_rate: [ (Warmup helps avoid early training instability in deep transformers., 0.9), (Linear warmup schedules are common in LLM pretraining., 0.8), (Learning rate too high can cause loss spikes early in training., 0.7), ], warmup: [ (Theoretical analysis suggests warmup is related to layer norm sensitivity., 0.6), (In practice, warmup duration is often set to a small percentage of total steps., 0.75), ], gradient_clipping: [ (Gradient clipping limits the norm of gradients to prevent exploding gradients., 0.85), (Clipping at global norm 1.0 is a common default in LLM training., 0.8), (Overly aggressive clipping can slow convergence., 0.65), ], stability: [ (Loss spikes are often correlated with large gradient norms., 0.7), (Stable training requires monitoring gradient statistics over time., 0.6), ], transformer: [ (Transformer training is sensitive to the scale of residual branches., 0.55), (Initialization and warmup together affect deep model trainability., 0.8), ], } # --------------------------- # 3. 變異器從現(xiàn)有問題變異出新問題 # --------------------------- def mutate_question(base: ResearchQuestion, corpus: ResearchCorpus) - ResearchQuestion: 基于已有問題變異出新問題對(duì)應(yīng) Fuzz 中的 Mutation Engine。 策略替換關(guān)鍵詞 改變提問角度。 # 從一個(gè)隨機(jī)關(guān)鍵詞擴(kuò)展新關(guān)鍵詞 new_keywords base.keywords.copy() all_keywords list(KNOWLEDGE_SPACE.keys()) # 60% 概率加入一個(gè)新關(guān)鍵詞 if random.random() 0.6: candidate random.choice(all_keywords) if candidate not in new_keywords: new_keywords.append(candidate) # 40% 概率丟棄一個(gè)原有關(guān)鍵詞模擬“切換研究方向” if len(new_keywords) 1 and random.random() 0.4: new_keywords.remove(random.choice(new_keywords)) # 根據(jù)關(guān)鍵詞組合生成新問題模板 templates [ How does {kw1} interact with {kw2} during training?, What are the practical implications of {kw1} for {kw2}?, Are there known trade-offs between {kw1} and {kw2}?, What role does {kw1} play in optimizing {kw2}?, ] template random.choice(templates) kw1 new_keywords[0] if new_keywords else learning_rate kw2 new_keywords[1] if len(new_keywords) 1 else new_keywords[0] new_question ResearchQuestion( texttemplate.format(kw1kw1, kw2kw2), keywordsnew_keywords, parent_idid(base) ) return new_question # --------------------------- # 4. 研究執(zhí)行器模擬檢索與提煉 # --------------------------- def execute_research(question: ResearchQuestion) - ResearchResult: 模擬檢索知識(shí)空間并提煉結(jié)論。 對(duì)應(yīng) Fuzz 中的 Target Execution。 found_sources [] seen_texts set() # 找到與該問題關(guān)鍵詞相關(guān)的所有知識(shí)片段 for kw in question.keywords: if kw in KNOWLEDGE_SPACE: for text, score in KNOWLEDGE_SPACE[kw]: if text not in seen_texts: found_sources.append((text, score)) seen_texts.add(text) seen_texts.clear() if not found_sources: return ResearchResult( questionquestion, signalSignal( relevance_score0.0, information_gain0.0, source_count0, conflictingFalse, ), conclusionNo relevant sources found., ) # 計(jì)算相關(guān)性分?jǐn)?shù)取最高分 relevance max(score for _, score in found_sources) # 計(jì)算信息增益未被語料庫覆蓋的知識(shí)比例 new_sources [ (text, score) for text, score in found_sources if not corpus_already_contains(text) ] info_gain len(new_sources) / len(found_sources) # 檢測(cè)沖突相同關(guān)鍵詞下是否存在低分與高分并存的情況 scores [score for _, score in found_sources] conflicting (max(scores) - min(scores)) 0.2 # 生成一句“結(jié)論” best_text max(found_sources, keylambda x: x[1])[0] conclusion fKey insight: {best_text} return ResearchResult( questionquestion, signalSignal( relevance_scorerelevance, information_gaininfo_gain, source_countlen(found_sources), conflictingconflicting, ), conclusionconclusion, ) # --------------------------- # 5. 全局語料庫與覆蓋率跟蹤 # --------------------------- class ResearchCorpus: 研究語料庫對(duì)應(yīng) Fuzz 中的 Coverage Bitmap def __init__(self): self.known_insights set() self.known_questions set() self.total_insights sum( len(v) for v in KNOWLEDGE_SPACE.values() ) def add_result(self, result: ResearchResult): self.known_questions.add(result.question.text) if result.signal.source_count 0: self.known_insights.add(result.conclusion) def coverage(self) - float: 模擬知識(shí)覆蓋率。用已發(fā)現(xiàn)的唯一結(jié)論數(shù)代表。 return len(self.known_insights) / self.total_insights def corpus_already_contains(text: str) - bool: 全局函數(shù)判斷某條知識(shí)是否已在語料庫中 # 簡(jiǎn)化實(shí)現(xiàn)在下面的主循環(huán)中通過 ResearchCorpus 的 known_insights 判斷 global CURRENT_CORPUS return text in CURRENT_CORPUS.known_insights # --------------------------- # 6. 主循環(huán)Fuzz 風(fēng)格的閉環(huán)研究 # --------------------------- def run_research_fuzzer( max_rounds: int 40, mutation_budget: int 3 ) - ResearchCorpus: 主循環(huán) 1. 從種子池選擇一個(gè)問題 2. 變異生成新問題 3. 執(zhí)行研究 4. 評(píng)估信號(hào)過濾低價(jià)值方向 5. 更新語料庫 global CURRENT_CORPUS CURRENT_CORPUS ResearchCorpus() # 種子池首先執(zhí)行初始種子問題 question_pool: List[ResearchQuestion] INITIAL_SEEDS.copy() executed_questions: List[ResearchQuestion] [] print( Starting Auto-Research Fuzzer \n) for round_idx in range(max_rounds): # 從池中取出一個(gè)問題優(yōu)先選未被執(zhí)行的種子 if question_pool: base_question question_pool.pop(0) else: # 池為空時(shí)從已執(zhí)行問題中隨機(jī)選擇一個(gè)為種子 base_question random.choice(executed_questions) # 變異生成新問題每次生成 mutation_budget 個(gè)候選 candidate_questions [ mutate_question(base_question, CURRENT_CORPUS) for _ in range(mutation_budget) ] # 執(zhí)行每個(gè)候選問題并評(píng)估信號(hào) best_candidate None best_signal None for candidate in candidate_questions: if candidate.text in CURRENT_CORPUS.known_questions: continue result execute_research(candidate) CURRENT_CORPUS.add_result(result) executed_questions.append(candidate) # 信號(hào)篩選相關(guān)性高且信息增益大于 0 的問題值得保留 if result.signal.information_gain 0: if best_signal is None or ( result.signal.relevance_score best_signal.relevance_score ): best_candidate candidate best_signal result.signal # 把“值得繼續(xù)深挖”的方向重新放回池中 if best_candidate is not None and len(question_pool) 10: question_pool.append(best_candidate) # 打印當(dāng)前進(jìn)度 coverage CURRENT_CORPUS.coverage() print(fRound {round_idx 1:2d} | fCoverage: {coverage:4.0%} | fExecuted Qs: {len(executed_questions):2d} | fKnown Insights: {len(CURRENT_CORPUS.known_insights):2d}) # 停止條件覆蓋率不再能提升且池為空 if not question_pool and coverage 1.0: break return CURRENT_CORPUS if __name__ __main__: corpus run_research_fuzzer(max_rounds30) print(\n Final Coverage: {:.0%} .format(corpus.coverage()))3.4 運(yùn)行結(jié)果與說明python mini_auto_research.py運(yùn)行時(shí)每一輪輸出的邏輯是Coverage當(dāng)前知識(shí)覆蓋率類似 Fuzz 的覆蓋率指標(biāo)。Executed Qs已經(jīng)執(zhí)行過的問題數(shù)量類似 Fuzz 的測(cè)試用例執(zhí)行數(shù)。Known Insights已經(jīng)發(fā)現(xiàn)的知識(shí)片段數(shù)量類似 Fuzz 中觸達(dá)的新路徑數(shù)。在你的機(jī)器上運(yùn)行后覆蓋率會(huì)隨著輪次增加而上升最終接近 100%。這個(gè)過程展示了一個(gè)關(guān)鍵結(jié)論有效的自動(dòng)研究不是靠一次生成大而全的提綱而是靠持續(xù)變異、評(píng)估反饋和定向深挖。這個(gè)循環(huán)和你熟悉的 Fuzzer 工作方式完全一致。4. 實(shí)戰(zhàn)中的坑點(diǎn)與排查清單把“Auto-Research is Fuzz Testing”這個(gè)思路落地到真實(shí)項(xiàng)目時(shí)會(huì)遇到不少問題。下面整理幾個(gè)常見坑點(diǎn)。4.1 問題與排查表問題現(xiàn)象常見原因解決思路研究結(jié)論重復(fù)率很高缺少去重機(jī)制Agent 反復(fù)問相似問題在知識(shí)庫中保存已探索問題的語義 Embedding生成新問題時(shí)先做相似度判斷研究方向發(fā)散無法收斂缺少累計(jì)信息增益控制變異策略過于激進(jìn)引入“探索率”超參隨著輪次增加逐步降低隨機(jī)性提高定向深耕比例檢索了大量內(nèi)容但結(jié)論空洞評(píng)估信號(hào)只關(guān)注相關(guān)性不關(guān)注信息增益在信號(hào)函數(shù)中加入“新信息占比”與相關(guān)性加權(quán)成本超預(yù)算沒有設(shè)定停止條件參考 Fuzz 的時(shí)間預(yù)算加入輪次上限和低增益提前終止多輪循環(huán)陷入局部最優(yōu)問題池中保留的候選過于單一增加種子多樣性定期從外部知識(shí)庫引入新的子主題4.2 設(shè)計(jì)反饋信號(hào)時(shí)的注意事項(xiàng)信號(hào)函數(shù)是 Auto-Research 的“覆蓋率”但設(shè)計(jì)不好反而會(huì)誤導(dǎo) Agent。比如如果只關(guān)注相關(guān)性Agent 會(huì)反復(fù)閱讀已經(jīng)掌握的內(nèi)容。如果只關(guān)注沖突檢測(cè)Agent 會(huì)刻意尋找極端觀點(diǎn)導(dǎo)致結(jié)論失衡。如果信息增益計(jì)算依賴語料庫那么語料庫的初始化非常關(guān)鍵種子太小會(huì)導(dǎo)致前期探索浪費(fèi)。建議是把信號(hào)函數(shù)拆成多個(gè)維度加權(quán)而不是一個(gè)單一分?jǐn)?shù)。例如 0.4 * 相關(guān)度 0.4 * 新信息占比 0.2 * 來源權(quán)威度讓 Agent 有了可以被優(yōu)化的綜合目標(biāo)。5. 從 Fuzz 測(cè)試借鑒的最佳實(shí)踐理解了映射關(guān)系后我們可以把 Fuzz 領(lǐng)域積累的工程經(jīng)驗(yàn)直接遷移到 Auto-Research 系統(tǒng)設(shè)計(jì)中。5.1 種子語料庫是系統(tǒng)質(zhì)量的基石Fuzz 有一個(gè)共識(shí)種子語料庫的質(zhì)量決定了 fuzzing 效果的上限。一個(gè)只有單個(gè)空輸入的語料庫即使跑再久也可能一無所獲而包含大量結(jié)構(gòu)有效種子的語料庫起步效率會(huì)高得多。Auto-Research 同理不要用空提示詞讓 Agent 自行發(fā)揮。初始種子問題、種子文檔、種子結(jié)論盡可能覆蓋研究主題的各個(gè)角度?？梢詮木S基百科目錄、論文摘要、FAQ 中提取首批種子。每個(gè)種子問題都相當(dāng)于 fuzzing 中的 seed變異出來的問題會(huì)圍繞 seed 的“附近區(qū)域”展開探索。5.2 變異策略要平衡探索與利用在 Fuzz 術(shù)語中探索Exploration是指生成完全未知的輸入利用Exploitation是指在已知路徑附近做微小變異。Auto-Research 同樣需要這種平衡探索生成與當(dāng)前研究主題完全不同的新問題嘗試跳出局部最優(yōu)。利用在當(dāng)前最有價(jià)值的結(jié)論基礎(chǔ)上向更深的子問題挖掘。務(wù)實(shí)做法是維護(hù)兩個(gè)隊(duì)列一個(gè)保存高價(jià)值結(jié)論的“深挖隊(duì)列”一個(gè)保存未探索方向的“廣度隊(duì)列”。每輪按三七比例分配生成預(yù)算。5.3 覆蓋率導(dǎo)向的停止機(jī)制Fuzz 工具經(jīng)常在覆蓋率停止增長一定輪次后主動(dòng)降低變異強(qiáng)度或者放棄當(dāng)前種子。這給 Auto-Research 的啟發(fā)是記錄每輪的信息增益曲線如果連續(xù) 3-5 輪低于閾值說明當(dāng)前方向已接近收益邊界應(yīng)切換種子。記錄每個(gè)種子問題下的累計(jì)信息增益低收益種子會(huì)被淘汰。這樣研究過程會(huì)逐漸收斂到最有價(jià)值的子問題上而不是漫無目的地?zé)o限擴(kuò)展。5.4 沖突檢測(cè) 發(fā)現(xiàn) bug 的機(jī)會(huì)在 Fuzz 中崩潰意味著缺陷在 Auto-Research 中“信息沖突”正是值得深挖的信號(hào)。當(dāng) Agent 發(fā)現(xiàn)兩份權(quán)威來源結(jié)論不一致時(shí)不應(yīng)簡(jiǎn)單取平均值而應(yīng)把沖突本身標(biāo)記為新的研究子問題。繼續(xù)檢索第三方來源尋找判定的依據(jù)。在最終報(bào)告中明確呈現(xiàn)沖突而不是隱藏它。這正好對(duì)應(yīng) Fuzz 中發(fā)現(xiàn) bug 后的處理流程——保留輸入、分析根因、填充語料庫。6. 總結(jié)與下一步Agentic Auto-Research 和 Fuzz Testing 的同構(gòu)關(guān)系可以濃縮為一句話自動(dòng)研究的本質(zhì)是在巨大的知識(shí)與問題空間中用受反饋信號(hào)引導(dǎo)的變異和選擇發(fā)現(xiàn)高價(jià)值結(jié)論的邊界。用 Fuzzing 的視角重新設(shè)計(jì) Auto-Research 系統(tǒng)你能得到的不僅是架構(gòu)上的啟發(fā)還有一整套已經(jīng)過大規(guī)模實(shí)踐驗(yàn)證的工程方法種子庫管理、變異策略、覆蓋率信號(hào)、能量調(diào)度、語料庫去重。如果你正在做 Agent 應(yīng)用下一步可以從這三件事開始實(shí)踐為當(dāng)前研究系統(tǒng)定義清晰的“信號(hào)函數(shù)”讓每一輪迭代都有一個(gè)可優(yōu)化的目標(biāo)。建立“種子 變異”的問題生成機(jī)制而不是每次都問模型“請(qǐng)生成一個(gè)研究大綱”。為研究過程加入信息增益監(jiān)控用覆蓋率曲線來評(píng)估系統(tǒng)效率而不是只看最終報(bào)告字?jǐn)?shù)。希望這篇文章能給你帶來一個(gè)新的視角。如果對(duì)你有幫助可以收藏備用后續(xù)實(shí)踐中有新的體會(huì)也可以回來交流。