候更省：別只數(shù)工具調(diào)用，要數(shù)模型往返)
Code Mode 什么時(shí)候更省別只數(shù)工具調(diào)用要數(shù)模型往返判斷 Code Mode 是否更省最容易犯的錯(cuò)誤是盯著“工具調(diào)用了多少次”。同樣讀取 10 個(gè)文件可以是模型發(fā)起 10 次串行決策也可以是模型先寫(xiě)一個(gè)有界程序讓程序完成 10 次讀取、篩選和聚合再把一份壓縮結(jié)果交還模型。兩種方案的工具調(diào)用數(shù)都可能是 10但模型往返、重復(fù)上下文和中間輸出完全不同。所以真正應(yīng)該優(yōu)化的不是Promise.all這個(gè)語(yǔ)法而是完整任務(wù)中的模型輪次、上下文回放、結(jié)果體積與失敗邊界。一、先區(qū)分兩條執(zhí)行回路直接工具調(diào)用的典型循環(huán)是模型選擇一個(gè)工具觀察結(jié)果再?zèng)Q定下一步。它的優(yōu)勢(shì)不是“簡(jiǎn)單”而是每一步都可以利用新信息重新判斷。搜索方向要不要改變、是否需要審批、寫(xiě)入前是否應(yīng)停下來(lái)、工具的原生引用或文件能力是否必須保留這些任務(wù)天然需要直接調(diào)用。程序化工具調(diào)用則把一段可預(yù)測(cè)工作交給代碼一次模型請(qǐng)求生成 JavaScript在隔離的 V8 Runtime 中完成多次調(diào)用、循環(huán)、條件判斷、過(guò)濾、排序、去重或聚合只把較小的結(jié)構(gòu)化結(jié)果返回給模型。它省下的不是工具本身而是工具之間不必要的模型往返。證據(jù)圖 1OpenAI Programmatic Tool Calling 文檔按任務(wù)形狀區(qū)分兩種模式。可預(yù)測(cè)、可聚合并能返回更小結(jié)構(gòu)化結(jié)果的階段適合程序化調(diào)用需要新判斷、審批或保留原生能力時(shí)直接調(diào)用更合適。這里還要?jiǎng)澢逡粋€(gè)產(chǎn)品邊界OpenAI API 的 Programmatic Tool Calling 是公開(kāi)能力說(shuō)明Codex 產(chǎn)品內(nèi)部如何組合模型、執(zhí)行環(huán)境、Responses Lite 與其他工具路徑是另一層實(shí)現(xiàn)。本文只借官方文檔解釋能力邊界不把 API 文檔等同于 Codex 全部后端。二、成本要按模型往返記賬可以先用一個(gè)簡(jiǎn)化式建立直覺(jué)任務(wù)成本 ≈ 模型輪次 × 每輪重復(fù)上下文 工具結(jié)果輸入 模型輸出緩存輸入比未緩存輸入便宜但不是免費(fèi)。按當(dāng)前 Codex Rate CardGPT-5.6 Sol 的緩存輸入為 12.5 Credits / 1M Token。假設(shè) 100k 緩存上下文被重復(fù)帶入 30 次模型請(qǐng)求僅這一項(xiàng)就是 3M cached input也就是 37.5 Credits。這個(gè)例子是作者換算不是官方對(duì)單任務(wù)成本的預(yù)測(cè)。更關(guān)鍵的是長(zhǎng)上下文經(jīng)常還會(huì)攜帶工具結(jié)果、計(jì)劃、日志和歷史決策。串行工具調(diào)用越多模型越可能重復(fù)接收同一批背景信息。程序化階段如果能在運(yùn)行時(shí)先裁剪結(jié)果只回傳模型真正需要的字段節(jié)省會(huì)同時(shí)來(lái)自“更少輪次”和“更小結(jié)果”。三、一條長(zhǎng)線程說(shuō)明了什么又不能說(shuō)明什么GitHub Issue #32503 給出了一條長(zhǎng) Codex Desktop 線程的追蹤GPT-5.6 Sol 產(chǎn)生 739 個(gè) exec cells其中只有 5 個(gè)使用Promise.all。報(bào)告同時(shí)觀察到每個(gè)含工具回合的模型請(qǐng)求數(shù)約高 5.3 倍、每回合總 Token 約高 7.9 倍約 94% 的輸入 Token 被報(bào)告為緩存。它足以支持一個(gè)機(jī)制判斷如果多個(gè)已知的獨(dú)立讀取被拆成“模型一次、工具一次、再回模型”的串行鏈重復(fù)上下文會(huì)放大任務(wù)成本。但它不能證明一個(gè)普遍倍率。該追蹤混合了不同模型、上下文窗口、推理強(qiáng)度和工具路徑5.3 倍與 7.9 倍不能直接推廣到所有倉(cāng)庫(kù)、所有套餐或所有任務(wù)。正確用法是把它當(dāng)作排查線索而不是產(chǎn)品承諾或普遍 Bug 定論。四、受控樣本支持“條件收益”不支持“全部批處理”Issue #35050 在兩個(gè)無(wú)關(guān)代碼庫(kù)上做了同模型對(duì)照。重復(fù) High/XHigh 樣本中顯式有界批處理讓加權(quán)使用分別下降約 45% 和 27%一個(gè) Max 配對(duì)下降 47.4%但作者明確說(shuō)明單個(gè)配對(duì)需要復(fù)現(xiàn)。這組數(shù)據(jù)比跨模型長(zhǎng)線程更接近可比較實(shí)驗(yàn)但樣本仍然只覆蓋兩類只讀倉(cāng)庫(kù)任務(wù)不能推廣成“Code Mode 固定節(jié)省 27%—45%”。更重要的反例是一個(gè)過(guò)度激進(jìn)的提示變體反而多消耗 26.8% 加權(quán) Credits。為什么批得更多反而可能更貴為了湊批次擴(kuò)大調(diào)查范圍讀取了原本不需要的數(shù)據(jù)把輸出很大的操作塞進(jìn)一輪結(jié)果壓縮失敗一個(gè)子調(diào)用失敗導(dǎo)致整批重跑回滾成本高于串行把寫(xiě)入、審批或共享狀態(tài)操作并發(fā)化正確性成本上升模型為了設(shè)計(jì)復(fù)雜批處理程序產(chǎn)生了更多推理與輸出。因此“能并發(fā)”不是決策條件“已知、獨(dú)立、只讀、結(jié)果可控、失敗邊界清楚”才是。五、一個(gè)可落地的任務(wù)形狀矩陣適合程序化調(diào)用多個(gè)已知且獨(dú)立的數(shù)據(jù)源只讀操作不共享可變狀態(tài)結(jié)果可過(guò)濾、聚合、去重或校驗(yàn)返回給模型的內(nèi)容明顯小于原始結(jié)果失敗可以定位到單個(gè)子調(diào)用并能局部重試。適合直接調(diào)用或串行執(zhí)行下一步需要模型基于新結(jié)果重新做語(yǔ)義判斷如果依賴關(guān)系可預(yù)測(cè)、后續(xù)參數(shù)可由代碼推導(dǎo)且失敗邊界明確仍可留在程序化階段搜索需要模型動(dòng)態(tài)改變關(guān)鍵詞或來(lái)源涉及寫(xiě)入、審批、權(quán)限和外部狀態(tài)需要工具原生引用、文件或交互產(chǎn)物失敗會(huì)改變后續(xù)策略不能機(jī)械繼續(xù)。真實(shí)任務(wù)通常不是二選一。更穩(wěn)妥的結(jié)構(gòu)是“分階段混合”模型先判斷階段目標(biāo)階段內(nèi)對(duì)已知只讀操作做有界批處理階段結(jié)束后把壓縮結(jié)果交回模型再?zèng)Q定下一個(gè)階段。六、不要用調(diào)用數(shù)證明優(yōu)化要做完整任務(wù) A/B評(píng)估前還必須固定同一模型、推理檔位、倉(cāng)庫(kù)快照、任務(wù)、驗(yàn)收標(biāo)準(zhǔn)和工具權(quán)限并執(zhí)行多次重復(fù)。之后至少同時(shí)記錄四組指標(biāo)質(zhì)量結(jié)論、引用、邊界和最終驗(yàn)收是否一致資源未緩存輸入、緩存輸入、輸出和加權(quán) Credits編排模型輪次、工具調(diào)用、程序單元、失敗與重試延遲首次有效結(jié)果、總時(shí)長(zhǎng)、P50 與 P95。作者建議先用 6—8 個(gè)互相獨(dú)立的只讀調(diào)用做一個(gè)有界試驗(yàn)并把 20% 的資源改善當(dāng)作值得保留的觀察閾值之一這只是工程起點(diǎn)不是官方門檻。若質(zhì)量下降、失敗重跑增加或輸出無(wú)法裁剪即使工具調(diào)用看起來(lái)更“并發(fā)”也不算優(yōu)化。七、批次太大、等待太久同樣會(huì)放大成本程序化調(diào)用不是“批得越多越省”。至少有七條常見(jiàn)放大路徑批次太小導(dǎo)致頻繁回模型每個(gè)中間階段都返回模型結(jié)果沒(méi)有在代碼層壓縮批次過(guò)大觸發(fā)限速、截?cái)嗷蛘卦囈蕾嚾蝿?wù)被提前并發(fā)慢工具等待期間反復(fù)喚醒模型開(kāi)放式搜索一次鋪開(kāi)過(guò)多寬泛查詢。Issue #33402 報(bào)告過(guò)外層exec聚合結(jié)果截?cái)?。它只是一個(gè)社區(qū)個(gè)案不能說(shuō)明所有 Code Mode 都存在同樣問(wèn)題卻足以提醒 Harness每個(gè)工具和每個(gè)批次都要有max_bytes、max_rows、max_items不能把完整日志、網(wǎng)頁(yè)或大文件無(wú)條件匯總給模型。緩存也要分開(kāi)看“命中率”和“總處理量”。94% 緩存命中可能與很高的累計(jì)緩存輸入同時(shí)成立命中率高只能說(shuō)明重復(fù)前綴獲得折扣不能說(shuō)明重復(fù)輪次已經(jīng)消失。八、Promise.all不是目標(biāo)失敗語(yǔ)義才是Promise.all中任一子調(diào)用拒絕整個(gè) Promise 就會(huì)拒絕。如果 Runtime 或提示隨后重跑整個(gè)批次已經(jīng)成功的讀取也可能重復(fù)。對(duì)于可以局部恢復(fù)的只讀任務(wù)更穩(wěn)妥的基線通常是constresultsawaitPromise.allSettled(batch.map((item)safeToolCall(item)));constfailedresults.map((result,index)({result,index})).filter(({result})result.statusrejected);并發(fā)還要有上限。每批 6—8 項(xiàng)只是工程起點(diǎn)真實(shí)數(shù)值取決于工具限速、結(jié)果大小、資源競(jìng)爭(zhēng)和失敗率。讀操作通常易于重試寫(xiě)操作必須額外解決共享狀態(tài)、冪等、事務(wù)、鎖和回滾。真正的優(yōu)化目標(biāo)是在不犧牲正確性與可恢復(fù)性的前提下減少無(wú)價(jià)值模型往返和重復(fù)上下文。九、用七問(wèn)判斷串行、并行還是分階段問(wèn)題若答案為“是”若答案為“否”調(diào)用之間有數(shù)據(jù)依賴嗎串行或由代碼推導(dǎo)確定依賴?yán)^續(xù)判斷會(huì)寫(xiě)入共享狀態(tài)嗎串行、加鎖或事務(wù)繼續(xù)判斷需要逐項(xiàng)審批嗎串行繼續(xù)判斷單項(xiàng)失敗會(huì)改變整體策略嗎串行或小批次繼續(xù)判斷輸出可控并能本地壓縮嗎可考慮并行限制批次與返回體外部服務(wù)能承受并發(fā)嗎可考慮并行降低并發(fā)所有調(diào)用是否預(yù)先已知可批處理自適應(yīng)分輪這也給出三類清晰邊界已知、獨(dú)立、只讀、可壓縮的調(diào)用適合程序化批處理測(cè)試、多倉(cāng)庫(kù)掃描、文檔檢索等任務(wù)只在局部條件滿足時(shí)適合數(shù)據(jù)庫(kù)事務(wù)、刪除、發(fā)布、付款、權(quán)限變更、自適應(yīng)調(diào)試和開(kāi)放式搜索不得盲目并行。十、搜索和工具等待需要專門的 Harness網(wǎng)絡(luò)搜索的對(duì)象集合會(huì)被上一輪證據(jù)改變不能照搬文件批處理。更穩(wěn)妥的流程是第一輪只發(fā)起 2—4 個(gè)高價(jià)值查詢抽取來(lái)源、日期、結(jié)論和證據(jù)等級(jí)識(shí)別缺口與沖突后第二輪只查缺口連續(xù)沒(méi)有新增證據(jù)時(shí)停止。Harness 同時(shí)限制每輪查詢數(shù)和頁(yè)面數(shù)優(yōu)先官方源做 URL 去重并避免把整頁(yè)原文直接塞入主上下文。工具等待則要同時(shí)處理三層Runtime使用異步完成事件不因“仍在等待”反復(fù)喚醒模型完成后一次聚合只重試失敗項(xiàng)Harness給慢工具設(shè)置超時(shí)與結(jié)果預(yù)算用 DAG 表達(dá)依賴超過(guò)等待預(yù)算時(shí)交付部分結(jié)果或降級(jí)提示明確“工具未返回前不要重復(fù)請(qǐng)求同一資源只在存在獨(dú)立子任務(wù)時(shí)繼續(xù)”。自然語(yǔ)言提示不能代替 Runtime 約束但可以減少不必要的中間響應(yīng)。十一、十步落地策略先畫(huà)依賴圖不按工具數(shù)量直接決定并行只對(duì)獨(dú)立、只讀、無(wú)審批、輸出可控的調(diào)用批處理小批開(kāi)始按限速、大小和失敗率調(diào)整使用Promise.allSettled局部失敗局部重試在代碼層過(guò)濾、去重、計(jì)數(shù)和抽樣給每項(xiàng)設(shè)置max_bytes、max_rows或max_items不把完整日志、網(wǎng)頁(yè)和大文件直接返回模型寫(xiě)入保持串行或使用顯式鎖、事務(wù)與冪等鍵搜索按證據(jù)缺口分輪單批失敗率超過(guò) 20%、輸出接近上限或出現(xiàn)重復(fù)讀取時(shí)停止并重新規(guī)劃。十二、完整 A/B 與四層根因質(zhì)量指標(biāo)至少包括驗(yàn)收通過(guò)率、漏項(xiàng)、錯(cuò)誤和人工返工資源指標(biāo)包括總 Credits、未緩存輸入、緩存輸入、輸出、模型輪次、工具調(diào)用和重試編排指標(biāo)包括批次數(shù)、平均批大小、并發(fā)度、失敗率、重復(fù)讀取和截?cái)嘌舆t指標(biāo)包括總墻鐘時(shí)間、工具等待時(shí)間和模型時(shí)間。還要按獨(dú)立只讀、依賴讀取、寫(xiě)入、測(cè)試、網(wǎng)絡(luò)搜索、多代理和高風(fēng)險(xiǎn)操作分組不能把不同任務(wù)混成一個(gè)平均數(shù)。如果結(jié)果異常不要只怪模型。根因可能同時(shí)位于四層模型策略可能批次偏小、重復(fù)驗(yàn)證或停止條件弱系統(tǒng)提示可能鼓勵(lì)全面工作卻不給預(yù)算Runtime 可能頻繁生成中間響應(yīng)、截?cái)嗑酆匣蝈e(cuò)誤重試Harness 可能沒(méi)有去重、依賴圖、輸出上限和 P95/P99 熔斷。公開(kāi)證據(jù)只確認(rèn)了部分現(xiàn)象不能虛構(gòu)每一層的貢獻(xiàn)比例。常見(jiàn)誤解也應(yīng)一并排除Code Mode 不是任意代碼執(zhí)行啟用它不保證減少模型輪次Promise.all數(shù)量不是效率指標(biāo)網(wǎng)絡(luò)搜索不能一次并行完社區(qū) Issue 提供的是機(jī)制線索和有限對(duì)照不是總體因果估計(jì)。最終結(jié)論很簡(jiǎn)單先壓縮不必要的模型往返再考慮并發(fā)語(yǔ)法。Promise.all是手段任務(wù)形狀、失敗語(yǔ)義、結(jié)果預(yù)算與完整成本才是控制面。參考資料OpenAI DevelopersProgrammatic Tool CallingOpenAI DevelopersUsing GPT-5.6OpenAI Help CenterCodex Rate CardGitHub openai/codex Issue #32503GitHub openai/codex Issue #35050GitHub openai/codex Issue #33402 Code Mode 什么時(shí)候更省：別只數(shù)工具調(diào)用，要數(shù)模型往返
Code Mode 什么時(shí)候更省別只數(shù)工具調(diào)用要數(shù)模型往返判斷 Code Mode 是否更省最容易犯的錯(cuò)誤是盯著“工具調(diào)用了多少次”。同樣讀取 10 個(gè)文件可以是模型發(fā)起 10 次串行決策也可以是模型先寫(xiě)一個(gè)有界程序讓程序完成 10 次讀取、篩選和聚合再把一份壓縮結(jié)果交還模型。兩種方案的工具調(diào)用數(shù)都可能是 10但模型往返、重復(fù)上下文和中間輸出完全不同。所以真正應(yīng)該優(yōu)化的不是Promise.all這個(gè)語(yǔ)法而是完整任務(wù)中的模型輪次、上下文回放、結(jié)果體積與失敗邊界。一、先區(qū)分兩條執(zhí)行回路直接工具調(diào)用的典型循環(huán)是模型選擇一個(gè)工具觀察結(jié)果再?zèng)Q定下一步。它的優(yōu)勢(shì)不是“簡(jiǎn)單”而是每一步都可以利用新信息重新判斷。搜索方向要不要改變、是否需要審批、寫(xiě)入前是否應(yīng)停下來(lái)、工具的原生引用或文件能力是否必須保留這些任務(wù)天然需要直接調(diào)用。程序化工具調(diào)用則把一段可預(yù)測(cè)工作交給代碼一次模型請(qǐng)求生成 JavaScript在隔離的 V8 Runtime 中完成多次調(diào)用、循環(huán)、條件判斷、過(guò)濾、排序、去重或聚合只把較小的結(jié)構(gòu)化結(jié)果返回給模型。它省下的不是工具本身而是工具之間不必要的模型往返。證據(jù)圖 1OpenAI Programmatic Tool Calling 文檔按任務(wù)形狀區(qū)分兩種模式。可預(yù)測(cè)、可聚合并能返回更小結(jié)構(gòu)化結(jié)果的階段適合程序化調(diào)用需要新判斷、審批或保留原生能力時(shí)直接調(diào)用更合適。這里還要?jiǎng)澢逡粋€(gè)產(chǎn)品邊界OpenAI API 的 Programmatic Tool Calling 是公開(kāi)能力說(shuō)明Codex 產(chǎn)品內(nèi)部如何組合模型、執(zhí)行環(huán)境、Responses Lite 與其他工具路徑是另一層實(shí)現(xiàn)。本文只借官方文檔解釋能力邊界不把 API 文檔等同于 Codex 全部后端。二、成本要按模型往返記賬可以先用一個(gè)簡(jiǎn)化式建立直覺(jué)任務(wù)成本 ≈ 模型輪次 × 每輪重復(fù)上下文 工具結(jié)果輸入 模型輸出緩存輸入比未緩存輸入便宜但不是免費(fèi)。按當(dāng)前 Codex Rate CardGPT-5.6 Sol 的緩存輸入為 12.5 Credits / 1M Token。假設(shè) 100k 緩存上下文被重復(fù)帶入 30 次模型請(qǐng)求僅這一項(xiàng)就是 3M cached input也就是 37.5 Credits。這個(gè)例子是作者換算不是官方對(duì)單任務(wù)成本的預(yù)測(cè)。更關(guān)鍵的是長(zhǎng)上下文經(jīng)常還會(huì)攜帶工具結(jié)果、計(jì)劃、日志和歷史決策。串行工具調(diào)用越多模型越可能重復(fù)接收同一批背景信息。程序化階段如果能在運(yùn)行時(shí)先裁剪結(jié)果只回傳模型真正需要的字段節(jié)省會(huì)同時(shí)來(lái)自“更少輪次”和“更小結(jié)果”。三、一條長(zhǎng)線程說(shuō)明了什么又不能說(shuō)明什么GitHub Issue #32503 給出了一條長(zhǎng) Codex Desktop 線程的追蹤GPT-5.6 Sol 產(chǎn)生 739 個(gè) exec cells其中只有 5 個(gè)使用Promise.all。報(bào)告同時(shí)觀察到每個(gè)含工具回合的模型請(qǐng)求數(shù)約高 5.3 倍、每回合總 Token 約高 7.9 倍約 94% 的輸入 Token 被報(bào)告為緩存。它足以支持一個(gè)機(jī)制判斷如果多個(gè)已知的獨(dú)立讀取被拆成“模型一次、工具一次、再回模型”的串行鏈重復(fù)上下文會(huì)放大任務(wù)成本。但它不能證明一個(gè)普遍倍率。該追蹤混合了不同模型、上下文窗口、推理強(qiáng)度和工具路徑5.3 倍與 7.9 倍不能直接推廣到所有倉(cāng)庫(kù)、所有套餐或所有任務(wù)。正確用法是把它當(dāng)作排查線索而不是產(chǎn)品承諾或普遍 Bug 定論。四、受控樣本支持“條件收益”不支持“全部批處理”Issue #35050 在兩個(gè)無(wú)關(guān)代碼庫(kù)上做了同模型對(duì)照。重復(fù) High/XHigh 樣本中顯式有界批處理讓加權(quán)使用分別下降約 45% 和 27%一個(gè) Max 配對(duì)下降 47.4%但作者明確說(shuō)明單個(gè)配對(duì)需要復(fù)現(xiàn)。這組數(shù)據(jù)比跨模型長(zhǎng)線程更接近可比較實(shí)驗(yàn)但樣本仍然只覆蓋兩類只讀倉(cāng)庫(kù)任務(wù)不能推廣成“Code Mode 固定節(jié)省 27%—45%”。更重要的反例是一個(gè)過(guò)度激進(jìn)的提示變體反而多消耗 26.8% 加權(quán) Credits。為什么批得更多反而可能更貴為了湊批次擴(kuò)大調(diào)查范圍讀取了原本不需要的數(shù)據(jù)把輸出很大的操作塞進(jìn)一輪結(jié)果壓縮失敗一個(gè)子調(diào)用失敗導(dǎo)致整批重跑回滾成本高于串行把寫(xiě)入、審批或共享狀態(tài)操作并發(fā)化正確性成本上升模型為了設(shè)計(jì)復(fù)雜批處理程序產(chǎn)生了更多推理與輸出。因此“能并發(fā)”不是決策條件“已知、獨(dú)立、只讀、結(jié)果可控、失敗邊界清楚”才是。五、一個(gè)可落地的任務(wù)形狀矩陣適合程序化調(diào)用多個(gè)已知且獨(dú)立的數(shù)據(jù)源只讀操作不共享可變狀態(tài)結(jié)果可過(guò)濾、聚合、去重或校驗(yàn)返回給模型的內(nèi)容明顯小于原始結(jié)果失敗可以定位到單個(gè)子調(diào)用并能局部重試。適合直接調(diào)用或串行執(zhí)行下一步需要模型基于新結(jié)果重新做語(yǔ)義判斷如果依賴關(guān)系可預(yù)測(cè)、后續(xù)參數(shù)可由代碼推導(dǎo)且失敗邊界明確仍可留在程序化階段搜索需要模型動(dòng)態(tài)改變關(guān)鍵詞或來(lái)源涉及寫(xiě)入、審批、權(quán)限和外部狀態(tài)需要工具原生引用、文件或交互產(chǎn)物失敗會(huì)改變后續(xù)策略不能機(jī)械繼續(xù)。真實(shí)任務(wù)通常不是二選一。更穩(wěn)妥的結(jié)構(gòu)是“分階段混合”模型先判斷階段目標(biāo)階段內(nèi)對(duì)已知只讀操作做有界批處理階段結(jié)束后把壓縮結(jié)果交回模型再?zèng)Q定下一個(gè)階段。六、不要用調(diào)用數(shù)證明優(yōu)化要做完整任務(wù) A/B評(píng)估前還必須固定同一模型、推理檔位、倉(cāng)庫(kù)快照、任務(wù)、驗(yàn)收標(biāo)準(zhǔn)和工具權(quán)限并執(zhí)行多次重復(fù)。之后至少同時(shí)記錄四組指標(biāo)質(zhì)量結(jié)論、引用、邊界和最終驗(yàn)收是否一致資源未緩存輸入、緩存輸入、輸出和加權(quán) Credits編排模型輪次、工具調(diào)用、程序單元、失敗與重試延遲首次有效結(jié)果、總時(shí)長(zhǎng)、P50 與 P95。作者建議先用 6—8 個(gè)互相獨(dú)立的只讀調(diào)用做一個(gè)有界試驗(yàn)并把 20% 的資源改善當(dāng)作值得保留的觀察閾值之一這只是工程起點(diǎn)不是官方門檻。若質(zhì)量下降、失敗重跑增加或輸出無(wú)法裁剪即使工具調(diào)用看起來(lái)更“并發(fā)”也不算優(yōu)化。七、批次太大、等待太久同樣會(huì)放大成本程序化調(diào)用不是“批得越多越省”。至少有七條常見(jiàn)放大路徑批次太小導(dǎo)致頻繁回模型每個(gè)中間階段都返回模型結(jié)果沒(méi)有在代碼層壓縮批次過(guò)大觸發(fā)限速、截?cái)嗷蛘卦囈蕾嚾蝿?wù)被提前并發(fā)慢工具等待期間反復(fù)喚醒模型開(kāi)放式搜索一次鋪開(kāi)過(guò)多寬泛查詢。Issue #33402 報(bào)告過(guò)外層exec聚合結(jié)果截?cái)?。它只是一個(gè)社區(qū)個(gè)案不能說(shuō)明所有 Code Mode 都存在同樣問(wèn)題卻足以提醒 Harness每個(gè)工具和每個(gè)批次都要有max_bytes、max_rows、max_items不能把完整日志、網(wǎng)頁(yè)或大文件無(wú)條件匯總給模型。緩存也要分開(kāi)看“命中率”和“總處理量”。94% 緩存命中可能與很高的累計(jì)緩存輸入同時(shí)成立命中率高只能說(shuō)明重復(fù)前綴獲得折扣不能說(shuō)明重復(fù)輪次已經(jīng)消失。八、Promise.all不是目標(biāo)失敗語(yǔ)義才是Promise.all中任一子調(diào)用拒絕整個(gè) Promise 就會(huì)拒絕。如果 Runtime 或提示隨后重跑整個(gè)批次已經(jīng)成功的讀取也可能重復(fù)。對(duì)于可以局部恢復(fù)的只讀任務(wù)更穩(wěn)妥的基線通常是constresultsawaitPromise.allSettled(batch.map((item)safeToolCall(item)));constfailedresults.map((result,index)({result,index})).filter(({result})result.statusrejected);并發(fā)還要有上限。每批 6—8 項(xiàng)只是工程起點(diǎn)真實(shí)數(shù)值取決于工具限速、結(jié)果大小、資源競(jìng)爭(zhēng)和失敗率。讀操作通常易于重試寫(xiě)操作必須額外解決共享狀態(tài)、冪等、事務(wù)、鎖和回滾。真正的優(yōu)化目標(biāo)是在不犧牲正確性與可恢復(fù)性的前提下減少無(wú)價(jià)值模型往返和重復(fù)上下文。九、用七問(wèn)判斷串行、并行還是分階段問(wèn)題若答案為“是”若答案為“否”調(diào)用之間有數(shù)據(jù)依賴嗎串行或由代碼推導(dǎo)確定依賴?yán)^續(xù)判斷會(huì)寫(xiě)入共享狀態(tài)嗎串行、加鎖或事務(wù)繼續(xù)判斷需要逐項(xiàng)審批嗎串行繼續(xù)判斷單項(xiàng)失敗會(huì)改變整體策略嗎串行或小批次繼續(xù)判斷輸出可控并能本地壓縮嗎可考慮并行限制批次與返回體外部服務(wù)能承受并發(fā)嗎可考慮并行降低并發(fā)所有調(diào)用是否預(yù)先已知可批處理自適應(yīng)分輪這也給出三類清晰邊界已知、獨(dú)立、只讀、可壓縮的調(diào)用適合程序化批處理測(cè)試、多倉(cāng)庫(kù)掃描、文檔檢索等任務(wù)只在局部條件滿足時(shí)適合數(shù)據(jù)庫(kù)事務(wù)、刪除、發(fā)布、付款、權(quán)限變更、自適應(yīng)調(diào)試和開(kāi)放式搜索不得盲目并行。十、搜索和工具等待需要專門的 Harness網(wǎng)絡(luò)搜索的對(duì)象集合會(huì)被上一輪證據(jù)改變不能照搬文件批處理。更穩(wěn)妥的流程是第一輪只發(fā)起 2—4 個(gè)高價(jià)值查詢抽取來(lái)源、日期、結(jié)論和證據(jù)等級(jí)識(shí)別缺口與沖突后第二輪只查缺口連續(xù)沒(méi)有新增證據(jù)時(shí)停止。Harness 同時(shí)限制每輪查詢數(shù)和頁(yè)面數(shù)優(yōu)先官方源做 URL 去重并避免把整頁(yè)原文直接塞入主上下文。工具等待則要同時(shí)處理三層Runtime使用異步完成事件不因“仍在等待”反復(fù)喚醒模型完成后一次聚合只重試失敗項(xiàng)Harness給慢工具設(shè)置超時(shí)與結(jié)果預(yù)算用 DAG 表達(dá)依賴超過(guò)等待預(yù)算時(shí)交付部分結(jié)果或降級(jí)提示明確“工具未返回前不要重復(fù)請(qǐng)求同一資源只在存在獨(dú)立子任務(wù)時(shí)繼續(xù)”。自然語(yǔ)言提示不能代替 Runtime 約束但可以減少不必要的中間響應(yīng)。十一、十步落地策略先畫(huà)依賴圖不按工具數(shù)量直接決定并行只對(duì)獨(dú)立、只讀、無(wú)審批、輸出可控的調(diào)用批處理小批開(kāi)始按限速、大小和失敗率調(diào)整使用Promise.allSettled局部失敗局部重試在代碼層過(guò)濾、去重、計(jì)數(shù)和抽樣給每項(xiàng)設(shè)置max_bytes、max_rows或max_items不把完整日志、網(wǎng)頁(yè)和大文件直接返回模型寫(xiě)入保持串行或使用顯式鎖、事務(wù)與冪等鍵搜索按證據(jù)缺口分輪單批失敗率超過(guò) 20%、輸出接近上限或出現(xiàn)重復(fù)讀取時(shí)停止并重新規(guī)劃。十二、完整 A/B 與四層根因質(zhì)量指標(biāo)至少包括驗(yàn)收通過(guò)率、漏項(xiàng)、錯(cuò)誤和人工返工資源指標(biāo)包括總 Credits、未緩存輸入、緩存輸入、輸出、模型輪次、工具調(diào)用和重試編排指標(biāo)包括批次數(shù)、平均批大小、并發(fā)度、失敗率、重復(fù)讀取和截?cái)嘌舆t指標(biāo)包括總墻鐘時(shí)間、工具等待時(shí)間和模型時(shí)間。還要按獨(dú)立只讀、依賴讀取、寫(xiě)入、測(cè)試、網(wǎng)絡(luò)搜索、多代理和高風(fēng)險(xiǎn)操作分組不能把不同任務(wù)混成一個(gè)平均數(shù)。如果結(jié)果異常不要只怪模型。根因可能同時(shí)位于四層模型策略可能批次偏小、重復(fù)驗(yàn)證或停止條件弱系統(tǒng)提示可能鼓勵(lì)全面工作卻不給預(yù)算Runtime 可能頻繁生成中間響應(yīng)、截?cái)嗑酆匣蝈e(cuò)誤重試Harness 可能沒(méi)有去重、依賴圖、輸出上限和 P95/P99 熔斷。公開(kāi)證據(jù)只確認(rèn)了部分現(xiàn)象不能虛構(gòu)每一層的貢獻(xiàn)比例。常見(jiàn)誤解也應(yīng)一并排除Code Mode 不是任意代碼執(zhí)行啟用它不保證減少模型輪次Promise.all數(shù)量不是效率指標(biāo)網(wǎng)絡(luò)搜索不能一次并行完社區(qū) Issue 提供的是機(jī)制線索和有限對(duì)照不是總體因果估計(jì)。最終結(jié)論很簡(jiǎn)單先壓縮不必要的模型往返再考慮并發(fā)語(yǔ)法。Promise.all是手段任務(wù)形狀、失敗語(yǔ)義、結(jié)果預(yù)算與完整成本才是控制面。參考資料OpenAI DevelopersProgrammatic Tool CallingOpenAI DevelopersUsing GPT-5.6OpenAI Help CenterCodex Rate CardGitHub openai/codex Issue #32503GitHub openai/codex Issue #35050GitHub openai/codex Issue #33402