【免費下載鏈接】ai-toolboxPersonal AI Toolbox項目地址https://gitcode.com/gh_mirrors/aitoolbo/ai-toolbox點擊查看免費下載AI Toolbox 是一個開源的個人 AI 工具箱其中最硬核的模塊之一就是它的AI 協(xié)議網(wǎng)關Proxy Gateway。它運行在你的本機負責把 Claude Code、Codex、Grok CLI、Kimi CLI、Gemini CLI 這些 AI 編程工具的請求轉(zhuǎn)發(fā)到任意你選擇的模型供應商——哪怕兩端說的是不同的語言。這篇深度剖析將帶你從零理解四大 AI 協(xié)議網(wǎng)關轉(zhuǎn)換架構是如何實現(xiàn)的為什么它的轉(zhuǎn)換方案既優(yōu)雅又穩(wěn)健。先看它在產(chǎn)品里的位置每個 CLI 工具的供應商列表里都可以配置不同協(xié)議的 API 端點為什么需要 AI 協(xié)議網(wǎng)關 一個繞不開的現(xiàn)實問題不同 AI 工具說不同的協(xié)議?？蛻舳巳胝緟f(xié)議上游可能需要轉(zhuǎn)換的目標協(xié)議Claude CodeAnthropic MessagesOpenAI Chat、OpenAI Responses、Gemini NativeCodexOpenAI Responses / ChatAnthropic Messages、OpenAI Chat、Gemini NativeGrok CLIOpenAI ResponsesAnthropic Messages、OpenAI Chat、Gemini NativeKimi CLIOpenAI ChatAnthropic Messages、OpenAI Responses、Gemini NativeGemini CLIGemini NativeAnthropic Messages、OpenAI Chat、OpenAI Responses比如你的 Claude Code 只會說Anthropic Messages但你手里 DeepSeek 的端點是OpenAI Chat格式。直接轉(zhuǎn)發(fā)400 錯誤。這時 AI Toolbox 的協(xié)議網(wǎng)關就登場了——它把請求翻譯成上游聽得懂的格式再把響應翻譯回來。而供應商端點的具體協(xié)議在表單里以apiFormat形式選擇兩層架構runtime 管編排transformer 管翻譯理解整個網(wǎng)關的關鍵是先看清它的分層設計。AI Toolbox 把協(xié)議轉(zhuǎn)換拆成兩個互不越權的層1?? runtime 層runtime/請求編排負責流程控制的一切匹配入站路由、讀取供應商配置、確定源協(xié)議/目標協(xié)議、決定是否轉(zhuǎn)換、拼接上游 URL 與鑒權頭、執(zhí)行供應商方言兼容、記錄日志統(tǒng)計、處理重試與故障轉(zhuǎn)移。2?? transformer 層transformer/純協(xié)議翻譯負責內(nèi)容翻譯的一切把四種聊天協(xié)議的 JSON 請求體、錯誤體和 SSE 流相互轉(zhuǎn)換。它不讀數(shù)據(jù)庫、不拼 URL、不注入 API Key只接收源協(xié)議 → 目標協(xié)議的轉(zhuǎn)換路由和原始載荷輸出轉(zhuǎn)換后的載荷。這個邊界劃得非常干凈——協(xié)議結(jié)構互轉(zhuǎn)換給 transformer供應商方言兼容DeepSeek 的 thinking 門控、Bedrock 的路徑差異、Ollama 的 wire 格式全部留在 runtime。新增一家供應商時永遠不用改 transformer 一行代碼。四大協(xié)議與 4×4 轉(zhuǎn)換矩陣協(xié)議枚舉定義在 transformer/types.rs協(xié)議代碼字符串典型 wire APIAnthropicMessagesanthropic_messagesAnthropic/v1/messagesOpenAiResponsesopenai_responsesOpenAI/v1/responsesOpenAiChatopenai_chatOpenAI/v1/chat/completionsGeminiNativegemini_nativeGeminigenerateContent/streamGenerateContent四種協(xié)議兩兩互轉(zhuǎn)構成12 個非恒等轉(zhuǎn)換方向4×4 去掉 4 個恒等方向JSON 請求、JSON 響應、錯誤體和 SSE 流全部走同一套轉(zhuǎn)換路由語義。一個值得注意的優(yōu)化同協(xié)議請求根本不進轉(zhuǎn)換器。當源協(xié)議與目標協(xié)議相同時走直通鏈路只做模型名改寫、鑒權注入等 runtime 處理保持字節(jié)保真。轉(zhuǎn)換核心統(tǒng)一中間表示LLM IR如果四種協(xié)議兩兩互寫需要 12 套轉(zhuǎn)換器——這是蜘蛛網(wǎng)式的噩夢。AI Toolbox 用了經(jīng)典而高效的星型架構所有協(xié)議都先翻譯成統(tǒng)一中間模型IR再由 IR 翻譯成目標協(xié)議。源協(xié)議 JSON ──入站轉(zhuǎn)換器──? LLM IR ──出站轉(zhuǎn)換器──? 目標協(xié)議 JSONLLM IR 定義在 llm/model.rs 和 llm/tools.rs它不是對外 API只是轉(zhuǎn)換內(nèi)部的通用語承載消息列表角色、文本/圖片內(nèi)容、工具調(diào)用與工具結(jié)果、推理內(nèi)容reasoning請求參數(shù)model、max_tokens、temperature、top_p、stop、stream 等工具定義tools、tool_choice、parallel_tool_calls響應元數(shù)據(jù)choices、usage、finish_reason這樣每種協(xié)議只需要維護入站 出站兩個轉(zhuǎn)換器雙向共 4 個12 個方向全部由4 個協(xié)議 × 2 個方向的組合覆蓋。轉(zhuǎn)換內(nèi)核入口在 transformer/kernel.rs。一次請求的完整旅程以Claude Code 請求轉(zhuǎn)發(fā)到 DeepSeekOpenAI Chat 端點為例整條鏈路在 runtime/upstream.rs 中編排路由匹配入站前綴/anthropic命中 Claude Code 路由runtime/routes.rs推導出源協(xié)議 AnthropicMessages讀取供應商從供應商配置解析目標協(xié)議 OpenAiChatruntime/providers.rs決策源 ≠ 目標創(chuàng)建ConversionRoute請求轉(zhuǎn)換源 JSON → LLM IR → 目標 JSON供應商方言適配最后一跳執(zhí)行 DeepSeek 專屬規(guī)則thinking 字段門控、JSON schema 降級等拼 URL / 鑒權頭發(fā)出上游請求響應回轉(zhuǎn)響應按反向路由target → source翻譯回 Anthropic Messages 格式返回客戶端流式響應SSE 的邊讀邊轉(zhuǎn)AI 編程工具大量使用流式輸出SSE這給轉(zhuǎn)換帶來了額外挑戰(zhàn)不能把整個流緩沖下來再翻譯必須邊讀邊寫。StreamKerneltransformer/stream.rs的處理模型處理 UTF-8 跨 chunk 邊界解析 SSE 事件塊同時兼容 LF 和 CRLF 行尾源協(xié)議解析器把各協(xié)議事件解析成統(tǒng)一流事件Start、TextDelta、ReasoningDelta、ToolCall、Finish 等目標協(xié)議寫入器把統(tǒng)一事件寫成目標協(xié)議的 SSE各協(xié)議流式的方言Chat 的[DONE]、Anthropic 的message_stop、Responses 的終態(tài)事件、Gemini 的 finish chunk都被歸一化且結(jié)束事件冪等處理不會重復輸出完成信號?？缯埱鬆顟B(tài)Side Stores 的巧妙隔離多輪對話里有一些狀態(tài)天然跨越 HTTP 請求。AI Toolbox 把它們統(tǒng)一放在runtime/side_stores/與 transformer 完全隔離CodexHistoryStore記錄上一輪的工具調(diào)用當 Codex 下一輪只帶previous_response_id時自動補回缺失的前序工具調(diào)用GeminiShadowStore回放帶thoughtSignature的模型函數(shù)調(diào)用保證 Gemini 多輪工具鏈不斷裂InvalidResponsesCipherStore負緩存記住上游明確拒絕過的加密內(nèi)容摘要避免反復撞墻三者都有容量上限和可靠的會話鍵且不落數(shù)據(jù)庫。供應商方言兼容runtime 的專屬領域看起來像協(xié)議轉(zhuǎn)換的邏輯其實大多屬于供應商方言——比如 DeepSeek 不接受 OpenAI 的 JSON Schema wrapper、Ollama 的最后一跳是/api/chat而非標準 Chat。這些規(guī)則全部收斂在 runtime 的 outbound body pipeline 中按providerType target_protocol識別供應商方言DeepSeek、Moonshot、GLM、xAI、Bedrock、Vertex、Copilot、Ollama 等十余種永遠不下沉到 transformer。判斷依據(jù)是供應商配置里顯式聲明的 profile 引用而不是靠模型名或 Base URL 猜供應商——這意味著自定義供應商不會被誤套官方方言聚合商也不會被當成官方渠道。有損轉(zhuǎn)換檢測寧可信其有不是所有字段都能無損翻譯。check_lossy_conversion()transformer/shared/lossy.rs在轉(zhuǎn)換前檢測高風險項——例如 Responses 的 hosted tool、Anthropic 的 server tool、Gemini 專屬的 safetySettings 等目標協(xié)議無法表達的內(nèi)容。它只檢測、不決策是否拒絕由 runtime 策略決定默認只把警告寫入響應頭X-Transformer-Lossy當用戶開啟有損拒絕且請求未帶X-Allow-Lossy頭時才返回本地 400。寧可透明地告訴你這里可能有損失也不靜默丟字段。關鍵源碼與文檔索引想繼續(xù)深挖這些入口最值得閱讀模塊路徑職責協(xié)議枚舉與轉(zhuǎn)換路由transformer/types.rsAiProtocol、ConversionRoute轉(zhuǎn)換內(nèi)核transformer/kernel.rsJSON/錯誤體/SSE 轉(zhuǎn)換入口LLM IRtransformer/llm/model.rs統(tǒng)一中間表示流式轉(zhuǎn)換transformer/stream.rsStreamKernel與統(tǒng)一流事件上游編排runtime/upstream.rs請求/響應主編排有損檢測transformer/shared/lossy.rs純檢測函數(shù)完整協(xié)議轉(zhuǎn)換源碼在 transformer/ 模塊架構主文檔見 docs/gateway-protocol-conversion.md逐供應商兼容細節(jié)見 docs/gateway-provider-compatibility.md?？偨Y(jié)AI Toolbox 的協(xié)議網(wǎng)關轉(zhuǎn)換架構核心思想可以濃縮成三句話星型架構用統(tǒng)一 LLM IR 把 12 個轉(zhuǎn)換方向降維成 4 個協(xié)議的入站/出站轉(zhuǎn)換器嚴格分層transformer 只管協(xié)議翻譯runtime 管編排與供應商方言邊界清晰到新增供應商零改動轉(zhuǎn)換器透明可信有損檢測、字節(jié)保真直通、終態(tài)精確判定寧可失敗也不偽造成功。下次當你的 Claude Code 在 Codex 格式的供應商上流暢對話時背后正是這套四大 AI 協(xié)議網(wǎng)關在默默完成無數(shù)次雙向翻譯。贊分享【免費下載鏈接】ai-toolboxPersonal AI Toolbox項目地址https://gitcode.com/gh_mirrors/aitoolbo/ai-toolbox點擊查看免費下載相關推薦最穩(wěn)AI架構揭秘如何用Portkey實現(xiàn)99.99%可用性的企業(yè)級LLM網(wǎng)關最穩(wěn)AI架構揭秘如何用Portkey實現(xiàn)99.99%可用性的企業(yè)級LLM網(wǎng)關 在當今AI驅(qū)動的商業(yè)環(huán)境中企業(yè)對大語言模型LLM服務的依賴程度日益加深而LLM 網(wǎng)關API網(wǎng)關后端負載均衡人工智能多協(xié)議網(wǎng)關架構Authelia協(xié)議轉(zhuǎn)換與統(tǒng)一認證多協(xié)議網(wǎng)關架構Authelia協(xié)議轉(zhuǎn)換與統(tǒng)一認證 引言現(xiàn)代應用認證的挑戰(zhàn) 在當今復雜的微服務架構中應用認證面臨著前所未有的挑戰(zhàn)。不同服務可能使用不同的認證后端認證鑒權單點登錄身份認證應用安全FunASR 完全指南從會議轉(zhuǎn)寫到實時字幕一套免費開源語音識別工具搞定FunASR 完全指南從會議轉(zhuǎn)寫到實時字幕一套免費開源語音識別工具搞定 一場兩小時的會議紀要、幾百段客服錄音、需要實時字幕的直播——這些場景背后都是同一個需語音音頻人工智能大模型模型推理服務本地部署創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考