（RSI）？NeoHorse-1-4B 如何搭建「自我進(jìn)化」Agent 原型)
什么是遞歸自我改進(jìn)RSINeoHorse-1-4B 如何搭建「自我進(jìn)化」Agent 原型【免費(fèi)下載鏈接】NeoHorse-1-4B項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4BNeoHorse-1-4B 是一個(gè)約 4B 參數(shù)的因果語(yǔ)言模型由 TokenRhythm 基于 Qwen3.5-4B 后訓(xùn)練而來(lái)定位為邁向**遞歸自我改進(jìn)Recursive Self-ImprovementRSI**的初始原型。它專為文本 Agent 框架Agent harness、工具調(diào)用、編碼和指令遵循而優(yōu)化通過(guò)「路由框架 能力級(jí)反饋」的閉環(huán)讓模型評(píng)測(cè)結(jié)果直接驅(qū)動(dòng)下一輪訓(xùn)練數(shù)據(jù)配比。一、先用大白話理解什么是遞歸自我改進(jìn)RSI遞歸自我改進(jìn)RSI指的是一個(gè)智能系統(tǒng)把自己的運(yùn)行記錄、評(píng)測(cè)反饋轉(zhuǎn)化回自己的訓(xùn)練信號(hào)從而越用越強(qiáng)的機(jī)制。與傳統(tǒng)訓(xùn)練人工標(biāo)注數(shù)據(jù) → 訓(xùn)練 → 結(jié)束不同RSI 追求的是一個(gè)閉環(huán)執(zhí)行任務(wù) → 記錄軌跡與結(jié)果 → 評(píng)估能力短板 → 調(diào)整訓(xùn)練數(shù)據(jù) → 更新模型 → 再次回到執(zhí)行可以把它想象成模型自己給自己出卷、判卷、補(bǔ)課環(huán)節(jié)傳統(tǒng)流程RSI 思路數(shù)據(jù)來(lái)源人工準(zhǔn)備、固定來(lái)自模型自身執(zhí)行軌跡評(píng)估方式一次性打分持續(xù)反饋驅(qū)動(dòng)數(shù)據(jù)配比迭代方式人工介入模型更新后自動(dòng)回到框架NeoHorse-1-4B 目前是一個(gè)原型它已經(jīng)打通了評(píng)測(cè) → 選擇 → 更新的單輪閉環(huán)下一步目標(biāo)是把閉環(huán)擴(kuò)展到連續(xù)多輪迭代。二、NeoHorse-1-4B 是什么一句話概括NeoHorse-1-4B 是為Agent 場(chǎng)景工具調(diào)用 長(zhǎng)上下文執(zhí)行做后訓(xùn)練的小模型用 4B 的體量驗(yàn)證自我進(jìn)化路線。核心參數(shù)一覽詳見 config.json屬性說(shuō)明模型類型Agent 原生因果語(yǔ)言模型純文本輸入/輸出參數(shù)量約 4B基座模型Qwen3.5-4B后訓(xùn)練自該基座上下文長(zhǎng)度原生 262,144 tokens可擴(kuò)展至約 101 萬(wàn) tokens權(quán)重格式Safetensors / BF16注意力結(jié)構(gòu)線性注意力與全注意力混合32 層每 4 層一組值得注意的細(xì)節(jié)config.json 中l(wèi)ayer_types顯示它采用 3:1 的「線性注意力 : 全注意力」混合層設(shè)計(jì)——線性注意力讓長(zhǎng)上下文推理更省資源這正好服務(wù) Agent 場(chǎng)景下的超長(zhǎng)軌跡處理。三、它如何搭建「自我進(jìn)化」閉環(huán)NeoHorse 的 RSI 原型由三塊拼圖組成3.1 路由框架Routing Harness給任務(wù)分診路由框架像一位調(diào)度員維護(hù)一個(gè)異構(gòu)模型池分派任務(wù)把不同難度的 Agent 任務(wù)路由給模型池中合適的成員記錄軌跡完整記錄工具交互過(guò)程與最終結(jié)果評(píng)估需求估算當(dāng)前任務(wù)分布對(duì)各項(xiàng)能力的需求驅(qū)動(dòng)訓(xùn)練用能力級(jí)反饋決定下一輪訓(xùn)練混合數(shù)據(jù)的配比。3.2 訓(xùn)練信號(hào)來(lái)自執(zhí)行軌跡而不是憑空生成配套研究探索了兩種后訓(xùn)練方法路由引導(dǎo)的課表式 SFTrouting-guided curriculum SFT按能力需求排課程先補(bǔ)短板路由引導(dǎo)的在線策略蒸餾on-policy distillation讓模型在自己的執(zhí)行軌跡上學(xué)習(xí)同時(shí)保留每條回復(fù)周圍的執(zhí)行上下文與框架上下文——這是 Agent 能力的關(guān)鍵。3.3 數(shù)據(jù)質(zhì)量是閉環(huán)可信的前提 再自我的訓(xùn)練也建立在干凈數(shù)據(jù)之上。項(xiàng)目對(duì)訓(xùn)練數(shù)據(jù)做了精確與近重復(fù)樣本去重評(píng)測(cè)集去污染結(jié)構(gòu)化校驗(yàn) 六維語(yǔ)義評(píng)估子場(chǎng)景級(jí)Scene / Goal / Outcome三級(jí)標(biāo)注。閉環(huán)效果更新后的模型可以重新進(jìn)入路由框架執(zhí)行任務(wù)形成「評(píng)測(cè) → 選擇 → 更新」原型回路把這個(gè)回路在多輪次間滾動(dòng)就是通往完整 RSI 的下一步。四、成績(jī)單10 項(xiàng)基準(zhǔn)平均分 64.87提升 5.93 NeoHorse-1-4B 與五款開源模型橫向?qū)Ρ日?README.md 評(píng)測(cè)表Δ為相對(duì) Qwen3.5-4B 的提升能力維度基準(zhǔn)Qwen3.5-4BNeoHorse-1-4BΔ AgenticQwenClawBench38.4744.686.21 AgenticWorkBuddy Bench24.6234.419.79 AgenticPinchBench71.1977.336.14 AgenticVitaBench21.5032.0010.50 Agentictau2-Bench84.2988.464.17 CodingHumanEval87.2096.959.75 CodingLiveCodeBench v653.7159.435.72 指令遵循IFBench60.3365.335.00 指令遵循IFEval87.0688.351.29 總分十基準(zhǔn)宏平均58.9464.875.93可以看到提升最集中的正是Agentic 與 Coding維度——與為 Agent 而生的定位完全一致。評(píng)測(cè)協(xié)議采用 SGLang v0.5.17開啟思考模式enable_thinkingtrue部分基準(zhǔn)取三次運(yùn)行結(jié)果保證數(shù)據(jù)穩(wěn)健。五、本地部署指南兩步跑起來(lái) NeoHorse-1-4B 5.1 獲取模型權(quán)重git clone https://gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4B5.2 用 SGLang 啟動(dòng)官方推薦pip install sglang0.5.17 python3 -m sglang.launch_server \ --model-path /path/to/NeoHorse-1-4B \ --served-model-name neohorse-1-4b \ --host 0.0.0.0 \ --port 30000 \ --context-length 262144 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder啟動(dòng)后通過(guò) OpenAI 兼容接口調(diào)用即可curl http://localhost:30000/v1/chat/completions \ -H Content-Type: application/json \ -d {model:neohorse-1-4b,messages:[{role:user,content:你好介紹一下你自己}],max_tokens:512} 小提示若顯存緊張調(diào)小--context-lengthvLLM 用戶可改用vllm serve并開啟--enable-auto-tool-choice --tool-call-parser qwen3_coder參數(shù)細(xì)節(jié)見 README.md。六、倉(cāng)庫(kù)文件速覽下載后都能用上什么文件作用README.md模型卡亮點(diǎn)、評(píng)測(cè)、部署指南都在這里config.json模型結(jié)構(gòu)配置層數(shù)、注意力類型、上下文長(zhǎng)度等chat_template.jinja對(duì)話模板定義系統(tǒng)/用戶消息與思考?jí)K的拼裝方式tokenizer.json / vocab.json / merges.txt分詞器三件套詞表 248,320model.safetensors.index.json權(quán)重分片索引model-00001-of-00002.safetensors / model-00002-of-00002.safetensors模型權(quán)重BF16兩個(gè)分片LICENSEApache 2.0 許可證含上游 Qwen 版權(quán)聲明七、寫在最后為什么值得關(guān)注?NeoHorse-1-4B 的價(jià)值不在于4B 模型又多了一個(gè)而在于它給出了一個(gè)可復(fù)現(xiàn)的 RSI 原型路由框架記錄執(zhí)行軌跡、能力級(jí)反饋決定訓(xùn)練配比、更新模型回到框架繼續(xù)執(zhí)行——閉環(huán)的每一環(huán)都是工程上可落地的。對(duì)于想理解「自我進(jìn)化 Agent」如何從概念走向?qū)嵺`的新手來(lái)說(shuō)這個(gè)項(xiàng)目提供了一份從數(shù)據(jù)質(zhì)量、后訓(xùn)練方法到評(píng)測(cè)協(xié)議的完整參照。下一步把「評(píng)測(cè) → 選擇 → 更新」的閉環(huán)滾動(dòng)到連續(xù)多輪迭代才是遞歸自我改進(jìn)真正的考驗(yàn)。關(guān)注該項(xiàng)目見證 RSI 路線的持續(xù)演進(jìn)?！久赓M(fèi)下載鏈接】NeoHorse-1-4B項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4B創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 什么是遞歸自我改進(jìn)（RSI）？NeoHorse-1-4B 如何搭建「自我進(jìn)化」Agent 原型
什么是遞歸自我改進(jìn)RSINeoHorse-1-4B 如何搭建「自我進(jìn)化」Agent 原型【免費(fèi)下載鏈接】NeoHorse-1-4B項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4BNeoHorse-1-4B 是一個(gè)約 4B 參數(shù)的因果語(yǔ)言模型由 TokenRhythm 基于 Qwen3.5-4B 后訓(xùn)練而來(lái)定位為邁向**遞歸自我改進(jìn)Recursive Self-ImprovementRSI**的初始原型。它專為文本 Agent 框架Agent harness、工具調(diào)用、編碼和指令遵循而優(yōu)化通過(guò)「路由框架 能力級(jí)反饋」的閉環(huán)讓模型評(píng)測(cè)結(jié)果直接驅(qū)動(dòng)下一輪訓(xùn)練數(shù)據(jù)配比。一、先用大白話理解什么是遞歸自我改進(jìn)RSI遞歸自我改進(jìn)RSI指的是一個(gè)智能系統(tǒng)把自己的運(yùn)行記錄、評(píng)測(cè)反饋轉(zhuǎn)化回自己的訓(xùn)練信號(hào)從而越用越強(qiáng)的機(jī)制。與傳統(tǒng)訓(xùn)練人工標(biāo)注數(shù)據(jù) → 訓(xùn)練 → 結(jié)束不同RSI 追求的是一個(gè)閉環(huán)執(zhí)行任務(wù) → 記錄軌跡與結(jié)果 → 評(píng)估能力短板 → 調(diào)整訓(xùn)練數(shù)據(jù) → 更新模型 → 再次回到執(zhí)行可以把它想象成模型自己給自己出卷、判卷、補(bǔ)課環(huán)節(jié)傳統(tǒng)流程RSI 思路數(shù)據(jù)來(lái)源人工準(zhǔn)備、固定來(lái)自模型自身執(zhí)行軌跡評(píng)估方式一次性打分持續(xù)反饋驅(qū)動(dòng)數(shù)據(jù)配比迭代方式人工介入模型更新后自動(dòng)回到框架NeoHorse-1-4B 目前是一個(gè)原型它已經(jīng)打通了評(píng)測(cè) → 選擇 → 更新的單輪閉環(huán)下一步目標(biāo)是把閉環(huán)擴(kuò)展到連續(xù)多輪迭代。二、NeoHorse-1-4B 是什么一句話概括NeoHorse-1-4B 是為Agent 場(chǎng)景工具調(diào)用 長(zhǎng)上下文執(zhí)行做后訓(xùn)練的小模型用 4B 的體量驗(yàn)證自我進(jìn)化路線。核心參數(shù)一覽詳見 config.json屬性說(shuō)明模型類型Agent 原生因果語(yǔ)言模型純文本輸入/輸出參數(shù)量約 4B基座模型Qwen3.5-4B后訓(xùn)練自該基座上下文長(zhǎng)度原生 262,144 tokens可擴(kuò)展至約 101 萬(wàn) tokens權(quán)重格式Safetensors / BF16注意力結(jié)構(gòu)線性注意力與全注意力混合32 層每 4 層一組值得注意的細(xì)節(jié)config.json 中l(wèi)ayer_types顯示它采用 3:1 的「線性注意力 : 全注意力」混合層設(shè)計(jì)——線性注意力讓長(zhǎng)上下文推理更省資源這正好服務(wù) Agent 場(chǎng)景下的超長(zhǎng)軌跡處理。三、它如何搭建「自我進(jìn)化」閉環(huán)NeoHorse 的 RSI 原型由三塊拼圖組成3.1 路由框架Routing Harness給任務(wù)分診路由框架像一位調(diào)度員維護(hù)一個(gè)異構(gòu)模型池分派任務(wù)把不同難度的 Agent 任務(wù)路由給模型池中合適的成員記錄軌跡完整記錄工具交互過(guò)程與最終結(jié)果評(píng)估需求估算當(dāng)前任務(wù)分布對(duì)各項(xiàng)能力的需求驅(qū)動(dòng)訓(xùn)練用能力級(jí)反饋決定下一輪訓(xùn)練混合數(shù)據(jù)的配比。3.2 訓(xùn)練信號(hào)來(lái)自執(zhí)行軌跡而不是憑空生成配套研究探索了兩種后訓(xùn)練方法路由引導(dǎo)的課表式 SFTrouting-guided curriculum SFT按能力需求排課程先補(bǔ)短板路由引導(dǎo)的在線策略蒸餾on-policy distillation讓模型在自己的執(zhí)行軌跡上學(xué)習(xí)同時(shí)保留每條回復(fù)周圍的執(zhí)行上下文與框架上下文——這是 Agent 能力的關(guān)鍵。3.3 數(shù)據(jù)質(zhì)量是閉環(huán)可信的前提 再自我的訓(xùn)練也建立在干凈數(shù)據(jù)之上。項(xiàng)目對(duì)訓(xùn)練數(shù)據(jù)做了精確與近重復(fù)樣本去重評(píng)測(cè)集去污染結(jié)構(gòu)化校驗(yàn) 六維語(yǔ)義評(píng)估子場(chǎng)景級(jí)Scene / Goal / Outcome三級(jí)標(biāo)注。閉環(huán)效果更新后的模型可以重新進(jìn)入路由框架執(zhí)行任務(wù)形成「評(píng)測(cè) → 選擇 → 更新」原型回路把這個(gè)回路在多輪次間滾動(dòng)就是通往完整 RSI 的下一步。四、成績(jī)單10 項(xiàng)基準(zhǔn)平均分 64.87提升 5.93 NeoHorse-1-4B 與五款開源模型橫向?qū)Ρ日?README.md 評(píng)測(cè)表Δ為相對(duì) Qwen3.5-4B 的提升能力維度基準(zhǔn)Qwen3.5-4BNeoHorse-1-4BΔ AgenticQwenClawBench38.4744.686.21 AgenticWorkBuddy Bench24.6234.419.79 AgenticPinchBench71.1977.336.14 AgenticVitaBench21.5032.0010.50 Agentictau2-Bench84.2988.464.17 CodingHumanEval87.2096.959.75 CodingLiveCodeBench v653.7159.435.72 指令遵循IFBench60.3365.335.00 指令遵循IFEval87.0688.351.29 總分十基準(zhǔn)宏平均58.9464.875.93可以看到提升最集中的正是Agentic 與 Coding維度——與為 Agent 而生的定位完全一致。評(píng)測(cè)協(xié)議采用 SGLang v0.5.17開啟思考模式enable_thinkingtrue部分基準(zhǔn)取三次運(yùn)行結(jié)果保證數(shù)據(jù)穩(wěn)健。五、本地部署指南兩步跑起來(lái) NeoHorse-1-4B 5.1 獲取模型權(quán)重git clone https://gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4B5.2 用 SGLang 啟動(dòng)官方推薦pip install sglang0.5.17 python3 -m sglang.launch_server \ --model-path /path/to/NeoHorse-1-4B \ --served-model-name neohorse-1-4b \ --host 0.0.0.0 \ --port 30000 \ --context-length 262144 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder啟動(dòng)后通過(guò) OpenAI 兼容接口調(diào)用即可curl http://localhost:30000/v1/chat/completions \ -H Content-Type: application/json \ -d {model:neohorse-1-4b,messages:[{role:user,content:你好介紹一下你自己}],max_tokens:512} 小提示若顯存緊張調(diào)小--context-lengthvLLM 用戶可改用vllm serve并開啟--enable-auto-tool-choice --tool-call-parser qwen3_coder參數(shù)細(xì)節(jié)見 README.md。六、倉(cāng)庫(kù)文件速覽下載后都能用上什么文件作用README.md模型卡亮點(diǎn)、評(píng)測(cè)、部署指南都在這里config.json模型結(jié)構(gòu)配置層數(shù)、注意力類型、上下文長(zhǎng)度等chat_template.jinja對(duì)話模板定義系統(tǒng)/用戶消息與思考?jí)K的拼裝方式tokenizer.json / vocab.json / merges.txt分詞器三件套詞表 248,320model.safetensors.index.json權(quán)重分片索引model-00001-of-00002.safetensors / model-00002-of-00002.safetensors模型權(quán)重BF16兩個(gè)分片LICENSEApache 2.0 許可證含上游 Qwen 版權(quán)聲明七、寫在最后為什么值得關(guān)注?NeoHorse-1-4B 的價(jià)值不在于4B 模型又多了一個(gè)而在于它給出了一個(gè)可復(fù)現(xiàn)的 RSI 原型路由框架記錄執(zhí)行軌跡、能力級(jí)反饋決定訓(xùn)練配比、更新模型回到框架繼續(xù)執(zhí)行——閉環(huán)的每一環(huán)都是工程上可落地的。對(duì)于想理解「自我進(jìn)化 Agent」如何從概念走向?qū)嵺`的新手來(lái)說(shuō)這個(gè)項(xiàng)目提供了一份從數(shù)據(jù)質(zhì)量、后訓(xùn)練方法到評(píng)測(cè)協(xié)議的完整參照。下一步把「評(píng)測(cè) → 選擇 → 更新」的閉環(huán)滾動(dòng)到連續(xù)多輪迭代才是遞歸自我改進(jìn)真正的考驗(yàn)。關(guān)注該項(xiàng)目見證 RSI 路線的持續(xù)演進(jìn)?！久赓M(fèi)下載鏈接】NeoHorse-1-4B項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4B創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考