Qwythos-9B1M長上下文無審查推理模型的完整本地部署指南【免費下載鏈接】Qwythos-9B-Claude-Mythos-5-1M項目地址: https://ai.gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-Claude-Mythos-5-1MQwythos-9B是基于Qwen3.5-9B全參數(shù)微調(diào)的無審查推理模型面向需要在本地處理網(wǎng)絡(luò)安全、生物醫(yī)學(xué)等敏感領(lǐng)域技術(shù)問題的工程師與技術(shù)決策者。它預(yù)置1,048,576 token長上下文窗口經(jīng)超5億token推理軌跡后訓(xùn)練MMLU準確率從0.232提升到0.575。它為什么值得選1M長上下文YaRN預(yù)置加載即用開箱即用的1,048,576 token上下文窗口是9B級開放權(quán)重模型中最長的之一。YaRN rope-scaling已默認寫入config.jsonfactor 4.0將原生262,144擴展4倍至1M加載時自動生效無需運行時flag或后處理。官方冒煙測試驗證了約137k token的長上下文推理單卡H100/H200可穩(wěn)定處理256k–512k完整1M窗口需要多卡或KV緩存卸載。原生函數(shù)調(diào)用傳tools即可無需包裝器OpenAI/Qwen3.5風(fēng)格函數(shù)調(diào)用無額外包裝、無工具專項微調(diào)。將tools[...]傳入apply_chat_template模型即按Qwen3.5規(guī)范輸出合法tool_call塊必選參數(shù)完整遵守。7提示工具測試全部命中數(shù)學(xué)題選python_executor10萬以下質(zhì)數(shù)計為9592Kerberos TGS-REP的hashcat模式-m 13100、PrintNightmare的CVE-2021-34527等硬事實均通過web_search找到并附來源引用。混合注意力架構(gòu)內(nèi)存增長亞二次方Gated DeltaNet線性注意力與Gated全注意力按3:1混合。32層文本骨干中每4層插入1層全注意力線性注意力層使256k以上上下文的內(nèi)存增長保持亞二次方。這是單卡H100/H200能服務(wù)256k–512k上下文的原因長上下文成本明顯低于同規(guī)格純?nèi)⒁饬δＰ?。無審查推理敏感領(lǐng)域直接作答深度無審查基座對技術(shù)性問題正面作答而非拒答或輸出模板化免責(zé)聲明。后訓(xùn)練數(shù)據(jù)為超5億token的Claude Mythos/Fable軌跡CoT由內(nèi)部工具rethink生成輸出先think塊再最終答案。25條提示的定性評審顯示它能直接給出SQL注入緩解、TLS握手結(jié)構(gòu)、CRISPR-Cas9機制、有機磷中毒解毒等完整技術(shù)內(nèi)容。 性能驗證7項基準對比數(shù)據(jù)兩模型同harness、同采樣參數(shù)、--limit 100評測任務(wù)指標基座Qwen3.5-9BQwythos-9BΔgsm8kexact_matchstrict0.5100.8100.300gsm8kexact_matchflexible0.6700.8600.190mmluacc0.2320.5750.343arc_challengeacc0.4700.4900.020gpqa_diamondCoT 0-shotexact_matchflexible0.6300.580?0.050MMLU 34.3是最大增益57個科目均值0.575政府/政治最高0.78大學(xué)生物學(xué)0.77。gsm8k strict 30是最干凈的信號同harness、同采樣、同抽取邏輯。gpqa flexible抽取回落5點是唯一退步兩模型strict數(shù)值0.05/0.01均因正則抽取失敗而退化flex分數(shù)才有參考意義。每任務(wù)與每科目明細見evals/lm_eval_results.md。 部署與使用vLLM與SGLang一鍵啟動vLLMvllm serve empero-ai/Qwythos-9B-Claude-Mythos-5-1M --max-model-len 1010000SGLangSGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN1 python -m sglang.launch_server \ --model-path empero-ai/Qwythos-9B-Claude-Mythos-5-1M --context-length 1010000采樣參數(shù)官方推薦默認值參數(shù)取值作用do_sampleTrue必須開啟貪心解碼會陷入重復(fù)循環(huán)temperature0.6Qwen3.5思考模式推薦值T≤0.3易重復(fù)循環(huán)top_p / top_k0.95 / 20Qwen3.5默認組合repetition_penalty1.05防止長生成中出現(xiàn)非終止推理循環(huán)max_new_tokens16384為think推理塊與最終答案預(yù)留token預(yù)算用transformers本地加載時基座是多模態(tài)架構(gòu)需用AutoModelForImageTextToText并安裝flash-linear-attention與CUDA匹配的causal_conv1d否則線性注意力層回退到慢速且吃內(nèi)存的PyTorch實現(xiàn)。實際場景怎么用場景1整個代碼庫跨文件重構(gòu)。你要解決數(shù)十萬行代碼庫的架構(gòu)審查與跨文件重構(gòu)。用到1M長上下文窗口把整個倉庫一次性放入提示、無需RAG分塊。得到單次前向完成的重構(gòu)建議與架構(gòu)評審不用搭檢索管線。場景2安全運營精確標識符核驗。你要確認CVE編號、hashcat模式這類精確標識符。用到原生函數(shù)調(diào)用給模型傳入python_executor與web_search兩個工具。得到PrintNightmare→CVE-2021-34527并正確區(qū)分CVE-2021-1675/34481變體、TGS-REP→-m 13100均帶多來源引用完整過程見evals/tool_test_outputs.md。場景3多文檔研究合成。你要把10–20篇論文加筆記和工作草案合成結(jié)論。用到1M窗口全部材料進一個提示由think塊做長程科學(xué)推理。得到一份帶推理鏈的連貫分析報告。實用建議參數(shù)調(diào)優(yōu)與常見坑參數(shù)調(diào)優(yōu)temperature0.6、top_p0.95、top_k20。受控復(fù)測中閉卷評審標記的6處錯誤在該配置下零復(fù)發(fā)含physostigmine錯誤結(jié)論與張冠李戴的CVE。repetition_penalty保持1.05。相對默認1.0的微小偏移防長生成非終止循環(huán)。常見坑貪心解碼或T≤0.3易陷入重復(fù)循環(huán)是推理模型在此類提示上的已知失敗模式。靜態(tài)YaRNfactor 4.0在短上下文有微小質(zhì)量損失只用原生262k窗口時可用倉內(nèi)config.json.pre_yarn備份把rope_type恢復(fù)為default。單卡H100/H200適合256k–512k完整1M需張量并行多卡或激進的KV緩存卸載。安全注意模型無審查對技術(shù)難題不拒答面向最終用戶的部署需自加應(yīng)用層審查。閉卷推理可能過度自信地給出CVE、hashcat模式、生化位點等精確標識符精確值重要的場景用工具路徑或檢索系統(tǒng)核驗。Qwythos-9B是一個9B體量、單GPU可服務(wù)、覆蓋1M上下文的無審查推理模型適合本地部署長上下文敏感領(lǐng)域推理的組合需求。它的基座本身是多模態(tài)架構(gòu)但本次只訓(xùn)練了文本路徑視覺能力繼承自基座且未經(jīng)測試。后續(xù)方向是多模態(tài)擴展與威脅情報、藥物發(fā)現(xiàn)等更細粒度的領(lǐng)域?qū)I(yè)化訓(xùn)練?！久赓M下載鏈接】Qwythos-9B-Claude-Mythos-5-1M項目地址: https://ai.gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-Claude-Mythos-5-1M創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Qwythos-9B：1M長上下文無審查推理模型的完整本地部署指南
Qwythos-9B1M長上下文無審查推理模型的完整本地部署指南【免費下載鏈接】Qwythos-9B-Claude-Mythos-5-1M項目地址: https://ai.gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-Claude-Mythos-5-1MQwythos-9B是基于Qwen3.5-9B全參數(shù)微調(diào)的無審查推理模型面向需要在本地處理網(wǎng)絡(luò)安全、生物醫(yī)學(xué)等敏感領(lǐng)域技術(shù)問題的工程師與技術(shù)決策者。它預(yù)置1,048,576 token長上下文窗口經(jīng)超5億token推理軌跡后訓(xùn)練MMLU準確率從0.232提升到0.575。它為什么值得選1M長上下文YaRN預(yù)置加載即用開箱即用的1,048,576 token上下文窗口是9B級開放權(quán)重模型中最長的之一。YaRN rope-scaling已默認寫入config.jsonfactor 4.0將原生262,144擴展4倍至1M加載時自動生效無需運行時flag或后處理。官方冒煙測試驗證了約137k token的長上下文推理單卡H100/H200可穩(wěn)定處理256k–512k完整1M窗口需要多卡或KV緩存卸載。原生函數(shù)調(diào)用傳tools即可無需包裝器OpenAI/Qwen3.5風(fēng)格函數(shù)調(diào)用無額外包裝、無工具專項微調(diào)。將tools[...]傳入apply_chat_template模型即按Qwen3.5規(guī)范輸出合法tool_call塊必選參數(shù)完整遵守。7提示工具測試全部命中數(shù)學(xué)題選python_executor10萬以下質(zhì)數(shù)計為9592Kerberos TGS-REP的hashcat模式-m 13100、PrintNightmare的CVE-2021-34527等硬事實均通過web_search找到并附來源引用。混合注意力架構(gòu)內(nèi)存增長亞二次方Gated DeltaNet線性注意力與Gated全注意力按3:1混合。32層文本骨干中每4層插入1層全注意力線性注意力層使256k以上上下文的內(nèi)存增長保持亞二次方。這是單卡H100/H200能服務(wù)256k–512k上下文的原因長上下文成本明顯低于同規(guī)格純?nèi)⒁饬δＰ?。無審查推理敏感領(lǐng)域直接作答深度無審查基座對技術(shù)性問題正面作答而非拒答或輸出模板化免責(zé)聲明。后訓(xùn)練數(shù)據(jù)為超5億token的Claude Mythos/Fable軌跡CoT由內(nèi)部工具rethink生成輸出先think塊再最終答案。25條提示的定性評審顯示它能直接給出SQL注入緩解、TLS握手結(jié)構(gòu)、CRISPR-Cas9機制、有機磷中毒解毒等完整技術(shù)內(nèi)容。 性能驗證7項基準對比數(shù)據(jù)兩模型同harness、同采樣參數(shù)、--limit 100評測任務(wù)指標基座Qwen3.5-9BQwythos-9BΔgsm8kexact_matchstrict0.5100.8100.300gsm8kexact_matchflexible0.6700.8600.190mmluacc0.2320.5750.343arc_challengeacc0.4700.4900.020gpqa_diamondCoT 0-shotexact_matchflexible0.6300.580?0.050MMLU 34.3是最大增益57個科目均值0.575政府/政治最高0.78大學(xué)生物學(xué)0.77。gsm8k strict 30是最干凈的信號同harness、同采樣、同抽取邏輯。gpqa flexible抽取回落5點是唯一退步兩模型strict數(shù)值0.05/0.01均因正則抽取失敗而退化flex分數(shù)才有參考意義。每任務(wù)與每科目明細見evals/lm_eval_results.md。 部署與使用vLLM與SGLang一鍵啟動vLLMvllm serve empero-ai/Qwythos-9B-Claude-Mythos-5-1M --max-model-len 1010000SGLangSGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN1 python -m sglang.launch_server \ --model-path empero-ai/Qwythos-9B-Claude-Mythos-5-1M --context-length 1010000采樣參數(shù)官方推薦默認值參數(shù)取值作用do_sampleTrue必須開啟貪心解碼會陷入重復(fù)循環(huán)temperature0.6Qwen3.5思考模式推薦值T≤0.3易重復(fù)循環(huán)top_p / top_k0.95 / 20Qwen3.5默認組合repetition_penalty1.05防止長生成中出現(xiàn)非終止推理循環(huán)max_new_tokens16384為think推理塊與最終答案預(yù)留token預(yù)算用transformers本地加載時基座是多模態(tài)架構(gòu)需用AutoModelForImageTextToText并安裝flash-linear-attention與CUDA匹配的causal_conv1d否則線性注意力層回退到慢速且吃內(nèi)存的PyTorch實現(xiàn)。實際場景怎么用場景1整個代碼庫跨文件重構(gòu)。你要解決數(shù)十萬行代碼庫的架構(gòu)審查與跨文件重構(gòu)。用到1M長上下文窗口把整個倉庫一次性放入提示、無需RAG分塊。得到單次前向完成的重構(gòu)建議與架構(gòu)評審不用搭檢索管線。場景2安全運營精確標識符核驗。你要確認CVE編號、hashcat模式這類精確標識符。用到原生函數(shù)調(diào)用給模型傳入python_executor與web_search兩個工具。得到PrintNightmare→CVE-2021-34527并正確區(qū)分CVE-2021-1675/34481變體、TGS-REP→-m 13100均帶多來源引用完整過程見evals/tool_test_outputs.md。場景3多文檔研究合成。你要把10–20篇論文加筆記和工作草案合成結(jié)論。用到1M窗口全部材料進一個提示由think塊做長程科學(xué)推理。得到一份帶推理鏈的連貫分析報告。實用建議參數(shù)調(diào)優(yōu)與常見坑參數(shù)調(diào)優(yōu)temperature0.6、top_p0.95、top_k20。受控復(fù)測中閉卷評審標記的6處錯誤在該配置下零復(fù)發(fā)含physostigmine錯誤結(jié)論與張冠李戴的CVE。repetition_penalty保持1.05。相對默認1.0的微小偏移防長生成非終止循環(huán)。常見坑貪心解碼或T≤0.3易陷入重復(fù)循環(huán)是推理模型在此類提示上的已知失敗模式。靜態(tài)YaRNfactor 4.0在短上下文有微小質(zhì)量損失只用原生262k窗口時可用倉內(nèi)config.json.pre_yarn備份把rope_type恢復(fù)為default。單卡H100/H200適合256k–512k完整1M需張量并行多卡或激進的KV緩存卸載。安全注意模型無審查對技術(shù)難題不拒答面向最終用戶的部署需自加應(yīng)用層審查。閉卷推理可能過度自信地給出CVE、hashcat模式、生化位點等精確標識符精確值重要的場景用工具路徑或檢索系統(tǒng)核驗。Qwythos-9B是一個9B體量、單GPU可服務(wù)、覆蓋1M上下文的無審查推理模型適合本地部署長上下文敏感領(lǐng)域推理的組合需求。它的基座本身是多模態(tài)架構(gòu)但本次只訓(xùn)練了文本路徑視覺能力繼承自基座且未經(jīng)測試。后續(xù)方向是多模態(tài)擴展與威脅情報、藥物發(fā)現(xiàn)等更細粒度的領(lǐng)域?qū)I(yè)化訓(xùn)練?！久赓M下載鏈接】Qwythos-9B-Claude-Mythos-5-1M項目地址: https://ai.gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-Claude-Mythos-5-1M創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考