優(yōu)實(shí)戰(zhàn)：Sampling 與 Beam Search 解碼策略選擇及生成長(zhǎng)度控制)
MiniCPM-V 推理調(diào)優(yōu)實(shí)戰(zhàn)Sampling 與 Beam Search 解碼策略選擇及生成長(zhǎng)度控制【免費(fèi)下載鏈接】MiniCPM-VA Pocket-Sized MLLM for Ultra-Efficient Image and Video Understanding on Your Phone項(xiàng)目地址: https://gitcode.com/GitHub_Trending/mi/MiniCPM-V導(dǎo)讀本文聚焦 MiniCPM-V / MiniCPM-o 系列多模態(tài)大模型推理階段的兩個(gè)高頻調(diào)參問(wèn)題解碼策略Sampling vs Beam Search如何取舍以及如何用min_new_tokens避免多語(yǔ)言場(chǎng)景下回答提前截?cái)唷＝Y(jié)合 docs/faqs.md 的官方經(jīng)驗(yàn)與倉(cāng)庫(kù)內(nèi) Web Demo、評(píng)測(cè)腳本、聊天入口的真實(shí)實(shí)現(xiàn)你將獲得一套可直接復(fù)制到model.chat(...)調(diào)用中的參數(shù)配置方案并理解這些參數(shù)在底層代碼中的實(shí)際作用。一、背景MiniCPM-V 系列統(tǒng)一推理接口中的解碼入口MiniCPM-V 家族從 MiniCPM-V 2.0、MiniCPM-Llama3-V 2.5、MiniCPM-V 2.6 到 MiniCPM-o 系列在 Python 側(cè)都通過(guò)model.chat(image..., msgs..., tokenizer...)這一統(tǒng)一接口完成圖文/視頻問(wèn)答。解碼參數(shù)通過(guò)關(guān)鍵字傳入該方法與 HuggingFacetransformers的generate參數(shù)語(yǔ)義對(duì)齊。從倉(cāng)庫(kù)的統(tǒng)一聊天入口可以看到MiniCPMVChat會(huì)依據(jù)模型路徑自動(dòng)分派到對(duì)應(yīng)的實(shí)現(xiàn)類而每個(gè)實(shí)現(xiàn)類的chat方法最終都會(huì)把解碼控制參數(shù)透?jìng)鹘o底層generate。例如 OmniLMM12B.decode 中展示了采樣解碼的完整參數(shù)集output self.model.generate_vllm( input_idsinput_ids.unsqueeze(0).cuda(), imagesimage.unsqueeze(0).half().cuda(), temperature0.6, max_new_tokens1024, do_sampleTrue, repetition_penalty1.1, top_k30, top_p0.9, )因此理解并正確選擇解碼策略是獲得高質(zhì)量、可復(fù)現(xiàn)、符合場(chǎng)景需求的 MiniCPM-V 輸出的關(guān)鍵。官方 docs/faqs.md 針對(duì)這一主題給出了兩條核心經(jīng)驗(yàn)下面逐條展開(kāi)。二、Q1推理時(shí)該選 Sampling 還是 Beam Search2.1 兩條解碼策略的本質(zhì)區(qū)別Sampling隨機(jī)采樣在每一步解碼時(shí)依據(jù)模型輸出的概率分布隨機(jī)采樣下一個(gè) token并通過(guò)temperature、top_p、top_k等參數(shù)控制分布的銳利程度與候選范圍輸出具有多樣性。Beam Search束搜索每一步保留概率最高的num_beams條候選序列并擴(kuò)展最終輸出全局得分最高的序列輸出具有確定性與可復(fù)現(xiàn)性。官方建議的核心判斷依據(jù)是你的需求更看重「速度與靈活性」還是「確定性與穩(wěn)定性」。2.2 什么場(chǎng)景優(yōu)先選擇 Sampling按照 docs/faqs.md 的官方說(shuō)明當(dāng)滿足以下任一條件時(shí)優(yōu)先考慮 Sampling 解碼需要更快的推理速度Sampling 每步只需沿一條序列推進(jìn)num_beams1語(yǔ)義計(jì)算開(kāi)銷顯著低于多束并行搜索尤其適合端側(cè)部署、移動(dòng)設(shè)備或高并發(fā)服務(wù)。希望獲得流式streaming輸出逐 token 生成的特性天然契合 SSE / 流式返回Web Demo 中常見(jiàn)。任務(wù)需要開(kāi)放式、多樣化的回答例如創(chuàng)意描述、自由問(wèn)答、開(kāi)放式總結(jié)——同一問(wèn)題允許多種合理答案采樣帶來(lái)的隨機(jī)性反而是優(yōu)勢(shì)。倉(cāng)庫(kù)的多個(gè)入口都以 Sampling 為默認(rèn)或推薦配置可作佐證web_demos/web_demo_2.6.py#L92-L98 中 Gradio 界面的Decode Type默認(rèn)值即為Sampling并配套一組完整采樣參數(shù)params { sampling: True, top_p: 0.8, top_k: 100, temperature: 0.7, repetition_penalty: 1.05, max_new_tokens: 2048 }chat.py#L153-L161MiniCPMV 2.x 系與 chat.py#L177-L184MiniCPM-Llama3-V 2.5均采用samplingTrue, temperature0.7。README 中的 Omni 模式聊天示例也使用do_sampleTrue, temperature0.7見(jiàn) README.md#L1715-L1726。2.3 什么場(chǎng)景嘗試 Beam Search官方指出當(dāng)任務(wù)需要給出確定性答案時(shí)如抽取、分類、判斷題、多項(xiàng)選擇、固定格式問(wèn)答可以嘗試 Beam Search 看是否能取得更好結(jié)果。其優(yōu)勢(shì)在于結(jié)果可復(fù)現(xiàn)便于回歸測(cè)試與評(píng)測(cè)對(duì)比通過(guò)多束候選擇優(yōu)往往能減少低概率錯(cuò)誤 token 對(duì)結(jié)果的干擾得到更穩(wěn)的回答對(duì)重復(fù)問(wèn)題可輸出一致結(jié)論適合客服、知識(shí)庫(kù)等對(duì)一致性敏感的場(chǎng)景。倉(cāng)庫(kù)中評(píng)測(cè)鏈路即以 Beam Search 作為默認(rèn)策略說(shuō)明其在「確定答案類」基準(zhǔn)上的實(shí)用性。例如 eval_mm/vlmevalkit/vlmeval/vlm/minicpm_v.py#L67-L91 中的generate_innerdefault_kwargs dict( max_new_tokensmax_new_tokens, samplingFalse, num_beamsself.num_beams # MiniCPM-Llama3-V 中 num_beams 3 ) res, _, _ self.model.chat( imageimage, msgsmsgs, contextNone, tokenizerself.tokenizer, **default_kwargs )同時(shí)該評(píng)測(cè)代碼展示了按任務(wù)類型動(dòng)態(tài)調(diào)整max_new_tokens的思路MCQ 為 20、Y/N 為 100、其他為 1024這也是確定性任務(wù)用窄輸出窗口 束搜索的典型實(shí)踐。Web Demo 中 Beam Search 的完整參數(shù)組見(jiàn) web_demos/web_demo_2.6.py#L275-L290params { sampling: False, num_beams: 3, repetition_penalty: 1.2, max_new_tokens: 2048 }2.4 參數(shù)參考速查表參數(shù)Sampling默認(rèn)Beam Search作用samplingTrueFalse是否啟用隨機(jī)采樣解碼num_beams不設(shè)置13倉(cāng)庫(kù)常用值束搜索的候選序列數(shù)越大越慢但越穩(wěn)temperature0.70.1~0.9 視場(chǎng)景不使用采樣分布的軟度越低越保守top_p0.8或 0.9不使用核采樣累積概率閾值top_k100或 30不使用僅從概率最高的 k 個(gè) token 中采樣repetition_penalty1.051.2抑制重復(fù)值越大懲罰越強(qiáng)max_new_tokens20482048生成的最大新 token 數(shù)注上表中的數(shù)值取自 web_demos/web_demo_2.6.py、chat.py 與 eval_mm/vlmevalkit/vlmeval/vlm/minicpm_v.py作為可直接沿用的起始配置實(shí)際使用時(shí)可根據(jù)任務(wù)微調(diào)。三、Q2如何保證模型生成足夠長(zhǎng)度的回答3.1 問(wèn)題現(xiàn)象多語(yǔ)言推理時(shí)回答提前終止官方在 FAQ 中指出在 MiniCPM-V 2.6 的多語(yǔ)言推理過(guò)程中觀察到生成有時(shí)會(huì)提前結(jié)束。這類現(xiàn)象通常表現(xiàn)為回答不完整、句子講到一半被截?cái)?、總結(jié)缺少結(jié)尾。其根因往往是模型在低資源語(yǔ)言或長(zhǎng)文本語(yǔ)境下較早產(chǎn)生了 EOS結(jié)束符預(yù)測(cè)屬于解碼環(huán)節(jié)的可調(diào)問(wèn)題而非模型能力缺失。3.2 解決方案?jìng)魅雖in_new_tokens參數(shù)解決思路是為生成設(shè)置一個(gè)最短長(zhǎng)度下限無(wú)論模型多早想輸出結(jié)束符都必須先生成足量的 token。官方給出的完整示例見(jiàn) docs/faqs.mdres model.chat( imageNone, msgsmsgs, tokenizertokenizer, min_new_tokens100 )關(guān)鍵點(diǎn)解讀imageNone表示純文本輪次或已在msgs中攜帶多模態(tài)內(nèi)容msgs為消息列表符合 MiniCPM-V 統(tǒng)一的對(duì)話格式min_new_tokens100強(qiáng)制本輪至少生成 100 個(gè)新 token避免過(guò)早收斂到 EOS該方法對(duì) MiniCPM-V 2.6 的多語(yǔ)言場(chǎng)景尤其有效也適用于其他系列版本。3.3 與max_new_tokens的配合使用min_new_tokens與max_new_tokens是「下限」與「上限」的關(guān)系二者可同時(shí)傳入構(gòu)成完整的長(zhǎng)度約束區(qū)間。倉(cāng)庫(kù)中max_new_tokens的用法非常普遍可作對(duì)照web_demos/web_demo_2.6.py#L280 中 Beam Search 與 Sampling 兩組參數(shù)均設(shè)max_new_tokens: 2048并在視頻場(chǎng)景下追加max_inp_length4352、use_image_idFalse、max_slice_nums等視頻專用參數(shù)chat.py#L101 中 OmniLMM12B 使用max_new_tokens1024eval_mm/vlmevalkit/vlmeval/vlm/minicpm_v.py#L71-L76 按數(shù)據(jù)集類型MCQ20 / Y/N100 / 其他1024動(dòng)態(tài)設(shè)置生成上限README 的 Omni 模式示例使用max_new_tokens4096見(jiàn) README.md#L1717。因此一個(gè)更完整的長(zhǎng)回答保障寫(xiě)法是res model.chat( imageNone, msgsmsgs, tokenizertokenizer, min_new_tokens100, max_new_tokens2048, repetition_penalty1.05, # 配合抑制長(zhǎng)文本重復(fù) )3.4 配套調(diào)參建議在解決長(zhǎng)度不足問(wèn)題的同時(shí)建議同步關(guān)注以下參數(shù)避免從過(guò)短走向冗長(zhǎng)重復(fù)repetition_penalty增大max_new_tokens后長(zhǎng)文本易出現(xiàn)詞句循環(huán)建議保持在 1.05~1.2 區(qū)間任務(wù)導(dǎo)向的max_new_tokens選擇題/判斷題等確定性任務(wù)可壓小上限如 20~100開(kāi)放式問(wèn)答/總結(jié)/視頻描述則放寬到 1024~4096多模態(tài)視頻場(chǎng)景參考 web_demos/web_demo_2.6.py#L292-L295視頻輸入時(shí)需同步設(shè)置max_inp_length4352、use_image_idFalse、max_slice_nums否則長(zhǎng)視頻的視覺(jué) token 會(huì)擠壓文本生成空間解碼策略聯(lián)動(dòng)長(zhǎng)度控制與解碼策略互相獨(dú)立min_new_tokens在 Sampling 與 Beam Search 兩種模式下均可用可自由組合。四、綜合調(diào)參決策流程將官方 FAQ 的經(jīng)驗(yàn)與倉(cāng)庫(kù)實(shí)現(xiàn)合并推薦按以下流程為你的推理任務(wù)選參判斷回答確定性需求抽取、分類、判斷題、固定格式 → 嘗試 Beam SearchsamplingFalse, num_beams3, repetition_penalty1.2創(chuàng)意描述、開(kāi)放問(wèn)答、對(duì)話 → 使用 SamplingsamplingTrue, temperature0.7, top_p0.8, top_k100。判斷速度與流式需求需要流式或端側(cè)低延遲 → 必須使用 SamplingBeam Search 天然不兼容逐 token 流式。設(shè)定長(zhǎng)度區(qū)間用min_new_tokens保證下限多語(yǔ)言場(chǎng)景建議 100 起步用max_new_tokens控制上限按任務(wù)取 100~4096。處理重復(fù)問(wèn)題長(zhǎng)輸出搭配repetition_penalty1.05~1.2。多模態(tài)視頻場(chǎng)景額外配置視頻專用參數(shù)max_inp_length、use_image_idFalse、max_slice_nums避免視覺(jué) token 擠占生成窗口。這套流程可直接套用到倉(cāng)庫(kù)內(nèi)的 chat.py 統(tǒng)一入口、web_demos/web_demo_2.6.py 等 Web Demo以及 eval_mm/vlmevalkit 評(píng)測(cè)腳本中——三者共享同一套model.chat參數(shù)語(yǔ)義配置經(jīng)驗(yàn)可無(wú)縫遷移。五、小結(jié)解碼策略Sampling 服務(wù)「快、流式、開(kāi)放」三需求Beam Search 服務(wù)「確定性答案」場(chǎng)景倉(cāng)庫(kù)的 Web Demo 與評(píng)測(cè)代碼分別給出了兩套開(kāi)箱即用的參數(shù)組。生成長(zhǎng)度MiniCPM-V 2.6 多語(yǔ)言推理過(guò)早結(jié)束用min_new_tokens強(qiáng)制最短長(zhǎng)度即可顯著改善并與max_new_tokens、repetition_penalty組合成完整的輸出質(zhì)量控制方案。遷移性上述參數(shù)均為model.chat(...)的統(tǒng)一關(guān)鍵字適用于 MiniCPM-V 2.5 / 2.6 / 4.x 與 MiniCPM-o 系列的 Python 推理接口。更多官方問(wèn)答細(xì)節(jié)可查閱 docs/faqs.md完整推理示例見(jiàn) README.md?！久赓M(fèi)下載鏈接】MiniCPM-VA Pocket-Sized MLLM for Ultra-Efficient Image and Video Understanding on Your Phone項(xiàng)目地址: https://gitcode.com/GitHub_Trending/mi/MiniCPM-V創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 MiniCPM-V 推理調(diào)優(yōu)實(shí)戰(zhàn)：Sampling 與 Beam Search 解碼策略選擇及生成長(zhǎng)度控制
MiniCPM-V 推理調(diào)優(yōu)實(shí)戰(zhàn)Sampling 與 Beam Search 解碼策略選擇及生成長(zhǎng)度控制【免費(fèi)下載鏈接】MiniCPM-VA Pocket-Sized MLLM for Ultra-Efficient Image and Video Understanding on Your Phone項(xiàng)目地址: https://gitcode.com/GitHub_Trending/mi/MiniCPM-V導(dǎo)讀本文聚焦 MiniCPM-V / MiniCPM-o 系列多模態(tài)大模型推理階段的兩個(gè)高頻調(diào)參問(wèn)題解碼策略Sampling vs Beam Search如何取舍以及如何用min_new_tokens避免多語(yǔ)言場(chǎng)景下回答提前截?cái)唷＝Y(jié)合 docs/faqs.md 的官方經(jīng)驗(yàn)與倉(cāng)庫(kù)內(nèi) Web Demo、評(píng)測(cè)腳本、聊天入口的真實(shí)實(shí)現(xiàn)你將獲得一套可直接復(fù)制到model.chat(...)調(diào)用中的參數(shù)配置方案并理解這些參數(shù)在底層代碼中的實(shí)際作用。一、背景MiniCPM-V 系列統(tǒng)一推理接口中的解碼入口MiniCPM-V 家族從 MiniCPM-V 2.0、MiniCPM-Llama3-V 2.5、MiniCPM-V 2.6 到 MiniCPM-o 系列在 Python 側(cè)都通過(guò)model.chat(image..., msgs..., tokenizer...)這一統(tǒng)一接口完成圖文/視頻問(wèn)答。解碼參數(shù)通過(guò)關(guān)鍵字傳入該方法與 HuggingFacetransformers的generate參數(shù)語(yǔ)義對(duì)齊。從倉(cāng)庫(kù)的統(tǒng)一聊天入口可以看到MiniCPMVChat會(huì)依據(jù)模型路徑自動(dòng)分派到對(duì)應(yīng)的實(shí)現(xiàn)類而每個(gè)實(shí)現(xiàn)類的chat方法最終都會(huì)把解碼控制參數(shù)透?jìng)鹘o底層generate。例如 OmniLMM12B.decode 中展示了采樣解碼的完整參數(shù)集output self.model.generate_vllm( input_idsinput_ids.unsqueeze(0).cuda(), imagesimage.unsqueeze(0).half().cuda(), temperature0.6, max_new_tokens1024, do_sampleTrue, repetition_penalty1.1, top_k30, top_p0.9, )因此理解并正確選擇解碼策略是獲得高質(zhì)量、可復(fù)現(xiàn)、符合場(chǎng)景需求的 MiniCPM-V 輸出的關(guān)鍵。官方 docs/faqs.md 針對(duì)這一主題給出了兩條核心經(jīng)驗(yàn)下面逐條展開(kāi)。二、Q1推理時(shí)該選 Sampling 還是 Beam Search2.1 兩條解碼策略的本質(zhì)區(qū)別Sampling隨機(jī)采樣在每一步解碼時(shí)依據(jù)模型輸出的概率分布隨機(jī)采樣下一個(gè) token并通過(guò)temperature、top_p、top_k等參數(shù)控制分布的銳利程度與候選范圍輸出具有多樣性。Beam Search束搜索每一步保留概率最高的num_beams條候選序列并擴(kuò)展最終輸出全局得分最高的序列輸出具有確定性與可復(fù)現(xiàn)性。官方建議的核心判斷依據(jù)是你的需求更看重「速度與靈活性」還是「確定性與穩(wěn)定性」。2.2 什么場(chǎng)景優(yōu)先選擇 Sampling按照 docs/faqs.md 的官方說(shuō)明當(dāng)滿足以下任一條件時(shí)優(yōu)先考慮 Sampling 解碼需要更快的推理速度Sampling 每步只需沿一條序列推進(jìn)num_beams1語(yǔ)義計(jì)算開(kāi)銷顯著低于多束并行搜索尤其適合端側(cè)部署、移動(dòng)設(shè)備或高并發(fā)服務(wù)。希望獲得流式streaming輸出逐 token 生成的特性天然契合 SSE / 流式返回Web Demo 中常見(jiàn)。任務(wù)需要開(kāi)放式、多樣化的回答例如創(chuàng)意描述、自由問(wèn)答、開(kāi)放式總結(jié)——同一問(wèn)題允許多種合理答案采樣帶來(lái)的隨機(jī)性反而是優(yōu)勢(shì)。倉(cāng)庫(kù)的多個(gè)入口都以 Sampling 為默認(rèn)或推薦配置可作佐證web_demos/web_demo_2.6.py#L92-L98 中 Gradio 界面的Decode Type默認(rèn)值即為Sampling并配套一組完整采樣參數(shù)params { sampling: True, top_p: 0.8, top_k: 100, temperature: 0.7, repetition_penalty: 1.05, max_new_tokens: 2048 }chat.py#L153-L161MiniCPMV 2.x 系與 chat.py#L177-L184MiniCPM-Llama3-V 2.5均采用samplingTrue, temperature0.7。README 中的 Omni 模式聊天示例也使用do_sampleTrue, temperature0.7見(jiàn) README.md#L1715-L1726。2.3 什么場(chǎng)景嘗試 Beam Search官方指出當(dāng)任務(wù)需要給出確定性答案時(shí)如抽取、分類、判斷題、多項(xiàng)選擇、固定格式問(wèn)答可以嘗試 Beam Search 看是否能取得更好結(jié)果。其優(yōu)勢(shì)在于結(jié)果可復(fù)現(xiàn)便于回歸測(cè)試與評(píng)測(cè)對(duì)比通過(guò)多束候選擇優(yōu)往往能減少低概率錯(cuò)誤 token 對(duì)結(jié)果的干擾得到更穩(wěn)的回答對(duì)重復(fù)問(wèn)題可輸出一致結(jié)論適合客服、知識(shí)庫(kù)等對(duì)一致性敏感的場(chǎng)景。倉(cāng)庫(kù)中評(píng)測(cè)鏈路即以 Beam Search 作為默認(rèn)策略說(shuō)明其在「確定答案類」基準(zhǔn)上的實(shí)用性。例如 eval_mm/vlmevalkit/vlmeval/vlm/minicpm_v.py#L67-L91 中的generate_innerdefault_kwargs dict( max_new_tokensmax_new_tokens, samplingFalse, num_beamsself.num_beams # MiniCPM-Llama3-V 中 num_beams 3 ) res, _, _ self.model.chat( imageimage, msgsmsgs, contextNone, tokenizerself.tokenizer, **default_kwargs )同時(shí)該評(píng)測(cè)代碼展示了按任務(wù)類型動(dòng)態(tài)調(diào)整max_new_tokens的思路MCQ 為 20、Y/N 為 100、其他為 1024這也是確定性任務(wù)用窄輸出窗口 束搜索的典型實(shí)踐。Web Demo 中 Beam Search 的完整參數(shù)組見(jiàn) web_demos/web_demo_2.6.py#L275-L290params { sampling: False, num_beams: 3, repetition_penalty: 1.2, max_new_tokens: 2048 }2.4 參數(shù)參考速查表參數(shù)Sampling默認(rèn)Beam Search作用samplingTrueFalse是否啟用隨機(jī)采樣解碼num_beams不設(shè)置13倉(cāng)庫(kù)常用值束搜索的候選序列數(shù)越大越慢但越穩(wěn)temperature0.70.1~0.9 視場(chǎng)景不使用采樣分布的軟度越低越保守top_p0.8或 0.9不使用核采樣累積概率閾值top_k100或 30不使用僅從概率最高的 k 個(gè) token 中采樣repetition_penalty1.051.2抑制重復(fù)值越大懲罰越強(qiáng)max_new_tokens20482048生成的最大新 token 數(shù)注上表中的數(shù)值取自 web_demos/web_demo_2.6.py、chat.py 與 eval_mm/vlmevalkit/vlmeval/vlm/minicpm_v.py作為可直接沿用的起始配置實(shí)際使用時(shí)可根據(jù)任務(wù)微調(diào)。三、Q2如何保證模型生成足夠長(zhǎng)度的回答3.1 問(wèn)題現(xiàn)象多語(yǔ)言推理時(shí)回答提前終止官方在 FAQ 中指出在 MiniCPM-V 2.6 的多語(yǔ)言推理過(guò)程中觀察到生成有時(shí)會(huì)提前結(jié)束。這類現(xiàn)象通常表現(xiàn)為回答不完整、句子講到一半被截?cái)?、總結(jié)缺少結(jié)尾。其根因往往是模型在低資源語(yǔ)言或長(zhǎng)文本語(yǔ)境下較早產(chǎn)生了 EOS結(jié)束符預(yù)測(cè)屬于解碼環(huán)節(jié)的可調(diào)問(wèn)題而非模型能力缺失。3.2 解決方案?jìng)魅雖in_new_tokens參數(shù)解決思路是為生成設(shè)置一個(gè)最短長(zhǎng)度下限無(wú)論模型多早想輸出結(jié)束符都必須先生成足量的 token。官方給出的完整示例見(jiàn) docs/faqs.mdres model.chat( imageNone, msgsmsgs, tokenizertokenizer, min_new_tokens100 )關(guān)鍵點(diǎn)解讀imageNone表示純文本輪次或已在msgs中攜帶多模態(tài)內(nèi)容msgs為消息列表符合 MiniCPM-V 統(tǒng)一的對(duì)話格式min_new_tokens100強(qiáng)制本輪至少生成 100 個(gè)新 token避免過(guò)早收斂到 EOS該方法對(duì) MiniCPM-V 2.6 的多語(yǔ)言場(chǎng)景尤其有效也適用于其他系列版本。3.3 與max_new_tokens的配合使用min_new_tokens與max_new_tokens是「下限」與「上限」的關(guān)系二者可同時(shí)傳入構(gòu)成完整的長(zhǎng)度約束區(qū)間。倉(cāng)庫(kù)中max_new_tokens的用法非常普遍可作對(duì)照web_demos/web_demo_2.6.py#L280 中 Beam Search 與 Sampling 兩組參數(shù)均設(shè)max_new_tokens: 2048并在視頻場(chǎng)景下追加max_inp_length4352、use_image_idFalse、max_slice_nums等視頻專用參數(shù)chat.py#L101 中 OmniLMM12B 使用max_new_tokens1024eval_mm/vlmevalkit/vlmeval/vlm/minicpm_v.py#L71-L76 按數(shù)據(jù)集類型MCQ20 / Y/N100 / 其他1024動(dòng)態(tài)設(shè)置生成上限README 的 Omni 模式示例使用max_new_tokens4096見(jiàn) README.md#L1717。因此一個(gè)更完整的長(zhǎng)回答保障寫(xiě)法是res model.chat( imageNone, msgsmsgs, tokenizertokenizer, min_new_tokens100, max_new_tokens2048, repetition_penalty1.05, # 配合抑制長(zhǎng)文本重復(fù) )3.4 配套調(diào)參建議在解決長(zhǎng)度不足問(wèn)題的同時(shí)建議同步關(guān)注以下參數(shù)避免從過(guò)短走向冗長(zhǎng)重復(fù)repetition_penalty增大max_new_tokens后長(zhǎng)文本易出現(xiàn)詞句循環(huán)建議保持在 1.05~1.2 區(qū)間任務(wù)導(dǎo)向的max_new_tokens選擇題/判斷題等確定性任務(wù)可壓小上限如 20~100開(kāi)放式問(wèn)答/總結(jié)/視頻描述則放寬到 1024~4096多模態(tài)視頻場(chǎng)景參考 web_demos/web_demo_2.6.py#L292-L295視頻輸入時(shí)需同步設(shè)置max_inp_length4352、use_image_idFalse、max_slice_nums否則長(zhǎng)視頻的視覺(jué) token 會(huì)擠壓文本生成空間解碼策略聯(lián)動(dòng)長(zhǎng)度控制與解碼策略互相獨(dú)立min_new_tokens在 Sampling 與 Beam Search 兩種模式下均可用可自由組合。四、綜合調(diào)參決策流程將官方 FAQ 的經(jīng)驗(yàn)與倉(cāng)庫(kù)實(shí)現(xiàn)合并推薦按以下流程為你的推理任務(wù)選參判斷回答確定性需求抽取、分類、判斷題、固定格式 → 嘗試 Beam SearchsamplingFalse, num_beams3, repetition_penalty1.2創(chuàng)意描述、開(kāi)放問(wèn)答、對(duì)話 → 使用 SamplingsamplingTrue, temperature0.7, top_p0.8, top_k100。判斷速度與流式需求需要流式或端側(cè)低延遲 → 必須使用 SamplingBeam Search 天然不兼容逐 token 流式。設(shè)定長(zhǎng)度區(qū)間用min_new_tokens保證下限多語(yǔ)言場(chǎng)景建議 100 起步用max_new_tokens控制上限按任務(wù)取 100~4096。處理重復(fù)問(wèn)題長(zhǎng)輸出搭配repetition_penalty1.05~1.2。多模態(tài)視頻場(chǎng)景額外配置視頻專用參數(shù)max_inp_length、use_image_idFalse、max_slice_nums避免視覺(jué) token 擠占生成窗口。這套流程可直接套用到倉(cāng)庫(kù)內(nèi)的 chat.py 統(tǒng)一入口、web_demos/web_demo_2.6.py 等 Web Demo以及 eval_mm/vlmevalkit 評(píng)測(cè)腳本中——三者共享同一套model.chat參數(shù)語(yǔ)義配置經(jīng)驗(yàn)可無(wú)縫遷移。五、小結(jié)解碼策略Sampling 服務(wù)「快、流式、開(kāi)放」三需求Beam Search 服務(wù)「確定性答案」場(chǎng)景倉(cāng)庫(kù)的 Web Demo 與評(píng)測(cè)代碼分別給出了兩套開(kāi)箱即用的參數(shù)組。生成長(zhǎng)度MiniCPM-V 2.6 多語(yǔ)言推理過(guò)早結(jié)束用min_new_tokens強(qiáng)制最短長(zhǎng)度即可顯著改善并與max_new_tokens、repetition_penalty組合成完整的輸出質(zhì)量控制方案。遷移性上述參數(shù)均為model.chat(...)的統(tǒng)一關(guān)鍵字適用于 MiniCPM-V 2.5 / 2.6 / 4.x 與 MiniCPM-o 系列的 Python 推理接口。更多官方問(wèn)答細(xì)節(jié)可查閱 docs/faqs.md完整推理示例見(jiàn) README.md?！久赓M(fèi)下載鏈接】MiniCPM-VA Pocket-Sized MLLM for Ultra-Efficient Image and Video Understanding on Your Phone項(xiàng)目地址: https://gitcode.com/GitHub_Trending/mi/MiniCPM-V創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考