音數(shù)據(jù)訓(xùn)練 RVC 變聲模型：從裝環(huán)境到跑通實(shí)時(shí)推理)
10 分鐘語(yǔ)音數(shù)據(jù)訓(xùn)練 RVC 變聲模型從裝環(huán)境到跑通實(shí)時(shí)推理【免費(fèi)下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項(xiàng)目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI先給你看個(gè)結(jié)果一段不到 10 分鐘的干聲喂給 RVCRetrieval-based-Voice-Conversion-WebUI一個(gè)基于 VITS 的開(kāi)源 AI 變聲與音色克隆框架就能得到一個(gè)可以直接上實(shí)時(shí)推理的音色模型。不用棚錄、不用小時(shí)級(jí)數(shù)據(jù)集裝好環(huán)境、拉下預(yù)訓(xùn)練權(quán)重、跑一次infer-web.py整條鏈路就可以走通。這篇文章帶你完成裝環(huán)境 → 拉模型 → 跑通推理的最小路徑再把背后的原理和可調(diào)參數(shù)的杠桿講清楚。能力清單RVC 能替你做哪些事能力你實(shí)際得到的東西音色克隆10 分鐘以內(nèi)語(yǔ)料即可訓(xùn)出目標(biāo)音色保留韻律與情感表達(dá)實(shí)時(shí)變聲端到端約 170ms 延遲換用 ASIO 聲卡可壓到 90ms 左右批量轉(zhuǎn)換命令行一次性處理整目錄音頻適合離線生產(chǎn)人聲分離內(nèi)置 UVR5 模型從伴奏里拆出干聲作為訓(xùn)練料多語(yǔ)言界面i18n 語(yǔ)言包覆蓋中、英、日、韓等 12 種語(yǔ)言O(shè)NNX 部署模型可導(dǎo)出為 onnx脫離 PyTorch 運(yùn)行時(shí)檢索式音色控制索引文件 檢索混合度在相似度和自然度之間找平衡一句話克隆、實(shí)時(shí)、批量、部署四件事它都覆蓋且全部開(kāi)源免費(fèi)。上手三連裝環(huán)境、拉模型、跑第一次推理裝環(huán)境NVIDIA 顯卡主線方案git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI pip install torch torchvision torchaudio pip install -r requirements.txtAMD / Intel 核顯DirectML 路線pip install -r requirements-dml.txtmacOS倉(cāng)庫(kù)自帶腳本會(huì)自動(dòng)建虛擬環(huán)境、裝依賴并拉模型sh ./run.sh拉模型RVC 依賴一批預(yù)訓(xùn)練權(quán)重hubert 特征提取器、rmvpe 基頻提取器、各采樣率的 v1/v2 底模、UVR5 人聲分離模型。不用手動(dòng)找文件一條命令下到正確目錄python tools/download_models.py邏輯見(jiàn) tools/download_models.py它會(huì)把 32k/40k/48k 三檔采樣率的 G/D 權(quán)重分別放進(jìn)assets/pretrained和assets/pretrained_v2。跑通第一次推理Web 界面是最短路徑啟動(dòng)后瀏覽器訪問(wèn)http://localhost:7865python infer-web.py在界面里選一個(gè)底模、選一條音頻、指定 F0 提取算法默認(rèn) harvest點(diǎn)推理即可出結(jié)果。純命令行用戶可以直接用 tools/infer_cli.py參數(shù)有輸入路徑、模型名、F0 方法、檢索混合度等。它是怎么做到的RVC 的生成端是 VITS 架構(gòu)輸入語(yǔ)音先過(guò)內(nèi)容編碼器再結(jié)合基頻F0信息由合成網(wǎng)絡(luò)生成波形。整個(gè)管線是源音頻 → 特征提取hubert→ 檢索匹配top1→ F0 提取rmvpe/harvest→ VITS 合成 → 輸出關(guān)鍵在第二步的top1 檢索訓(xùn)練時(shí)會(huì)為訓(xùn)練集構(gòu)建聲學(xué)特征索引推理時(shí)源音頻對(duì)應(yīng)的每一段特征都會(huì)去索引里檢索并用最接近的那一條top1替換掉原始特征再交給 VITS 合成。因?yàn)檩斎肽Ｐ偷奶卣饕呀?jīng)被洗成訓(xùn)練集里的內(nèi)容源說(shuō)話人的音色痕跡在入口處就被切斷了——這就是它叫檢索式變聲的原因也是音色泄漏少的主要來(lái)源。訓(xùn)練側(cè)同樣受益模型只見(jiàn)過(guò)目標(biāo)音色的特征分布學(xué)習(xí)壓力小所以 10 分鐘量級(jí)的數(shù)據(jù)就夠用。把效果調(diào)好的幾個(gè)杠桿想讓音色更像本人 → 把數(shù)據(jù)做干凈時(shí)長(zhǎng)湊夠 10 分鐘盡量同一設(shè)備、同一錄音環(huán)境錄覆蓋不同語(yǔ)速、音調(diào)、情緒避免清一色平淡敘述混響、底噪、背景人聲是頭號(hào)殺手必要時(shí)先過(guò)一遍 UVR5 分離再切段。想讓音質(zhì)和訓(xùn)練速度平衡 → 動(dòng)訓(xùn)練參數(shù)訓(xùn)練超參數(shù)集中在 configs/config.py配套的采樣率檔位配置在 configs/ 下v1/v2 各有 32k、40k、48k 的 json。常見(jiàn)做法顯存緊張就降 batch size想要更干凈的高頻就上 48k 底模訓(xùn)練輪數(shù)不必一次拉滿先跑幾十輪聽(tīng)一版再?zèng)Q定加不加。想微調(diào)像不像 vs 自然度 → 用檢索混合度推理時(shí)的index_rate控制檢索特征的混入比例調(diào)高更貼目標(biāo)音色但可能發(fā)悶調(diào)低更自然但音色漂移。索引本身可以用 tools/infer/train-index.pyv1或 tools/infer/train-index-v2.pyv2重新訓(xùn)練把不同來(lái)源的特征融合進(jìn)同一個(gè)索引做出混合音色。想讓實(shí)時(shí)更跟手 → 換聲卡接口默認(rèn)走系統(tǒng)音頻端到端約 170msWindows 上換 ASIO 設(shè)備能壓到 90ms 量級(jí)。實(shí)時(shí)入口在 go-realtime-gui.batDirectML 用戶用go-realtime-gui-dml.bat底層是 gui_v1.py。想讓訓(xùn)練料更純 → 人聲分離前置tools/ 下的應(yīng)用與 infer/modules/uvr5/ 里的 UVR5 模塊配合可以先把原曲拆成人聲 伴奏拿干聲去做切片和訓(xùn)練。繞不開(kāi)的坑坑一訓(xùn)練特別慢顯卡吃不滿?，F(xiàn)象是利用率忽高忽低。先自查 CUDA / cuDNN 與 PyTorch 版本是否匹配仍不行就把 batch size 調(diào)小或打開(kāi)混合精度配置里is_half。倉(cāng)庫(kù)還帶了 tools/torchgate/ 用于在不同后端間切換可用來(lái)驗(yàn)證是框架層還是數(shù)據(jù)層的問(wèn)題。坑二出來(lái)的聲音發(fā)悶、有電音。多半是數(shù)據(jù)問(wèn)題而非模型問(wèn)題。自查順序聽(tīng)訓(xùn)練集里最差的一段 → 確認(rèn)有無(wú)聲紋殘留底噪、混響→ 換一個(gè)底?；?F0 提取算法harvest / rmvpe再跑一版。坑三顯存爆掉?，F(xiàn)象是 OOM 后進(jìn)程被殺。處理降 batch size、用 32k 檔采樣率顯存占用低于 48k、必要時(shí)上梯度累積。數(shù)據(jù)切片別切太長(zhǎng)3~8 秒一段比較穩(wěn)。把能力接進(jìn)你自己的項(xiàng)目RVC 不只是個(gè) Web 工具它留了三個(gè)出口ONNX 部署tools/export_onnx.py 把訓(xùn)好的模型導(dǎo)出為 onnxfp32輸入 phone/pitch/ds 等張量tools/onnx_inference_demo.py 展示脫離 PyTorch 的推理寫法模型結(jié)構(gòu)見(jiàn) infer/lib/infer_pack/models_onnx.py。適合嵌進(jìn) C 客戶端或移動(dòng)端。批量推理 CLItools/infer_cli.py 和 tools/infer_batch_rvc.py 支持整目錄批處理參數(shù)F0 方法、檢索混合度、保護(hù)閾值等都能從命令行傳適合寫進(jìn) CI 或生產(chǎn)腳本。多語(yǔ)言界面界面文案全部走 i18n/ 下的語(yǔ)言包zh_CN、en_US、ja_JP、ko_KR 等 12 種你要給團(tuán)隊(duì)做多語(yǔ)言客戶端可以直接復(fù)用這套文案結(jié)構(gòu)。對(duì)外 HTTP 服務(wù)另有 api_240604.py 這樣的接口腳本可參考。代碼地圖Retrieval-based-Voice-Conversion-WebUI/ ├── infer/ # 核心訓(xùn)練 推理 │ ├── lib/infer_pack/ # 推理模型與組件VITS 模塊、F0 預(yù)測(cè)器、ONNX 結(jié)構(gòu) │ ├── lib/jit/ # hubert / rmvpe / synthesizer 的 JIT 封裝 │ ├── modules/train/ # 訓(xùn)練主流程、F0 與特征提取 │ ├── modules/vc/ # 推理管線與工具函數(shù) │ └── modules/uvr5/ # 人聲分離 ├── configs/ # config.py v1/v2 各采樣率 json ├── tools/ # 下載、導(dǎo)出、CLI 推理、索引訓(xùn)練等腳本 ├── i18n/ # 12 種語(yǔ)言語(yǔ)言包 ├── assets/ # 權(quán)重落盤目錄pretrained / pretrained_v2 / hubert ... └── docs/ # 多語(yǔ)言文檔含 faiss 檢索、訓(xùn)練技巧按用途速查想找什么去哪模型超參數(shù)configs/config.py推理核心模型infer/lib/infer_pack/訓(xùn)練入口infer/modules/train/train.py實(shí)時(shí)變聲 GUIgo-realtime-gui.bat / gui_v1.pyWeb 入口infer-web.py訓(xùn)練技巧文檔docs/en/training_tips_en.md說(shuō)明本文基于只讀倉(cāng)庫(kù)撰寫未對(duì)任何文件做修改。下一步方向很清晰先把 10 分鐘數(shù)據(jù)訓(xùn)出第一版模型聽(tīng)個(gè)大概再用檢索混合度和索引迭代去逼近想要的音色最后按場(chǎng)景選擇 Web、CLI 批量或 ONNX 嵌入?，F(xiàn)在就做一件事——按上面的命令克隆倉(cāng)庫(kù)、裝依賴、跑python tools/download_models.py半小時(shí)內(nèi)你就能聽(tīng)到自己合成的第一條聲音?！久赓M(fèi)下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項(xiàng)目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 10 分鐘語(yǔ)音數(shù)據(jù)訓(xùn)練 RVC 變聲模型：從裝環(huán)境到跑通實(shí)時(shí)推理
10 分鐘語(yǔ)音數(shù)據(jù)訓(xùn)練 RVC 變聲模型從裝環(huán)境到跑通實(shí)時(shí)推理【免費(fèi)下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項(xiàng)目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI先給你看個(gè)結(jié)果一段不到 10 分鐘的干聲喂給 RVCRetrieval-based-Voice-Conversion-WebUI一個(gè)基于 VITS 的開(kāi)源 AI 變聲與音色克隆框架就能得到一個(gè)可以直接上實(shí)時(shí)推理的音色模型。不用棚錄、不用小時(shí)級(jí)數(shù)據(jù)集裝好環(huán)境、拉下預(yù)訓(xùn)練權(quán)重、跑一次infer-web.py整條鏈路就可以走通。這篇文章帶你完成裝環(huán)境 → 拉模型 → 跑通推理的最小路徑再把背后的原理和可調(diào)參數(shù)的杠桿講清楚。能力清單RVC 能替你做哪些事能力你實(shí)際得到的東西音色克隆10 分鐘以內(nèi)語(yǔ)料即可訓(xùn)出目標(biāo)音色保留韻律與情感表達(dá)實(shí)時(shí)變聲端到端約 170ms 延遲換用 ASIO 聲卡可壓到 90ms 左右批量轉(zhuǎn)換命令行一次性處理整目錄音頻適合離線生產(chǎn)人聲分離內(nèi)置 UVR5 模型從伴奏里拆出干聲作為訓(xùn)練料多語(yǔ)言界面i18n 語(yǔ)言包覆蓋中、英、日、韓等 12 種語(yǔ)言O(shè)NNX 部署模型可導(dǎo)出為 onnx脫離 PyTorch 運(yùn)行時(shí)檢索式音色控制索引文件 檢索混合度在相似度和自然度之間找平衡一句話克隆、實(shí)時(shí)、批量、部署四件事它都覆蓋且全部開(kāi)源免費(fèi)。上手三連裝環(huán)境、拉模型、跑第一次推理裝環(huán)境NVIDIA 顯卡主線方案git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI pip install torch torchvision torchaudio pip install -r requirements.txtAMD / Intel 核顯DirectML 路線pip install -r requirements-dml.txtmacOS倉(cāng)庫(kù)自帶腳本會(huì)自動(dòng)建虛擬環(huán)境、裝依賴并拉模型sh ./run.sh拉模型RVC 依賴一批預(yù)訓(xùn)練權(quán)重hubert 特征提取器、rmvpe 基頻提取器、各采樣率的 v1/v2 底模、UVR5 人聲分離模型。不用手動(dòng)找文件一條命令下到正確目錄python tools/download_models.py邏輯見(jiàn) tools/download_models.py它會(huì)把 32k/40k/48k 三檔采樣率的 G/D 權(quán)重分別放進(jìn)assets/pretrained和assets/pretrained_v2。跑通第一次推理Web 界面是最短路徑啟動(dòng)后瀏覽器訪問(wèn)http://localhost:7865python infer-web.py在界面里選一個(gè)底模、選一條音頻、指定 F0 提取算法默認(rèn) harvest點(diǎn)推理即可出結(jié)果。純命令行用戶可以直接用 tools/infer_cli.py參數(shù)有輸入路徑、模型名、F0 方法、檢索混合度等。它是怎么做到的RVC 的生成端是 VITS 架構(gòu)輸入語(yǔ)音先過(guò)內(nèi)容編碼器再結(jié)合基頻F0信息由合成網(wǎng)絡(luò)生成波形。整個(gè)管線是源音頻 → 特征提取hubert→ 檢索匹配top1→ F0 提取rmvpe/harvest→ VITS 合成 → 輸出關(guān)鍵在第二步的top1 檢索訓(xùn)練時(shí)會(huì)為訓(xùn)練集構(gòu)建聲學(xué)特征索引推理時(shí)源音頻對(duì)應(yīng)的每一段特征都會(huì)去索引里檢索并用最接近的那一條top1替換掉原始特征再交給 VITS 合成。因?yàn)檩斎肽Ｐ偷奶卣饕呀?jīng)被洗成訓(xùn)練集里的內(nèi)容源說(shuō)話人的音色痕跡在入口處就被切斷了——這就是它叫檢索式變聲的原因也是音色泄漏少的主要來(lái)源。訓(xùn)練側(cè)同樣受益模型只見(jiàn)過(guò)目標(biāo)音色的特征分布學(xué)習(xí)壓力小所以 10 分鐘量級(jí)的數(shù)據(jù)就夠用。把效果調(diào)好的幾個(gè)杠桿想讓音色更像本人 → 把數(shù)據(jù)做干凈時(shí)長(zhǎng)湊夠 10 分鐘盡量同一設(shè)備、同一錄音環(huán)境錄覆蓋不同語(yǔ)速、音調(diào)、情緒避免清一色平淡敘述混響、底噪、背景人聲是頭號(hào)殺手必要時(shí)先過(guò)一遍 UVR5 分離再切段。想讓音質(zhì)和訓(xùn)練速度平衡 → 動(dòng)訓(xùn)練參數(shù)訓(xùn)練超參數(shù)集中在 configs/config.py配套的采樣率檔位配置在 configs/ 下v1/v2 各有 32k、40k、48k 的 json。常見(jiàn)做法顯存緊張就降 batch size想要更干凈的高頻就上 48k 底模訓(xùn)練輪數(shù)不必一次拉滿先跑幾十輪聽(tīng)一版再?zèng)Q定加不加。想微調(diào)像不像 vs 自然度 → 用檢索混合度推理時(shí)的index_rate控制檢索特征的混入比例調(diào)高更貼目標(biāo)音色但可能發(fā)悶調(diào)低更自然但音色漂移。索引本身可以用 tools/infer/train-index.pyv1或 tools/infer/train-index-v2.pyv2重新訓(xùn)練把不同來(lái)源的特征融合進(jìn)同一個(gè)索引做出混合音色。想讓實(shí)時(shí)更跟手 → 換聲卡接口默認(rèn)走系統(tǒng)音頻端到端約 170msWindows 上換 ASIO 設(shè)備能壓到 90ms 量級(jí)。實(shí)時(shí)入口在 go-realtime-gui.batDirectML 用戶用go-realtime-gui-dml.bat底層是 gui_v1.py。想讓訓(xùn)練料更純 → 人聲分離前置tools/ 下的應(yīng)用與 infer/modules/uvr5/ 里的 UVR5 模塊配合可以先把原曲拆成人聲 伴奏拿干聲去做切片和訓(xùn)練。繞不開(kāi)的坑坑一訓(xùn)練特別慢顯卡吃不滿?，F(xiàn)象是利用率忽高忽低。先自查 CUDA / cuDNN 與 PyTorch 版本是否匹配仍不行就把 batch size 調(diào)小或打開(kāi)混合精度配置里is_half。倉(cāng)庫(kù)還帶了 tools/torchgate/ 用于在不同后端間切換可用來(lái)驗(yàn)證是框架層還是數(shù)據(jù)層的問(wèn)題。坑二出來(lái)的聲音發(fā)悶、有電音。多半是數(shù)據(jù)問(wèn)題而非模型問(wèn)題。自查順序聽(tīng)訓(xùn)練集里最差的一段 → 確認(rèn)有無(wú)聲紋殘留底噪、混響→ 換一個(gè)底?；?F0 提取算法harvest / rmvpe再跑一版。坑三顯存爆掉?，F(xiàn)象是 OOM 后進(jìn)程被殺。處理降 batch size、用 32k 檔采樣率顯存占用低于 48k、必要時(shí)上梯度累積。數(shù)據(jù)切片別切太長(zhǎng)3~8 秒一段比較穩(wěn)。把能力接進(jìn)你自己的項(xiàng)目RVC 不只是個(gè) Web 工具它留了三個(gè)出口ONNX 部署tools/export_onnx.py 把訓(xùn)好的模型導(dǎo)出為 onnxfp32輸入 phone/pitch/ds 等張量tools/onnx_inference_demo.py 展示脫離 PyTorch 的推理寫法模型結(jié)構(gòu)見(jiàn) infer/lib/infer_pack/models_onnx.py。適合嵌進(jìn) C 客戶端或移動(dòng)端。批量推理 CLItools/infer_cli.py 和 tools/infer_batch_rvc.py 支持整目錄批處理參數(shù)F0 方法、檢索混合度、保護(hù)閾值等都能從命令行傳適合寫進(jìn) CI 或生產(chǎn)腳本。多語(yǔ)言界面界面文案全部走 i18n/ 下的語(yǔ)言包zh_CN、en_US、ja_JP、ko_KR 等 12 種你要給團(tuán)隊(duì)做多語(yǔ)言客戶端可以直接復(fù)用這套文案結(jié)構(gòu)。對(duì)外 HTTP 服務(wù)另有 api_240604.py 這樣的接口腳本可參考。代碼地圖Retrieval-based-Voice-Conversion-WebUI/ ├── infer/ # 核心訓(xùn)練 推理 │ ├── lib/infer_pack/ # 推理模型與組件VITS 模塊、F0 預(yù)測(cè)器、ONNX 結(jié)構(gòu) │ ├── lib/jit/ # hubert / rmvpe / synthesizer 的 JIT 封裝 │ ├── modules/train/ # 訓(xùn)練主流程、F0 與特征提取 │ ├── modules/vc/ # 推理管線與工具函數(shù) │ └── modules/uvr5/ # 人聲分離 ├── configs/ # config.py v1/v2 各采樣率 json ├── tools/ # 下載、導(dǎo)出、CLI 推理、索引訓(xùn)練等腳本 ├── i18n/ # 12 種語(yǔ)言語(yǔ)言包 ├── assets/ # 權(quán)重落盤目錄pretrained / pretrained_v2 / hubert ... └── docs/ # 多語(yǔ)言文檔含 faiss 檢索、訓(xùn)練技巧按用途速查想找什么去哪模型超參數(shù)configs/config.py推理核心模型infer/lib/infer_pack/訓(xùn)練入口infer/modules/train/train.py實(shí)時(shí)變聲 GUIgo-realtime-gui.bat / gui_v1.pyWeb 入口infer-web.py訓(xùn)練技巧文檔docs/en/training_tips_en.md說(shuō)明本文基于只讀倉(cāng)庫(kù)撰寫未對(duì)任何文件做修改。下一步方向很清晰先把 10 分鐘數(shù)據(jù)訓(xùn)出第一版模型聽(tīng)個(gè)大概再用檢索混合度和索引迭代去逼近想要的音色最后按場(chǎng)景選擇 Web、CLI 批量或 ONNX 嵌入?，F(xiàn)在就做一件事——按上面的命令克隆倉(cāng)庫(kù)、裝依賴、跑python tools/download_models.py半小時(shí)內(nèi)你就能聽(tīng)到自己合成的第一條聲音?！久赓M(fèi)下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項(xiàng)目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考