視頻的完整教程)
如何快速上手VideoFlexTok安裝、加載模型與編碼第一個(gè)視頻的完整教程【免費(fèi)下載鏈接】videoflextok_d18_d28項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/EPFL-VILAB/videoflextok_d18_d28 快速了解這個(gè)項(xiàng)目是什么VideoFlexTok是 EPFL洛桑聯(lián)邦理工學(xué)院VILAB 實(shí)驗(yàn)室開(kāi)源的一個(gè)視頻分詞器video tokenizer模型屬于 HuggingFace 鏡像倉(cāng)庫(kù)EPFL-VILAB/videoflextok_d18_d28中預(yù)訓(xùn)練好的 checkpoint。它的核心特點(diǎn)是可變長(zhǎng)度、由粗到細(xì)coarse-to-fine的視頻 token 化一段視頻會(huì)被編碼成一串 token靠前的 token 捕獲語(yǔ)義和運(yùn)動(dòng)等抽象信息靠后的 token 再逐層補(bǔ)充細(xì)節(jié)。你只需要保留前 N 個(gè) token就能在信息量—計(jì)算成本之間自由取舍。倉(cāng)庫(kù)結(jié)構(gòu)非常簡(jiǎn)潔核心就 3 個(gè)文件文件作用README.md官方說(shuō)明安裝、加載模型、編碼與解碼視頻config.json模型完整結(jié)構(gòu)配置編碼器、解碼器、量化器參數(shù)model.safetensors預(yù)訓(xùn)練權(quán)重文件safetensors 格式一、VideoFlexTok 的三大核心能力在動(dòng)手之前先理解它能做什么后面跟著教程走就不會(huì)迷路視頻 → 離散 token 序列把 256×256 的視頻片段編碼成每個(gè)時(shí)間步最多 256 個(gè)離散 token嵌套截?cái)鄋ested truncationtoken 序列可以嵌套式地只保留前 64 個(gè)或前 128 個(gè)實(shí)現(xiàn)從抽象語(yǔ)義到像素細(xì)節(jié)的靈活壓縮token → 視頻重建通過(guò)內(nèi)置的 Rectified Flow流匹配解碼器把截?cái)嗪蟮?token 序列重新生成回視頻。從命名也能看出模型規(guī)格d18_d28指編碼器 18 層、解碼器 28 層Transformer這可以在 config.json 中得到驗(yàn)證enc_transformer.depth: 18、dec_transformer.depth: 28。二、安裝 VideoFlexTok 依賴環(huán)境這個(gè)倉(cāng)庫(kù)本身只存放模型權(quán)重與配置Python 代碼包videoflextok來(lái)自論文的官方實(shí)現(xiàn)README.md 中的 Installation 一節(jié)有說(shuō)明。推薦兩種方式方式 A推薦按照官方實(shí)現(xiàn)倉(cāng)庫(kù)的說(shuō)明pip install或源碼安裝videoflextok包需要 Python 3.9 和 PyTorch 環(huán)境建議 GPU 加速方式 B把官方實(shí)現(xiàn)代碼克隆到本地后用pip install -e .以可編輯模式安裝。安裝完成后可以用下面一行驗(yàn)證是否成功import videoflextok print(OK)三、兩種方法加載 VideoFlexTok 模型方法 1直接從 Hub 一行加載最快上手from videoflextok.wrappers import VideoFlexTokFromHub model VideoFlexTokFromHub.from_pretrained(EPFL-VILAB/videoflextok_d18_d28).eval()只需一個(gè)模型名權(quán)重會(huì)自動(dòng)下載并加載適合絕大多數(shù)用戶。方法 2手動(dòng)加載本地權(quán)重文件如果你已經(jīng)下載了 model.safetensors 權(quán)重文件可以用官方提供的輔助函數(shù)加載from hydra.utils import instantiate from videoflextok.utils.checkpoint import load_safetensors ckpt, config load_safetensors(/path/to/model.safetensors) model instantiate(config).eval() model.load_state_dict(ckpt) 這里的config會(huì)自動(dòng)從權(quán)重文件中解析出來(lái)內(nèi)容與 config.json 一致不需要你手動(dòng)指定模型結(jié)構(gòu)。四、編碼第一個(gè)視頻完整步驟演示 步驟 1讀取視頻為張量from videoflextok.utils.demo import read_mp4 video_tensor read_mp4(./data/video_examples/red_ball.mp4, fps8) # (3, T, 256, 256)read_mp4會(huì)自動(dòng)完成預(yù)處理按約 8 FPS 抽幀、縮放到 256×256、數(shù)值歸一化到 [-1, 1]并保證幀數(shù)滿足T 1 K×16VideoFlexTok 分塊機(jī)制的硬性要求。步驟 2tokenize 成離散 tokentokens_list model.tokenize(video_tensor[None]) # 得到 list每個(gè)元素 shape 為 [1, t, 256]每 16 幀的片段會(huì)被壓縮成4 個(gè)時(shí)間 token加上首幀共 1 個(gè)所以t 1 K×4編碼器以滑動(dòng)窗口方式自動(dòng)處理長(zhǎng)視頻并把 token 在序列維度上拼接。步驟 3嵌套截?cái)郪ideoFlexTok 的靈魂操作 ??k_keep 64 # 每個(gè)時(shí)間步只保留前 64 個(gè) token共 256 個(gè) tokens_list [t[..., :k_keep] for t in tokens_list]由于 token 是由粗到細(xì)排列的前 64 個(gè) ≈ 視頻的語(yǔ)義 運(yùn)動(dòng)骨架后 192 個(gè)才是紋理細(xì)節(jié)。截?cái)喽嗌倬陀赡愕南掠稳蝿?wù)如視頻理解、生成、檢索按需決定。五、把 token 變回視頻detokenize 重建 reconst model.detokenize( tokens_list, timesteps30, # 去噪步數(shù) guidance_scale20., # 無(wú)分類器引導(dǎo)強(qiáng)度15~30 效果較好 perform_norm_guidanceTrue, ) # reconst: list of [1, 3, T, 256, 256]數(shù)值范圍 [-1, 1]解碼器是一個(gè)基于流匹配的擴(kuò)散式模型config.json 中的VideoMinRFPipeline截?cái)嗟?token 越多重建越依賴先驗(yàn)補(bǔ)全細(xì)節(jié)guidance_scale可適當(dāng)調(diào)高。六、讀懂 config.json模型內(nèi)部一覽模塊關(guān)鍵配置含義VAEVidTokVAE16 通道潛變量先把視頻壓縮進(jìn) VAE 潛空間編碼器FlexTransformerdim115218 層輸出 256 個(gè)寄存器 token量化器FSQlevels[8,8,8,5,5,5]有限標(biāo)量量化產(chǎn)生離散 token解碼器FlexTransformerdim179228 層流匹配去噪重建 VAE 潛變量分塊參數(shù)chunk_size: 17overlap: 1幀長(zhǎng)視頻滑動(dòng)窗口分塊七、常見(jiàn)問(wèn)題速查 ?Q1視頻長(zhǎng)度有什么要求幀數(shù)需滿足T 1 K×16K≥1read_mp4會(huì)自動(dòng)處理輸入分辨率為 256×256。Q2token 序列最多多少每個(gè)時(shí)間步最多 256 個(gè) token6 維 FSQ 量化碼本 8×8×8×5×5×5。Q3沒(méi)有 GPU 能跑嗎可以但 28 層解碼器的流匹配采樣在 CPU 上會(huì)很慢建議 30 步去噪配合 GPU。Q4許可證是什么權(quán)重以Apache License 2.0發(fā)布見(jiàn) README.md可自由商用?？偨Y(jié)VideoFlexTok 可變長(zhǎng)度、由粗到細(xì)的視頻分詞模型一行代碼即可從 Hub 加載核心流程只需三步read_mp4讀視頻 →tokenize編碼 → 按需detokenize重建模型結(jié)構(gòu)與參數(shù)全部透明可查config.json model.safetensors嵌套截?cái)嗍撬畲蟮馁u點(diǎn)語(yǔ)義與細(xì)節(jié)分離讓視頻 token 第一次變得可伸縮。照著上面的代碼走一遍你就完成了從安裝到編碼第一個(gè)視頻的完整流程可以開(kāi)始自己的視頻 token 化實(shí)驗(yàn)了 【免費(fèi)下載鏈接】videoflextok_d18_d28項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/EPFL-VILAB/videoflextok_d18_d28創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何快速上手VideoFlexTok：安裝、加載模型與編碼第一個(gè)視頻的完整教程
如何快速上手VideoFlexTok安裝、加載模型與編碼第一個(gè)視頻的完整教程【免費(fèi)下載鏈接】videoflextok_d18_d28項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/EPFL-VILAB/videoflextok_d18_d28 快速了解這個(gè)項(xiàng)目是什么VideoFlexTok是 EPFL洛桑聯(lián)邦理工學(xué)院VILAB 實(shí)驗(yàn)室開(kāi)源的一個(gè)視頻分詞器video tokenizer模型屬于 HuggingFace 鏡像倉(cāng)庫(kù)EPFL-VILAB/videoflextok_d18_d28中預(yù)訓(xùn)練好的 checkpoint。它的核心特點(diǎn)是可變長(zhǎng)度、由粗到細(xì)coarse-to-fine的視頻 token 化一段視頻會(huì)被編碼成一串 token靠前的 token 捕獲語(yǔ)義和運(yùn)動(dòng)等抽象信息靠后的 token 再逐層補(bǔ)充細(xì)節(jié)。你只需要保留前 N 個(gè) token就能在信息量—計(jì)算成本之間自由取舍。倉(cāng)庫(kù)結(jié)構(gòu)非常簡(jiǎn)潔核心就 3 個(gè)文件文件作用README.md官方說(shuō)明安裝、加載模型、編碼與解碼視頻config.json模型完整結(jié)構(gòu)配置編碼器、解碼器、量化器參數(shù)model.safetensors預(yù)訓(xùn)練權(quán)重文件safetensors 格式一、VideoFlexTok 的三大核心能力在動(dòng)手之前先理解它能做什么后面跟著教程走就不會(huì)迷路視頻 → 離散 token 序列把 256×256 的視頻片段編碼成每個(gè)時(shí)間步最多 256 個(gè)離散 token嵌套截?cái)鄋ested truncationtoken 序列可以嵌套式地只保留前 64 個(gè)或前 128 個(gè)實(shí)現(xiàn)從抽象語(yǔ)義到像素細(xì)節(jié)的靈活壓縮token → 視頻重建通過(guò)內(nèi)置的 Rectified Flow流匹配解碼器把截?cái)嗪蟮?token 序列重新生成回視頻。從命名也能看出模型規(guī)格d18_d28指編碼器 18 層、解碼器 28 層Transformer這可以在 config.json 中得到驗(yàn)證enc_transformer.depth: 18、dec_transformer.depth: 28。二、安裝 VideoFlexTok 依賴環(huán)境這個(gè)倉(cāng)庫(kù)本身只存放模型權(quán)重與配置Python 代碼包videoflextok來(lái)自論文的官方實(shí)現(xiàn)README.md 中的 Installation 一節(jié)有說(shuō)明。推薦兩種方式方式 A推薦按照官方實(shí)現(xiàn)倉(cāng)庫(kù)的說(shuō)明pip install或源碼安裝videoflextok包需要 Python 3.9 和 PyTorch 環(huán)境建議 GPU 加速方式 B把官方實(shí)現(xiàn)代碼克隆到本地后用pip install -e .以可編輯模式安裝。安裝完成后可以用下面一行驗(yàn)證是否成功import videoflextok print(OK)三、兩種方法加載 VideoFlexTok 模型方法 1直接從 Hub 一行加載最快上手from videoflextok.wrappers import VideoFlexTokFromHub model VideoFlexTokFromHub.from_pretrained(EPFL-VILAB/videoflextok_d18_d28).eval()只需一個(gè)模型名權(quán)重會(huì)自動(dòng)下載并加載適合絕大多數(shù)用戶。方法 2手動(dòng)加載本地權(quán)重文件如果你已經(jīng)下載了 model.safetensors 權(quán)重文件可以用官方提供的輔助函數(shù)加載from hydra.utils import instantiate from videoflextok.utils.checkpoint import load_safetensors ckpt, config load_safetensors(/path/to/model.safetensors) model instantiate(config).eval() model.load_state_dict(ckpt) 這里的config會(huì)自動(dòng)從權(quán)重文件中解析出來(lái)內(nèi)容與 config.json 一致不需要你手動(dòng)指定模型結(jié)構(gòu)。四、編碼第一個(gè)視頻完整步驟演示 步驟 1讀取視頻為張量from videoflextok.utils.demo import read_mp4 video_tensor read_mp4(./data/video_examples/red_ball.mp4, fps8) # (3, T, 256, 256)read_mp4會(huì)自動(dòng)完成預(yù)處理按約 8 FPS 抽幀、縮放到 256×256、數(shù)值歸一化到 [-1, 1]并保證幀數(shù)滿足T 1 K×16VideoFlexTok 分塊機(jī)制的硬性要求。步驟 2tokenize 成離散 tokentokens_list model.tokenize(video_tensor[None]) # 得到 list每個(gè)元素 shape 為 [1, t, 256]每 16 幀的片段會(huì)被壓縮成4 個(gè)時(shí)間 token加上首幀共 1 個(gè)所以t 1 K×4編碼器以滑動(dòng)窗口方式自動(dòng)處理長(zhǎng)視頻并把 token 在序列維度上拼接。步驟 3嵌套截?cái)郪ideoFlexTok 的靈魂操作 ??k_keep 64 # 每個(gè)時(shí)間步只保留前 64 個(gè) token共 256 個(gè) tokens_list [t[..., :k_keep] for t in tokens_list]由于 token 是由粗到細(xì)排列的前 64 個(gè) ≈ 視頻的語(yǔ)義 運(yùn)動(dòng)骨架后 192 個(gè)才是紋理細(xì)節(jié)。截?cái)喽嗌倬陀赡愕南掠稳蝿?wù)如視頻理解、生成、檢索按需決定。五、把 token 變回視頻detokenize 重建 reconst model.detokenize( tokens_list, timesteps30, # 去噪步數(shù) guidance_scale20., # 無(wú)分類器引導(dǎo)強(qiáng)度15~30 效果較好 perform_norm_guidanceTrue, ) # reconst: list of [1, 3, T, 256, 256]數(shù)值范圍 [-1, 1]解碼器是一個(gè)基于流匹配的擴(kuò)散式模型config.json 中的VideoMinRFPipeline截?cái)嗟?token 越多重建越依賴先驗(yàn)補(bǔ)全細(xì)節(jié)guidance_scale可適當(dāng)調(diào)高。六、讀懂 config.json模型內(nèi)部一覽模塊關(guān)鍵配置含義VAEVidTokVAE16 通道潛變量先把視頻壓縮進(jìn) VAE 潛空間編碼器FlexTransformerdim115218 層輸出 256 個(gè)寄存器 token量化器FSQlevels[8,8,8,5,5,5]有限標(biāo)量量化產(chǎn)生離散 token解碼器FlexTransformerdim179228 層流匹配去噪重建 VAE 潛變量分塊參數(shù)chunk_size: 17overlap: 1幀長(zhǎng)視頻滑動(dòng)窗口分塊七、常見(jiàn)問(wèn)題速查 ?Q1視頻長(zhǎng)度有什么要求幀數(shù)需滿足T 1 K×16K≥1read_mp4會(huì)自動(dòng)處理輸入分辨率為 256×256。Q2token 序列最多多少每個(gè)時(shí)間步最多 256 個(gè) token6 維 FSQ 量化碼本 8×8×8×5×5×5。Q3沒(méi)有 GPU 能跑嗎可以但 28 層解碼器的流匹配采樣在 CPU 上會(huì)很慢建議 30 步去噪配合 GPU。Q4許可證是什么權(quán)重以Apache License 2.0發(fā)布見(jiàn) README.md可自由商用?？偨Y(jié)VideoFlexTok 可變長(zhǎng)度、由粗到細(xì)的視頻分詞模型一行代碼即可從 Hub 加載核心流程只需三步read_mp4讀視頻 →tokenize編碼 → 按需detokenize重建模型結(jié)構(gòu)與參數(shù)全部透明可查config.json model.safetensors嵌套截?cái)嗍撬畲蟮馁u點(diǎn)語(yǔ)義與細(xì)節(jié)分離讓視頻 token 第一次變得可伸縮。照著上面的代碼走一遍你就完成了從安裝到編碼第一個(gè)視頻的完整流程可以開(kāi)始自己的視頻 token 化實(shí)驗(yàn)了 【免費(fèi)下載鏈接】videoflextok_d18_d28項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/EPFL-VILAB/videoflextok_d18_d28創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考