同樣寫著“512 維潛變量加 64 維位置分支”有人算出 6.75 KiB/Token有人算出 67.5 KiB/Token。兩者相差十倍通常不是算法突然進步了而是層數(shù)漏了一位。容量規(guī)劃里最危險的錯誤往往發(fā)生在單位和統(tǒng)計范圍上。MLA 以低維潛在狀態(tài)保存注意力所需的信息是 DeepSeek-V2 已提出的設(shè)計并非 2026 年 10 月才出現(xiàn)的新概念。DeepSeek-V2 原論文先寫公式再填配置以一種簡化 MLA 緩存布局為例每層為每個 Token 保存潛變量與獨立 RoPE Key 分支。若層數(shù)為 L兩個維度分別為 dc、dr每元素占 b 字節(jié)未分片的緩存為KV_bytes L × (dc dr) × b × sequence_length × concurrent_sequences這是教學(xué)模型的存儲公式。它沒有包括頁表、對齊、量化縮放因子、額外狀態(tài)或共享層。真實引擎可能使用不同布局模型配置也不保證所有層完全相同。取 L60、dc512、dr64、FP16 每元素 2 字節(jié)單層單 Token 為 1152 B全層為 69120 B也就是 67.5 KiB128 KiToken 的單序列全層緩存為 8.4375 GiB。這里明確使用 1 Ki1024、1 GiB10243 B避免把十進制 GB 與二進制 GiB 混在一張表里。把計算器寫成可檢查的代碼下面的維度是人為指定的算術(shù)樣例不代表某個現(xiàn)役模型的完整配置也不是實測顯存。保存后用 Python 3 運行。from fractions import Fraction def mla_bytes(layers, dc, dr, element_bytes, tokens, sequences1): args (layers, dc, element_bytes, tokens, sequences) if any(x 0 for x in args) or dr 0: raise ValueError(invalid dimension) return layers * (dc dr) * element_bytes * tokens * sequences per_token mla_bytes(60, 512, 64, 2, 1) full mla_bytes(60, 512, 64, 2, 128 * 1024) assert per_token 69120 assert Fraction(full, 1024 ** 3) Fraction(135, 16) # 僅比較兩個假設(shè)向量的元素數(shù)不是模型能力對比。 saved 1 - Fraction(576, 8192) print(bytes/token:, per_token) print(GiB/sequence:, float(Fraction(full, 1024 ** 3))) print(element reduction %:, float(saved * 100))最后一行得到約 92.97%不是 85.9%。但“8192 個元素變成 576 個元素”只是一組給定維度的比較不能直接拿來宣稱某個模型相對另一個模型省了同樣比例更不能據(jù)此證明精度無損。比較完整 MHA/GQA 緩存時還要把 Key、Value、KV 頭數(shù)和 head_dim 一起寫出來。TP8 不等于一律除以八一種緩存可能按頭分片另一種潛在狀態(tài)可能被復(fù)制。還有流水線按層分配、跨層共享以及不同 Attention 后端的差別。沒有讀引擎布局與分配日志之前直接把總量除以 TP 數(shù)會得到一個看似精確、實際無法使用的單卡容量。應(yīng)當分別記錄邏輯全局字節(jié)數(shù)、每張卡實際保存的狀態(tài)、物理塊取整后的分配量。權(quán)重、激活、CUDA Graph 和通信緩沖區(qū)另外列賬不能把“KV 放得下”寫成“模型可以運行”。10 月 7 日 vLLM 對 DeepSeek-V4.1-Flash 的說明已經(jīng)涉及壓縮狀態(tài)、窗口狀態(tài)及跨層共享。它提醒我們舊版 MLA 的簡化公式不能自動覆蓋新模型的全部緩存。vLLM 官方工程說明這份計算器只驗證整數(shù)與單位未調(diào)用 GPU、未加載模型。落地時應(yīng)從目標 checkpoint 的配置和實際后端入手再用分配日志核對公式。容量數(shù)字可以精確到字節(jié)前提是每個因子都有明確含義。