大模型這個東西前兩年還只是論文里的概念今年已經(jīng)變成很多公司和個人開發(fā)者手里的常規(guī)工具了。尤其是開源模型的崛起類似Qwen、Llama、DeepSeek這些模型權(quán)重全部開放讓自己部署一個私有大模型從極客折騰變成了完全可行的工程實踐。我在這上面踩了不少坑也終于把整套流程跑通了。如果你手里有一臺Linux服務(wù)器想把大模型部署上去自己用或者想開放給公司內(nèi)部調(diào)用這篇文章基本能覆蓋你從零到上線的大部分問題。先說說這套東西到底是什么、能解決什么問題在Linux服務(wù)器上部署大模型本質(zhì)就是把一個開源的大語言模型權(quán)重下載下來用推理框架加載到GPU顯存里對外提供一套API接口讓業(yè)務(wù)代碼可以像調(diào)用OpenAI那樣調(diào)用你自己的模型。這樣做的好處很多——數(shù)據(jù)不出內(nèi)網(wǎng)、按量收費的API成本省掉、可以針對業(yè)務(wù)做定制微調(diào)也不用擔(dān)心第三方服務(wù)不穩(wěn)定。適合誰來參考需要給團隊搭建內(nèi)網(wǎng)AI能力的后端工程師、做獨立產(chǎn)品想集成AI能力的開發(fā)者以及剛?cè)肟哟竽Ｐ拖肓私獠渴疬@套流程的在校學(xué)生。哪怕你只有一臺普通PC顯卡性能一般文章里也會講清楚怎么用CPU兜底或者用量化小模型湊合跑。1. 先想清楚在Linux服務(wù)器上部署大模型到底在折騰什么很多人第一次接觸大模型部署這個概念會懵覺得是不是要訓(xùn)練一個模型不是。部署和訓(xùn)練完全是兩碼事。訓(xùn)練是在海量數(shù)據(jù)上調(diào)整模型參數(shù)需要幾十甚至幾百張GPU跑幾周到幾個月。部署則是把已經(jīng)訓(xùn)練好的模型權(quán)重加載進推理框架用GPU做前向計算響應(yīng)一次次的請求。你只需要關(guān)心模型怎么加載、推理框架怎么配置、顯存夠不夠、并發(fā)能不能撐住。這背后涉及幾個關(guān)鍵組件模型權(quán)重開源社區(qū)下載的權(quán)重文件比如Qwen2.5-7B-Instruct參數(shù)量70億fp16精度下約占14GB顯存。推理框架Ollama、vLLM、Transformers這類工具負(fù)責(zé)把權(quán)重加載進顯存、執(zhí)行張量計算、把請求轉(zhuǎn)成token再生成文本。API服務(wù)把推理能力封裝成HTTP接口讓外部系統(tǒng)通過OpenAI兼容的格式調(diào)用。硬件資源GPU是核心如果沒有GPU也可以用CPU硬扛但速度會慢很多。整個部署過程的核心矛盾就是顯存大小和模型大小之間的博弈。顯存不夠模型就裝不進去。模型太大就得靠量化用更低精度表示參數(shù)來壓縮體積。所以你會看到動不動就有人聊q4_k_mawqgptq本質(zhì)上都是在用精度換顯存。我見過不少人在這一步就放棄問我的顯卡只有8GB顯存能部署7B模型嗎答案是可以但要用4bit量化。也有土豪直接上A100直接跑70B模型。搞清楚自己的硬件邊界再決定用哪個模型這是部署的第一步。另外Linux服務(wù)器相比Windows更適合部署大模型原因很實際NVIDIA驅(qū)動和CUDA生態(tài)在Linux下最完整vLLM這些框架對Linux的支持最好服務(wù)器環(huán)境也更接近生產(chǎn)環(huán)境。如果你用的是帶NVIDIA顯卡的Linux機器下面的內(nèi)容直接照著做就行。2. 部署前的硬性準(zhǔn)備硬件、系統(tǒng)與基礎(chǔ)環(huán)境很多人在部署中翻車不是因為模型選錯了而是環(huán)境沒準(zhǔn)備好。這一節(jié)把前置條件掰開講清楚。2.1 硬件選型顯存、內(nèi)存、CPU如何估算先給一個最樸素的顯存估算公式模型顯存占用 ≈ 參數(shù)量B× 精度字節(jié)數(shù) × 1.2 到 1.5 的冗余系數(shù)fp16精度下每個參數(shù)占2字節(jié)所以7B模型7 × 2 14GB加上推理時的KV Cache和中間激活值實際建議至少24GB顯存。13B模型13 × 2 26GB實際至少32GB。70B模型70 × 2 140GB單卡基本沒戲需要多卡并行。如果顯存不夠就用量化。4bit量化下每個參數(shù)約0.5字節(jié)7B模型只要大約4GB顯存8GB顯卡也能跑起來。代價是效果有一定損耗不過對于日常對話、文本生成這種場景感知不明顯。內(nèi)存方面建議至少是模型顯存占用的兩倍。CPU要有一塊像樣的因為部分算子會落到CPU上瓶頸往往出現(xiàn)在數(shù)據(jù)加載和tokenize環(huán)節(jié)。至于GPU型號消費級的RTX 409024GB能舒服地跑7B-13B模型專業(yè)級的A100/A800/H800則是大規(guī)模部署的選擇。2.2 系統(tǒng)與驅(qū)動Ubuntu NVIDIA驅(qū)動 CUDA推薦使用Ubuntu 20.04或22.04 LTS穩(wěn)定且社區(qū)資料多。全新服務(wù)器先升級系統(tǒng)并安裝依賴apt update apt upgrade -y apt install -y build-essential dkms linux-headers-$(uname -r)如果系統(tǒng)里沒有NVIDIA驅(qū)動最容易的方式是通過官方runfile或者apt安裝。apt方式最省心apt install -y nvidia-driver-535 reboot重啟后執(zhí)行nvidia-smi看到類似這樣的輸出就說明驅(qū)動正常----------------------------------------------------------------------------- | NVIDIA-SMI 535.xxx Driver Version: 535.xxx CUDA Version: 12.2 | -----------------------------------------------------------------------------注意nvidia-smi顯示的CUDA Version是驅(qū)動支持的最高CUDA版本不是當(dāng)前環(huán)境裝的CUDA。后面實際用CUDA要么裝完整的CUDA Toolkit要么直接用pip裝PyTorch時自帶的CUDA依賴后者省事很多。2.3 Python環(huán)境虛擬環(huán)境是必須的很多模型和推理框架依賴不同版本的Python和PyTorch直接裝在系統(tǒng)里極容易沖突。強烈建議用conda或venv隔離環(huán)境。conda安裝簡單下載Miniconda后一路默認(rèn)即可wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh source ~/.bashrc創(chuàng)建虛擬環(huán)境conda create -n llm python3.10 -y conda activate llm后面所有跟模型相關(guān)的依賴全部裝在這個環(huán)境里與系統(tǒng)隔離出問題直接刪環(huán)境重來成本很低。3. 模型量級與推理框架的匹配選擇模型選多大框架選哪個決定了你后續(xù)的體驗。這一節(jié)我把常用組合和選型邏輯講清楚。3.1 本地最先試的Ollama輕量、開箱即用如果你的訴求是最快速度跑起來Ollama絕對是最優(yōu)解。它把模型下載、推理引擎、API服務(wù)全部打包了一條命令就能搞定。安裝curl -fsSL https://ollama.com/install.sh | sh下載模型并運行ollama run qwen2.5:7b這條命令會自動去拉取Qwen2.5-7B模型然后進入交互式對話。關(guān)閉交互模式后也可以用APIcurl http://localhost:11434/api/generate -d { model: qwen2.5:7b, prompt: 你好 }Ollama還內(nèi)置了OpenAI兼容接口端口是11434格式為/v1/chat/completions這意味著你原來寫好的OpenAI SDK調(diào)用只要把base_url改一下就能接過來。Ollama適合個人開發(fā)和快速驗證它犧牲了一些高級控制項比如不能精細(xì)調(diào)KV Cache策略、不能做pipeline并行但對于中小流量完全夠用。3.2 更專業(yè)的vLLM吞吐量優(yōu)先如果要把模型部署成一個正式的API服務(wù)接受成百上千的并發(fā)請求vLLM是更合適的選擇。vLLM用了PagedAttention技術(shù)顯存利用率極高吞吐量比常規(guī)推理實現(xiàn)高幾倍。安裝pip install vllm啟動Qwen2.5-7Bpython -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen2.5-7B-Instruct \ --served-model-name qwen2.5-7b \ --tensor-parallel-size 1 \ --host 0.0.0.0 \ --port 8000啟動后使用OpenAI SDK訪問from openai import OpenAI client OpenAI( api_keyEMPTY, base_urlhttp://your-server-ip:8000/v1 ) response client.chat.completions.create( modelqwen2.5-7b, messages[{role: user, content: 你好}] ) print(response.choices[0].message.content)vLLM的調(diào)優(yōu)參數(shù)比較多后面實操章節(jié)我會詳細(xì)展開。3.3 其他方案Transformers、TGI、SGLang對比框架特點適合場景TransformersHuggingFace官方庫最通用能跑所有模型研究、調(diào)試、跑通流程vLLM高吞吐、PagedAttention、OpenAI兼容生產(chǎn)環(huán)境API服務(wù)Ollama一鍵安裝、內(nèi)置模型倉庫個人開發(fā)、內(nèi)網(wǎng)快速搭建TGIHuggingFace出品為生產(chǎn)優(yōu)化大規(guī)模生產(chǎn)、依賴HF生態(tài)SGLang新銳高性能、結(jié)構(gòu)化輸出需要高級推理控制追求極致性能選框架有個簡單原則能跑通就行選Ollama要上生產(chǎn)選vLLM搞學(xué)術(shù)實驗選Transformers。不要一上來就折騰TGI和SGLang除非你的業(yè)務(wù)場景確實需要它們的高級特性。4. 實操在Linux上完整部署一個開源模型以Qwen2.5-7B-Instruct為例紙上談兵聊完了現(xiàn)在來真實的實操。我以Qwen2.5-7B-Instruct為例分別用Ollama和vLLM兩種方式部署一遍全部命令都在Linux服務(wù)器上執(zhí)行過。4.1 用Ollama三步跑起來第一步安裝Ollamacurl -fsSL https://ollama.com/install.sh | sh安裝腳本會自動檢測系統(tǒng)和GPU配置好systemd服務(wù)。第二步下載并運行模型ollama run qwen2.5:7b首次運行會顯示下載進度如果是國內(nèi)服務(wù)器下載速度可能會比較慢。實在慢的話可以配置國內(nèi)鏡像源Ollama支持通過OLLAMA_HOST和鏡像地址環(huán)境變量來優(yōu)化。第三步測試APIcurl http://localhost:11434/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen2.5:7b, messages: [{role: user, content: 部署大模型需要注意什么}] }返回結(jié)果就是一個標(biāo)準(zhǔn)的JSON包含assistant的回復(fù)內(nèi)容。到這里模型已經(jīng)跑起來了前后十分鐘都不到。4.2 用vLLM以O(shè)penAI兼容接口部署vLLM的安裝需要Python環(huán)境建議在conda環(huán)境里操作conda create -n vllm python3.10 -y conda activate vllm pip install vllm如果服務(wù)器沒有NVIDIA驅(qū)動vLLM裝完也是白搭運行前一定先執(zhí)行nvidia-smi確認(rèn)GPU可見。啟動服務(wù)python -m vllm.entrypoints.openai.api_server \ --model /data/models/Qwen2.5-7B-Instruct \ --served-model-name qwen2.5-7b \ --tensor-parallel-size 1 \ --host 0.0.0.0 \ --port 8000這里我指定了本地路徑/data/models/Qwen2.5-7B-Instruct因為生產(chǎn)環(huán)境一般會先把模型權(quán)重download到本地避免每次啟動都去HuggingFace拉取。下載模型可以用modelscope或者huggingface-cli# 用modelscope下載國內(nèi)速度快 pip install modelscope modelscope download --model Qwen/Qwen2.5-7B-Instruct --local_dir /data/models/Qwen2.5-7B-Instruct啟動成功后控制臺會打印類似INFO: Started server process [xxxx]的字樣此時用curl測試curl http://localhost:8000/v1/models能返回模型列表就說明服務(wù)正常。測試對話curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen2.5-7b, messages: [{role: user, content: 你好介紹一下你自己}], temperature: 0.7, max_tokens: 512 }4.3 關(guān)鍵參數(shù)怎么調(diào)max-model-len、gpu-memory-utilization、tensor-parallel-sizevLLM里最重要的三個參數(shù)我一個個解釋max-model-len這個參數(shù)控制模型最大上下文長度。Qwen2.5-7B-Instruct支持最長32768個token的上下文但是上下文越長KV Cache占用顯存就越大。如果你設(shè)置為32768顯存里有很大一部分要預(yù)留給Cache能同時處理的并發(fā)請求就會減少。一般業(yè)務(wù)場景設(shè)8192足夠如果只是做簡單問答設(shè)4096更穩(wěn)妥。gpu-memory-utilization這個參數(shù)控制vLLM最多使用顯存的百分比默認(rèn)是0.9。如果服務(wù)器上還有其他進程建議調(diào)低到0.7或0.8防止OOM。我自己的經(jīng)驗是專用推理服務(wù)器可以設(shè)0.95既能利用顯存又不至于讓PyTorch分配失敗如果有其他服務(wù)共宿老老實實0.8。tensor-parallel-size當(dāng)模型單卡裝不下時設(shè)為2、4、8表示用多少張GPU并行推理。這個參數(shù)不是越多越好多卡并行會引入通信開銷只有模型大到單卡無法承載時才用得上。對7B模型來說一張4090就夠跑千萬別設(shè)成2白白浪費卡。一個我自己踩過的坑vLLM默認(rèn)會嘗試從HuggingFace加載tokenizer和config但如果服務(wù)器無法訪問外網(wǎng)會卡在下載階段很久。解決辦法是先手動把模型下載到本地然后啟動命令里直接指定本地路徑。5. 上線前后的性能調(diào)優(yōu)與穩(wěn)定性排查模型跑起來了只是第一步我在實際部署中還遇到過各種奇怪問題。這一節(jié)把調(diào)優(yōu)思路和故障排查經(jīng)驗整理出來。5.1 顯存與并發(fā)如何估算最大并發(fā)上線前總會被問這個服務(wù)能支撐多少并發(fā)可以用一個粗略公式最大并發(fā) ≈ 總顯存 - 模型權(quán)重占用 / 每個請求的KV Cache大小KV Cache大小跟模型大小、上下文長度、量化方式相關(guān)很難精確計算但可以用實測方式參考。先用nvidia-smi看看空閑顯存。假設(shè)總顯存24GB模型權(quán)重占14GB剩余約10GB。如果每個請求平均輸出512個token上下文長度設(shè)4096每個請求KV Cache大約占0.5-1GB那并發(fā)大概在10-20之間。想要提升并發(fā)常見做法降低max-model-len限制最大上下文減少KV Cache預(yù)留。使用量化模型讓模型權(quán)重占用更小騰出更多顯存給Cache。增加GPU數(shù)量用tensor-parallel-size或者多實例部署。合理設(shè)置流式輸出而不是一次性等完整結(jié)果減少峰值壓力。5.2 常見故障與排查方法速查表現(xiàn)象可能原因解決辦法CUDA out of memory顯存不足或碎片調(diào)低gpu-memory-utilization、換量化模型、減少max-model-len模型下載慢/失敗網(wǎng)絡(luò)問題使用Modelscope鏡像、或先下載到本地再加載API請求超時并發(fā)高、模型推理慢開啟流式輸出、增加GPU、限制max_tokensRailway/云服務(wù)器端口不通防火墻或安全組檢查云安全組入站規(guī)則放行對應(yīng)端口ImportError: libcublas.soCUDA依賴缺失安裝PyTorch對應(yīng)版本的CUDA依賴pip install torch --index-url ...Ollama啟動后GPU不可用驅(qū)動未裝或權(quán)限不足檢查nvidia-smi確認(rèn)用戶有權(quán)限訪問GPU中文輸出亂碼模型未正確加載tokenizer重試加載確認(rèn)模型路徑正確不要隨意改加載方式5.3 后臺運行與開機自啟開發(fā)時可以前臺跑但生產(chǎn)環(huán)境必須讓服務(wù)在后臺穩(wěn)定運行服務(wù)器重啟后也要自動拉起。我習(xí)慣用systemd管理vLLM服務(wù)。新建一個service文件vim /etc/systemd/system/vllm.service內(nèi)容如下[Unit] DescriptionvLLM API Server Afternetwork.target [Service] Userroot WorkingDirectory/data EnvironmentPATH/root/miniconda3/envs/vllm/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin ExecStart/root/miniconda3/envs/vllm/bin/python -m vllm.entrypoints.openai.api_server \ --model /data/models/Qwen2.5-7B-Instruct \ --served-model-name qwen2.5-7b \ --tensor-parallel-size 1 \ --host 0.0.0.0 \ --port 8000 [Install] WantedBymulti-user.target執(zhí)行systemctl daemon-reload systemctl enable vllm systemctl start vllm systemctl status vllm查看日志用journalctl -u vllm -f非常方便。5.4 Linux運維實用命令清單部署和排查過程中下面這些命令我?guī)缀趺刻於家? 查看顯存狀態(tài) nvidia-smi # 查看內(nèi)存和swap free -h # 查看磁盤占用 df -h # 查看端口占用 lsof -i:8000 # 查看進程 ps aux | grep vllm top # 查看GPU進程 nvidia-smi --query-compute-appspid,used_memory --formatcsv # 持續(xù)查看日志 journalctl -u vllm -f # 測API耗時 curl -w time_total: %{time_total}s\n -X POST http://localhost:8000/v1/chat/completions ...用得多了自然會記住初期記不住也沒關(guān)系用的時候查就行。6. 項目上線后的一些經(jīng)驗和后續(xù)擴展方向前幾節(jié)把部署流程和問題排查講得比較透了最后聊一點我自己的體會。踩過幾次坑之后我最深的感受是部署大模型的難點不在跑起來而在穩(wěn)定地跑下去。跑起來只需要一條ollama run命令但要讓服務(wù)在業(yè)務(wù)流量下穩(wěn)定不OOM、延遲可控、請求不超時這才是真正的功夫。一個很實用的經(jīng)驗先小后大。第一次部署不要一上來就上70B模型用7B模型跑通全鏈路再換更大的模型。這個全鏈路包括模型加載、API調(diào)用、權(quán)限管理、日志監(jiān)控、告警。很多問題在小模型上出現(xiàn)時更容易定位。另外有條件的話一定要做好監(jiān)控。至少要看四類指標(biāo)GPU顯存利用率接近100%時說明模型權(quán)重大或并發(fā)高及時擴容。GPU溫度長時間高溫會降低性能甚至燒卡注意散熱。API響應(yīng)延遲P95延遲超過用戶預(yù)期時優(yōu)化模型或提升硬件。錯誤率頻繁超時或500錯誤要查服務(wù)日志和GPU顯存碎片。后續(xù)擴展方向上如果你想讓模型更貼合業(yè)務(wù)可以做領(lǐng)域微調(diào)用LoRA在消費級顯卡上也能跑如果想讓多個模型共享顯存可以用vLLM的多模型部署或者單獨起多實例按路由分發(fā)如果要接入企業(yè)微信這類辦公系統(tǒng)把API用到的base_url指向你的服務(wù)就行實際上大模型只是個后端跟這些系統(tǒng)集成是很自然的事。最后再分享一個小技巧部署完成后一定要在防火墻上限制端口訪問權(quán)限不要把8000端口直接裸奔到公網(wǎng)。用nginx做反向代理加一層鑒權(quán)這樣既安全負(fù)載均衡也更方便。大模型部署并不是什么高不可攀的事只要你有一臺帶NVIDIA顯卡的Linux服務(wù)器照著上面這些步驟走一遍很快就能跑起來屬于自己的模型服務(wù)。等真正跑通了你會回來感謝自己按下回車那一刻的勇氣。