5分鐘跑通text-generation-webui本地大模型極簡部署【免費下載鏈接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.項目地址: https://gitcode.com/GitHub_Trending/te/textgen你的機器只有 8G 顯存卻想私有化地跑一個本地大模型還要能接 API。text-generation-webui 是一款開源的本地 LLM 部署應用文本對話、視覺理解、工具調用都支持還帶 OpenAI/Anthropic 兼容的 API數(shù)據(jù)全程不出你的機器。下面這幾分鐘我們把整套流程跑通。選對你的路 裝錯依賴是最常見的坑而依賴該裝哪一套看你的硬件就行。項目把依賴按硬件拆好了都在 requirements/full/ 目錄下對照這張表定位你的方案你的硬件推薦路徑對應依賴文件NVIDIA 顯卡一鍵啟動腳本CUDA 加速requirements/full/requirements.txtAMD 顯卡一鍵啟動腳本ROCmrequirements/full/requirements_amd.txtApple M 系列芯片一鍵啟動腳本Metalrequirements/full/requirements_apple_silicon.txt純 CPU一鍵啟動腳本requirements/full/requirements_cpu_only.txt多項目 / 服務器部署Docker 容器化部署docker/拿不準就用 Dockerdocker/ 目錄里 nvidia、amd、cpu、intel 都有現(xiàn)成配置系統(tǒng)環(huán)境一點不碰。三步跑起來 路線定下來后面其實就三步裝、配、啟。裝先把代碼拉到本地就這兩行git clone https://gitcode.com/GitHub_Trending/te/textgen cd textgen放心啟動腳本自帶環(huán)境隔離——它會自動下載 Miniforge、在項目目錄里建一個獨立的 Python 環(huán)境你系統(tǒng)里已有的 Python 全家桶基本不會被碰。配接下來給自己定制啟動參數(shù)。打開 user_data/CMD_FLAGS.txt把你希望每次啟動都生效的參數(shù)寫進去每行一個比如--auto-launch --listen --api三個參數(shù)分別的意思--auto-launch啟動后自動打開瀏覽器--listen讓局域網(wǎng)里別的設備也能訪問--api把 OpenAI 兼容的 API 服務打開。text-generation-webui 會把這個文件當成持久化的參數(shù)配置寫一次以后就不用再敲了。啟Linux 上把這行貼進終端./start_linux.sh第一次跑要裝依賴耐心等它走完然后瀏覽器會自己彈出 http://localhost:7860。Windows 用戶直接雙擊 start_windows.batmacOS 用戶跑 start_macos.sh效果一樣。調出你的風格 ??模型加載好之后如果輸出太穩(wěn)或者老是車轱轆話八成是參數(shù)問題。Parameters 頁的參數(shù)你不用全背先把這 5 個調明白就夠用了參數(shù)它控制什么起步推薦值max_new_tokens一次最多輸出多少 token512temperature輸出的隨機程度0 是純確定性0.7top_p候選詞池的寬窄0.9repetition_penalty重復懲罰1 表示不懲罰1.1Truncate the prompt up to this length提示詞截斷上限也相當于顯存護欄保持加載模型后的自動值打個比方temperature 是創(chuàng)意旋鈕擰得越低輸出越一本正經top_p 管的是模型敢不敢即興越低越保守。max_new_tokens 別貪大它擠占的上下文預算會反過來截斷你的提示詞。懶得自己調的話同一頁的預設菜單里有社區(qū)票選出來的組合一鍵切換每個參數(shù)的詳細解釋在 docs/03 - Parameters Tab.md。按需解鎖 如果你要在同一臺機器上并行幾個項目或者往服務器上部署、不想污染宿主機Docker 容器化部署就是最省心的選擇。docker/ 目錄為 nvidia、amd、cpu、intel 各硬件都備好了 Dockerfile 和 compose 文件。以 NVIDIA 為例cd textgen docker compose -f docker/nvidia/docker-compose.yml up --build首次構建要等一會兒相當于把整套環(huán)境打包進鏡像之后再拉起來就是秒級。如果它提示缺少 .env 文件先按 docs/09 - Docker.md 的說明準備一下。量化省顯存、模型訓練、外掛擴展這些高級玩法docs/ 目錄里各有一篇用到時再翻?？ㄗ×丝催@里 癥狀一句話解法相關文件加載模型報 CUDA out of memory加--load-in-8bit或--load-in-4bit量化加載體積減半、精度微損user_data/CMD_FLAGS.txt局域網(wǎng)其他設備訪問不了加--listen順手檢查一下端口和防火墻user_data/CMD_FLAGS.txt依賴裝不進去、版本互相打架換 Docker 部署環(huán)境隔離一步到位docker/生成速度不滿意調小 max_new_tokens或換個預設 / 更小的模型user_data/presets/把下載好的模型加載、點一下生成吧。跑通之后翻一翻 user_data/presets/換個生成預設試試新風格?！久赓M下載鏈接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.項目地址: https://gitcode.com/GitHub_Trending/te/textgen創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 5分鐘跑通：text-generation-webui本地大模型極簡部署
5分鐘跑通text-generation-webui本地大模型極簡部署【免費下載鏈接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.項目地址: https://gitcode.com/GitHub_Trending/te/textgen你的機器只有 8G 顯存卻想私有化地跑一個本地大模型還要能接 API。text-generation-webui 是一款開源的本地 LLM 部署應用文本對話、視覺理解、工具調用都支持還帶 OpenAI/Anthropic 兼容的 API數(shù)據(jù)全程不出你的機器。下面這幾分鐘我們把整套流程跑通。選對你的路 裝錯依賴是最常見的坑而依賴該裝哪一套看你的硬件就行。項目把依賴按硬件拆好了都在 requirements/full/ 目錄下對照這張表定位你的方案你的硬件推薦路徑對應依賴文件NVIDIA 顯卡一鍵啟動腳本CUDA 加速requirements/full/requirements.txtAMD 顯卡一鍵啟動腳本ROCmrequirements/full/requirements_amd.txtApple M 系列芯片一鍵啟動腳本Metalrequirements/full/requirements_apple_silicon.txt純 CPU一鍵啟動腳本requirements/full/requirements_cpu_only.txt多項目 / 服務器部署Docker 容器化部署docker/拿不準就用 Dockerdocker/ 目錄里 nvidia、amd、cpu、intel 都有現(xiàn)成配置系統(tǒng)環(huán)境一點不碰。三步跑起來 路線定下來后面其實就三步裝、配、啟。裝先把代碼拉到本地就這兩行git clone https://gitcode.com/GitHub_Trending/te/textgen cd textgen放心啟動腳本自帶環(huán)境隔離——它會自動下載 Miniforge、在項目目錄里建一個獨立的 Python 環(huán)境你系統(tǒng)里已有的 Python 全家桶基本不會被碰。配接下來給自己定制啟動參數(shù)。打開 user_data/CMD_FLAGS.txt把你希望每次啟動都生效的參數(shù)寫進去每行一個比如--auto-launch --listen --api三個參數(shù)分別的意思--auto-launch啟動后自動打開瀏覽器--listen讓局域網(wǎng)里別的設備也能訪問--api把 OpenAI 兼容的 API 服務打開。text-generation-webui 會把這個文件當成持久化的參數(shù)配置寫一次以后就不用再敲了。啟Linux 上把這行貼進終端./start_linux.sh第一次跑要裝依賴耐心等它走完然后瀏覽器會自己彈出 http://localhost:7860。Windows 用戶直接雙擊 start_windows.batmacOS 用戶跑 start_macos.sh效果一樣。調出你的風格 ??模型加載好之后如果輸出太穩(wěn)或者老是車轱轆話八成是參數(shù)問題。Parameters 頁的參數(shù)你不用全背先把這 5 個調明白就夠用了參數(shù)它控制什么起步推薦值max_new_tokens一次最多輸出多少 token512temperature輸出的隨機程度0 是純確定性0.7top_p候選詞池的寬窄0.9repetition_penalty重復懲罰1 表示不懲罰1.1Truncate the prompt up to this length提示詞截斷上限也相當于顯存護欄保持加載模型后的自動值打個比方temperature 是創(chuàng)意旋鈕擰得越低輸出越一本正經top_p 管的是模型敢不敢即興越低越保守。max_new_tokens 別貪大它擠占的上下文預算會反過來截斷你的提示詞。懶得自己調的話同一頁的預設菜單里有社區(qū)票選出來的組合一鍵切換每個參數(shù)的詳細解釋在 docs/03 - Parameters Tab.md。按需解鎖 如果你要在同一臺機器上并行幾個項目或者往服務器上部署、不想污染宿主機Docker 容器化部署就是最省心的選擇。docker/ 目錄為 nvidia、amd、cpu、intel 各硬件都備好了 Dockerfile 和 compose 文件。以 NVIDIA 為例cd textgen docker compose -f docker/nvidia/docker-compose.yml up --build首次構建要等一會兒相當于把整套環(huán)境打包進鏡像之后再拉起來就是秒級。如果它提示缺少 .env 文件先按 docs/09 - Docker.md 的說明準備一下。量化省顯存、模型訓練、外掛擴展這些高級玩法docs/ 目錄里各有一篇用到時再翻?？ㄗ×丝催@里 癥狀一句話解法相關文件加載模型報 CUDA out of memory加--load-in-8bit或--load-in-4bit量化加載體積減半、精度微損user_data/CMD_FLAGS.txt局域網(wǎng)其他設備訪問不了加--listen順手檢查一下端口和防火墻user_data/CMD_FLAGS.txt依賴裝不進去、版本互相打架換 Docker 部署環(huán)境隔離一步到位docker/生成速度不滿意調小 max_new_tokens或換個預設 / 更小的模型user_data/presets/把下載好的模型加載、點一下生成吧。跑通之后翻一翻 user_data/presets/換個生成預設試試新風格?！久赓M下載鏈接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.項目地址: https://gitcode.com/GitHub_Trending/te/textgen創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考