text-generation-webui教程本地大模型對話應用從安裝到第一次對話【免費下載鏈接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.項目地址: https://gitcode.com/GitHub_Trending/te/textgentext-generation-webui是做什么的text-generation-webui是一個開源的本地大模型對話應用你把自己的模型下載放到機器上就能在瀏覽器界面里和它聊天同時它還對外提供一個兼容OpenAI的API。說白了它面向兩類人——想在自己電腦上跑AI助手的人以及想把本地模型接進已有程序里做二次開發(fā)的人。所有對話數(shù)據(jù)都留在本機沒有遙測。 從安裝到第一次運行第一步獲取代碼git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui第二步進入項目目錄運行啟動腳本./start_linux.sh # Windows用start_windows.batmacOS用start_macos.sh第一次運行會提示選擇GPU廠商NVIDIA、AMD或CPU等腳本會自己用Miniforge把整套依賴裝進installer_files/目錄全程不需要你手動敲pip。之后每次啟動直接再跑一遍同樣的腳本就行。第三步打開界面終端提示服務就緒后在瀏覽器打開http://127.0.0.1:7860會看到Chat、Default、Parameters、Model、Training等一排頁簽這就是第一個可用的界面。另外兩種安裝方式一句話帶過手動建conda環(huán)境再pip install -r requirements/full/requirements.txt可以解鎖Transformers、ExLlamaV3等更多后端以及LoRA訓練但要下載約10GB依賴還有docker/目錄下按硬件分好的Docker文件。只是想聊天跑通的話腳本這條路最短。? 第一次對話加載模型、發(fā)消息、換角色加載第一個模型最省心的模型格式是GGUF。用內置的下載工具拉一個python download-model.py organization/model-name文件會直接放進user_data/models/界面自動識別你也可以從Hugging Face網(wǎng)站手動下載GGUF文件后丟進這個目錄。然后在Model頁簽的下拉框里選中模型點Load加載器會自動選llama.cpp不需要手動指定。發(fā)出第一條消息切到Chat頁簽先選對話模式instruct適合Qwen、Llama這類指令模型chat和chat-instruct是給角色扮演的。模型加載完輸入用兩句話介紹一下你自己發(fā)送回復會逐字流式出現(xiàn)。聊到一半想改前面某句話直接點擊那條消息編輯再重新生成就行對話可以在這條消息處分叉不用整段刪掉重來。換一個角色角色配置就是user_data/characters/目錄下的YAML文件。項目自帶兩個默認角色其中Example是一個戴眼鏡的動漫工程師人設想自己造一個復制一份YAML改三個字段就行name是角色名greeting是開場白context寫性格設定比如你是一個耐心講技術細節(jié)的工程師。在Chat頁簽的角色下拉框里選中它對話就會從你寫的greeting開始。讓它更順手3條按硬件來的建議如果你的顯卡顯存在8GB及以下挑4bit量化的GGUF文件并在Model頁簽把ctx_size調成2048或4096。上下文長度會預先分配KV緩存顯存不夠時它通常是第一個該降的參數(shù)。如果你是純CPU運行啟動腳本里選CPU選項llama.cpp后端比Transformers在CPU上快得多參數(shù)方面建議把temperature稍微調低一點或者直接用Parameters頁簽的預設菜單加載一個社區(qū)投票過的預設比手調十幾個參數(shù)穩(wěn)。如果想讓回復更長或更短不要去碰一大堆采樣參數(shù)把Generation區(qū)域的max_new_tokens調大并勾上auto_max_new_tokens模型會一直生成到上下文上限省得反復點Continue。?? 容易卡住的地方模型不在下拉列表里現(xiàn)象文件放進去了Model頁簽下拉框里還是空的。原因是路徑不對或文件放進了錯誤的目錄。解法確認文件確實在user_data/models/里然后點一下下拉框旁的刷新按鈕再試。加載失敗報顯存不足現(xiàn)象點Load后進程卡住或報out of memory。原因是模型量化位寬偏高或ctx_size設得太大。解法換更低量化的文件Q4_K_M一般比較均衡或把ctx_size和gpu_layers往下調。第一次啟動腳本報依賴錯誤現(xiàn)象剛clone完就跑start_linux.sh終端報缺包或命令找不到。原因是首次運行要等腳本把環(huán)境裝完這個過程會花幾分鐘到十幾分鐘。解法讓第一次安裝完整跑完中途斷了就重跑同一個腳本它會接著裝。這個本地大模型工具適合誰適合想在自己電腦上跑對話、看圖片、接工具調用并且在意數(shù)據(jù)不出本地的人哪怕只有CPU跑通了也能動用只是響應慢一些。如果你只是想用一個即開即用的在線聊天產品這個項目不太合適因為下載模型、挑參數(shù)這些步驟省不掉?？陀^說一句界面不算特別精致但功能覆蓋得比較全從聊天到API到訓練都留了入口?！久赓M下載鏈接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.項目地址: https://gitcode.com/GitHub_Trending/te/textgen創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 text-generation-webui教程：本地大模型對話應用從安裝到第一次對話
text-generation-webui教程本地大模型對話應用從安裝到第一次對話【免費下載鏈接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.項目地址: https://gitcode.com/GitHub_Trending/te/textgentext-generation-webui是做什么的text-generation-webui是一個開源的本地大模型對話應用你把自己的模型下載放到機器上就能在瀏覽器界面里和它聊天同時它還對外提供一個兼容OpenAI的API。說白了它面向兩類人——想在自己電腦上跑AI助手的人以及想把本地模型接進已有程序里做二次開發(fā)的人。所有對話數(shù)據(jù)都留在本機沒有遙測。 從安裝到第一次運行第一步獲取代碼git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui第二步進入項目目錄運行啟動腳本./start_linux.sh # Windows用start_windows.batmacOS用start_macos.sh第一次運行會提示選擇GPU廠商NVIDIA、AMD或CPU等腳本會自己用Miniforge把整套依賴裝進installer_files/目錄全程不需要你手動敲pip。之后每次啟動直接再跑一遍同樣的腳本就行。第三步打開界面終端提示服務就緒后在瀏覽器打開http://127.0.0.1:7860會看到Chat、Default、Parameters、Model、Training等一排頁簽這就是第一個可用的界面。另外兩種安裝方式一句話帶過手動建conda環(huán)境再pip install -r requirements/full/requirements.txt可以解鎖Transformers、ExLlamaV3等更多后端以及LoRA訓練但要下載約10GB依賴還有docker/目錄下按硬件分好的Docker文件。只是想聊天跑通的話腳本這條路最短。? 第一次對話加載模型、發(fā)消息、換角色加載第一個模型最省心的模型格式是GGUF。用內置的下載工具拉一個python download-model.py organization/model-name文件會直接放進user_data/models/界面自動識別你也可以從Hugging Face網(wǎng)站手動下載GGUF文件后丟進這個目錄。然后在Model頁簽的下拉框里選中模型點Load加載器會自動選llama.cpp不需要手動指定。發(fā)出第一條消息切到Chat頁簽先選對話模式instruct適合Qwen、Llama這類指令模型chat和chat-instruct是給角色扮演的。模型加載完輸入用兩句話介紹一下你自己發(fā)送回復會逐字流式出現(xiàn)。聊到一半想改前面某句話直接點擊那條消息編輯再重新生成就行對話可以在這條消息處分叉不用整段刪掉重來。換一個角色角色配置就是user_data/characters/目錄下的YAML文件。項目自帶兩個默認角色其中Example是一個戴眼鏡的動漫工程師人設想自己造一個復制一份YAML改三個字段就行name是角色名greeting是開場白context寫性格設定比如你是一個耐心講技術細節(jié)的工程師。在Chat頁簽的角色下拉框里選中它對話就會從你寫的greeting開始。讓它更順手3條按硬件來的建議如果你的顯卡顯存在8GB及以下挑4bit量化的GGUF文件并在Model頁簽把ctx_size調成2048或4096。上下文長度會預先分配KV緩存顯存不夠時它通常是第一個該降的參數(shù)。如果你是純CPU運行啟動腳本里選CPU選項llama.cpp后端比Transformers在CPU上快得多參數(shù)方面建議把temperature稍微調低一點或者直接用Parameters頁簽的預設菜單加載一個社區(qū)投票過的預設比手調十幾個參數(shù)穩(wěn)。如果想讓回復更長或更短不要去碰一大堆采樣參數(shù)把Generation區(qū)域的max_new_tokens調大并勾上auto_max_new_tokens模型會一直生成到上下文上限省得反復點Continue。?? 容易卡住的地方模型不在下拉列表里現(xiàn)象文件放進去了Model頁簽下拉框里還是空的。原因是路徑不對或文件放進了錯誤的目錄。解法確認文件確實在user_data/models/里然后點一下下拉框旁的刷新按鈕再試。加載失敗報顯存不足現(xiàn)象點Load后進程卡住或報out of memory。原因是模型量化位寬偏高或ctx_size設得太大。解法換更低量化的文件Q4_K_M一般比較均衡或把ctx_size和gpu_layers往下調。第一次啟動腳本報依賴錯誤現(xiàn)象剛clone完就跑start_linux.sh終端報缺包或命令找不到。原因是首次運行要等腳本把環(huán)境裝完這個過程會花幾分鐘到十幾分鐘。解法讓第一次安裝完整跑完中途斷了就重跑同一個腳本它會接著裝。這個本地大模型工具適合誰適合想在自己電腦上跑對話、看圖片、接工具調用并且在意數(shù)據(jù)不出本地的人哪怕只有CPU跑通了也能動用只是響應慢一些。如果你只是想用一個即開即用的在線聊天產品這個項目不太合適因為下載模型、挑參數(shù)這些步驟省不掉?？陀^說一句界面不算特別精致但功能覆蓋得比較全從聊天到API到訓練都留了入口?！久赓M下載鏈接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.項目地址: https://gitcode.com/GitHub_Trending/te/textgen創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考