Semantic-Segment-Anything SSA 安裝教程4 步讓 SAM 掩碼自動帶上語義類別【免費下載鏈接】Semantic-Segment-AnythingAutomated dense category annotation engine that serves as the initial semantic labeling for the Segment Anything dataset (SA-1B).項目地址: https://gitcode.com/gh_mirrors/se/Semantic-Segment-AnythingSemantic-Segment-Anything簡稱 SSA是復旦張視覺組開源的自動化密集標注引擎SAM 負責出掩碼它為每塊掩碼補上語義類別標簽。項目提供閉集語義分割與開放詞匯自動標注兩種模式適合兩類人想提升現有語義分割模型邊界精度的人以及需要為 SA-1B 這類無類別掩碼庫批量造標注的人。掩碼很準類別在哪兩個場景比較典型。你訓過一個語義分割模型類別對得上但邊緣毛糙重訓一套代價太高或者你剛下完 SA-1B幾千萬個精細掩碼在手卻因為沒有類別信息無法直接訓練語義分割模型。SSA 用同一套流程處理這兩個問題前者把 SAM 換成你的掩碼來源后者直接用標注引擎批量產出類別。SSA 原理一個掩碼分支加一個語義分支一句話講清機制SAM 回答物體在哪語義分割模型回答它是什么投票模塊把兩者拼起來。具體做法是對 SAM 輸出的每一塊掩碼統(tǒng)計掩碼覆蓋像素上語義模型預測的類別出現最多的那個類別就是這塊掩碼的標簽。語義分支邊界不準沒關系它只需要分類可靠邊界精度由 SAM 兜底。標注引擎 SSA-engine 在此之上多了一層先用 COCO 與 ADE20K 兩個閉集模型給出粗類別再讓 BLIP 圖像描述模型對每個掩碼區(qū)域生成開放詞匯候選最后經 CLIP 過濾出 top-k 合理類別。每個掩碼因此在標注 JSON 里多出class_name與class_proposals兩個字段可視為初版標注 人工復核的工作流。SSA 安裝要求清單Python 3.8environment.yaml 鎖定的版本官方最低要求 3.7Conda環(huán)境文件直接可用CUDA 11.1依賴中的 PyTorch 1.9.1 與 mmcv 均為 cu111 編譯的 wheelNVIDIA GPUADE20K 閉集推理官方實測約 9 GB 顯存Cityscapes 約 19 GBSSA-engine-base 帶 SAM 約 30 GB建議 24 GB 以上關鍵依賴transformers、spacy、OpenCV、pycocotools、mmdet完整版本見 environment.yamlsegment-anything 源碼包需以 editable 模式安裝從零到首次運行4 個步驟1?? 環(huán)境與依賴克隆項目并按鎖定版本建好環(huán)境再安裝 SAM 依賴包。git clone https://gitcode.com/gh_mirrors/se/Semantic-Segment-Anything cd Semantic-Segment-Anything conda env create -f environment.yaml conda activate ssa python -m spacy download en_core_web_sm # 先在上一級目錄克隆 segment-anything 倉庫facebookresearch/segment-anything然后執(zhí)行 cd ../segment-anything pip install -e . cd ../Semantic-Segment-Anything預期結果conda activate ssa后python -c import segment_anything無報錯。2?? 擺放數據按 README 的目錄約定解壓 ADE20K 或 Cityscapes 到data/下圖像與標注分目錄存放跑 SSA-engine 時只需一個裝滿圖片的文件夾。3?? 下載 SAM 權重放到ckp/目錄。mkdir -p ckp wget -P ckp https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth預期結果ckp/sam_vit_h_4b8939.pth存在。4?? 首次推理與評估以 8 卡跑 ADE20K 驗證集輸出 mIoU。python scripts/main_ssa.py --ckpt_path ./ckp/sam_vit_h_4b8939.pth --save_img --world_size 8 --dataset ade20k --data_dir data/ade20k/ADEChallengeData2016/images/validation/ --gt_path data/ade20k/ADEChallengeData2016/annotations/validation/ --out_dir output_ade20k python scripts/evaluation.py --gt_path data/ade20k/ADEChallengeData2016/annotations/validation --result_path output_ade20k/ --dataset ade20k預期結果output_ade20k/生成帶類別的標注結果與可視化圖評估命令打印 mIoU?？〝挡煌瑫r改--world_size即可8 卡可并行跑完整個驗證集。SSA 效果展示看街道場景里車輛、行人、道路標志的貼合程度類別顏色由語義分支給出邊緣輪廓由 SAM 修正。ADE20K 單張圖類別密集關注相鄰小物體之間是否串色。這張圖展示 SSA-engine 的開放詞匯模式掩碼之外還附帶候選類別列表可用作標注復核的參考。SSA 避坑指南常見問題對照表現象可能原因處理方式引擎推理 OOMengine-base 帶 SAM 官方實測約 30 GB 顯存加--light_mode切換小模型組合或降低輸入圖像分辨率mmcv / torch 安裝報錯environment.yaml 鎖定 cu111 wheel自行升級過 PyTorch不要改 torch 與 CUDA 版本嚴格按 environment.yaml 重建環(huán)境ModuleNotFoundError: segment_anythingSAM 依賴包未以 editable 模式安裝回到同級目錄的 segment-anything 執(zhí)行pip install -e .推理找不到圖像或輸出為空數據目錄結構與 README 約定不符核對data/下圖像與標注子目錄文件名需與 README 示例一致單圖推理明顯偏慢--world_size為 0 時未啟用多卡按實際卡數設置--world_size多卡并行分攤數據集關鍵文件索引scripts/main_ssa.py閉集 SSA 推理入口支持 ade20k、cityscapes、foggy_driving 三個數據集scripts/main_ssa_engine.py開放詞匯標注引擎入口--sam指定用 SAM 出掩碼還是讀 SA-1B 已有掩碼scripts/evaluation.pymIoU 評估scripts/pipeline.py投票融合等核心處理流程scripts/configs/ADE20K、Cityscapes、COCO 的類別 ID 映射收尾SSA 的核心價值在于不動任何現有模型的權重就能把語義模型的掩碼來源換成 SAM邊界和 mIoU 同時受益。建議的下一步先按上面的步驟跑通 ADE20K 驗證集并記下 mIoU 基線再換你自己的數據集把語義分支換成你現有的模型做一次對照?！久赓M下載鏈接】Semantic-Segment-AnythingAutomated dense category annotation engine that serves as the initial semantic labeling for the Segment Anything dataset (SA-1B).項目地址: https://gitcode.com/gh_mirrors/se/Semantic-Segment-Anything創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 Semantic-Segment-Anything SSA 安裝教程：4 步讓 SAM 掩碼自動帶上語義類別
Semantic-Segment-Anything SSA 安裝教程4 步讓 SAM 掩碼自動帶上語義類別【免費下載鏈接】Semantic-Segment-AnythingAutomated dense category annotation engine that serves as the initial semantic labeling for the Segment Anything dataset (SA-1B).項目地址: https://gitcode.com/gh_mirrors/se/Semantic-Segment-AnythingSemantic-Segment-Anything簡稱 SSA是復旦張視覺組開源的自動化密集標注引擎SAM 負責出掩碼它為每塊掩碼補上語義類別標簽。項目提供閉集語義分割與開放詞匯自動標注兩種模式適合兩類人想提升現有語義分割模型邊界精度的人以及需要為 SA-1B 這類無類別掩碼庫批量造標注的人。掩碼很準類別在哪兩個場景比較典型。你訓過一個語義分割模型類別對得上但邊緣毛糙重訓一套代價太高或者你剛下完 SA-1B幾千萬個精細掩碼在手卻因為沒有類別信息無法直接訓練語義分割模型。SSA 用同一套流程處理這兩個問題前者把 SAM 換成你的掩碼來源后者直接用標注引擎批量產出類別。SSA 原理一個掩碼分支加一個語義分支一句話講清機制SAM 回答物體在哪語義分割模型回答它是什么投票模塊把兩者拼起來。具體做法是對 SAM 輸出的每一塊掩碼統(tǒng)計掩碼覆蓋像素上語義模型預測的類別出現最多的那個類別就是這塊掩碼的標簽。語義分支邊界不準沒關系它只需要分類可靠邊界精度由 SAM 兜底。標注引擎 SSA-engine 在此之上多了一層先用 COCO 與 ADE20K 兩個閉集模型給出粗類別再讓 BLIP 圖像描述模型對每個掩碼區(qū)域生成開放詞匯候選最后經 CLIP 過濾出 top-k 合理類別。每個掩碼因此在標注 JSON 里多出class_name與class_proposals兩個字段可視為初版標注 人工復核的工作流。SSA 安裝要求清單Python 3.8environment.yaml 鎖定的版本官方最低要求 3.7Conda環(huán)境文件直接可用CUDA 11.1依賴中的 PyTorch 1.9.1 與 mmcv 均為 cu111 編譯的 wheelNVIDIA GPUADE20K 閉集推理官方實測約 9 GB 顯存Cityscapes 約 19 GBSSA-engine-base 帶 SAM 約 30 GB建議 24 GB 以上關鍵依賴transformers、spacy、OpenCV、pycocotools、mmdet完整版本見 environment.yamlsegment-anything 源碼包需以 editable 模式安裝從零到首次運行4 個步驟1?? 環(huán)境與依賴克隆項目并按鎖定版本建好環(huán)境再安裝 SAM 依賴包。git clone https://gitcode.com/gh_mirrors/se/Semantic-Segment-Anything cd Semantic-Segment-Anything conda env create -f environment.yaml conda activate ssa python -m spacy download en_core_web_sm # 先在上一級目錄克隆 segment-anything 倉庫facebookresearch/segment-anything然后執(zhí)行 cd ../segment-anything pip install -e . cd ../Semantic-Segment-Anything預期結果conda activate ssa后python -c import segment_anything無報錯。2?? 擺放數據按 README 的目錄約定解壓 ADE20K 或 Cityscapes 到data/下圖像與標注分目錄存放跑 SSA-engine 時只需一個裝滿圖片的文件夾。3?? 下載 SAM 權重放到ckp/目錄。mkdir -p ckp wget -P ckp https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth預期結果ckp/sam_vit_h_4b8939.pth存在。4?? 首次推理與評估以 8 卡跑 ADE20K 驗證集輸出 mIoU。python scripts/main_ssa.py --ckpt_path ./ckp/sam_vit_h_4b8939.pth --save_img --world_size 8 --dataset ade20k --data_dir data/ade20k/ADEChallengeData2016/images/validation/ --gt_path data/ade20k/ADEChallengeData2016/annotations/validation/ --out_dir output_ade20k python scripts/evaluation.py --gt_path data/ade20k/ADEChallengeData2016/annotations/validation --result_path output_ade20k/ --dataset ade20k預期結果output_ade20k/生成帶類別的標注結果與可視化圖評估命令打印 mIoU?？〝挡煌瑫r改--world_size即可8 卡可并行跑完整個驗證集。SSA 效果展示看街道場景里車輛、行人、道路標志的貼合程度類別顏色由語義分支給出邊緣輪廓由 SAM 修正。ADE20K 單張圖類別密集關注相鄰小物體之間是否串色。這張圖展示 SSA-engine 的開放詞匯模式掩碼之外還附帶候選類別列表可用作標注復核的參考。SSA 避坑指南常見問題對照表現象可能原因處理方式引擎推理 OOMengine-base 帶 SAM 官方實測約 30 GB 顯存加--light_mode切換小模型組合或降低輸入圖像分辨率mmcv / torch 安裝報錯environment.yaml 鎖定 cu111 wheel自行升級過 PyTorch不要改 torch 與 CUDA 版本嚴格按 environment.yaml 重建環(huán)境ModuleNotFoundError: segment_anythingSAM 依賴包未以 editable 模式安裝回到同級目錄的 segment-anything 執(zhí)行pip install -e .推理找不到圖像或輸出為空數據目錄結構與 README 約定不符核對data/下圖像與標注子目錄文件名需與 README 示例一致單圖推理明顯偏慢--world_size為 0 時未啟用多卡按實際卡數設置--world_size多卡并行分攤數據集關鍵文件索引scripts/main_ssa.py閉集 SSA 推理入口支持 ade20k、cityscapes、foggy_driving 三個數據集scripts/main_ssa_engine.py開放詞匯標注引擎入口--sam指定用 SAM 出掩碼還是讀 SA-1B 已有掩碼scripts/evaluation.pymIoU 評估scripts/pipeline.py投票融合等核心處理流程scripts/configs/ADE20K、Cityscapes、COCO 的類別 ID 映射收尾SSA 的核心價值在于不動任何現有模型的權重就能把語義模型的掩碼來源換成 SAM邊界和 mIoU 同時受益。建議的下一步先按上面的步驟跑通 ADE20K 驗證集并記下 mIoU 基線再換你自己的數據集把語義分支換成你現有的模型做一次對照?！久赓M下載鏈接】Semantic-Segment-AnythingAutomated dense category annotation engine that serves as the initial semantic labeling for the Segment Anything dataset (SA-1B).項目地址: https://gitcode.com/gh_mirrors/se/Semantic-Segment-Anything創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考