簡(jiǎn)介目標(biāo)檢測(cè)是計(jì)算機(jī)視覺的核心任務(wù)之一其原理是通過算法自動(dòng)識(shí)別圖像或視頻中的特定物體并定位其位置。這項(xiàng)技術(shù)的關(guān)鍵價(jià)值在于能將視覺信息轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)廣泛應(yīng)用于安防監(jiān)控、自動(dòng)駕駛、智慧城市和工業(yè)質(zhì)檢等領(lǐng)域。在實(shí)際工程中數(shù)據(jù)集的準(zhǔn)備與格式處理往往是項(xiàng)目落地的首要挑戰(zhàn)尤其是針對(duì)無人機(jī)航拍等特定視角需要處理劇烈的尺度變化和復(fù)雜背景。本文聚焦于一個(gè)開箱即用的YOLO無人機(jī)行人檢測(cè)數(shù)據(jù)集資源包該資源直接提供了VOC、COCO和YOLO三種主流標(biāo)注格式并詳細(xì)闡述了從數(shù)據(jù)預(yù)處理、模型訓(xùn)練到調(diào)優(yōu)部署的完整實(shí)戰(zhàn)流程旨在幫助開發(fā)者快速構(gòu)建基線模型驗(yàn)證算法改進(jìn)。1. 項(xiàng)目概述一份開箱即用的無人機(jī)視覺實(shí)戰(zhàn)資源如果你正在尋找一個(gè)能快速上手、拿來就能訓(xùn)練的行人檢測(cè)項(xiàng)目特別是想結(jié)合無人機(jī)視角來做點(diǎn)有意思的計(jì)算機(jī)視覺應(yīng)用那么你點(diǎn)開的這個(gè)資源包——“YOLO無人機(jī)航拍行人檢測(cè)數(shù)據(jù)集”很可能就是為你準(zhǔn)備的。我從業(yè)這些年見過太多朋友卡在數(shù)據(jù)集準(zhǔn)備和格式轉(zhuǎn)換上一個(gè)想法憋了幾個(gè)月都跑不通第一個(gè)訓(xùn)練循環(huán)。這個(gè)資源包的價(jià)值就在于它幫你掃清了從“想法”到“第一個(gè)訓(xùn)練模型”之間最繁瑣、最耗時(shí)的障礙。簡(jiǎn)單來說這是一個(gè)包含了1000張無人機(jī)航拍圖片的數(shù)據(jù)集所有圖片都精心標(biāo)注了行人的位置。更關(guān)鍵的是它直接提供了VOC、COCO和YOLO三種主流格式的標(biāo)簽文件。這意味著無論你是想用Darknet原版YOLO、PyTorch的YOLOv5/v7/v8還是MMDetection、Detectron2等其他框架幾乎都可以直接使用無需再進(jìn)行繁瑣的格式轉(zhuǎn)換。資源包里還附帶了數(shù)據(jù)集劃分腳本和基礎(chǔ)的訓(xùn)練教程基本上解壓后按照步驟操作半小時(shí)內(nèi)就能啟動(dòng)訓(xùn)練。對(duì)于學(xué)生、算法工程師入門或者需要快速驗(yàn)證某個(gè)改進(jìn)點(diǎn)子是否有效的開發(fā)者來說這無疑是一個(gè)高效的起點(diǎn)。2. 數(shù)據(jù)集深度解析從空中看行人有什么不同2.1 數(shù)據(jù)來源與場(chǎng)景特點(diǎn)這個(gè)數(shù)據(jù)集的核心價(jià)值在于其“無人機(jī)航拍”視角。這與我們常見的街景監(jiān)控平視或俯角、手機(jī)拍攝的數(shù)據(jù)有本質(zhì)區(qū)別。無人機(jī)通常飛行在數(shù)十米甚至上百米的高度帶來以下幾個(gè)顯著特點(diǎn)尺度變化劇烈近處的行人可能占據(jù)圖像相當(dāng)大的區(qū)域而遠(yuǎn)處的行人可能只有十幾個(gè)像素點(diǎn)這對(duì)檢測(cè)器的多尺度感知能力提出了很高要求。遮擋形式多樣除了常見的行人相互遮擋、被車輛遮擋航拍視角下行人更容易被樹冠、建筑物的陰影、陽(yáng)臺(tái)等物體部分遮擋且遮擋輪廓不規(guī)則。背景復(fù)雜背景可能包含街道、屋頂、廣場(chǎng)、停車場(chǎng)、綠化帶等多種元素紋理豐富容易產(chǎn)生誤檢。目標(biāo)姿態(tài)單一絕大多數(shù)情況下行人呈現(xiàn)“頂視圖”或輕微的斜頂視圖基本是站立或行走姿態(tài)的頭頂和肩膀輪廓缺乏豐富的側(cè)面、正面姿態(tài)。這要求模型學(xué)習(xí)到的是這種特定視角下的特征表達(dá)。這1000張圖片雖然不算海量但對(duì)于一個(gè)定義清晰的垂直場(chǎng)景無人機(jī)、行人來說足以訓(xùn)練一個(gè)不錯(cuò)的基線模型并驗(yàn)證算法改進(jìn)的有效性。它非常適合用于研究小目標(biāo)檢測(cè)、跨尺度檢測(cè)以及復(fù)雜背景下的目標(biāo)識(shí)別等課題。2.2 三種標(biāo)簽格式詳解與選用指南資源包提供了VOC、COCO、YOLO三種格式這省去了大量體力活但理解它們的區(qū)別才能正確使用。VOC格式這是最“古老”和經(jīng)典的格式之一采用XML文件存儲(chǔ)標(biāo)注。每個(gè)XML文件對(duì)應(yīng)一張圖片里面記錄了圖片尺寸、每個(gè)目標(biāo)的位置xmin, ymin, xmax, ymax的絕對(duì)坐標(biāo)和類別。它的優(yōu)點(diǎn)是結(jié)構(gòu)清晰、人類可讀性強(qiáng)很多早期的工具和代碼都支持。缺點(diǎn)是文件體積相對(duì)較大解析速度不如純文本格式快。如果你需要使用一些傳統(tǒng)的評(píng)估工具或者你的流程中某些環(huán)節(jié)依賴XML解析那么VOC格式是穩(wěn)妥的選擇。COCO格式這是當(dāng)前學(xué)術(shù)界和工業(yè)界最主流的格式之一。它將所有圖片的標(biāo)注信息整合在一個(gè)大的JSON文件中。這個(gè)JSON結(jié)構(gòu)非常完善包含了images、annotations、categories三個(gè)核心數(shù)組。每個(gè)標(biāo)注不僅包含邊界框[x, y, width, height]這里x, y是框左上角坐標(biāo)還可以包含分割掩碼segmentation、關(guān)鍵點(diǎn)keypoints等信息。COCO格式的優(yōu)勢(shì)在于其標(biāo)準(zhǔn)化和豐富的標(biāo)注信息便于進(jìn)行更復(fù)雜的任務(wù)如實(shí)例分割和利用COCO官方評(píng)估工具。絕大多數(shù)現(xiàn)代檢測(cè)框架如MMDetection, Detectron2, YOLOv5-COCO訓(xùn)練模式都原生支持。如果你的項(xiàng)目未來可能擴(kuò)展到更復(fù)雜的視覺任務(wù)或者需要與主流研究接軌優(yōu)先使用COCO格式。YOLO格式這里通常指的是YOLO系列Darknet版, YOLOv5/v7/v8等使用的純文本格式。每個(gè)圖片對(duì)應(yīng)一個(gè)同名的.txt文件。文件里每一行代表一個(gè)目標(biāo)格式為class_id x_center y_center width height。關(guān)鍵點(diǎn)在于這些坐標(biāo)都是歸一化的即相對(duì)于圖片寬度和高度的比例值范圍0-1。這種格式極其簡(jiǎn)潔解析效率最高是YOLO系列框架的“原生語(yǔ)言”。如果你確定使用YOLO系列進(jìn)行訓(xùn)練和部署直接使用這個(gè)格式能避免任何中間轉(zhuǎn)換可能帶來的坐標(biāo)誤差。實(shí)操心得我個(gè)人的習(xí)慣是以COCO格式為“中心倉(cāng)庫(kù)”。因?yàn)樗男畔⒆钊Y(jié)構(gòu)最標(biāo)準(zhǔn)。當(dāng)需要訓(xùn)練YOLO時(shí)寫一個(gè)腳本從COCO JSON轉(zhuǎn)換成YOLO格式的txt文件當(dāng)需要與其他舊系統(tǒng)交互時(shí)再?gòu)腃OCO轉(zhuǎn)換到VOC。這樣能保證數(shù)據(jù)源的唯一性和準(zhǔn)確性。資源包直接給了三種相當(dāng)于幫你做好了這一切你可以根據(jù)當(dāng)前任務(wù)靈活選取。3. 數(shù)據(jù)準(zhǔn)備與預(yù)處理實(shí)戰(zhàn)3.1 使用劃分腳本科學(xué)拆分?jǐn)?shù)據(jù)集資源包中的劃分腳本通常是Python腳本如split_dataset.py至關(guān)重要。一個(gè)科學(xué)的數(shù)據(jù)集劃分如訓(xùn)練集:驗(yàn)證集:測(cè)試集 70%:15%:15% 或 80%:10%:10%是評(píng)估模型泛化能力的基礎(chǔ)。腳本通常會(huì)做以下幾件事隨機(jī)打亂所有圖片文件名確保分布均勻。按比例生成三個(gè)文件列表train.txt,val.txt,test.txt。每個(gè)文件里包含對(duì)應(yīng)集合的圖片路徑或文件名。同步處理標(biāo)簽根據(jù)圖片的劃分將對(duì)應(yīng)的標(biāo)簽文件三種格式也移動(dòng)到或列出對(duì)應(yīng)的文件夾中確保圖片和標(biāo)簽一一對(duì)應(yīng)。關(guān)鍵操作與參數(shù)# 假設(shè)腳本示例具體參數(shù)需查看腳本內(nèi)容 python split_dataset.py \ --image_dir ./images \ --label_dir ./labels_yolo \ --output_dir ./splits \ --train_ratio 0.7 \ --val_ratio 0.15 \ --test_ratio 0.15 \ --seed 42 # 固定隨機(jī)種子保證每次劃分結(jié)果一致注意事項(xiàng)檢查腳本邏輯運(yùn)行前務(wù)必打開腳本看一眼確認(rèn)它是根據(jù)圖片劃分后同步復(fù)制或鏈接了標(biāo)簽文件而不是只生成一個(gè)圖片列表。否則訓(xùn)練時(shí)會(huì)找不到標(biāo)簽。保留原始數(shù)據(jù)腳本最好設(shè)計(jì)為在output_dir中創(chuàng)建images/train,labels/train這樣的子目錄結(jié)構(gòu)而不是移動(dòng)原始文件。或者使用生成列表文件的方式原始文件不動(dòng)。這樣能防止誤操作破壞原始數(shù)據(jù)包。測(cè)試集隔離在最終模型評(píng)估前不要讓測(cè)試集參與任何形式的訓(xùn)練、驗(yàn)證或超參數(shù)調(diào)優(yōu)包括數(shù)據(jù)增強(qiáng)。必須保持其“純潔性”。3.2 數(shù)據(jù)增強(qiáng)策略針對(duì)化設(shè)計(jì)對(duì)于無人機(jī)航拍行人檢測(cè)數(shù)據(jù)增強(qiáng)不能盲目套用通用目標(biāo)檢測(cè)的增強(qiáng)方法需要有針對(duì)性的設(shè)計(jì)。必須采用的增強(qiáng)多尺度訓(xùn)練Multi-scale Training這是應(yīng)對(duì)尺度變化的關(guān)鍵。可以在訓(xùn)練時(shí)隨機(jī)縮放輸入圖片到不同尺寸如640x640, 768x768, 896x896讓模型適應(yīng)不同大小的目標(biāo)。鑲嵌增強(qiáng)Mosaic AugmentationYOLOv4/v5等引入的利器。將四張圖片隨機(jī)拼接成一張能極大地豐富背景并讓模型學(xué)習(xí)在更小尺度下檢測(cè)目標(biāo)非常適合本數(shù)據(jù)集中小目標(biāo)多的特點(diǎn)。色彩空間擾動(dòng)調(diào)整圖像的亮度、對(duì)比度、飽和度和色調(diào)模擬不同天氣、光照條件下如正午強(qiáng)光、傍晚昏暗的航拍圖像。隨機(jī)翻轉(zhuǎn)水平翻轉(zhuǎn)是安全且有效的因?yàn)樾腥嗽陧斠晥D下基本是中心對(duì)稱的。垂直翻轉(zhuǎn)需謹(jǐn)慎因?yàn)樘炜蘸偷孛娴纳舷玛P(guān)系在真實(shí)場(chǎng)景中固定的但輕度隨機(jī)旋轉(zhuǎn)如±10度可以模擬無人機(jī)輕微的姿態(tài)變化。需要謹(jǐn)慎或避免的增強(qiáng)過度的隨機(jī)裁剪Random Crop可能會(huì)把本就很小的行人目標(biāo)裁剪掉導(dǎo)致負(fù)樣本信息丟失。如果使用必須設(shè)置較大的保留比例如大于0.8并確保裁剪后框的完整性。大角度的旋轉(zhuǎn)90度、180度旋轉(zhuǎn)會(huì)嚴(yán)重違背航拍圖像的物理場(chǎng)景天空在上地面在下可能引入不現(xiàn)實(shí)的噪聲降低模型性能。復(fù)雜的幾何形變?nèi)缤敢曌儞Q、錯(cuò)切等對(duì)于視角相對(duì)固定的無人機(jī)圖像其必要性不大且可能產(chǎn)生不真實(shí)的圖像。實(shí)操配置示例以YOLOv8的data.yaml為例# data.yaml train: ../splits/images/train val: ../splits/images/val nc: 1 # 類別數(shù)這里只有‘person’ names: [person] # 增強(qiáng)參數(shù) (在訓(xùn)練命令或模型配置中指定) # 例如在訓(xùn)練命令中 # yolo detect train datadata.yaml modelyolov8n.pt epochs100 imgsz640 batch16 augmentTrue # 具體的增強(qiáng)參數(shù)通常在模型的默認(rèn)配置文件中如default.yaml可以覆寫 # hsv_h: 0.015 # 色調(diào)增強(qiáng)幅度 # hsv_s: 0.7 # 飽和度增強(qiáng)幅度 # hsv_v: 0.4 # 明度增強(qiáng)幅度 # degrees: 10.0 # 旋轉(zhuǎn)角度范圍 # translate: 0.1 # 平移幅度 # scale: 0.5 # 縮放幅度 # shear: 0.0 # 錯(cuò)切幅度建議保持0或很小 # perspective: 0.0 # 透視變換幅度建議保持0 # flipud: 0.0 # 上下翻轉(zhuǎn)概率建議0 # fliplr: 0.5 # 左右翻轉(zhuǎn)概率 # mosaic: 1.0 # mosaic增強(qiáng)概率 # mixup: 0.0 # mixup增強(qiáng)概率可酌情使用4. 模型訓(xùn)練與調(diào)優(yōu)全流程4.1 訓(xùn)練環(huán)境搭建與框架選擇當(dāng)前最流行的選擇無疑是Ultralytics YOLOv8。它基于PyTorch提供了從訓(xùn)練、驗(yàn)證、測(cè)試到導(dǎo)出的完整Pipeline且文檔和社區(qū)支持非常好。對(duì)于這個(gè)數(shù)據(jù)集完全夠用。基礎(chǔ)環(huán)境搭建步驟創(chuàng)建并激活Python虛擬環(huán)境推薦使用Conda。conda create -n yolo_drone python3.8 conda activate yolo_drone安裝PyTorch根據(jù)你的CUDA版本。# 例如CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118安裝Ultralytics包。pip install ultralytics驗(yàn)證安裝。yolo checks4.2 訓(xùn)練腳本詳解與參數(shù)調(diào)優(yōu)準(zhǔn)備好data.yaml文件指向劃分好的數(shù)據(jù)集后就可以開始訓(xùn)練。以下是一個(gè)詳細(xì)的訓(xùn)練命令和參數(shù)解析yolo detect train \ data./data.yaml \ # 數(shù)據(jù)配置文件路徑 modelyolov8n.pt \ # 預(yù)訓(xùn)練模型從n(小)、s、m、l、x(大)中選擇 epochs150 \ # 訓(xùn)練輪數(shù)小數(shù)據(jù)集可適當(dāng)增加 patience30 \ # 早停耐心值如果精度連續(xù)30輪不提升則停止 batch16 \ # 批次大小根據(jù)GPU內(nèi)存調(diào)整 imgsz640 \ # 輸入圖像尺寸保持為32的倍數(shù) workers8 \ # 數(shù)據(jù)加載線程數(shù)提高CPU利用率 device0 \ # 使用GPU 0如果是CPU則設(shè)為‘cpu’ seed42 \ # 固定隨機(jī)種子保證可復(fù)現(xiàn)性 lr00.01 \ # 初始學(xué)習(xí)率 lrf0.01 \ # 最終學(xué)習(xí)率因子 (lr0 * lrf) optimizerSGD \ # 優(yōu)化器也可選‘AdamW’ weight_decay0.0005 \ # 權(quán)重衰減防止過擬合 warmup_epochs3.0 \ # 學(xué)習(xí)率預(yù)熱輪數(shù) box7.5 \ # 框損失權(quán)重 cls0.5 \ # 分類損失權(quán)重單類別時(shí)可適當(dāng)降低 dfl1.5 \ # Distribution Focal Loss 權(quán)重v8特有 saveTrue \ # 保存訓(xùn)練結(jié)果和模型 save_period-1 \ # 每N輪保存一次檢查點(diǎn)-1為只在最后保存 pretrainedTrue \ # 使用預(yù)訓(xùn)練權(quán)重 projectruns/detect \ # 結(jié)果保存目錄 namedrone_person_v8n # 實(shí)驗(yàn)名稱針對(duì)本數(shù)據(jù)集的調(diào)優(yōu)建議模型尺寸選擇如果追求部署速度選yolov8n或yolov8s如果追求更高精度選yolov8m或yolov8l。yolov8x對(duì)于1000張圖的數(shù)據(jù)集可能過參數(shù)化容易過擬合。輸入尺寸imgsz640是一個(gè)不錯(cuò)的起點(diǎn)?？梢試L試增大到768或896這有助于檢測(cè)小目標(biāo)但會(huì)顯著增加顯存消耗和訓(xùn)練時(shí)間。損失函數(shù)權(quán)重由于是單類別檢測(cè)分類任務(wù)簡(jiǎn)單可以嘗試降低cls權(quán)重如從0.5調(diào)到0.3讓模型更專注于框位置的回歸。box和dfl權(quán)重保持默認(rèn)或微調(diào)。學(xué)習(xí)率lr0對(duì)于小數(shù)據(jù)集使用預(yù)訓(xùn)練模型時(shí)學(xué)習(xí)率不宜過大。從0.01開始如果訓(xùn)練不穩(wěn)定損失NaN可以降到0.001。早停patience設(shè)置一個(gè)合理的早停輪數(shù)如30-50防止在驗(yàn)證集精度不再提升時(shí)繼續(xù)訓(xùn)練導(dǎo)致過擬合。4.3 訓(xùn)練過程監(jiān)控與評(píng)估訓(xùn)練開始后Ultralytics會(huì)啟動(dòng)一個(gè)本地Web服務(wù)器通常地址是http://localhost:3000或終端提示的地址這是TensorBoard或Ultralytics內(nèi)置的可視化工具。你需要密切關(guān)注以下幾個(gè)指標(biāo)損失曲線Loss Curvestrain/box_loss,train/cls_loss,train/dfl_loss訓(xùn)練集損失。應(yīng)隨著訓(xùn)練輪數(shù)平穩(wěn)下降。val/box_loss,val/cls_loss,val/dfl_loss驗(yàn)證集損失。應(yīng)在訓(xùn)練集損失下降的同時(shí)也下降如果后期開始上升說明過擬合了。性能指標(biāo)Metricsmetrics/mAP50-95(B)這是核心評(píng)估指標(biāo)即在不同IoU閾值從0.5到0.95步長(zhǎng)0.05下的平均精度mAP均值。值越高越好。metrics/mAP50(B)IoU閾值為0.5時(shí)的mAP這是一個(gè)更寬松的指標(biāo)通常值會(huì)更高。metrics/precision(B),metrics/recall(B)精確率和召回率。需要平衡兩者。高精度低召回說明模型很保守只檢測(cè)很有把握的目標(biāo)低精度高召回說明模型激進(jìn)誤檢多。驗(yàn)證結(jié)果可視化定期查看驗(yàn)證集上的預(yù)測(cè)結(jié)果圖片直觀感受模型在哪里做得好檢測(cè)到了遠(yuǎn)處的小人在哪里做得不好漏檢、誤將路燈帽識(shí)別為人等。這是調(diào)整數(shù)據(jù)增強(qiáng)和模型參數(shù)的重要依據(jù)。5. 常見問題排查與性能提升技巧5.1 訓(xùn)練過程中的典型問題問題1訓(xùn)練初期損失值為NaN或突然變得巨大。原因?qū)W習(xí)率過高、數(shù)據(jù)中存在損壞的圖片或標(biāo)簽、梯度爆炸。排查首先將學(xué)習(xí)率lr0降低一個(gè)數(shù)量級(jí)如從0.01改為0.001再試。使用數(shù)據(jù)檢查腳本驗(yàn)證所有圖片是否能正常打開所有標(biāo)簽坐標(biāo)是否在[0,1]范圍內(nèi)對(duì)于YOLO格式或不超過圖像尺寸對(duì)于VOC/COCO。檢查數(shù)據(jù)增強(qiáng)強(qiáng)度是否過大尤其是旋轉(zhuǎn)和裁剪。可以嘗試在優(yōu)化器中加入梯度裁剪gradient_clip_val參數(shù)在YOLOv8中可能需要修改模型配置文件或使用回調(diào)函數(shù)。問題2驗(yàn)證集損失早早就停止下降甚至上升而訓(xùn)練集損失持續(xù)下降。原因典型的過擬合。模型記住了訓(xùn)練集的噪聲而無法泛化到新數(shù)據(jù)。解決方案增加數(shù)據(jù)增強(qiáng)特別是Mosaic、MixUp等能極大增加數(shù)據(jù)多樣性的方法。使用更強(qiáng)的正則化增大weight_decay如從0.0005到0.001在模型結(jié)構(gòu)中嘗試增加DropOut層但YOLO本身結(jié)構(gòu)緊湊需謹(jǐn)慎。早停Early Stopping確保patience參數(shù)已設(shè)置并監(jiān)控驗(yàn)證集mAP作為早停依據(jù)。減少模型復(fù)雜度換用更小的模型如從YOLOv8m換到Y(jié)OLOv8s。獲取更多數(shù)據(jù)如果可能收集或生成更多無人機(jī)行人數(shù)據(jù)。問題3模型對(duì)小目標(biāo)遠(yuǎn)處行人檢測(cè)效果很差。原因小目標(biāo)在輸入圖像中像素占比少特征提取困難下采樣過程中小目標(biāo)特征容易丟失。針對(duì)性優(yōu)化修改模型結(jié)構(gòu)進(jìn)階將Neck部分如PANet的淺層特征圖更多地融合到檢測(cè)頭中。在YOLOv8中可以嘗試修改模型配置文件調(diào)整特征融合的通道數(shù)或?qū)訑?shù)。調(diào)整Anchor對(duì)于舊版YOLO或回歸方式Y(jié)OLOv8是Anchor-Free的但可以關(guān)注其回歸分支的設(shè)計(jì)。對(duì)于小目標(biāo)可以嘗試使用更密集的預(yù)測(cè)網(wǎng)格即減小下采樣倍率但這需要修改模型結(jié)構(gòu)。數(shù)據(jù)層面在訓(xùn)練時(shí)不要將圖片統(tǒng)一縮放到固定大小而是采用多尺度訓(xùn)練讓模型看到更多“大尺寸”的小目標(biāo)。同時(shí)可以嘗試在損失函數(shù)中為小目標(biāo)分配更高的權(quán)重需要自定義損失函數(shù)。測(cè)試時(shí)增強(qiáng)TTA在推理時(shí)對(duì)圖像進(jìn)行多尺度縮放和翻轉(zhuǎn)然后綜合所有結(jié)果能穩(wěn)定提升小目標(biāo)檢測(cè)率但會(huì)顯著增加計(jì)算時(shí)間。5.2 推理部署與性能優(yōu)化訓(xùn)練出一個(gè)滿意的模型假設(shè)是best.pt后下一步就是用它來檢測(cè)新的無人機(jī)視頻或圖片?；A(chǔ)推理命令yolo detect predict \ model./runs/detect/drone_person_v8n/weights/best.pt \ source./test_video.mp4 \ conf0.25 \ # 置信度閾值高于此值才顯示 iou0.45 \ # NMS的IoU閾值 imgsz640 \ device0 \ saveTrue # 保存帶檢測(cè)框的結(jié)果性能優(yōu)化技巧模型導(dǎo)出為ONNX或TensorRT為了獲得極致的推理速度特別是在Jetson等邊緣設(shè)備上需要將PyTorch模型導(dǎo)出為優(yōu)化后的格式。# 導(dǎo)出為ONNX yolo export model./best.pt formatonnx imgsz640 simplifyTrue # 使用TensorRT進(jìn)一步加速需要安裝TensorRT # trtexec --onnxbest.onnx --saveEnginebest.engine --fp16導(dǎo)出后可以使用OpenCV的dnn模塊或?qū)ｉT的TensorRT運(yùn)行時(shí)進(jìn)行推理速度通常有數(shù)倍提升。調(diào)整推理參數(shù)conf根據(jù)應(yīng)用場(chǎng)景調(diào)整。安防監(jiān)控要求高召回可以設(shè)低些如0.2對(duì)誤檢容忍度低則設(shè)高些如0.5。iou非極大值抑制閾值。值越小允許重疊的框越多可能保留更多目標(biāo)尤其是密集人群值越大框之間重疊要求越高會(huì)更激進(jìn)地合并框。對(duì)于航拍中分散的行人可以適當(dāng)提高iou如0.5來減少重復(fù)框。處理視頻流對(duì)于實(shí)時(shí)視頻可以使用source0調(diào)用攝像頭或傳入RTSP流地址。注意設(shè)置streamTrue參數(shù)以優(yōu)化視頻流的處理效率。yolo detect predict modelbest.pt sourcertsp://username:passwordip:port/stream channels3這個(gè)從數(shù)據(jù)集到可運(yùn)行模型的全流程覆蓋了無人機(jī)視覺項(xiàng)目中最核心的環(huán)節(jié)。利用好這個(gè)資源包你能快速搭建起一個(gè)基線系統(tǒng)而后續(xù)的模型優(yōu)化、工程部署、業(yè)務(wù)集成才是更體現(xiàn)功力的地方。記住好的開始是成功的一半但剩下的一半需要你根據(jù)具體的業(yè)務(wù)數(shù)據(jù)和場(chǎng)景不斷地迭代和打磨。本文還有配套的精品資源點(diǎn)擊獲取