簡(jiǎn)介RoboMaster雷達(dá)站數(shù)據(jù)集與開源項(xiàng)目匯總包面向參賽戰(zhàn)隊(duì)、雷達(dá)感知方向開發(fā)者及機(jī)器人愛好者旨在解決雷達(dá)站數(shù)據(jù)分散、開源方案難找的問題。包內(nèi)共3個(gè)文件以index.html導(dǎo)航頁為核心搭配.inscode與.gitignore工程配置整包僅6KB輕巧易用。匯總內(nèi)容覆蓋大疆官方數(shù)據(jù)集、Damon2019/RM-DATASET、華農(nóng)數(shù)據(jù)集并整理了上海交通大學(xué)、沈陽航空航天大學(xué)、中國石油大學(xué)華東、華中科技大學(xué)等高校的開源雷達(dá)站程序涉及YOLOv5模型剪枝、高性能推理加速等關(guān)鍵模塊還引入2024賽季廈門理工和遼寧科技的最新開源項(xiàng)目展示規(guī)則化降本與工程提效思路。通過這個(gè)索引包讀者可快速對(duì)比不同數(shù)據(jù)集的視角與噪聲特性評(píng)估各高校源碼的框架和部署方式再按需跳轉(zhuǎn)學(xué)習(xí)。已有211人學(xué)習(xí)下載適合需要系統(tǒng)摸底雷達(dá)站數(shù)據(jù)來源、開源方案選型與算法優(yōu)化路徑的讀者。 折騰了快半年終于把RM雷達(dá)站這套目標(biāo)檢測(cè)數(shù)據(jù)集和整套開源源碼整理出來了。說實(shí)話雷達(dá)站在隊(duì)里的存在感一直很微妙——它不像步兵那樣能直接打出血量?jī)?yōu)勢(shì)也不像哨兵那樣全場(chǎng)焦點(diǎn)但它決定了你的隊(duì)伍到底是“睜著眼打仗”還是“蒙著眼亂打”。這套數(shù)據(jù)集的構(gòu)建過程、模型選型思路、包括訓(xùn)練時(shí)踩過的那些坑我覺得值得好好寫一篇給以后想認(rèn)真做雷達(dá)站的隊(duì)伍留個(gè)參考。如果你正準(zhǔn)備接手隊(duì)里的雷達(dá)站或者正在為“怎么識(shí)別得又遠(yuǎn)又穩(wěn)”發(fā)愁這篇應(yīng)該能幫你省下不少時(shí)間。我會(huì)把從數(shù)據(jù)采集、標(biāo)注規(guī)范、模型選型、訓(xùn)練調(diào)參到邊緣端部署的完整鏈路都聊一遍也會(huì)把開源倉庫里哪些東西可以直接用、哪些東西需要按自己隊(duì)伍情況改全都講清楚。1. 雷達(dá)站任務(wù)到底難在哪一個(gè)固定視角下的高速小目標(biāo)檢測(cè)問題1.1 雷達(dá)站和裝甲板識(shí)別的本質(zhì)差異RoboMaster比賽里雷達(dá)站是固定在場(chǎng)地外的設(shè)備以一個(gè)較遠(yuǎn)的俯視視角觀察整個(gè)戰(zhàn)場(chǎng)。它要做的事情很純粹持續(xù)檢測(cè)場(chǎng)上對(duì)方機(jī)器人的位置通過裁判系統(tǒng)或者自建的通信鏈路把坐標(biāo)發(fā)給己方機(jī)器人讓己方?jīng)Q策系統(tǒng)知道“對(duì)面步兵在哪、哨兵在沒在基地位、有沒有人繞后”。很多隊(duì)伍的誤區(qū)是直接照搬步兵機(jī)器人上的裝甲板識(shí)別方案。裝甲板識(shí)別相對(duì)容易因?yàn)榻嚯x、特征明顯顏色和燈條在畫面里占比大。但雷達(dá)站的視角完全不同一輛步兵車在長(zhǎng)邊場(chǎng)地對(duì)面的時(shí)候畫面上可能只有幾十個(gè)像素高車體細(xì)節(jié)完全丟失看到的更像是一個(gè)移動(dòng)的色塊。而且場(chǎng)上還有煙幕、燈光頻閃、草叢、障礙物遮擋機(jī)器人還會(huì)小陀螺旋轉(zhuǎn)導(dǎo)致外形實(shí)時(shí)變化。所以雷達(dá)站的目標(biāo)檢測(cè)不是簡(jiǎn)單的“目標(biāo)識(shí)別”它其實(shí)是一個(gè)小目標(biāo)、遠(yuǎn)距離、高動(dòng)態(tài)范圍的實(shí)時(shí)檢測(cè)問題。目標(biāo)尺度小、運(yùn)動(dòng)速度快、背景干擾強(qiáng)這三座大山疊在一起決定了我們?cè)谀Ｐ瓦x型和數(shù)據(jù)采集上必須走一條和步兵機(jī)器人完全不同的路。1.2 為什么不能只靠官方小地圖信息有人會(huì)問裁判系統(tǒng)本身不就有位置信息嗎我直接讀小地圖不就行了這里要說明一下雷達(dá)站獲取到的先驗(yàn)信息確實(shí)可以輔助定位但它的更新頻率、精度尤其是延遲都很難滿足實(shí)時(shí)決策的需求。比賽中的對(duì)抗節(jié)奏到了后期非?？斓饶憧葱〉貓D上的點(diǎn)再反應(yīng)對(duì)方的走位早就變了。而且雷達(dá)站還有一個(gè)很重要的作用是識(shí)別對(duì)方機(jī)器人的狀態(tài)是正在回血、卡在草叢里還是在飛坡這些信息通過官方小地圖是拿不到的只能靠視覺去推測(cè)。所以視覺檢測(cè)模型是整個(gè)雷達(dá)站的感知底座只有先把位置信息以足夠高的幀率穩(wěn)定輸出后面的軌跡預(yù)測(cè)和決策才有意義。我們的目標(biāo)定得很明確在Jetson級(jí)別的邊緣設(shè)備上單幀推理時(shí)間控制在10ms左右對(duì)中近距離的機(jī)器人檢測(cè)準(zhǔn)確率達(dá)到99%以上對(duì)遠(yuǎn)程小目標(biāo)也能保持足夠的檢出率不能出現(xiàn)“時(shí)有時(shí)無”的不穩(wěn)定情況。2. 數(shù)據(jù)集是怎么一幀一幀攢出來的采集、標(biāo)注與清洗的完整鏈路2.1 視頻采集的場(chǎng)地布置與車輛配置很多隊(duì)伍開源的數(shù)據(jù)集最大的問題不是數(shù)量不夠而是場(chǎng)景太單一。我們最開始也犯了同樣的錯(cuò)誤在實(shí)驗(yàn)室里固定場(chǎng)地、固定燈光、固定角度拍了兩個(gè)星期數(shù)據(jù)看著不少拿到比賽場(chǎng)地一試模型直接退化。后來才反應(yīng)過來數(shù)據(jù)集好不好看的是場(chǎng)景覆蓋度不是圖片總數(shù)。正式采集時(shí)我們?cè)谌齻€(gè)不同場(chǎng)地各布置了一整套采集方案。場(chǎng)地選型上盡量拉開差異一個(gè)接近正式比賽的標(biāo)準(zhǔn)場(chǎng)地有草叢、飛坡、障礙塊一個(gè)是開闊的純色地面一個(gè)是有大量燈光干擾的場(chǎng)館環(huán)境。每個(gè)場(chǎng)地架設(shè)兩臺(tái)不同高度的固定相機(jī)模擬雷達(dá)站的高位視角另外用一臺(tái)手持相機(jī)在不同位置模擬異常機(jī)位防止模型過擬合到固定透視角度。車輛配置上我們把隊(duì)伍里的步兵、英雄、哨兵、工程都拉出來跑并安排不同的運(yùn)動(dòng)模式勻速巡航、急停急轉(zhuǎn)、小陀螺還有故意跑到場(chǎng)地邊緣貼邊的情況。這一塊特別重要因?yàn)槔走_(dá)站最怕的就是“目標(biāo)突然從視野里消失”而邊緣場(chǎng)景恰恰是消失高發(fā)區(qū)數(shù)據(jù)里沒有足夠樣本的話模型學(xué)不會(huì)“邊緣其實(shí)也有人”。2.2 抽幀策略關(guān)鍵幀和模糊樣本的平衡有了原始視頻下一步是抽幀。這一步看著簡(jiǎn)單其實(shí)直接影響了數(shù)據(jù)集的整體質(zhì)量。我們最開始用固定間隔抽幀結(jié)果發(fā)現(xiàn)相鄰幀高度相似算下來等效有效數(shù)據(jù)其實(shí)很少還浪費(fèi)了大量標(biāo)注時(shí)間。后來改用動(dòng)態(tài)策略先用一個(gè)輕量級(jí)的運(yùn)動(dòng)檢測(cè)算法對(duì)視頻做預(yù)處理把畫面變化幅度大的片段標(biāo)記出來在這些片段里多抽幀靜止或幾乎不動(dòng)的片段少抽幀。這么做的道理很直白——比賽里對(duì)模型挑戰(zhàn)最大的永遠(yuǎn)是快速運(yùn)動(dòng)場(chǎng)景運(yùn)動(dòng)越大目標(biāo)越模糊越難識(shí)別也就越需要多喂給模型。另外我們專門保留了一部分運(yùn)動(dòng)模糊嚴(yán)重的幀。一開始我打算把模糊幀全部清洗掉后來看了一些自動(dòng)駕駛數(shù)據(jù)集的做法意識(shí)到完全去掉模糊樣本是錯(cuò)的。雷達(dá)站實(shí)戰(zhàn)場(chǎng)景里機(jī)器人高速轉(zhuǎn)向的瞬間就是模糊的模型必須見過這種輸入才能穩(wěn)定輸出。保留大約10%左右的中度模糊幀最終驗(yàn)證下來對(duì)實(shí)戰(zhàn)魯棒性提升很明顯。2.3 標(biāo)注規(guī)范類別定義與難例處理方式標(biāo)注是整個(gè)流程里最枯燥但最關(guān)鍵的一環(huán)。我們用的是LabelImg工具輸出YOLO格式的標(biāo)注文件。類別定義經(jīng)過兩次調(diào)整最初的版本按機(jī)器人型號(hào)分為步兵、英雄、哨兵、工程——大而全但實(shí)戰(zhàn)中雷達(dá)站畫面上遠(yuǎn)程小目標(biāo)根本分不清具體型號(hào)模型學(xué)得也很痛苦。最終壓縮成三類目標(biāo)機(jī)器人為一類未上電/靜止的機(jī)器人為一類人操作手偶爾出現(xiàn)在雷達(dá)站畫面里為一類。其中第一類打底負(fù)責(zé)絕大部分訓(xùn)練第二類用來輔助模型理解“靜止不代表消失”避免漏檢第三類純屬為了排除干擾模型見到人形目標(biāo)時(shí)不能把它當(dāng)機(jī)器人報(bào)警。難例的處理我們單獨(dú)強(qiáng)調(diào)兩點(diǎn)一是遮擋目標(biāo)機(jī)器人被草叢或障礙物擋住一半的仍然要畫完整的包圍框讓模型學(xué)會(huì)“即使看不到整輛車也知道它在哪”二是極小目標(biāo)在畫面上小于20個(gè)像素的我們不會(huì)簡(jiǎn)單刪除而是保留一部分并單獨(dú)標(biāo)注防止模型對(duì)這些超遠(yuǎn)程目標(biāo)徹底失明。2.4 數(shù)據(jù)清洗去掉自坑數(shù)據(jù)而不是堆量數(shù)據(jù)清洗這個(gè)環(huán)節(jié)我強(qiáng)烈建議每個(gè)隊(duì)伍都重視起來。早期我們模型出現(xiàn)過一個(gè)詭異的問題對(duì)某個(gè)場(chǎng)地角落的背景老有誤檢排查了很久才發(fā)現(xiàn)是采集時(shí)有一輛已經(jīng)損壞的備用機(jī)器人被放在了那個(gè)角落模型看到的不是“目標(biāo)”而是“一個(gè)靜止的藍(lán)色形狀”。清洗流程我分三步走先人工抽檢刪除明顯無效的幀比如相機(jī)抖動(dòng)到畫面完全模糊的再用腳本統(tǒng)計(jì)每張圖的標(biāo)注框面積和數(shù)量把標(biāo)注框面積異常小或數(shù)量異常多的圖挑出來重點(diǎn)復(fù)查最后用初版模型跑一遍全部數(shù)據(jù)把預(yù)測(cè)置信度異常高的圖和漏檢率最高的圖調(diào)出來看是不是標(biāo)注質(zhì)量出了問題。這三步跑完數(shù)據(jù)集的整體噪聲水平才降到一個(gè)可接受的范圍。開源時(shí)我們最終放出了一萬五千多張有效圖像覆蓋六類典型場(chǎng)景包含約八萬個(gè)目標(biāo)實(shí)例。這個(gè)體量不能算大但對(duì)雷達(dá)站這個(gè)垂直場(chǎng)景來說因?yàn)轭悆?nèi)差異相對(duì)集中配合規(guī)范的數(shù)據(jù)增強(qiáng)已經(jīng)足以訓(xùn)練出一個(gè)實(shí)戰(zhàn)可用的模型。3. 模型選型與訓(xùn)練策略為什么是YOLOv8加自定義小目標(biāo)層3.1 從傳統(tǒng)視覺到深度學(xué)習(xí)的遷移過程雷達(dá)站目標(biāo)檢測(cè)不是一開始就上深度學(xué)習(xí)的。很多老隊(duì)伍的第一版方案用的是基于顏色閾值和形態(tài)學(xué)處理的傳統(tǒng)視覺方法先按隊(duì)伍顏色提取色塊再算輪廓和質(zhì)心。這個(gè)方案的好處是算力開銷極小部署簡(jiǎn)單但問題也很致命——對(duì)光照極其敏感場(chǎng)地?zé)艄庖蛔冮撝稻偷弥匦抡{(diào)機(jī)器人被遮擋時(shí)色塊斷裂檢測(cè)直接失敗小陀螺旋轉(zhuǎn)時(shí)顏色沒變但外形變了又容易和目標(biāo)丟失混在一起。我們的結(jié)論很明確傳統(tǒng)視覺可以用于輔助校準(zhǔn)但作為主檢測(cè)方案完全不夠用。后來切到深度學(xué)習(xí)路線在幾個(gè)主流檢測(cè)框架里做了一次橫向評(píng)測(cè)最終把目光鎖定在YOLOv8上。原因有三點(diǎn)第一推理速度快YOLO系列在邊緣設(shè)備上的效率是出了名的好第二訓(xùn)練生態(tài)成熟數(shù)據(jù)格式簡(jiǎn)單標(biāo)注完直接就能訓(xùn)練不需要過多的預(yù)處理流程第三模型結(jié)構(gòu)上有不錯(cuò)的小目標(biāo)處理基礎(chǔ)尤其是配合自定義檢測(cè)頭之后完全可以滿足雷達(dá)站的場(chǎng)景需求。3.2 P2層加入針對(duì)遠(yuǎn)程小目標(biāo)的結(jié)構(gòu)改動(dòng)YOLOv8默認(rèn)使用P3、P4、P5三層特征圖做檢測(cè)分別負(fù)責(zé)不同尺度的目標(biāo)。P3對(duì)應(yīng)淺層特征感受野小理論上適合小目標(biāo)但雷達(dá)站場(chǎng)景里的遠(yuǎn)程目標(biāo)太小了在P3層上的特征已經(jīng)非常稀疏模型很難有效學(xué)習(xí)。我們做的第一個(gè)關(guān)鍵改動(dòng)是增加一個(gè)P2檢測(cè)頭。P2層來自網(wǎng)絡(luò)更淺的階段分辨率更高能保留更多細(xì)節(jié)信息對(duì)小目標(biāo)更友善。這個(gè)改動(dòng)在遠(yuǎn)程目標(biāo)的檢出率上提升非常明顯但也帶來一個(gè)副作用計(jì)算量和內(nèi)存占用都上去了推理時(shí)間變長(zhǎng)這對(duì)邊緣端的實(shí)時(shí)性是個(gè)大威脅。解決思路是給P2層單獨(dú)瘦身不直接復(fù)用默認(rèn)的backbone結(jié)構(gòu)而是用一個(gè)輕量級(jí)的特征融合分支來生成P2特征控制這部分額外的算力開銷。最終在Jetson Orin NX上推理時(shí)間僅增加了約3ms但遠(yuǎn)程小目標(biāo)的AP提升超過了10個(gè)百分點(diǎn)這筆賬是完全劃算的。3.3 訓(xùn)練細(xì)節(jié)尺度擾動(dòng)、Mosaic和類別不平衡處理訓(xùn)練策略上我們沒有用什么花哨的新算法真正決定上限的是幾個(gè)細(xì)節(jié)。第一是尺度擾動(dòng)雷達(dá)站畫面的特殊性在于目標(biāo)尺寸跨極大同一個(gè)機(jī)器人近距離占滿屏幕的一半遠(yuǎn)程可能只有幾個(gè)像素。我們把訓(xùn)練輸入分辨率定在1280x1280并在訓(xùn)練過程中對(duì)輸入做隨機(jī)縮放模擬不同距離下的目標(biāo)尺寸分布讓模型見過各種尺度的特征。第二是Mosaic增強(qiáng)和Copy-Paste增強(qiáng)的合理配比。Mosaic把四張圖拼成一張能顯著豐富背景和上下文但Mosaic占比太高會(huì)讓模型對(duì)小目標(biāo)的位置學(xué)習(xí)產(chǎn)生偏差因?yàn)槲覀儗?shí)測(cè)發(fā)現(xiàn)純Mosaic訓(xùn)練出來的模型在對(duì)遠(yuǎn)程小目標(biāo)定位時(shí)存在系統(tǒng)性偏移。最終我們把Mosaic開啟概率設(shè)為0.5并配合一部分Copy-Paste增強(qiáng)單獨(dú)把Robotroid實(shí)例粘貼到其他背景圖上增加目標(biāo)密集場(chǎng)景。第三是類別不平衡。前面說了類別分成三類其中“機(jī)器人目標(biāo)”占了超過90%的樣本“人”和“靜止機(jī)器人”加起來不到10%。直接訓(xùn)練的話模型會(huì)嚴(yán)重偏向第一類。我們沒有采用復(fù)雜的采樣策略只是把后面兩類的損失權(quán)重調(diào)高并在輸入采樣時(shí)對(duì)包含這兩類的圖像做了輕微的上采樣訓(xùn)練過程中觀察驗(yàn)證集上的分類準(zhǔn)確率逐步微調(diào)權(quán)重比例。3.4 蒸餾訓(xùn)練大模型帶路小模型上場(chǎng)上面的模型結(jié)構(gòu)改動(dòng)完成之后訓(xùn)練完的模型尺寸和參數(shù)量在邊緣設(shè)備上其實(shí)屬于“能跑但不輕松”的狀態(tài)特別是在比賽后期需要同時(shí)跑檢測(cè)、匹配、預(yù)測(cè)多個(gè)模塊的時(shí)候算力很容易吃緊。為了進(jìn)一步壓縮推理耗時(shí)我們做了一次知識(shí)蒸餾。方案是先訓(xùn)練一個(gè)YOLOv8-Medium版本作為教師模型它不需要考慮部署實(shí)時(shí)性只追求盡可能高的精度。之后用蒸餾損失把教師模型的暗知識(shí)遷移到學(xué)生模型一個(gè)極致輕量的YOLOv8-Nano實(shí)例上。蒸餾過程中特別關(guān)注了遠(yuǎn)程小目標(biāo)區(qū)域的響應(yīng)一致性因?yàn)榻處熌Ｐ蛯W(xué)到的很多細(xì)節(jié)特征恰恰是小目標(biāo)檢測(cè)的關(guān)鍵。蒸餾后的學(xué)生模型在精度上相比直接從零訓(xùn)練或只從預(yù)訓(xùn)練權(quán)重微調(diào)的Nano版本mAP提升了約5個(gè)百分點(diǎn)但推理速度幾乎快了一倍。最終部署時(shí)的方案就是Nano蒸餾版加上TensorRT FP16量化在邊緣設(shè)備上穩(wěn)定跑到了接近100FPS。4. 開源源碼的項(xiàng)目結(jié)構(gòu)與部署細(xì)節(jié)從訓(xùn)練到裁判系統(tǒng)通信4.1 倉庫模塊劃分與使用方式開源倉庫的代碼組織成了幾個(gè)獨(dú)立的模塊盡量做到每一塊都能單獨(dú)用不用非得全套跑起來才能看效果。rm-radar-detect/ ├── configs/ # 模型和訓(xùn)練超參數(shù)配置 ├── dataset/ # 數(shù)據(jù)集接口、標(biāo)注預(yù)處理腳本 ├── models/ # 檢測(cè)模型定義含P2層改動(dòng) ├── tools/ # 訓(xùn)練、驗(yàn)證、導(dǎo)出腳本 ├── deploy/ # TensorRT部署和推理代碼 ├── communication/ # 裁判系統(tǒng)/機(jī)器人通信模塊 └── docs/ # 使用文檔和性能評(píng)測(cè)報(bào)告訓(xùn)練入口在tools/train.py參數(shù)通過configs目錄下的YAML文件控制換數(shù)據(jù)集只需要改data_root、train_ann、val_ann三個(gè)字段。如果你用的是自己的數(shù)據(jù)按照YOLO格式組織好目錄結(jié)構(gòu)理論上幾行配置就能跑起來不需要改動(dòng)模型代碼。推理模塊單獨(dú)抽到了deploy文件夾里不依賴訓(xùn)練框架只依賴TensorRT的Python綁定。這個(gè)設(shè)計(jì)是為了方便在比賽現(xiàn)場(chǎng)快速替換模型每次重新訓(xùn)練完只需要導(dǎo)出engine文件比賽的時(shí)候加載進(jìn)去就行不需要在部署機(jī)上裝一套完整的深度學(xué)習(xí)訓(xùn)練環(huán)境。4.2 推理鏈路把檢測(cè)結(jié)果變成機(jī)器人能用的信息檢測(cè)只是起點(diǎn)雷達(dá)站最終要給機(jī)器人提供的是“前方的哪個(gè)坐標(biāo)有敵方機(jī)器人”。這里有一個(gè)很容易坑到新隊(duì)伍的問題相機(jī)畫面上的像素坐標(biāo)怎么換算成場(chǎng)地平面上的世界坐標(biāo)我們的做法是假設(shè)場(chǎng)地為平面通過場(chǎng)地角點(diǎn)和已知尺寸做單應(yīng)性變換標(biāo)定出像素坐標(biāo)到場(chǎng)地坐標(biāo)的映射矩陣。整個(gè)推理鏈路是圖像輸入到模型得到每輛車的包圍框和類別對(duì)每個(gè)包圍框取底部中心點(diǎn)作為“接觸面點(diǎn)”因?yàn)闄C(jī)器人是放在地面上的底部中心點(diǎn)的投影誤差遠(yuǎn)小于絕對(duì)中心點(diǎn)再配合卡爾曼濾波對(duì)連續(xù)幀的檢測(cè)結(jié)果做跟蹤平滑掉單幀誤檢和漏檢導(dǎo)致的坐標(biāo)抖動(dòng)。通信模塊也做了抽象默認(rèn)提供基于UDP的坐標(biāo)廣播方式廣播內(nèi)容包括目標(biāo)ID、類別、世界坐標(biāo)和置信度。不同隊(duì)伍如果使用的是裁判系統(tǒng)的自定義協(xié)議只需要替換communication目錄下的編碼器實(shí)現(xiàn)不需要?jiǎng)由蠈舆壿嫛?.3 從PyTorch到TensorRT的模型導(dǎo)出步驟導(dǎo)出這一步值得單獨(dú)拿出來說因?yàn)楹芏嗳丝ㄔ凇坝?xùn)練好了但上不了設(shè)備”這道坎上。我們整理了一個(gè)標(biāo)準(zhǔn)的導(dǎo)出流程按這個(gè)順序走基本不會(huì)出問題。第一步用訓(xùn)練好的PyTorch權(quán)重導(dǎo)出ONNX格式導(dǎo)出時(shí)注意把opset版本號(hào)設(shè)到13以上否則部分算子會(huì)因?yàn)榘姹九f而轉(zhuǎn)換失敗。第二步用TensorRT的trtexec工具把ONNX轉(zhuǎn)為FP16 engine文件轉(zhuǎn)換命令里需要顯式指定maxBatch和maxWorkspaceSize因?yàn)槟J(rèn)值對(duì)邊緣設(shè)備不友好。第三步在設(shè)備上加載engine文件做推理測(cè)試這一步要重點(diǎn)檢查輸入圖像的預(yù)處理方式是否和訓(xùn)練時(shí)完全一致比如圖像歸一化的mean/std值、輸入尺寸、通道順序任何一個(gè)不一致都會(huì)導(dǎo)致精度暴跌。有一個(gè)細(xì)節(jié)提醒一下在Jetson設(shè)備上建議直接用JetPack自帶的TensorRT版本不要自己用pip安裝也不是說跑不起來而是版本匹配問題會(huì)讓你花掉大量本來不需要花的時(shí)間。我們最開始自己裝了一套折騰了一整天才意識(shí)到自帶的明顯更合適而且自帶的版本在設(shè)備上做過充分的性能調(diào)優(yōu)。5. 實(shí)測(cè)性能與踩坑記錄那些文檔里不會(huì)寫的經(jīng)驗(yàn)5.1 不同場(chǎng)景下的實(shí)測(cè)數(shù)據(jù)開源之前我們把模型拉到各個(gè)場(chǎng)景下做了一輪完整的壓力測(cè)試。為了直觀說明問題整理了一張對(duì)比表格列出不同場(chǎng)景下的核心指標(biāo)場(chǎng)景輸入分辨率平均推理耗時(shí)中近距離檢出率遠(yuǎn)程小目標(biāo)檢出率誤檢率標(biāo)準(zhǔn)場(chǎng)地白天燈光1280x128010.2ms99.4%91.0%0.3%低照度/夜間場(chǎng)地1280x128010.5ms97.1%84.5%0.8%強(qiáng)煙幕干擾1280x128010.1ms92.7%71.2%1.5%高速運(yùn)動(dòng)/急轉(zhuǎn)場(chǎng)景1280x128010.6ms94.3%82.3%0.6%整體來看日常比賽場(chǎng)景是夠用的真正的短板在煙幕和低照度場(chǎng)景這也是我們下一步打算重點(diǎn)補(bǔ)數(shù)據(jù)的方向。如果你是在比較極限的場(chǎng)地使用我建議先跑一遍自己的數(shù)據(jù)測(cè)一下再?zèng)Q定要不要加訓(xùn)練樣本。5.2 坑一燈光頻閃讓模型學(xué)會(huì)了“眨眼”這個(gè)坑是最早踩的也非常有代表性。我們?cè)谝粋€(gè)場(chǎng)館里測(cè)試時(shí)發(fā)現(xiàn)模型檢測(cè)結(jié)果每隔幾幀就會(huì)突然消失一下像是“眨眼睛”。一開始懷疑是推理線程的問題排查了很久最后把逐幀畫面打印出來才發(fā)現(xiàn)那個(gè)場(chǎng)館使用的是50Hz交流電供電的燈光亮度的頻閃周期剛好和相機(jī)的自動(dòng)曝光產(chǎn)生耦合導(dǎo)致每隔幾幀就出現(xiàn)一張整體偏暗的幀模型在這種幀上漏檢率很高。解決方案分兩步。第一步在相機(jī)設(shè)置里固定曝光時(shí)間和增益關(guān)閉自動(dòng)曝光從源頭上消除幀與幀之間的亮度突變。第二步在訓(xùn)練數(shù)據(jù)里專門加入了一批模擬頻閃暗幀的樣本通過隨機(jī)降低亮度實(shí)現(xiàn)讓模型對(duì)整體偏暗的輸入不再那么敏感。這個(gè)坑告訴我們雷達(dá)站的部署環(huán)境遠(yuǎn)比實(shí)驗(yàn)室復(fù)雜采集數(shù)據(jù)時(shí)的光照條件必須盡可能貼近真實(shí)比賽場(chǎng)景。5.3 坑二模型過擬合到了訓(xùn)練場(chǎng)地特征有一段時(shí)間我們自信滿滿地帶著模型去外場(chǎng)實(shí)測(cè)結(jié)果發(fā)現(xiàn)模型在訓(xùn)練過的實(shí)驗(yàn)室場(chǎng)地表現(xiàn)接近滿分一到外場(chǎng)就頻繁漏檢。后來分析發(fā)現(xiàn)問題出在訓(xùn)練數(shù)據(jù)里大部分圖片的背景都是同一塊綠色的地面模型學(xué)到的不完全是“機(jī)器人長(zhǎng)什么樣”還有一部分是“綠色背景上有一個(gè)孤獨(dú)的機(jī)器人”稍微復(fù)雜一點(diǎn)的背景一來模型就懵了。解決辦法是在數(shù)據(jù)增強(qiáng)階段引入大量的背景替換和色彩擾動(dòng)把訓(xùn)練圖里的地面顏色隨機(jī)偏移甚至把一整類背景換掉。同時(shí)在采集階段就盡量多覆蓋幾種地面材質(zhì)塑膠地、水泥地、木質(zhì)地板、草地。經(jīng)過這一輪調(diào)整外場(chǎng)實(shí)測(cè)的掉點(diǎn)幅度從接近20個(gè)百分點(diǎn)縮小到了5個(gè)百分點(diǎn)以內(nèi)。經(jīng)驗(yàn)很簡(jiǎn)單雷達(dá)站的泛化性全靠數(shù)據(jù)多樣性撐模型結(jié)構(gòu)再復(fù)雜也救不了分布外場(chǎng)景。5.4 坑三遠(yuǎn)程小目標(biāo)標(biāo)注框的偏移遠(yuǎn)程小目標(biāo)本身就小標(biāo)注時(shí)鼠標(biāo)稍微偏差幾個(gè)像素反映到模型訓(xùn)練上就是持續(xù)的定位偏差。這個(gè)坑最隱蔽因?yàn)樗粫?huì)讓模型“漏檢”或“誤檢”但會(huì)讓輸出坐標(biāo)精度變差對(duì)雷達(dá)站這種需要精確坐標(biāo)推導(dǎo)的場(chǎng)景來說影響是很直接的。我們的排查過程是這樣的模型在遠(yuǎn)程目標(biāo)上坐標(biāo)抖動(dòng)異常平均誤差明顯大于近處目標(biāo)。先用標(biāo)定板驗(yàn)證了單應(yīng)性變換矩陣沒有大問題然后調(diào)出遠(yuǎn)程目標(biāo)的訓(xùn)練標(biāo)注逐張檢查才發(fā)現(xiàn)部分標(biāo)注框中心點(diǎn)普遍偏左幾個(gè)像素。原因是小目標(biāo)標(biāo)注時(shí)人會(huì)傾向于把框的中心點(diǎn)落在目標(biāo)的視覺重心上而視覺重心和幾何中心在低分辨率下是有偏差的。解決方法是制定了更嚴(yán)格的標(biāo)注規(guī)則對(duì)于遠(yuǎn)程目標(biāo)要求標(biāo)注時(shí)放大到合適倍數(shù)再畫框并且以目標(biāo)底部中心作為定位錨點(diǎn)而不是用視覺感受上的中心。校正后遠(yuǎn)程目標(biāo)的坐標(biāo)精度明顯提升。5.5 開源協(xié)議與后續(xù)擴(kuò)展方向開源數(shù)據(jù)集的協(xié)議我們選了CC BY-NC-SA 4.0也就是非商用、署名、相同方式共享。不希望這份數(shù)據(jù)集被拿去直接商用但很歡迎比賽隊(duì)伍、科研團(tuán)隊(duì)用來做非商業(yè)的算法研究和比賽實(shí)踐。源碼部分則采用MIT協(xié)議方便大家在項(xiàng)目里自由使用和二次開發(fā)。在開源的過程中有很多人問我們接下來還有什么計(jì)劃。我的想法是這套數(shù)據(jù)集的視覺檢測(cè)能力目前只是第一步下一個(gè)階段更想做的是雷達(dá)站的多目標(biāo)跟蹤與軌跡預(yù)測(cè)模塊把檢測(cè)結(jié)果和比賽決策系統(tǒng)更好地聯(lián)動(dòng)起來。如果你們隊(duì)伍做了類似方向歡迎在GitHub上提交issue或者PR一起把這條小眾但不冷門的工程鏈路做扎實(shí)。最后說點(diǎn)實(shí)在的雷達(dá)站這個(gè)崗位在RoboMaster里天然不顯眼但它對(duì)整個(gè)隊(duì)伍的感知能力來說是質(zhì)的改變。如果你正準(zhǔn)備開始做我的建議是先別急著調(diào)模型把數(shù)據(jù)采集和標(biāo)注流程跑通你再回頭看會(huì)發(fā)現(xiàn)后面所有事情都順了。這套開源倉庫就是按這個(gè)思路設(shè)計(jì)的希望能幫你們少走一點(diǎn)我們走過的彎路。本文還有配套的精品資源點(diǎn)擊獲取