簡介在園區(qū)、社區(qū)、地鐵等安防場景中翻越欄桿的實時告警需求日益迫切其技術(shù)核心通常落在目標檢測與行為識別上。傳統(tǒng)通用檢測模型難以應(yīng)對監(jiān)控視角下目標小、遮擋多、動作形態(tài)復雜的挑戰(zhàn)因此構(gòu)建專用數(shù)據(jù)集并訓練定制模型成為落地的關(guān)鍵路徑。本文從數(shù)據(jù)定義出發(fā)厘清翻越行為的類別體系與標注規(guī)范系統(tǒng)講解場景采集、難樣本挖掘及數(shù)據(jù)增強策略在此基礎(chǔ)上給出基于YOLOv8的完整訓練流程與關(guān)鍵參數(shù)調(diào)優(yōu)方法并針對誤報、漏檢等常見問題進行深度剖析。通過引入“欄桿”空間約束、軌跡跟蹤及時序建模等進階手段可有效提升復雜場景下的檢測魯棒性。內(nèi)容兼顧算法原理與工程實踐適合安防算法工程師、行為識別研究者及希望自主構(gòu)建檢測數(shù)據(jù)集的開發(fā)者參考。 爬欄桿這個動作做安防的兄弟應(yīng)該都不陌生。小區(qū)圍墻、地鐵站臺、園區(qū)周界、工地隔離帶每天不知道要發(fā)生多少次。傳統(tǒng)監(jiān)控只能事后查錄像真正要做的其實是“事發(fā)時報警”——有人翻越欄桿系統(tǒng)立刻彈窗提醒保安處置。而這件事落到技術(shù)層面核心就是目標檢測在視頻幀里把“正在翻越欄桿的人”這個目標穩(wěn)定地框出來。我之前在公司接過一個類似需求圍墻周界翻越檢測甲方點名要實時告警誤報還不能太多。一開始想直接拿公開的摔倒檢測、入侵檢測模型湊合用效果慘不忍睹——監(jiān)控視角下的人太小、欄桿形態(tài)千奇百怪、翻越動作又往往被遮擋通用模型根本扛不住。后來老老實實自己整理數(shù)據(jù)、標注、訓練才真正把精度拉到可用的水平。這篇東西就圍繞“翻越欄桿行為識別數(shù)據(jù)集”這個主題展開聊一下數(shù)據(jù)怎么定義、怎么標注、怎么訓練、怎么避坑。適合正在做行為識別、安防算法落地、或者想自己攢數(shù)據(jù)集的同學參考。1. 項目核心思路與數(shù)據(jù)定義1.1 為什么選目標檢測而不是姿態(tài)估計或行為分類很多第一次接觸翻越欄桿需求的人第一反應(yīng)是“這不是行為識別嗎是不是得上時序模型或者先做人體姿態(tài)估計再說”。我最初也這么想過但實際落地驗證下來純目標檢測反而是性價比最高的方案。原因有三層第一業(yè)務(wù)上真正關(guān)心的是“這個人正在翻越欄桿”這個瞬間而不是“他抬腿了還是伸手了”這種細粒度動作。目標檢測把問題簡化成“找到畫面里正在翻越的人/物體”直接對接業(yè)務(wù)告警邏輯最簡單。第二姿態(tài)估計的管線太重。先檢測人再估計關(guān)鍵點再判斷姿態(tài)是否構(gòu)成翻越中間任何一環(huán)出錯都會導致整體失效。尤其在監(jiān)控視角下人往往只有幾十個像素高關(guān)鍵點根本標不準姿態(tài)估計基本是廢的。而目標檢測在小目標上雖然也難但相對扛得住。第三數(shù)據(jù)標注成本差一個數(shù)量級。姿態(tài)估計要標17個關(guān)鍵點目標檢測只需要畫一個框。對于預算有限的團隊少標一點、標好一點比追求復雜模型更實際。所以這個數(shù)據(jù)集的核心定義就是以目標檢測框的形式標注畫面中正在發(fā)生翻越欄桿行為的人、上半身、頭部等關(guān)鍵部位。后面模型訓練、評估、部署都圍繞這個框來做。1.2 翻越行為的視覺特征與類別體系設(shè)計數(shù)據(jù)集的類別體系怎么定直接決定模型能學到什么。我見很多新手上來就標一個類“crossing”把所有人都框成一個框結(jié)果模型把“站在欄桿旁邊的人”、“蹲下系鞋帶的人”全都誤報成翻越。問題不在于模型而在于你給模型的定義本身就模糊。我建議類別體系至少拆成三類甚至四類person_crossing正在翻越或已經(jīng)騎跨在欄桿上的人。這類是正樣本模型要輸出的核心目標。person_near_fence在欄桿附近活動但未發(fā)生翻越動作的人。這類是難負樣本用來壓制誤報。fence欄桿本身。這一類的用處不是直接參與告警而是讓模型學習“人與欄桿的相對位置關(guān)系”。head_shoulder可選頭部和肩部區(qū)域。在密集遮擋場景下這個類別能提供額外的上下文信息。如果標注預算有限至少保留前三類。只標一類會讓模型的可判別性大打折扣。翻越行為在視覺上有一個關(guān)鍵特征人物與欄桿的空間關(guān)系發(fā)生劇烈變化。比如人從欄桿一側(cè)出現(xiàn)在另一側(cè)或者身體重心明顯越過欄桿頂部。這些特征是可以在單幀里捕捉到的所以單幀目標檢測能做到。但如果你的場景里有大量遮擋、欄桿兩側(cè)都有人的情況單幀就不夠用了這時候才需要考慮加時序信息比如用相鄰幀的目標軌跡做二次判斷。1.3 這個數(shù)據(jù)集適合誰用、能解決什么問題如果你正在做以下事情翻越欄桿行為識別數(shù)據(jù)集會非常對你的胃口園區(qū)、社區(qū)、工地周界安防要做“翻越告警”功能。地鐵站臺、公交樞紐的防穿越檢測。電力、能源站點的安全管控防止人員違規(guī)進入危險區(qū)域。做行為識別算法研究需要一個聚焦“翻越”這一具體動作的專用數(shù)據(jù)集來驗證模型。想學習如何構(gòu)建一個面向真實場景的檢測數(shù)據(jù)集了解從采集到訓練的全部流程。這個數(shù)據(jù)集的定位不是通用目標檢測的大而全而是聚焦“翻越欄桿”這一垂直場景。它的價值在于把“翻越”這個抽象的動作變成模型能直接學習的視覺模式。2. 數(shù)據(jù)集構(gòu)建全流程細節(jié)2.1 場景覆蓋與采集策略數(shù)據(jù)集做得好不好一半取決于采集。我見過太多人隨便網(wǎng)上抓幾百張圖就開始標注結(jié)果訓練出來的模型在自己的測試集上看著挺準一到真實場景直接崩。原因就是場景覆蓋度不夠。翻越欄桿的行為在真實環(huán)境里有幾個關(guān)鍵的變量必須覆蓋到位欄桿類型鐵藝柵欄、水泥矮墻、金屬護欄、PVC圍擋、石墩鐵鏈。不同形態(tài)的欄桿翻越動作的視覺表現(xiàn)差異巨大。鐵藝柵欄鏤空多人物輪廓容易暴露水泥矮墻遮擋嚴重可能只能看到上半身鐵鏈圍擋輕量低矮翻越更像“跨”。每一種形態(tài)都要有足夠樣本。光照條件白天強光、逆光、陰天、夜晚紅外、路燈下的低照度每種光照都會顯著改變模型的判斷。尤其是夜間紅外成像人物和欄桿的紋理都會變化必須單獨采集。視角與距離監(jiān)控攝像頭一般架在3到6米高度俯視角度在15到45度之間。數(shù)據(jù)集里要包含不同距離的樣本——近處的清晰大目標遠處的幾十像素小目標。行為狀態(tài)翻越動作本身是一個過程包括助跑、起跳、跨坐、翻越、落地。標注時最好把所有中間狀態(tài)都覆蓋到而不是只標“已經(jīng)騎在欄桿上”的那一幀。人群密度單人在空曠區(qū)域翻越和多人聚集時有人混在里面翻越難度完全不同。后者對模型的判別能力要求高得多。采集時我建議優(yōu)先用真實監(jiān)控視頻抽幀而不是網(wǎng)上隨便找圖。真實監(jiān)控的視角、噪點、壓縮偽影都是網(wǎng)上圖片模仿不來的。如果實在沒有視頻源可以用手機在擬真場景中模擬翻越行為然后用圖像處理模擬監(jiān)控的俯視效果。一個可量化的目標至少覆蓋10個以上不同場地點位每個點位包含3種以上光照條件和2種以上欄桿形態(tài)。樣本總量達到5000到10000張圖時模型的魯棒性會有明顯提升。2.2 標注規(guī)范細節(jié)與坐標約定標注這一步是整個數(shù)據(jù)集質(zhì)量的分水嶺。我早期做數(shù)據(jù)集吃過虧自認為標注得很認真訓練出來的模型卻總有一些“說不清哪里不對”的毛病。后來和一位做了多年數(shù)據(jù)標注的老手聊了一次才發(fā)現(xiàn)問題全出在標注規(guī)范不統(tǒng)一上。標注框的約定必須非常明確框住什么對于“person_crossing”這個類別我建議框住人物的完整身體輪廓包括四肢伸展的部分。如果欄桿遮擋了部分身體框可以適度外擴把可能的肢體活動范圍包進去但不要大得離譜。遮擋處理目標被欄桿、樹木、其他行人遮擋超過50%時建議不標或者單獨標記為“ignore”。遮擋過多的目標會讓模型學到錯誤的特征尤其是把欄桿特征學進人體特征里。邊界處理目標在畫面邊緣只有一半身體露出來這種樣本在真實場景里非常常見必須要標。我建議只要目標可見部分超過30%就正常標注。模糊處理運動模糊、失焦導致目標輪廓不清晰這類樣本要么單獨歸為“ignore”要么刪除。模型在模糊樣本上強行學習通常只會增加噪聲。標注格式建議直接用YOLO的txt格式存儲每行一個目標格式為class_id x_center y_center width height坐標都是歸一化到0到1之間的浮點數(shù)。這個格式兼容性最強YOLOv5/YOLOv8都直接支持。我畫一下YOLO格式坐標的一個示例。假設(shè)一張1920x1080的圖某個人體檢測框的左上角坐標是(960, 540)右下角是(1200, 810)那么中心點就是((9601200)/2/1920, (540810)/2/1080)寬高就是((1200-960)/1920, (810-540)/1080)。歸一化之后再喂給模型訓練不會因為圖像分辨率不同而影響框的尺度。2.3 數(shù)據(jù)清洗與難樣本挖掘采集回來的原始數(shù)據(jù)第一步不是標注而是清洗。我常用的清洗手段有這么幾招去重視頻抽幀會產(chǎn)生大量重復幀。用感知哈希算法計算幀之間的相似度相似度超過95%的幀只保留一張。這一步能減少30%到40%的冗余樣本。去除無關(guān)幀很多幀里根本沒有欄桿或者沒有翻越行為直接用目標檢測模型粗篩一遍把沒有人也沒有欄桿的幀扔掉。我一般用YOLOv8n做這步粗篩速度快跑幾千張圖也就幾分鐘。難樣本挖掘訓練完第一版模型之后把模型在訓練集和真實場景數(shù)據(jù)上預測出錯的樣本挑出來人工篩查一遍把錯檢、漏檢的樣本加入訓練集重新訓練。這算是一種“模型輔助的數(shù)據(jù)增強”。我做過一次把誤報率從12%壓到了5%以下效果立竿見影。2.4 數(shù)據(jù)增強策略翻越欄桿數(shù)據(jù)集的增強策略和通用目標檢測有一些差異。常規(guī)的翻轉(zhuǎn)、縮放、亮度調(diào)整當然要做。但翻越行為有一個特殊性欄桿在畫面中的空間位置往往是固定的而翻越方向可能是從左到右也可能是從右到左。所以水平翻轉(zhuǎn)這個增強在翻越場景里特別好用等于直接讓數(shù)據(jù)量翻倍。更有價值的是模擬欄桿遮擋的增強。我實測下來在訓練時隨機在圖像上疊加豎條狀的遮擋塊模擬欄桿對人物的遮擋模型在真實欄桿遮擋場景下的表現(xiàn)會明顯提升。這個增強很容易實現(xiàn)——直接在圖像上隨機畫幾根豎線顏色用欄桿常見的黑色、灰色、綠色寬度和間距隨機。還有一個實用技巧是多尺度訓練。翻越欄桿場景里人的尺度變化極大——近處的人可能占半個屏幕遠處的人可能只有30個像素高。訓練時把輸入分辨率隨機調(diào)整到640到1280之間讓模型適應(yīng)不同尺度下的目標。不要迷信固定輸入尺寸多尺度訓練的自由度對這類場景幫助很大。3. 基于YOLOv8的訓練實操3.1 環(huán)境準備與數(shù)據(jù)集格式整理訓練環(huán)節(jié)我直接用YOLOv8框架選Ultralytics版本理由很實際API簡潔、文檔全、社區(qū)活躍遇到坑基本都能搜到答案。而且它對自定義數(shù)據(jù)集的支持很友好只要數(shù)據(jù)集目錄組織正確訓練命令就一行。目錄結(jié)構(gòu)建議這樣組織dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ └── dataset.yamltrain、val、test三個子集的比例建議7:2:1。val集最好和train集來自不同的采集點位這樣能真實反映模型的泛化能力。如果偷懶隨機切分模型在val上的成績會虛高實際部署時才發(fā)現(xiàn)泛化不行。dataset.yaml的內(nèi)容path: /path/to/dataset train: images/train val: images/val test: images/test names: 0: person_crossing 1: person_near_fence 2: fence3.2 訓練命令與關(guān)鍵參數(shù)調(diào)節(jié)數(shù)據(jù)準備好了訓練命令其實非常簡單yolo detect train \ data/path/to/dataset/dataset.yaml \ modelyolov8m.pt \ epochs200 \ imgsz1280 \ batch16 \ lr00.01 \ cos_lrTrue \ patience30 \ project/path/to/output幾個關(guān)鍵參數(shù)我展開說說model我推薦用yolov8m做起點。n太小精度不夠l和x太大訓練慢且容易過擬合。m是一個平衡點。如果真實場景中目標普遍較小可以試試yolov8m-p2P2層對小目標更友好。imgsz這個參數(shù)非常重要直接影響小目標的檢測效果。我之前用640訓練遠處的翻越目標幾乎全漏調(diào)到1280之后小目標的召回率提升了將近20%。代價是訓練速度變慢顯存占用變大。如果你的GPU是16G顯存batch要相應(yīng)降到8甚至4。epochs200輪起步配合早停參數(shù)patience30。如果val集上的mAP連續(xù)30輪沒有提升訓練會自動停止不會白耗算力。增強參數(shù)翻越場景建議把hsv_h、hsv_s適當調(diào)低因為監(jiān)控視頻的色彩變化相對較小過強的色彩增強反而會引入噪聲。但translate和scale可以調(diào)高模擬人物在不同位置的分布。訓練日志里主要關(guān)注幾個指標mAP50IoU閾值0.5時的平均精度。這個指標相對寬松一般要求做到90%以上。mAP50-95IoU閾值從0.5到0.95逐步提高時mAP的平均值。這個指標更嚴格翻越場景能做到65%以上就算不錯。precision和recall精召曲線。安防場景我更看重recall漏報翻越行為比誤報的后果嚴重得多。3.3 模型評估與閾值選擇訓練完成后在test集上評估模型同時輸出PR曲線和混淆矩陣這一步千萬別跳過。有些人在訓練集上看到mAP95%直接就往設(shè)備上部署結(jié)果現(xiàn)場誤報不斷。評估時我會額外關(guān)注一個東西模型在“person_near_fence”上的誤報率。如果模型頻繁把站在欄桿旁的人識別成翻越說明分類邊界學得不夠清晰需要想辦法壓制。壓制誤報有兩條路一是加更多的“person_near_fence”樣本尤其是那些動作接近翻越但實際沒有翻越的樣本二是調(diào)高推理時的confidence閾值。前者是治本后者是應(yīng)急。正式部署時我一般把confidence閾值設(shè)在0.25到0.45之間具體數(shù)值要在真實場景視頻上反復測試找到一個漏報和誤報的平衡點。4. 常見問題與避坑實錄4.1 問題速查表這一節(jié)是踩坑經(jīng)驗的精華放一個速查表方便大家直接對照排查。問題現(xiàn)象可能原因解決方案遠處的翻越目標漏檢嚴重訓練分辨率太低小目標特征丟失將imgsz提升到1280以上或改用P2模型把站在欄桿旁的人誤檢為翻越負樣本不足分類邊界模糊增加person_near_fence樣本數(shù)量覆蓋更多相似姿態(tài)夜間場景基本失靈訓練集中缺少紅外/低光樣本單獨采集夜間數(shù)據(jù)用單獨模型或在訓練集中按比例混入夜間樣本欄桿遮擋導致漏檢模型沒見過遮擋模式在訓練中增加豎條遮擋增強標注時注意遮擋超50%不標換個攝像頭點位效果大幅下降場景過擬合泛化不足采集時覆蓋多點位val集與train集點位錯開交叉驗證模型泛化訓練loss不下降標注框質(zhì)量差存在大量錯誤標簽抽檢標注數(shù)據(jù)修正邊界框清洗錯誤樣本同一個翻越行為被反復告警視頻幀之間檢測結(jié)果抖動部署時加入幀級去抖邏輯連續(xù)N幀命中才觸發(fā)告警4.2 一個典型案例的排查過程有一次我在一個工地上測試模型現(xiàn)場是那種鐵皮圍擋加門禁的布局。模型在辦公室測試集上mAP50有93%但到了現(xiàn)場不斷誤報——施工人員頻繁在圍擋附近走動模型把人靠近圍擋就判定成翻越。我先是把現(xiàn)場誤報的視頻抽了200幀拉到標注工具里逐一查看發(fā)現(xiàn)80%的誤報樣本里人物的位置其實離圍擋還有一段距離但動作是彎腰、抬手的姿態(tài)從監(jiān)控的俯視視角看十分接近翻越的瞬間。解決思路不是加負樣本那么簡單因為現(xiàn)場人的動作太豐富了永遠加不完。我后來做了一件關(guān)鍵的事把“欄桿”這個類別的檢測結(jié)果引入邏輯層。模型不再直接用“person_crossing”的置信度決定是否告警而是判斷邏輯變成只有當“person_crossing”置信度大于閾值且該目標的檢測框與“fence”檢測框存在明顯重疊時才觸發(fā)告警。兩者缺一不告警。這個改動把誤報率壓低了70%以上。它本質(zhì)上是在利用欄桿的空間約束彌補純分類模型在語義理解上的不足。4.3 部署環(huán)節(jié)的三個容易忽視的細節(jié)訓練完成只是第一步真正部署時還有三個容易被忽視的坑。第一個是視頻流抽幀策略。實時視頻流里的翻越動作往往就發(fā)生在幾秒內(nèi)如果抽幀頻率太低可能直接錯過關(guān)鍵幀。我建議在檢測端做實時的逐幀推理或者把抽幀頻率設(shè)在15幀/秒以上同時加入一個“持續(xù)檢測”的邏輯。第二個是告警觸發(fā)邏輯。前面提到過視頻幀之間檢測結(jié)果會有抖動。如果不加去抖同一個動作可能觸發(fā)三次告警。我用的方案是連續(xù)3幀都檢測到目標才告警且兩次告警之間的最小間隔設(shè)為10秒。第三個是算力預算與模型壓縮?，F(xiàn)場如果用的是Jetson系列或嵌入式設(shè)備yolov8m可能跑不動。這時候先用yolov8s甚至yolov8n試試如果精度不夠可以試試TensorRT加速通常能帶來1.5到2倍的性能提升。4.4 從單幀檢測到行為判斷的進階路線如果你不滿足于單幀檢測想讓模型對“翻越行為”的判斷更穩(wěn)、更可靠、更抗遮擋可以沿兩條路升級。第一條是引入跟蹤模塊。用ByteTrack或DeepSORT對檢測到的目標做軌跡跟蹤當一個目標的軌跡跨越了欄桿位置就判定為翻越行為。這種方式對“站在欄桿旁但未跨過”的誤報有天然的壓制作用因為軌跡沒有跨越欄桿這個強約束。第二條是引入時序建模。用一個輕量級的序列分類頭把連續(xù)N幀的檢測結(jié)果序列作為輸入判斷這段序列是否構(gòu)成一次完整的翻越動作。本質(zhì)上就是把“單幀檢測”升級為“短時行為識別”?？尚行陨衔沂球炞C過的但工程復雜度會上升不少一般場景用不上。我個人在實際操作中的體會是先把單幀檢測做到極致再考慮時序方案。很多團隊的翻越檢測效果不佳根源是數(shù)據(jù)不足或標注不統(tǒng)一模型還沒學好就急著上復雜架構(gòu)最后兜兜轉(zhuǎn)轉(zhuǎn)發(fā)現(xiàn)繞了一圈又回到原點。數(shù)據(jù)、標注、模型三分天下前兩個占比至少七成。最后再分享一個小技巧把訓練好的模型在真實監(jiān)控畫面里跑起來之后一定要留一個“負樣本采集”的持續(xù)流程。每天從真實場景里挑出誤報幀定期補充到訓練集中經(jīng)過兩三輪迭代這個模型會越用越順手。翻越欄桿行為的數(shù)據(jù)不會一次采集到位只有持續(xù)迭代、持續(xù)積累才能在復雜的真實場景中立得住。本文還有配套的精品資源點擊獲取