目標檢測精度上限與影響因素分析一、概述二、目標框周圍上下文對圖像分類精度的影響2.1實驗設置2.2實驗結果三、目標檢測錯誤類型分析3.1四種檢測錯誤3.2每種錯誤對檢測精度的影響程度分析四、目標檢測精度上限分析4.1分析前提4.2分析上限的兩種策略4.3兩種策略結果對比4.3.1第一種策略得出的上限4.3.2第二種策略得出的上限4.4VOC數(shù)據(jù)集上限4.5FASHION數(shù)據(jù)集上限4.6COCO數(shù)據(jù)集上限五、上下文對目標識別精度的影響5.1替換或刪除背景的影響5.2將目標框置于異常背景的影響5.3裁剪、模糊、翻轉的影響一、概述本文主要對一篇2019年分析目標檢測精度上限的論文進行介紹論文題目為《Empirical Upper Bound in Object Detection and More》論文地址https://arxiv.org/abs/1911.12451該論文既不是綜述類文章也不是提出了一種能夠達到更高精度的新的算法而是進行了大量實驗通過實驗數(shù)據(jù)的分析比對對影響目標檢測精度的因素進行了分析同時對深度學習算法所能夠達到的精度上限進行了預測。論文預測在COCO的val2017數(shù)據(jù)集上mAP值上限為78.2%VOC (test2007)數(shù)據(jù)集上mAP值上限為91.6%。論文提出影響目標檢測精度的最大原因是分類錯誤而不是定位偏差過大。二、目標框周圍上下文對圖像分類精度的影響2.1實驗設置論文首先研究了圖像分類任務而不是目標檢測任務探討目標框周圍的上下文信息對分類精度的影響。使用ResNet152作為分類模型輸入模型的圖片數(shù)據(jù)集分為三種分別進行訓練原始目標框原始目標框加上周圍上下文擴大目標框的寬高只有周圍上下文將目標框刪除如下圖所示目標框統(tǒng)一大小為224×224模型訓練15輪。2.2實驗結果在原始目標框上進行分類測試top1精度如下圖所示從實驗結果可看出原始目標檢測框包含了分類所需的最多信息目標框縮小會損失一部分信息導致分類精度下降目標框擴大將會帶來一些無關信息也會降低分類精度。三、目標檢測錯誤類型分析3.1四種檢測錯誤論文中將目標檢測錯誤的情況分為了4種分別為分類錯誤將背景當成了目標這種情況下檢測框與真實框之間的IoU小于0.1定位不準確這種情況下檢測框與真實框之間的IoU大于0.1且小于0.5重復檢測就是說如果一個檢測框與真實框的IoU大于0.5但是這個真實框已經(jīng)被分配那么就是重復檢測丟失目標就是真實框與任何檢測框的IoU都小于0.1真實框沒有被檢測到。如下圖所示3.2每種錯誤對檢測精度的影響程度分析每種錯誤對檢測精度的影響程度如下圖所示上圖分別在三種數(shù)據(jù)集上使用三種模型進行了實驗結果表明分類錯誤對檢測精度也就是mAP值的影響最重要。第二重要的是目標丟失其實也屬于分類錯誤。剩下的第三第四影響很小分別是定位不準和重復檢測。四、目標檢測精度上限分析4.1分析前提首先從前一節(jié)的實驗得出結論降低目標檢測精度的最重要因素是分類錯誤而定位不準的問題影響很小因此論文中在研究目標檢測上限時假設定位問題已經(jīng)解決即檢測到的目標框與真實框完全重合接下來要考慮的問題就是如何提高目標框的分類準確率從而得出AP值的上限。4.2分析上限的兩種策略第一種策略利用目標框周圍上下文信息來提高分類準確率從而分析出AP值上限。簡而言之使用目標框訓練出一個最佳分類器使用最佳分類器對目標框進行判斷得出置信度分數(shù)然后根據(jù)這個置信度分數(shù)計算AP值。第二節(jié)進行的目標框上下文信息對分類精度的影響實驗就是用在第一種策略中通過該實驗得出最佳分類器。第二種策略在目標框周圍搜索其他的檢測框這些檢測框要求與目標框的IoU不低于設定的閾值對這些檢測框進行分類將置信度分數(shù)最高的作為目標框的分類結果或者對這些檢測框的分類結果進行投票票數(shù)最高的類別作為目標框的分類結果。4.3兩種策略結果對比4.3.1第一種策略得出的上限第一種策略得出的不同數(shù)據(jù)集下的AP值上限如下圖所示IoU閾值不同下的檢測上限AP值不變這是因為分析上限的前提就是定位問題得到解決檢測框完全與真實框重合。4.3.2第二種策略得出的上限第二種策略得出的不同數(shù)據(jù)集下的AP值上限如下圖所示從圖中可看出第二種策略得出的AP上限值在大多數(shù)情況下比第一種策略得出的AP上限值要低。論文分析這是因為第二種策略引入了目標框周圍的信息而這些信息包含了一些噪聲會導致分類精度降低。因此論文使用第一種策略來探討目標檢測AP值上限。4.4VOC數(shù)據(jù)集上限VOC數(shù)據(jù)集上限如下圖所示上圖展示了兩種計算AP值的評估代碼左圖是VOC評估代碼右圖是COCO評估代碼論文結論中是使用的COCO評估代碼得出的mAP上限為91.6%。4.5FASHION數(shù)據(jù)集上限FASHION數(shù)據(jù)集上限如下圖所示mAP上限為71.2%。4.6COCO數(shù)據(jù)集上限COCO數(shù)據(jù)集上限如下圖所示mAP上限為78.2%。五、上下文對目標識別精度的影響這一節(jié)屬于論文中的額外章節(jié)部分并不是在分析目標檢測精度上限而是分析目標框周圍上下文對目標檢測AP值的影響。5.1替換或刪除背景的影響通過將目標框外背景替換為白色或噪聲或者將背景直接刪除只留下目標框對比AP值如下圖所示實驗結果表明周圍背景信息對小目標的檢測AP值的影響非常明顯而將周圍背景信息替換或刪除后大目標的AP值反而有所上升。5.2將目標框置于異常背景的影響將目標框置于異常背景指的是例如將一艘船置于街道上結果如下圖所示5.3裁剪、模糊、翻轉的影響 目標檢測精度上限與影響因素分析
目標檢測精度上限與影響因素分析一、概述二、目標框周圍上下文對圖像分類精度的影響2.1實驗設置2.2實驗結果三、目標檢測錯誤類型分析3.1四種檢測錯誤3.2每種錯誤對檢測精度的影響程度分析四、目標檢測精度上限分析4.1分析前提4.2分析上限的兩種策略4.3兩種策略結果對比4.3.1第一種策略得出的上限4.3.2第二種策略得出的上限4.4VOC數(shù)據(jù)集上限4.5FASHION數(shù)據(jù)集上限4.6COCO數(shù)據(jù)集上限五、上下文對目標識別精度的影響5.1替換或刪除背景的影響5.2將目標框置于異常背景的影響5.3裁剪、模糊、翻轉的影響一、概述本文主要對一篇2019年分析目標檢測精度上限的論文進行介紹論文題目為《Empirical Upper Bound in Object Detection and More》論文地址https://arxiv.org/abs/1911.12451該論文既不是綜述類文章也不是提出了一種能夠達到更高精度的新的算法而是進行了大量實驗通過實驗數(shù)據(jù)的分析比對對影響目標檢測精度的因素進行了分析同時對深度學習算法所能夠達到的精度上限進行了預測。論文預測在COCO的val2017數(shù)據(jù)集上mAP值上限為78.2%VOC (test2007)數(shù)據(jù)集上mAP值上限為91.6%。論文提出影響目標檢測精度的最大原因是分類錯誤而不是定位偏差過大。二、目標框周圍上下文對圖像分類精度的影響2.1實驗設置論文首先研究了圖像分類任務而不是目標檢測任務探討目標框周圍的上下文信息對分類精度的影響。使用ResNet152作為分類模型輸入模型的圖片數(shù)據(jù)集分為三種分別進行訓練原始目標框原始目標框加上周圍上下文擴大目標框的寬高只有周圍上下文將目標框刪除如下圖所示目標框統(tǒng)一大小為224×224模型訓練15輪。2.2實驗結果在原始目標框上進行分類測試top1精度如下圖所示從實驗結果可看出原始目標檢測框包含了分類所需的最多信息目標框縮小會損失一部分信息導致分類精度下降目標框擴大將會帶來一些無關信息也會降低分類精度。三、目標檢測錯誤類型分析3.1四種檢測錯誤論文中將目標檢測錯誤的情況分為了4種分別為分類錯誤將背景當成了目標這種情況下檢測框與真實框之間的IoU小于0.1定位不準確這種情況下檢測框與真實框之間的IoU大于0.1且小于0.5重復檢測就是說如果一個檢測框與真實框的IoU大于0.5但是這個真實框已經(jīng)被分配那么就是重復檢測丟失目標就是真實框與任何檢測框的IoU都小于0.1真實框沒有被檢測到。如下圖所示3.2每種錯誤對檢測精度的影響程度分析每種錯誤對檢測精度的影響程度如下圖所示上圖分別在三種數(shù)據(jù)集上使用三種模型進行了實驗結果表明分類錯誤對檢測精度也就是mAP值的影響最重要。第二重要的是目標丟失其實也屬于分類錯誤。剩下的第三第四影響很小分別是定位不準和重復檢測。四、目標檢測精度上限分析4.1分析前提首先從前一節(jié)的實驗得出結論降低目標檢測精度的最重要因素是分類錯誤而定位不準的問題影響很小因此論文中在研究目標檢測上限時假設定位問題已經(jīng)解決即檢測到的目標框與真實框完全重合接下來要考慮的問題就是如何提高目標框的分類準確率從而得出AP值的上限。4.2分析上限的兩種策略第一種策略利用目標框周圍上下文信息來提高分類準確率從而分析出AP值上限。簡而言之使用目標框訓練出一個最佳分類器使用最佳分類器對目標框進行判斷得出置信度分數(shù)然后根據(jù)這個置信度分數(shù)計算AP值。第二節(jié)進行的目標框上下文信息對分類精度的影響實驗就是用在第一種策略中通過該實驗得出最佳分類器。第二種策略在目標框周圍搜索其他的檢測框這些檢測框要求與目標框的IoU不低于設定的閾值對這些檢測框進行分類將置信度分數(shù)最高的作為目標框的分類結果或者對這些檢測框的分類結果進行投票票數(shù)最高的類別作為目標框的分類結果。4.3兩種策略結果對比4.3.1第一種策略得出的上限第一種策略得出的不同數(shù)據(jù)集下的AP值上限如下圖所示IoU閾值不同下的檢測上限AP值不變這是因為分析上限的前提就是定位問題得到解決檢測框完全與真實框重合。4.3.2第二種策略得出的上限第二種策略得出的不同數(shù)據(jù)集下的AP值上限如下圖所示從圖中可看出第二種策略得出的AP上限值在大多數(shù)情況下比第一種策略得出的AP上限值要低。論文分析這是因為第二種策略引入了目標框周圍的信息而這些信息包含了一些噪聲會導致分類精度降低。因此論文使用第一種策略來探討目標檢測AP值上限。4.4VOC數(shù)據(jù)集上限VOC數(shù)據(jù)集上限如下圖所示上圖展示了兩種計算AP值的評估代碼左圖是VOC評估代碼右圖是COCO評估代碼論文結論中是使用的COCO評估代碼得出的mAP上限為91.6%。4.5FASHION數(shù)據(jù)集上限FASHION數(shù)據(jù)集上限如下圖所示mAP上限為71.2%。4.6COCO數(shù)據(jù)集上限COCO數(shù)據(jù)集上限如下圖所示mAP上限為78.2%。五、上下文對目標識別精度的影響這一節(jié)屬于論文中的額外章節(jié)部分并不是在分析目標檢測精度上限而是分析目標框周圍上下文對目標檢測AP值的影響。5.1替換或刪除背景的影響通過將目標框外背景替換為白色或噪聲或者將背景直接刪除只留下目標框對比AP值如下圖所示實驗結果表明周圍背景信息對小目標的檢測AP值的影響非常明顯而將周圍背景信息替換或刪除后大目標的AP值反而有所上升。5.2將目標框置于異常背景的影響將目標框置于異常背景指的是例如將一艘船置于街道上結果如下圖所示5.3裁剪、模糊、翻轉的影響