目標邊緣特征增強檢測算法

李雪萌，楊大偉，毛 琳

(大連民族大學 機電工程學院，遼寧 大連 116605)

目標檢測算法因卷積特征表達能力不足，而致使檢測偏離真實值，常表現為對小目標和同類多目標檢測失效。基于深度學習的目標檢測算法致力于不斷提高檢測精度，按兩階段和單階段目標檢測算法進行分類。兩階段檢測算法的代表是基于區域生成的豐富特征層次結構網絡(RCNN[1])系列算法，RCNN檢測算法通過對輸入的圖片生成候選區域，使用基于深度卷積神經網絡的圖像分類(AlexNet[2])主干網絡進行特征提取，并訓練支持向量機(Support Vector Machine,SVM)對特征進行區域分類，取得比傳統檢測方法更好的結果。但其訓練步驟繁瑣，重復計算多。兩階段算法較單階段算法擁有更高的檢測精度，但檢測效率較低。單階段檢測算法包含單次取樣計算(You only look once，YOLO[3])、單次多尺度檢測器(Single Shot MultiBox Detector，SSD[4])、分組角點檢測網絡(CornerNet)等。CornerNet具有可以與兩階段檢測器相媲美的檢測精度，該算法將對目標的檢測轉換為對目標關鍵點的檢測，使用沙漏特征提取網絡(Hourglass[5])作為骨干網絡，通過目標左上角點與右下角點確定邊界框位置，省略生成錨框的步驟。

CornerNet檢測特征角點時，常常對目標邊界定位不準確，當目標尺寸過小或同類目標距離過近時，容易出現漏檢或錯檢現象。針對誤撿漏檢等問題，提出基于多尺度特征融合的小目標行人檢測[6]，結合反卷積與特征融合思想，實現深層特征與淺層特征結合使用，在一定程度上提高檢測精度，但網絡結構較為復雜，同時計算量增加。文獻[7]為解決復雜背景下全景視頻中運動小目標檢測精度低的問題，提出了一種基于復雜背景下全景視頻運動小目標檢測算法，通過分離前景背景信息，提取有效的前景信息并訓練前景特征圖，實現小目標的精準檢測，但算法運算時間長，無法實現目標實時檢測。

本文提出一種邊緣特征增強的CornerNet目標檢測算法(Octconv Egle feature enhancement Cornernet，OEC)，通過增強圖像邊緣特征實現邊界框的精確定位。該算法加入OEC邊緣特征增強模塊獲取目標的高低頻分量信息，經融合兩種不同分量信息增強邊緣特征表達能力，改善CornerNet角點檢測漏檢、精度下降的情況，有效提升對小目標的檢測，對空間距離較小的同類目標區分能力顯著提升，進一步提高檢測精度。

1 OEC目標邊緣特征增強檢測算法

CornerNet算法的核心思想，是通過一個沙漏主干神經網絡分別對目標的左上角和右下角進行卷積池化處理，獲取目標邊框角點，利用熱圖(Heatmap)估計目標所在的真實位置。預測邊框角點時，在沙漏網絡提取特征細節信息的過程中，一旦信息缺失或不完整，將直接影響熱圖對目標位置的判斷，導致目標范圍定位不準確。

OEC目標檢測算法運用圖像頻率域高低頻信息融合的思想，通過強調特征中高頻信息分量增強邊緣特征信息，有利于熱圖對角點位置的檢測，不僅解決低頻分量冗余問題，更可提高識別性能，能夠對目標進行有效區分和定位，改善對空間距離較小的同類目標以及小目標檢測精度較低的問題。OEC目標檢測算法結構框架如圖1。

圖1 OEC目標檢測算法結構

1.1 OEC模塊

OEC檢測算法由串聯型OEC邊緣特征增強模塊實現，目的為從沙漏網絡中分離出高頻、低頻不同的特征分量信息。在CornetNet網絡中，特征經沙漏網絡輸出后直接進入角點處理層，即由A到A′點直接相連，在角點處理層中直接計算熱圖，確定目標位置。由于熱圖計算對目標邊緣信息極為敏感，OEC模塊在沙漏網絡后，即AA′之間插入OEC邊緣特征增強模塊，通過OEC模塊對特征進行邊緣增強處理，分解為不同頻率，融合輸出適當的高頻特征信息，為熱圖計算目標位置提供良好的預處理。

(1)特征通過沙漏網絡進入OEC模塊。經過1×1×128的卷積Conv進行降維變換，調整特征圖尺度。

(2)引入八度卷積(Octave Convolution，OctConv[8])過濾特征信息，對輸入頻率張量中的低頻和高頻分量進行處理，輸出融合信息。

(3)輸出的高頻信息經過1×1×128的反卷積DConv還原尺度，在角點處理層中生成熱圖，計算角點，得到目標的邊框信息。

OEC模塊結構如圖2。

圖2 OEC邊緣特征增強模塊結構

1.2 邊緣特征增強

在卷積神經網絡中，通過對特征圖進行頻率分離，可以充分提取圖像的相關特征信息。在邊緣特征增強模塊中，引入OctConv算法對輸入特征中的低頻和高頻分量進行分離-融合處理，通過融合部分低頻信息，輸出更多的高頻信息，增強目標邊緣特征。

當γ=0時，僅包含高頻分量，沒有低頻分量信息，此時OctConv退化為普通卷積；當γ=1時，只輸出低頻信息而沒有高頻信息。

輸出的融合分量設為Y，則Y的構建過程為

Y=[γYL+(1-γ)YH]]·D；

(1)

YL=(XL?M)+P(XH?M) ；

(2)

YH=(XH?M)+U(XL?M) 。

(3)

式中：D∈(0,1)為幅值系數；?為卷積計算；P為池化操作；U為上采樣操作。通過調節頻率分配系數γ控制融合分量的比率，最終輸出高低頻融合信息Y。

高低頻融合張量的計算過程為

(4)

OEC模塊通過融合高低頻信息，有效替代普通卷積，穩定提高識別性能。

1.3 邊緣特征可視化

邊緣特征的增強有利于熱圖計算，從而更精確地確定目標位置，通過計算OEC 高頻輸出后在熱圖中的類別得分，設計損失函數確定目標類別和檢測的準確性。計算得到高頻增強的熱圖得分：

(5)

由于高頻處理能夠突出特征的邊緣信息，利于特征邊緣信息的增強顯示，通過OEC模塊增強高頻信息，融合低頻信息，在實現高低頻分量特征有效通信的基礎上輸出更多的高頻分量。得到損失函數：

(6)

式中：pc為熱圖中類別c的得分；n是圖像中目標的數量；α和β是控制角點的超參數；Sc為高頻輸出，(1-Sc)項增強了對真實值的約束。輸入到熱圖的特征經OEC模塊增強后的可視化對比如圖3。

圖3 邊緣特征可視化對比

圖3中(1)行為原始圖像；(2)行為CornerNet原始算法中經Conv卷積層的可視化表達；(3)行為OEC算法中經OEC模塊的可視化表達；(4)行為原始卷積細節顯示效果；(5)行為經OEC算法特征增強后細節顯示效果。OEC檢測算法增強目標的邊緣特征信息，在一定程度上提高了邊緣特征的表達能力，利于目標的檢測。

2 仿真分析

本算法運行環境硬件配置為NVIDIA 1080Ti顯卡，軟件系統為Ubuntu16.04，使用Pytorch0.4.0深度學習框架，訓練使用語境中通用目標(Common Objects in Context，COCO[9])2014數據集，共有123 287張圖片。將頻率分配系數設置為0，幅值系數D設為1，不改變特征圖輸入與輸出的大小，輸出融合信息，增強高頻特征。COCO 2014數據集提供的圖片包含80個類別，經過與CornerNet仿真分析，設置批處理大小為2，在同樣迭代80 000次的情況下，學習率為0.000 25，以IOU=0.5為標準進行對比分析。仿真結果見表1。

表1 算法對比結果

測試結果顯示OEC檢測算法mAP為0.302高于CornerNet檢測算法(0.223)。在COCO數據集80個檢測類別中，OEC檢測算法的平均準確率均優于CornerNet，列舉20個類別對比見表3。

表2 在COCO2014數據集上的仿真結果

OEC檢測算法對人、交通工具、動物等類別檢測效果的提高尤其明顯，應用于無人駕駛系統、智能機器人等領域時，可有效提高檢測精度，相比CornerNet存在較大優勢。

選取OEC與CornerNet四組場景的測試結果如圖4。

第一組對比圖中由于目標過小，且目標與背景區分度不高，CornerNet不能檢測遠處場景中小目標(右側的人)，而OEC能夠準確檢測并分類；第二組對比圖中，同一類目標過多且重疊度高，OEC相比CornerNet能夠檢測出更多的小目標；第三組對比圖存在多個同一類目標且位置相近，CornerNet出現漏檢的現象，OEC準確檢測到CornerNet未檢測到的目標(右數第四個人)；第四組對比圖中，CornerNet由于關鍵點定位錯誤，對于空間距離相近的同類目標不能夠正確區分，OEC能夠正確區分同一目標的不同位置，對目標進行精確框定。

OEC目標檢測算法在一定程度上提高檢測精度的同時，對于場景中存在多個目標以及目標與背景區分度過低情況下的檢測效果仍待提升，如圖5。

a)CornerNet測試結果 b)OEC測試結果

a)目標密集場景 b)目標區分度低場景

圖5a中由于目標分布較密集，OEC算法不能檢測出場景中的所有目標；圖5b中，目標與背景區分度過低，目標(右側的小鳥)沒有被檢測到。

對比CornerNet算法檢測結果，OEC算法的檢測精度提升幅度達0.9%，檢測效果提升明顯。雖然增加了卷積操作但訓練時間并沒有較大差距，同時計算量減少。OEC檢測算法通過增強特征細節，能夠檢測到更多的特征信息，對小目標和空間距離較小的同類目標檢測效果較好，并適用于復雜場景，檢測精度有明顯的優勢。

3 結 語

本文針對CornerNet檢測算法對角點檢測容易出現漏檢和檢測效果不佳的情況，加入邊緣特征增強模塊分離并輸出更多的高頻信息，提出OEC目標邊緣特征增強檢測算法，通過增強邊緣特征信息，進一步提高檢測精度。與CornerNet算法相比，OEC算法進一步改善了目標的框定效果，并得到較優結果，提高對尺寸較小目標的檢測精度，對空間距離較小的同類目標區分能力提升，適用于無人駕駛及移動機器人等場景。后續工作中，希望進一步提高對復雜場景下存在多個目標的檢測精度，提升目標與背景的區分能力。