基于全景視覺圖像的實時目標檢測方法

黃天果，何 嘉，沈慶陽

(成都信息工程大學 計算機學院，四川 成都 610225)

0 引 言

隨著虛擬現實(virtual reality，VR)技術的飛速發展與廣泛應用，360°全景視覺圖像的應用也隨之增加。360°全景視覺圖像由于其對周圍環境無死角的全感知能力在無人駕駛領域中發揮越來越重要的作用。

基于卷積神經網絡(convolutional neural network，CNN)的目標檢測方法現已成為目標檢測領域的主流方法。根據訓練方式的不同，當前目標檢測方法主要分為基于區域候選框提取的雙階段方法和能實現端到端訓練的單階段方法，其中雙階段方法以R-CNN[1]系列為主，通過提取候選框后加以訓練實現高精度目標檢測。但隨著實際應用的深入以及對實時要求的提高，R-CNN系列方法很難用于無人駕駛等對實時性要求較高的領域，而端到端的單階段方法[2]的出現改變了這一情況，在可接受的范圍內降低精確度而大幅提高檢測速度，使得單階段方法更受工業界歡迎。

通過實驗可以驗證，不同圖像輸入大小對基于全景視覺下的目標檢測結果造成很大影響，采用高分辨率全景圖像能有效提高檢測精確度，但檢測速度較慢；目前基于道路場景下的全景目標檢測數據集很少，導致訓練缺乏足夠的樣本數，對檢測精確度造成影響；針對原YOLO[2]作者Redmon提出的最新目標檢測方法YOLOv3[3]，改進網絡結構使其在可接受范圍內降低精確度并有效提高高分辨率全景圖像檢測速度。

1 相關工作

從三維的球面圖像變換到二維平面圖像的過程被稱為投影，根據球面不同位置的顯示需要，投影方式可以分為圓柱投影、圓錐投影和方位投影。在全景視覺圖像中等距柱狀投影(equirectangular projection，ERP)是最常用的投影格式。ERP投影方式屬于圓柱投影，由于其投影方式簡單，導致圖像在南北極區周圍造成畸變，給目標檢測帶來挑戰。但在無人駕駛領域，目標檢測對物體的識別主要來自于水平方向目標的檢測，所以采用ERP投影是最好的方式。其次由于ERP全景視覺圖像的成像方式，決定了全景圖像中目標對象的大小與其所在圖像中位置有關，不同位置對目標大小的縮放與畸變程度造成影響，從而導致低分辨率下圖像中目標的有效像素相對更少，提高目標檢測的難度。

目標檢測模型訓練過程中，在數據集不足情況下為避免出現過擬合，進行數據增強是非常有必要的。針對低分辨率數據集如經典目標檢測數據集Pascal VOC(the pascal visual object classes challenge)，數據增強方法包括水平翻轉、圖像旋轉、隨機剪裁、平移變換、尺度縮放、顏色擾動以及添加噪聲等[4]，文獻[5]中提出馬賽克數據增強方法選擇4張不同圖片經隨機縮放和剪裁等操作后拼成一張圖片作為訓練輸入獲得4個不同的上下文混合特征，顯著減少對大批量數據的需求。當采用高分辨率(512×1024)的全景圖片作為輸入，對于以608×608為最高輸入大小的YOLOv3來說，簡單地將圖片進行縮放翻轉或多張圖結合并不能使存在畸變的全景圖像目標對象特征得到增強。本文針對全景ERP圖像成像原理，提出全景數據增強方法能有效增加目標對象畸變特征，增加模型對不同程度畸變的泛化能力并提高模型檢測結果。

本文基于MobileNet[10]網絡結構思想為單階段檢測模型YOLOv3框架引入深度可分離卷積結構來構建主干網絡，針對全景圖像成像特點改進YOLOv3網絡。新的網絡結構相對原始YOLOv3網絡在參數量上減少65.08%。實驗數據采用全景數據集OSV(omnidirectional street-view)[6]。為了解決全景數據集不足的問題，本文提出針對全景圖像的數據增強方法，對原始數據集擴充一倍訓練樣本量。實驗結果表明，擴充后的訓練數據集訓練模型在交并比(intersection over union，IOU)為0.5的條件下評估的模型平均精確度(mean average precision，mAP)相比原始訓練數據集訓練模型提高4.75%。

2 方法分析

2.1 全景數據集增強方法

在全景視覺圖像中，采用的全景相機通常會有多個攝像頭分布在相機周圍，采集后的多個圖像采用圖像拼接成一個球面后以各種投影格式存儲成二維圖像，主要有立方體投影、圓形投影、小行星投影和球面投影等。其中球面投影即ERP格式投影圖像，如圖1所示。

圖1 ERP格式全景模版

通過將ERP格式全景圖重新投影到球面上，使球面在三維笛卡爾坐標系下隨機旋轉，再投影到二維平面，獲取旋轉變換后點的位置對應旋轉前位置的像素點，實現圖像變換。以此能有效增加圖像中目標對象的畸變特征，使目標對象畸變多樣化，針對全景圖像增加訓練樣本。數據增強方法過程如下：

首先需要將二維平面上ERP格式圖像上各像素點在位置上進行歸一化，將圖像像素點信息從平面直角坐標系轉化到空間極坐標系，其過程可以表示為

(1)

其中，W表示原始ERP圖像寬度，H表示原始ERP圖像高度；φ為原點到球面上點的射線與X軸形成的角度，θ為原點到球面上點的射線與Y軸形成的角度。文本設球面為半徑置1的單位球，用以簡化位置計算量。將圖像像素信息從平面直角坐標系轉換到空間極坐標系后需要再轉換到空間直角坐標系，從而實現球面在空間的旋轉操作。其過程表示為

(2)

其中，X、Y、Z分別對應空間直角坐標系下的X軸、Y軸和Z軸，通過空間矩陣變換可以實現球面在空間的旋轉，對空間直角坐標系下的各點進行矩陣變換，其變換矩陣表示為

(3)

(4)

(5)

其中，Rx、Ry、Rz分別表示在空間直角坐標系中一點繞X、Y、Z軸旋轉的變換矩陣，rx、ry、rz分別表示繞X、Y、Z軸旋轉度數(單位：弧度)。

實驗結果表明，ERP格式下全景圖像在空間中進行繞軸旋轉，其中，針對Z軸進行繞軸旋轉表現在平面ERP格式圖像中是圖像左右平移，對于平移的ERP圖像，其畸變信息并不會隨平移量的增加減少產生變化，所以針對繞Z軸旋轉的旋轉度數rz可以是任意度數 ([-2π,2π])； 針對X軸的繞軸旋轉表現為左右兩模塊的順逆時針旋轉，引發前后模塊上下移動并伴隨畸變程度增加；針對Y軸的繞軸旋轉表現為前后模塊的順逆旋轉，引發左右模塊上下移動并伴隨畸變程度增加。

針對畸變程度，本文指定繞X軸、Y軸旋轉度數控制在 [-π/12,π/12] (其中負號表示反方向旋轉)，其原因為過大旋轉度數對于繞X軸和Y軸會使圖像產生不可逆轉的畸變程度，直接導致圖像中目標對象失去真實性從而降低檢測模型性能。實驗結果表明旋轉度數控制在 [-π/12,π/12] 能有效避免圖像產生過大的畸變影響檢測效果。

定義空間中一個點坐標為

[XijYijZij];i∈[0,H),j∈[0,W)

(6)

設該點繞X、Y、Z軸旋轉弧度分別為rx、ry、rz， 旋轉后的點表示為

(7)

經過空間旋轉操作后，空間直角坐標系下的像素信息需要重新投影到平面上，其過程為式(1)、式(2)的逆過程，具體操作如下：首先將旋轉后的空間直角坐標點重新轉換到空間極坐標系，其過程表示為

(8)

最后將空間極坐標轉為平面坐標，其過程表現為

(9)

其中，“”表示對W和H取余。

到此完成對ERP圖像的旋轉投影工作。如圖2所示，將平面ERP圖像上點在空間坐標系下繞X軸旋轉π/12，繞Y軸旋轉π/12，繞Z軸旋轉π/4后再投影的結果。

圖2 ERP旋轉投影展示

由圖2可以看出，在進行ERP圖像旋轉投影之后，相比于圖1圖像整體信息發生改變，針對Z軸旋轉實現圖像左右平移使原本在正前方的模塊移動到右邊，針對X軸和Y軸的旋轉實現不同模塊的旋轉。其中也能看出上下模塊畸變程度增加最為強烈，但由于全景視覺在實時目標檢測中的應用并不關注上下模塊，使得其變化對檢測的影響不大。

2.2 目標檢測已有方法分析

單階段目標檢測方法采用端到端的訓練方式，其檢測流程通常為：首先輸入一定尺寸的圖片，然后通過主干網絡(backbone)提取深度特征，將提取的特征輸入頸部網絡(neck)進行特征融合等操作使網絡更好地適應特征，最后通過頭部網絡(head)進行分類回歸獲取目標對象。其優勢表現在端到端訓練網絡模型在檢測速度時更快，相比于雙階段目標檢測方法，單階段目標檢測方法省去了提取候選框的步驟引入錨框的概念，實現直接分類回歸節省大量時間，但同時也降低了檢測精度。

在YOLOv3原文中，作者定義網絡輸入大小最小為416×416，最大為608×608。由于采用Darknet53[3]作為主干網絡，從3個尺度提取特征分別是/8(縮小8倍)，/16，/32，所以圖像輸入需要滿足32的倍數。在Darknet53中，主要采用的組件是殘差網絡[3]，其結構如圖3所示。

圖3 殘差網絡結構

通過主干網絡提取3個尺度下的特征分別對應3種不同大小的目標對象，在YOLOv3頭部結構中輸出最小的特征(/32)會通過上采樣與大尺度特征進行特征融合最后實現融合后的多尺度輸出。通過YOLOv3結構輸出的特征在與預定義錨框(anchor-box)結合訓練時需要首先進行解碼操作：將不同尺度目標特征與對應縮小倍數(stride)相乘；對置信度和預測類別進行Sigmoid操作使其控制在[0,1]。

2.3 YOLOv3網絡輕量化

通過對原始YOLOv3網絡的分析與實驗可知，在高分辨率全景圖像輸入情況下，圖像檢測耗時主要在網絡計算和解碼操作上。針對耗時原因，采取以下方式實現實時檢測。

2.3.1 基于深度可分離卷積神經思想的主干網絡

深度可分離卷積神經網絡經過實驗驗證[11]可以在更少的參數量實現同等卷積效果，其運算過程可以表示為

(10)

其中，βi表示網絡第i層的輸入特征圖；ξin表示第i層特征圖的第n個通道；k表示卷積核；通過D(·) 操作實現深度可分離卷積操作中逐通道卷積操作，與常規卷積操作中輸入層中各個通道都需要與每個卷積核對應通道進行卷積不同，逐通道卷積中卷積核通道數不是輸出通道數，而是采用輸入通道數，通過對應通道卷積實現深度可分離卷積的第一次卷積操作；S(·) 是將逐通道操作的輸出進行逐點卷積操作，其過程為通過輸出通道個數的1×1大小卷積核與當前輸入特征圖進行常規卷積操作，從而實現卷積計算量的大幅下降。τ為D(·) 操作的輸出表示第i層特征在經過逐通道卷積后的狀態，并作為S(·) 操作的輸入。最終輸出βi+1表示第i+1層的輸入。

假設輸入特征圖通道數為n， 卷積核大小為k×k， 輸出通道數為m， 相比于常規卷積操作，深度可分離卷積參數量減少1-1/m-1/k2。 基于以上分析，采用深度可分離卷積替換Darknet53殘差網絡中的兩次常規卷積操作能有效減少網絡參數量，本文稱其為深度可分離特征融合塊(depth separability feature fusion block，DSFF_Block)。

2.3.2 針對解碼耗時問題改進頭部網絡

通過Darknet53主干網絡會輸出3種尺度(/8，/16，/32)的特征圖，在YOLOv3頭部網絡中，將最小尺度(/32)的特征圖直接進行分類回歸，并對其上采樣與中型尺度(/16)結合進行輸出，同理上采樣與最大尺度(/8)結合作為最大尺度輸出。在YOLOv3中作者沒有加入全連接層(fully connected layer，FC)，而是分別對3種尺寸特征圖解碼到標簽格式，以供訓練。

針對3種尺寸的解碼會造成大量計算，而根據高分辨率全景圖像目標對象分布情況，本文取消頭部網絡中中尺度特征圖(/16)的輸出，改進為將其進行向上向下采樣并分別與最大尺度和最小尺度結合的方式實現特征融合。改進后的網絡結構如圖4所示。

訓練圖像在輸入模型后，會首先經過一個32×3×3的卷積操作主要是為提取圖像特征進行圖像通道數預擴大。之后連續經過5次DSFF_Block，每一個DSFF_Block都有不同大小的特征圖輸出(經過不同個數卷積核進行卷積操作，如圖4中64，128分別表示經過64×3×3和128×3×3的卷積操作)和不同的循環次數(如圖4中1×，2×，4×分別表示進行1、2、4次循環)，且每一個DSFF_Block循環塊在進行循環前包含一次下采樣操作，每執行一次DSFF_Block操作對其輸出進行一次非線性運算：表現為批量歸一化和線性修正單元(rectufied lear unit，ReLU)的組合。

圖4 改進網絡結構

經過主干網絡輸出3種尺度的特征圖，在頸部網絡中通過上下采樣實現多維特征融合，最后網絡輸出為兩種尺寸的多維向量，再經過解碼操作后，網絡輸出為向量

(batch_size,r_h,r_w,3,num_class+5)

(11)

其中，batch_size表示批處理數，即單次向模型輸入圖像的數量；r_h和r_w表示兩種尺度的特征圖；3表示3種預定義的anchor-box；num_class表示目標種類個數，采用one-hot編碼表示；5表示預測框信息(中心點位置以及寬高)和置信度。

3 實 驗

本文進行了3個實驗：實驗一針對原始YOLOv3采用不同分辨率全景圖像作為輸入，考察不同分辨率輸入對模型檢測精度和速度的影響；實驗二驗證擴充數據集的有效性；實驗三量化改進網絡結構后模型的性能。

3.1 損失函數及訓練超參數

網絡訓練損失函數采用多目標函數衡量，分別是目標框回歸損失函數、類別損失函數以及置信度損失函數。其中目標框回歸損失采用CIoU[12]指導損失，類別損失函數采用原始Sigmoid交叉熵損失函數，并采用Focal Loss[13]指導置信度損失。

在訓練過程中，由于圖像大小輸入分辨率高，batch_size設置為8，Epoch為100；對于多世代(epoch)的深度神經網絡訓練，學習率(learning rate，LR)直接影響網絡損失收斂方向，也對有網絡收斂速度造成影響，通常學習率調整策略包括在訓練中微調、隨迭代次數增加的線性變化以及周期性變化等。本實驗通過設置動態學習率實現學習率隨迭代次數增加的非線性變化，其過程可以表示為

(12)

(13)

其中，Lx表示最大學習率設為10-4，Ls表示最小學習率設為10-6；i為訓練到第幾個Epoch；G為訓練樣本總數；E為預熱階段Epoch數；由此，學習率在第U步達到最大值；T為總的訓練步數，在達到最大值后以非線性曲線下降，在最后一個Epoch達到最低值。

3.2 不同分辨率輸入對模型的影響

本實驗中算法模型采用YOLOv3進行實驗主要驗證不同分辨率圖像作為輸入時對模型檢測精度和速度的影響。在原始YOLOv3中作者采用416×416作為圖像輸入大小，針對全景圖像目標對象大小與原圖像比例的關系，本實驗最小輸入采用608×608，再分別使用1024×1024，512×1024作為輸入大小進行驗證。實驗結果見表1。

表1 不同分辨率輸入大小在YOLOv3上測試結果

由表1數據可知，相對于608×608輸入大小，1024×1024輸入大小在mAP上提高了31.68%，但在檢測速度上，每秒幀數下降47.5%，由此可以得出結論，由于深度神經網絡多次卷積操作提取特征造成感受野的固定化，高分辨率全景圖像輸入能提取更大的感受野使得檢測精度提高，同時需要更多的計算造成檢測速度下降。通過將512×1024作為輸入和1024×1024輸入進行比較可以看出，盡管在檢測精度上只有較小的下降，但仍無法滿足實時檢測的要求(通常認為20 FPS以上基本滿足實時)。

3.3 針對全景數據集的數據增強方法的有效性驗證

由表2數據顯示，擴充后的數據集相比原數據集對基于全景圖像的目標檢測平均精確度有積極作用，在采用YOLOv3和MobileNet作為檢測方法進行訓練的模型在檢測精度上分別提高了4.75%和7.49%，驗證了全景數據集數據增強方法能有效提高全景視覺圖像目標對象的畸變特征，增強模型對畸變檢測的泛化能力。

表2 全景圖像數據集數據增強方法有效性測試結果

3.4 YOLOv3輕量化網絡模型性能測試

本實驗驗證所提出的輕量化YOLOv3結構能有效提升高分辨率全景圖像輸入下目標檢測速度。與經典雙階段目標檢測方法Faster R-CNN[7]以及各種單階段目標檢測方法包括SSD[15]、YOLOv3以及輕量化模型MobileNetv3進行比較，實驗采用512×1024作為圖像輸入大小，采用擴充的全景數據集(OSV-EX)作為實驗數據集，實驗結果見表3。

表3 針對全景目標檢測的YOLOv3輕量化 網絡結構測試結果

由表3數據顯示，Faster R-CNN作為R-CNN系列雙階段目標檢測算法，也是第一次通過RPN網絡引入Anchor概念，其在全景圖像中的檢測精確度上達到最高的88.81%，但檢測速度只有1.81 FPS，驗證雙階段目標檢測算法在實時檢測性能上的不足；而端到端訓練的SSD方法在高分辨率的全景圖像輸入下也難以達到實時檢測。相比YOLOv3目標檢測方法，本文提出的輕量化網絡結構在網絡參數量上減少了65.08%，在可接受范圍內下降一定檢測精度(3.08%)，模型檢測速度提升31.81%，達到25.03 FPS，實現實時檢測。作為對照實驗，MobileNetv3盡管在檢測速度上達到23.64 FPS，但檢測精度相對較低，不利于實際應用。

4 結束語

本文針對全景視覺圖像實時目標檢測進行相關研究。首先針對全景圖像訓練數據集不足的問題，提出一種適用于全景圖像數據增強的方法，該方法能有效增強全景ERP格式圖像中目標對象的畸變特征；基于YOLOv3結構和深度可分離卷積實現主干網絡輕量化，同時對頭部網絡進行優化減少解碼過程計算量。實驗結果表明,輕量化的網絡結構在網絡參數量上減少了65.08%，實現高分辨率(512×1024)全景圖像輸入下的實時目標檢測。

本文提出的輕量化網絡的方法在實現實時檢測的同時也造成了檢測精度的少量下降，主要是由于深度可分離卷積在降低參數量的同時對提取的特征造成壓縮對檢測器造成一定影響。在未來的工作中，將研究采用自適應剪枝的方式對網絡進行輕量化，并量化其對檢測性能的影響。