多視角數據融合的特征平衡YOLOv3行人檢測研究

陳麗，馬楠,2，逄桂林，高躍，李佳洪,2，張國平，吳祉璇，姚永強

（1. 北京聯合大學 北京市信息服務工程重點實驗室，北京 100101; 2. 北京聯合大學 機器人學院，北京 100101;3. 北京交通大學 計算機與信息技術學院，北京 100044; 4. 清華大學 軟件學院，北京 100085）

安全性是無人駕駛技術研究成果落地應用的重要需求。無人駕駛技術需要與周圍環境形成良好的交互[1]。無人駕駛需要具備認知能力，才能更好地學習。對周圍環境的感知、主動學習是無人駕駛技術必須攻克的一個難點[2]。其中，行人檢測就是無人駕駛進行環境認知的一個必備環節。行人檢測工作主要是判別在輸入的視頻、圖像中是否含有行人并返回其位置。在無人駕駛場景下，一旦未能及時、準確地檢測出行人，就會造成傷亡，后果不堪設想，所以無人駕駛條件下對行人檢測的準確性有極高的要求。因為行人存在不同的運動姿態、不同的穿衣風格，行人被別的障礙物遮擋以及行人之間互相遮擋[3]，復雜交通場景下光線不統一等問題，行人檢測一直是無人駕駛領域重點研究的問題[4]。

復雜交通場景下的行人檢測要求在發生部分遮擋時，仍能檢測出行人，并且要求能快速有效地檢測出車輛前方遠距離的小目標行人(小目標指在整張圖片中目標的像素點小于 3 2×32，或者目標尺寸低于原圖像尺寸的10%[5])。但是，在實際實驗中，依靠單一視角的數據，行人發生遮擋時很難被檢測到。

為了解決發生遮擋以及遠距離行人檢測困難的問題，本文提出一種基于多視角數據融合的特征平衡YOLOv3行人檢測模型(multi-view data and balanced YOLOv3, MVBYOLO)。首先輸入不同視角的圖像，使用自監督學習的多視角特征點融合網絡模型(self-supervised network for multiview fusion model, Self-MVFM)對其進行特征點提取與匹配，實現多視角圖像融合。但是在實際問題中不同角度的攝像機采集的圖像融后會產生色差。本文在多視角圖像融合時引入改進的加權平滑算法，有效解決不同視角圖像融合時產生色差的問題。此外，為了提高復雜交通場景下車輛前方遠距離行人的檢測精度，本文提出了一個特征平衡的YOLOv3網絡(balanced YOLOv3, BYOLO)，在接收到經過Self-MVFM網絡融合的多視角圖像后，用Darknet-53網絡對圖像進行特征提取，可以獲得分辨率不同的特征。分辨率高的低層特征包括行人的輪廓、衣著顏色、紋理等信息；分辨率低的高層特征包括肢體、人臉等語義信息。對獲得的低層特征與高層特征進行采樣，映射到中間層級的分辨率進行特征融合、修正，再通過相反的采樣方式適配到原分辨率的特征圖，與Darknet-53提取的原始特征進行融合，再利用融合后的特征預測行人。在公共數據集VOC上的實驗結果表明，本文提出的MVBYOLO行人檢測模型可以有效提高復雜場景下的行人檢測精度。

1 基于多視角數據的行人檢測研究

1.1 多視角數據融合算法

針對多角度、多尺度的特征如何進行融合的問題，一直受到研究者們的關注。Farenzena等[6]提出了一種對稱驅動的局部特征累積方法，該方法從結構元素成分分析模型[7]提取的行人輪廓中找到垂直對稱軸，然后根據像素的權重提取顏色和紋理特征。Wen等[8]提出從幾張已知相機位置的多視角彩色圖片生成三角網格模型的網絡結構，使用圖卷積神經網絡從多視角圖片的交叉信息學習進一步提升形狀質量。相比于直接建立從圖像到最終 3D 形狀的映射，本文預測一系列形變，逐漸將由多視角圖片生成的粗略形狀精細化。Chen等[9]通過輸入多張不同角度的圖片，提取不同的點云特征，再進行融合，從而生成最終的點云。與基于代價體的同類網絡相比，這種基于點云的網絡結構具有更高的準確性，更高的計算效率和更大的靈活性。Yi等[10]引入2種新穎的自適應視圖融合(逐像素視圖融合和體素視圖融合)，考慮在不同視角圖像間多重匹配的不同重要性，優化了代價體的計算方法并且引入了新的深度圖聚合結構，提高了3D點云重建的魯棒性和完整性。曠世科技公司提出的雙向網絡[11]，利用深度學習模型，對提取的空間信息特征和全局語義特征進行融合，兼顧了語義分割任務的速度與語義信息。Su等[12]提出多視角卷積網絡（multi-view convolutional neural networks,MVCNN)，利用二維的CNN網絡對多個視角的圖像進行融合，實驗結果顯示比直接用3D檢測方法更好。Feng等[13]提出的組視圖卷積網絡框架，在MVCNN基礎上增加分組模型，將不同視角的信息根據相關性進行分組后，再進行特征融合。Dong等[14]在CVPR2019上提出一種利用外觀特征和幾何約束相似性矩陣共同尋找各個視角中滿足回路一致性的二維姿態匹配關系，實現了較好的多視角下多人的三維姿態估計結果。澳洲國立大學鄭良老師實驗室提出多視角檢測模型[15]聯合考慮多個相機，利用特征圖的投影變換進行多相機信息融合，提高虛擬場景下行人發生遮擋時的檢測效率。

1.2 行人檢測方法

行人檢測是目標檢測領域的一個重要分支，其主要任務是找出輸入的圖像或視頻幀中存在的行人，并用矩形框輸出行人位置和大小。然而行人的著裝風格、姿勢、形狀不同，并且面臨被物體遮擋以及行人互相遮擋、拍攝光照不同、拍攝角度不同等因素的影響，使得行人檢測任務一直受到視覺研究者們的關注。從研究歷史來看，行人檢測方法可以分為2個主要方向：基于傳統算法的行人檢測和基于深度學習的行人檢測。

1.2.1 基于傳統算法的行人檢測

傳統算法的典型代表是利用方向梯度直方圖（histogram of oriented gradient, HOG）進行行人特征提取，并利用支持向量機（support vector machine，SVM）算法進行分類[16]。HOG是一種重要有效的圖像局部紋理特征描述子。在深度學習特征提取方法未普及之前，被研究者們廣泛使用。Girshick[17]等提出形變部件模型（deformable parts model, DPM）算法，使用HOG提取特征，并獨立地對行人的不同部位進行建模，從而在一定程度上解決了行人遮擋難以檢測的問題。DPM中包含2個部分：根部模型和部位模型。根部模型主要是定位對象的潛在區域，找出可能存在物體對象的區域，再與部位模型進行確認，最終采用SVM和AdaBoost進行分類。另外，也有部分學者從運動特征角度進行研究。假設捕捉行人運動的攝像機是固定不動的，則使用背景建模算法提取出運動的前景目標，再對前景目標進行分類。背景建模算法的思路是：通過學習前一幀獲得背景模型，把當前幀與背景幀數據進行對比，得到運動的目標，代表性方法是高斯混合模型[18]、視頻前景提取算法算法[19]、樣本一致性建模算法[20]、基于像素的參數自適應算法[21]。

1.2.2 基于深度學習的行人檢測

基于傳統算法的行人檢測在一定條件下可以達到較好的檢測效率或準確性，但仍不能滿足實際的應用需求。2012年Krizhevsky等[22]將深度學習技術應用到圖像分類并取得良好效果，研究者們發現通過神經網絡提取的特征具有很強的表達能力和魯棒性，使計算機視覺的發展邁上了一個新臺階。因此，對于行人檢測任務，基于深度學習的方法受到越來越多研究者的青睞。

基于深度學習的行人檢測又可分為雙階段檢測與單階段檢測。雙階段檢測方法首先生成一組稀疏的目標候選框，然后對候選框進行分類和回歸。Girshick[23]等提出區域卷積神經網絡（regions with CNN features，R-CNN），首次將CNN用于目標檢測，極大提高了目標檢測的性能。后來Girshick在R-CNN基礎上進行改進，提出了快速區域卷積神經網絡模型[24]，將感興趣區域提取與特征分類合并在同一個網絡結構，提高了模型訓練的速度和檢測的準確率。Ren等[25]在 Fast RCNN 上增加區域卷積網絡來生成候選區域，構成一種更快的區域卷積神經網絡模型，端到端的訓練方式大大提高了運算速度。

單階段的方法通過直接對圖像中的不同位置，尺度和長寬比進行規則和密集采樣，以此來預測圖像中的目標。以YOLO[26]為代表的單階段檢測方法將目標檢測任務轉換為回歸問題，是一種快速的行人檢測方法。除了YOLO系列算法，單階段檢測的模型還包括單次檢測模型[27]。Zhang等[28]提出基于單次精化神經網絡的目標檢測方法，結合單階段檢測速度快及雙階段檢測準確率高的優點。方法包括錨窗精化模塊和目標檢測模塊，2個模塊互相連接，兼顧了檢測的準確率與速度。

2 多視角數據融合的特征平衡

本文提出的多視角數據融合的特征平衡YOLOv3行人檢測網絡(MVBYOLO)包括2部分：1)自監督學習的多視角特征點融合網絡模型(Self-MVFM)；2)特征平衡YOLOv3網絡(BYOLO)。首先對輸入的多視角圖像做特征匹配，融合成一個完備的圖像，之后再利用目標檢測網絡對融合后的圖像做訓練，提高遮擋及遠距離小尺寸行人檢測的精度。網絡總體框架如圖1所示。

圖1 MVBYOLO行人檢測網絡Fig. 1 Multi-view data fusion and balanced YOLOv3 for pedestrian detection

2.1 自監督學習的多視角特征點融合網絡模型

自監督學習的多視角數據融合模型工作流程如下：圖像獲取、自監督特征點與描述子提取、特征匹配，最后進行多視角圖像融合。本文提出自監督學習的多視角特征點融合網絡模型，網絡結構如圖2所示。

2.1.1 數據集自標注與模型訓練

多視角數據融合過程中的數據集特征點提取任務很難利用人工標注。對于傳統的檢測、分割任務的標注，給定一個圖像，通過標注矩形框或者標注物體的輪廓，可以得到確定的語義真值。但是對于特征點檢測任務，人工很難判斷哪一個像素點可以作為特征點，因此本文利用僅包含簡單幾何形狀的基本數據集和自行采集數據集進行數據集的自標注[29]，具體流程為

1) 利用簡單幾何形狀數據集進行模型的預訓練

簡單幾何形狀數據集是由一些線段、多邊形、立方體等特征點較為容易確定的圖像構成的。利用尺度不變特征變換等進行基本數據集的特征點提取，可以得到數據集和特征點真值。因為線段、三角形等基礎幾何形狀圖像的特征點是真實圖像特征點的子集。利用標注好的簡單幾何形狀數據集對特征點檢測網絡進行訓練，得到了一個初級特征點檢測網絡。與尺度不變特征變換等傳統算法相比，在簡單幾何形狀數據集訓練得到的初級特征點檢測網絡在精度方面具有一定的優勢，但是在對真實圖像數據集進行提取特征點時會出現一些特征點的遺漏問題，檢測精確度較低。因此本文利用單應性適應變換和初級特征點檢測網絡訓練得到新的模型，提升真實圖像特征點提取的精度。

2) 自行采集圖像自標注

利用多次復合幾何變換對輸入的圖像進行處理，本文設置超參數Nh=80；即N1是未經過復合幾何變換的原始圖像，剩余的79幀圖像是原始圖像經過隨機生成的復合簡單幾何變換形成的圖像。利用步驟1)中生成的初級特征點檢測網絡對真實圖像數據集偽特征點進行提取，將與源圖像對應的79幀圖像映射回原圖像的特征點累加起來形成新的源圖像特征點。至此本文完成了真實圖像數據集的特征點標注。

圖2 Self-MVFM網絡模型Fig. 2 Self-supervised multi-view feature fusion model

在復合簡單幾何變換中，本文獲取了79幀經過已知變換矩陣形成的源圖像變換圖像，因此獲得了源圖像和其對應的79幀圖像的79組已知位姿變換的圖像對。這樣就得到了原始圖像與變換圖像之間映射關系的真值。最終的自行采集數據集包含特征點和特征點描述子真值，用于特征點檢測網絡中特征點檢測和描述子檢測2個網絡分支的聯合訓練。

為了實現特征點檢測子網絡和描述子檢測子網絡在初級特征點檢測網絡中的聯合訓練，將2個檢測子網絡的損失函數值加權相加，得到統一的損失函數。

2.1.2 復合幾何變換

為了將不同視角的信息進行融合，需要先找到不同視角的對應關系。利用自適應單應性變換求解不同視角的對應關系矩陣H。單應性變換為

式中： (x1,y1) 代表來自第一個視角的圖片中的某一點； (x2,y2) 代表來自另一個視角圖片中與(x1,y1)對應的某點。需要通過2張不同視角的照片計算出復合幾何變換矩陣H。

通過自監督學習到的復合簡單幾何變換矩陣并非都是有用的，需要進行選擇。為了選取表現較好的復合簡單幾何變換矩陣，使用截斷正態分布在預定范圍內進行平移、縮放、平面內旋轉和對稱透視變換采樣。

2.1.3 增強特征點檢測網絡

在獲得數據集的原始圖像與真實圖像之間映射關系的真值之后，就完成了真實數據集的自標注，實現了難以人工進行標注的真實圖像數據集自標注。增強特征點檢測網絡[11]用于訓練前面獲得的自標注圖像數據集，以提高特征點提取的 準確性。增強特征點檢測網絡如圖3所示。

圖3 增強特征點檢測網絡結構Fig. 3 Enhanced feature point detection network

多層次編碼器：為了兼顧實時性與精確性，增強特征點檢測網絡被設計成2個分支，分別用來處理不同的任務。上邊的分支通過非對稱的編碼解碼網絡實現對原始圖像進行深層特征點的提取。對原始單視圖像進行特征描述子的生成，通過多通道、低層次的編碼器網絡(圖3的下方分支)，提取原始圖像表層的特征描述。

特征點檢測：在特征點檢測網絡部分時，經過深層、少通道、非對稱的編碼解碼網絡得到圖像的特征點。

融合網絡(fusion network, FN)： 由于網絡的特征圖并不具有相同的通道和尺寸，描述子生成網絡提取到的特征是淺層的，包含大量的位置信息，而特征點檢測網絡經過多層編碼器之后得到的是深層的特征點，包含胳膊、人臉等信息。為了融合不同層級的特征，融合網絡先通過Concatenate操作實現不同層次特征圖的簡單融合。為了平衡不同尺寸的特征，在Concatenate之后使用了BatchNorm操作。把相連接的特征經過全局池化、1×1卷積得到一個新的權重。這樣做的目的是對連接后的特征進行一個新的特征選擇和結合。至此，本文得到了W×H×D的描述子檢測結果，其中W是原始圖像的寬、H是原始圖像的長、D是原始圖像的通道。

注意力模塊(attention model, AM)：經過全局池化之后，可以簡單得到深層全局語義信息，并通過1×1卷積操作平衡多層次編碼器得到的不同特征圖通道之間的差異。

2.1.4 加權平滑算法

在實際應用中，自行采集的數據集由于相機的架設位置和光照條件變化原因，存在2個視角點信息因光場變化產生的色差問題，影響后續融合效果。因此，在融合時本文采用加權平滑算法來解決存在的色差問題。加權平滑算法主要思想：用f(x,y) 表示重疊區域融合后的圖像，由2幅待融合圖像fL和fR加權平均得到，即：f(x,y)=α×fL(x,y)+(1?α)fR(x,y) ，其中 α 是可調因子。

一般情況下 0 ＜α＜1，即在圖像交叉區域中，沿視角1圖像向視角2圖像的方向，α 由1 漸變為0，從而實現交叉區域的平滑融合。為了給2幅圖像建立更大的相關性，使用式(2)進行融合處理：

2.2 特征平衡的YOLOv3網絡

YOLOv3網絡是一種單階段目標檢測方法，與RCNN系列的目標檢測框架不同，YOLOv3網絡不生成候選框，直接在輸出層返回邊界框的位置及其所屬類別。YOLOv3借鑒殘差網絡（residual network, ResNet）[30]、特征金字塔網絡[31]網絡的思想，添加跨層跳躍連接，融合粗細粒度的特征，能更好地實現檢測任務。添加多尺度預測，即在3個不同尺寸的特征圖層進行預測，每種尺度預測3個錨框。錨框的設計方式使用聚類，得到9個聚類中心，將其按照大小均分給3個特征圖層。尺寸分別為 1 3×13 、 2 6×26、 5 2×52。本文將對3個不同尺寸的特征進行融合。

YOLOv3的特征提取網絡為Darknet-53，其網絡結構如圖4所示。Darknet-53網絡中的Convolutional代表一個激活函數(darknetconv2d_BN_leaky, DBL)操作流程，包含卷積層、批量歸一化層（batch normalization, BN）和Leaky_Relu激活函數。對于YOLOv3來說，BN層和Leaky_Relu是和卷積層不可分離的部分，共同構成了最小組件。此外，還包括Resn殘差模塊，圖4中最左面的數字1、2、8、8、4表示殘差單元的個數。

Darknet-53加深了網絡結構，處理速度為78 張/s，比Darknet-19慢，但是與相同精度的ResNet-152相比，處理速度快了1倍，所以Darknet-53是兼顧速度與精度的特征提取網絡架構。

原YOLOv3網絡中通過3種不同尺度的特征圖直接做預測，不同尺度分別包括 1 3×13、 2 6×26、52×52。為了更好地使用深層特征與淺層特征進行小尺寸行人檢測，本文提出一種特征平衡的YOLOv3網絡結構，如圖5所示。

圖4 Darknet-53網絡結構Fig. 4 Darknet-53 Network

圖5 特征平衡YOLOv3網絡結構Fig. 5 Architecture of balance YOLOv3 network

特征融合是將不同類型、不同尺度的特征進行整合，去除冗余信息，從而得到更好的特征表達。在神經網絡中直觀的融合方式一般分為 Add和 Concatenate 2種。Add方式[32]是特征圖相加，從而增加描述圖像特征的信息量，即圖像本身的維度沒有增加，只是每一維下的信息量增加了，這樣的融合方式有利于圖像分類任務。Concatenate方式[33]則是通道數的合并，也就是說描述圖像本身的特征增加了，而每一特征下的信息并沒有增加。深度網絡中多層信息的直接拼接并不能更好地利用特征之間的互補性，所以本文考慮將特征采樣到相同分辨率大小進行加權融合。

神經網絡提取的低層特征分辨率高，可以學習到一幅圖像中的細節特征，高層特征分辨率低，可以學習到更好的語義特征。為了更好地結合細節信息和語義信息的優勢，本文采用對數據相加取平均的方式來進行特征融合。假設Cl代表不同層級的特征數據，則C1代表5 2×52 的特征，C2代表2 6×26 特征數據，C3代表1 3×13 的特征。本文將3個分辨率的特征進行不同的采樣方式統一到 26×26 的大小，再利用式(3)進行相加取平均，得到一個融合后的特征：

在進行尺度縮放的具體操作中，針對13×13大小的特征圖，對其進行2倍的上采樣，對于52×52大小的特征圖，對其進行2倍的下采樣，這樣將原來不同尺度的特征圖全部變成了 2 6×26 的特征，可以直接進行加權求和。得到融合后的特征C后，再通過與之前相反的采樣操作，即對特征分別進行下采樣與上采樣的操作，還原成 1 3×13、52×52的尺寸，再與原來Darknet-53網絡提取的第36、61與74層的原始特征進行融合，利用最終得到的具有細節信息和語義信息的特征去做預測。

3 實驗結果與分析

3.1 實驗環境

本實驗平臺為云服務器，操作系統為Ubuntu 16.04，顯卡型號為GeForce GTX 2080Ti，顯存11 GB，內存16 GB，Cuda版本：10.0.130， OpenCV版本：3.2.0。

3.2 實驗數據集

本實驗的訓練與測試所使用的數據集全部來自PASCAL VOC數據集。訓練使用VOC2007 train、valid與VOC2012 train、valid數據集，為了驗證算法的有效性，在VOC2007 test數據集上做驗證。總訓練數據共22 136張圖片，其中包含行人的圖片為6 496張；總驗證數據共4 952張圖片，其中包含行人的圖片為2 097張。

3.3 實驗參數設置

本文只對行人這一類別做訓練，輸入的圖片大小默認為 4 16×416，輸入通道數為3，本文設定的迭代次數是50 200，batchsize為64，學習率為0.001，在迭代到40 000次的時候學習率更新為0.01。將處理好的數據集在同一性能服務器下用YOLOv3原模型進行訓練。在相同實驗環境以及實驗參數下，對MVBYOLO網絡進行訓練。將得到的檢測結果與 YOLOv3 原模型進行對比，觀察改進后的檢測模型針對有遮擋遠距離行人檢測中存在的問題優化效果及性能。

3.4 實驗評價指標及結果分析

本文應用準確率(precision，P)、漏檢率(recall，R)來衡量檢測算法的性能。因為本算法只檢測行人，可以看做是一個二分類問題。為了計算準確率和漏檢率，引入以下定義：

1) True_Pedetrian(TP)：真實目標是行人且被訓練模型檢測出來是行人；

2) True_N-Pedestrian(TN)：真實目標不是行人且沒有被訓練模型錯誤檢測為行人；

3) False_Pedestrian(FP)：表示為真實目標不是行人但被模型錯誤檢測為行人(誤檢)；

4) False_N-Pedestrian(FN)：表示真實目標是行人 但是模型沒有將其檢測為行人(漏檢)。

則評價的標準為

將本文提出的MVBYOLO模型與原來YOLOv2和YOLOv3模型作對比，比較損失值下降趨勢，PR曲線以及AP值。

從圖6可以看出，本文MVBYOLO網絡的訓練損失值下降趨勢基本與原YOLOv3網絡保持一致，下降速度快于YOLOv2，經過相同的訓練批次，MVBYOLO網絡的損失值明顯低于YOLOv2，可以更快地收斂。

圖6 不同網絡的訓練損失值Fig. 6 Train loss of different network

PR曲線與橫縱坐標軸形成了一個平面，面積越大，AP值越高。圖7為不同模型的PR曲線，顯示了本文的模型具有更高的檢測精度。

圖7 不同網絡的PR曲線Fig. 7 Precision of different network

從表1可以看出，本文提出的MVBYOLO的2個模塊Self-MVFM與BYOLO對行人檢測的精度均有貢獻。結合提出的2個模塊，行人檢測的精度得到更好的提升，與YOLOv2相比，AP值提高了3.34%，與YOLOv3相比，AP值提高了2.89%。

表1 不同網絡在VOC數據集上的AP值Table 1 AP of different network in the VOC dataset

本文網絡在真實場景下采集的240張圖像上進行了檢測，從中挑選了在2種不同真實場景下拍攝的圖像進行展示，圖8為檢測結果。

從圖8可以看出，在相同場景下，與YOLOv3網絡相比，本文能檢測出更多的行人。

圖8 不同網絡的行人檢測結果Fig. 8 Pedestrian detection results for different network

4 結束語

本文提出的MVBYOLO行人檢測模型，通過Self-MVFM進行自監督多視角信息融合，之后利用平衡的YOLOv3網絡，準確地進行復雜場景下車輛前方小尺寸行人檢測，提高行人檢測的效率。本文在VOC2007test做測試，AP 值達到80.14，與原YOLOv3網絡相比，檢測精度提高了2.89%，取得較好的實驗結果。但檢測性能還有待優化。下一步研究工作主要針對2點：1) 優化損失函數，使模型更快收斂；2) 將多視角行人檢測模型作為動作識別的數據預處理模型，將預測的行人檢測框直接輸入骨架提取網絡，降低后續骨架提取任務的難度。