一種改進RetinaNet的室內人員檢測算法

王璐璐，張 為，孫琦龍

(1.天津大學 電氣自動化與信息工程學院，天津 300072；2.天津大學 微電子學院，天津 300072；3.青海民族大學 計算機學院，青海 西寧 810007)

近年來，人體目標檢測作為計算機視覺領域的重點研究內容，在各類生活場景中得到廣泛應用。在銀行、消防值班室等重要場所，工作人員持續在崗是保障居民生命財產安全的必要條件。使用人力對在崗情況進行監控成本極高，因此亟需設計一種高精度的人員檢測算法來滿足對上述目標的支持。

很多學者嘗試在手工提取特征的方法中結合神經網絡解決行人檢測問題。文獻[1]提出一種復雜度自感知算法來平衡速度與精度的關系。文獻[2-4]將區域推薦與卷積神經網絡結合起來，提出針對多目標檢測的系列檢測框架。文獻[5]將區域推薦與傳統分類器隨機森林結合起來，提出一種專門針對行人的檢測框架。但以上算法結構復雜，檢測速度低下，無法滿足實時性要求。文獻[6]基于SSD算法[7]提出一種單模型的行人檢測框架，提升了行人檢測速度。以上成果對行人檢測起到了很大推動作用，但其主要檢測目標為室外行人，這些圖片取材場景開闊，攝像頭采用平行機位采樣，其中人體目標以行走、站立為主。對室內人員來說，攝像頭多是俯視拍攝，背景與室外行人有較大差異；另一方面，室內人員易出現辦公桌等家具帶來的遮擋問題，人機距離也和目前行人檢測數據集差距較大，且室內人員姿態多樣，致使同一個體在不同狀態下也會呈現較大差異，這些細節信息在目前的行人檢測數據集中無法體現。以上原因導致前文所述檢測框架對室內人員的檢測效果并不理想。

針對室內人員檢測存在的問題，文獻[8]建立了室內人員檢測數據集(Indoor Human Detection Dataset，IHDD)，將區域推薦網絡融入傳統檢測框架，提出了一種多模型的室內人員檢測算法。但這種方法無法支持端到端訓練，且精度不足以支撐現實應用。在目標檢測領域，文獻[9]修改神經網絡損失函數，在一定程度上解決了單階段檢測網絡中正負樣本失衡的問題，文中所提網絡因此成為檢測領域的前沿模型之一，但也存在不適合室內人員檢測的情況。

基于以上研究，筆者對通用網絡RetinaNet進行改進，針對室內人員檢測數據集，提出一種高精度的室內人員實時檢測算法。文中算法的主要改進如下：

(1)針對室內人員數據集將通用網絡優化成為專用的高精度室內人員檢測網絡。同時，文中算法在測試速度和內存占用方面也優于其他檢測方法。

(2)對基礎殘差網絡進行改進，在Cov3、Cov4層加入通道注意力[10]模塊。同時，為緩解網絡的過擬合問題，筆者在通道注意力模塊的全連接層加入隨機失活機制，從而增強網絡的魯棒性。

(3)通過維度聚類算法對數據集進行預處理，找出最適合室內人員尺寸和形狀的錨點來提升檢測精度，降低漏檢率。同時這些經過篩選的錨點可以顯著提升算法的運行速度。

(4)根據聚類得到的特征圖尺寸選取合適的特征層進行預測，通過捕捉更豐富的信息提升檢測精度。

實驗結果表明，筆者提出的算法相比其他算法有更高的準確性，且處理速度更快，在實踐應用中具有極大的優勢。

1 基本原理

在實際場景中，攝像頭距離和人體姿態變換使同一個體的特征不斷改變。針對這兩個問題，筆者使用文獻[11]提出的特征金字塔，在合適的特征層放置錨點以提高多尺度檢測的性能。相比在單一特征圖上檢測不同尺寸的物體，特征金字塔可充分利用不同特征層的語意信息，從而提高室內人員檢測的精度。對姿態多樣性問題，筆者采用室內行人檢測專用數據集進行訓練。該數據集在采集樣本時著重考慮了不同姿態下多視角的問題，由于神經網絡可以在大量數據集下自主學習物體特征，因此經過適當訓練后即可獲得對不同姿態人員的辨別能力。相比RetinaNet網絡使用的基礎殘差網絡，筆者使用改進的SE-ResNet50作為模型的基礎網絡，并在其中加入隨機失活機制增強網絡魯棒性，抑制過擬合。最終的檢測網絡如圖1所示。

卷積神經網絡因其復雜性容易在小的數據集上出現過擬合現象，影響模型泛化能力。主流緩解網絡過擬合的方法有數據增強、引入批量歸一化、加入隨機失活等機制。文獻[7]指出，在存在池化層的情況下，數據增強作用有限。同時，RetinaNet框架已經在卷積之后合理使用批量歸一化層，批量標準化不適合二次加入。除以上兩種方法外，文獻[12]提出可使用隨機失活緩解過擬合。如圖2所示，隨機失活即以特定概率隨機選取部分神經元，將其輸出置零，從而斷開與周邊神經元的連接，阻止檢測器共同作用，增強網絡的魯棒性。由示意圖可以看出，隨機失活更適合在全連階層使用，而ReitnaNet網絡中用于特征提取的骨干網絡、用于類別預測和錨點回歸的子網絡都由卷積層實現。在實際應用中隨機失活也較少用于卷積層，為解決這一問題，筆者引入通道注意力模塊[10]對殘差模塊進行改進，間接實現隨機失活功能。改進后的殘差模塊如圖3所示。圖中ReLU表示修正線性單元函數。

圖1 網絡整體結構圖

1.1 特征提取網絡

圖2 隨機失活示意圖

圖3 改進的殘差模塊

虛線內為通道注意力模塊，由壓縮和激活兩部分組成。壓縮過程對應平均池化，激活過程對應框內其余部分。之后，筆者加入隨機失活增強模型泛化能力。通道注意力模塊可挖掘特征圖各通道的相互關系來調整各通道權重，在近乎相同的計算量提升檢測精度。以下進行詳細說明。

壓縮模塊的作用是將全局信息壓縮進通道描述符 ，假設特征圖為u∈RH×W×C，通道描述符Z∈Rc生成方式如下：

(1)

其中，Zc為通道描述符Z的第c個元素；uc∈RH×W，為特征圖第c個通道；uc(i,j)為uc中位置 (i,j)處的取值。為更充分利用通道描述符所融入的全局信息，后續的激發層使用類似全連接的方式對通道描述符Z進行處理，具體公式如下：

S=Fex(Z,W)=σ(g(Z,W))=σ(W2δ(W1Z)),

(2)

(3)

1.2 錨點的選取法則

錨點，即檢測過程中的候選框。自文獻[4]之后，基于神經網絡的檢測算法都會使用各種尺寸和形狀的矩形作為錨點，這樣會貼合數據集中樣本的形狀，提升定位精度和召回率。在整個神經網絡的末端，最終會輸出各個錨點的類別得分向量和相對真實框的回歸向量，錨點根據這些向量進行回歸，得到最終檢測結果。但這些選定的尺寸和寬高比不完全適合室內行人，在這里筆者使用在文獻[13]中提出的維度聚類算法對IHDD數據集中的標注框進行處理。維度聚類實際為k均值聚類方法的變形，待分類樣本為訓練集中的包圍框，兩個包圍框B1和B2之間的距離采用如下定義：

d(B1,B2)=1-IoU(B1,B2) ,

(4)

其中,IoU為兩個矩形的交并比。聚類過程如下：

(1)采用kmeans++的方法[14]選取n個包圍框初始化聚類中心。

(2)將聚類中心以外的包圍框以最小距離歸入相應聚類中心，每個聚類中心將擁有一個聚類簇為Gi，i=1，2，…，n。

(3)計算Gi的平均值作為新的聚類中心。

(4)重復(2)～(3)，直至所有包圍框所屬聚類中心不再改變。

依據平均交并比得分最高準則，實驗結果顯示最適合室內人員的錨點尺寸為(1282，2562)，最佳寬高比為1。使用k均值聚類方法剔除了原網絡中不適合室內人員的錨點，減小了網絡計算量，在加速網絡收斂的同時改善了檢測速度。

1.3 預測層結構

圖4 分類和回歸子網

P4、P5、P6之后都分別附有預測網絡，預測網絡由兩個平行的全卷積網絡組成，分別為分類子網和回歸子網。兩個子網從預測層接收相同的特征圖，之后用3×3的卷積核對特征圖進行卷積并執行ReLU操作，這個過程重復4次。最終，分類子網生成每個錨點被歸為人員的概率，若此概率大于所設閾值，則判定該錨點為室內人員，最終輸出的通道數為A，其中A為每個位置的錨點數量；回歸子網為每個錨點生成4個回歸值，用來調整錨點的位置，最終輸出的通道數為4×A。其中，所有分類子網共享一套權重，回歸子網共享一套權重，兩套權重相互獨立。具體連接方式如圖4所示。

2 實驗分析

2.1 訓練過程及評價方法

文中算法直接使用文獻[8]制作的室內人員檢測數據集訓練神經網絡。該數據集采自企業值班室一個月內的監控視頻，采集過程中充分考慮不同時間、性別以及年齡等因素，其中人員姿勢大部分為坐姿，含有多種視角，可為訓練過程提供豐富信息。該數據集共包含14 665張圖像，其中訓練集有8 799張圖片，驗證集和測試集分別有2 933張圖片，共標注人體目標17 854個。

實驗平臺是64 bit的Ubuntu14.04操作系統和英偉達TITAN Xp GPU，使用的軟件為Python 3.7，采用的深度學習框架為PyTorch 1.0。在不失一般性的情況下，算法所用主干網絡先在ImageNet數據集上進行預訓練，如無特殊說明，新加入的改進模塊都采用Xavier分布進行初始化。訓練過程中使用隨機梯度下降尋找最優解，基礎學習率為0.005，動量大小為0.9，權重衰減設置為0.000 1，通道注意力模塊中隨機失活的概率為0.5。優化器學習率分段遞減，前15個數據集循環過程采用基礎學習率，第15～25個循環的學習率降為前一階段的10%，第25-30個循環的學習率使用相同方式遞減。

筆者分別采用VOC標準和行人檢測定義的指標來評判算法的有效性。兩種標準分別采用P-R(精確度-召回率)曲線和Miss Rate-FPPI曲線評價算法性能，兩種曲線下的面積分別表示算法的平均精確度和漏檢率。依據官方標準，以上兩種方法交并比閾值都設為0.5，即當預測框與真實框交并比大于0.5時，視為預測正確。

2.2 結果分析

為驗證文中算法的有效性，選擇文獻[4]、[8]、[15]和[9]中的算法與文中算法進行對比。其中，前3種方法的性能直接引用文獻[8]的測試結果。當交并比閾值設為0.5時，文中算法檢測精度為99.84%，漏檢率為0.045% ，遠超其他方法。值得注意的是，與文獻[8]和文獻[15]提出的復雜多模型相比，文中算法僅使用單模型卷積網絡便可達到最佳檢測效果；與文獻[4]相比，筆者使用改進的損失函數解決單階段模型正負樣本不均衡的問題，使室內人員檢測效果大幅提升。最終精度對比結果如表1所示。

表1 不同算法的精度比較 %

筆者選取不同角度及部分遮擋的圖片進行檢測，圖5為最終的檢測效果圖。可以看出，文中算法對以上復雜實例均能有效檢測。這說明筆者所選網絡可以有效學習數據集特征，自適應處理多角度，遮擋等困難樣本。主要原因有以下幾點：方向梯度直方圖等傳統方法主要依賴人為設計的顏色、梯度等特征，而神經網絡可對其他特征進行更加全面的學習，對人體目標具有更強的表征能力；其次，相比文獻[4]算法，筆者使用改進的損失函數，可自動提升困難樣本所占權重，降低易分類樣本在訓練過程中所起的作用，實現了高效率的難例挖掘；相比原始文獻[9]中的RetinaNet網絡，使用聚類算法確定更適合室內人員檢測數據集的錨點，選用合適的預測層，并利用通道注意力模塊，間接引入隨機失活機制，最終達到了最好的檢測效果。

圖5 檢測效果圖

文中算法實現高精度檢測的同時，在檢測速度及內存占用方面也做出了很大改進。在這里選用表1中精度達到80%以上的算法進行比較說明，所有算法的運行平臺與上文相同。其中，文獻[8]不支持端到端的訓練方式，在這里不進行比較。檢測圖片取自室內人員檢測數據集，分辨率為1 280×720。具體數據如表2所示，相比當下流行的卷積神經網絡，筆者借助單階段網絡的速度優勢，選用維度聚類進一步優化錨點選取方案，達到了最快的檢測速度。實驗選用高分辨率檢測圖片，若降低圖片分辨率，則算法速度還有進一步提升空間；但這已超出文中研究范圍，在此不再展開。表中第2列是測試期間顯卡內存占用情況，從表中可以看出，以批處理量等于1作為衡量標準，文中算法占用內存比文獻[9]小4 MB，同時遠小于文獻[4]的，原因是算法模型小，使用參數較少。這說明文中算法具有更強的并行處理能力和更好的應用前景。

表2 不同算法速度和占用內存比較

3 結束語

筆者針對現有行人檢測算法不適用于室內人員檢測的問題，利用已有室內人員數據集，使用維度聚類算法選取適合室內人員的預選框，引入通道注意力模塊間接實現隨機失活，提高檢測網絡的泛化能力。文中算法在室內人員檢測數據集上取得了99.8%的檢測精度，且檢測速度塊，運行時占用內存小，并行處理能力強，具有很好的應用前景。

雖然在現有數據集上實現了高精度檢測，考慮到實際監控條件和應用場景的復雜性，文中算法并未完全解決室內場景下人員檢測的問題。為在實際場景中獲得更穩定的檢測性能，還需對IHDD數據集進一步完善，使其包含更多復雜場景下的人體樣本，在此基礎上開發完善的實時檢測算法。