復雜背景下遠距離及小尺寸行人檢測改進算法

謝永明，王紅蕾

(貴州大學 電氣工程學院，貴州 貴陽 550025)

0 引 言

隨著視頻監控覆蓋面積的逐步增大，行人出現的頻次也逐漸提高。對于成像較大且離攝像機距離較近的行人，檢測較簡單。但對遠距離以及小尺寸的行人，由于其身體姿勢，所處環境等特征的不明確，常常容易被監控系統所忽略，導致無法檢測。行人檢測涉及智能交通[1]、安防系統等領域，故研究復雜背景下遠距離及小尺寸行人的檢測，具有重要的現實意義。

在早期，行人檢測的傳統算法主要有基于運動分析[2,3]的方法、基于模板匹配的方法[4]以及基于人體模型[5,6]的方法?；谶\動分析的方法雖然能檢測運動的物體，但其不能檢測靜止的對象；基于模板匹配的方法雖然可以根據模板判斷行人的具體姿勢，但僅能利用有限的模板來描述目標的形狀；基于人體模型的方法雖然精度高，但其難以檢測遠距離的行人。

傳統的算法都有其局限性，在復雜背景下無法快速、準確地檢測行人。隨著深度學習的發展，人們開始在行人檢測領域運用深度學習方法。Girshick等[7]提出了一種基于區域的卷積神經網絡R-CNN(region-CNN)。該方法首先使用選擇性搜索算法提取建議區域，然后將區域更改為統一大小，提取特征，最后，根據目標的特征進行分類。但R-CNN為多階段訓練，會耗費大量的時間。故在此基礎上，Girshick[8]提出了一種快速的基于區域的卷積神經網絡Fast R-CNN，該方法僅需對圖像提取一次，提高了檢測的速度和精度。但前兩種方法提取建議區域都必須進行選擇性搜索。為了進一步提高速度，S.Ren等[9]提出了一種更快的基于區域的卷積神經網絡Faster R-CNN，該方法用區域提議網絡RPN(region proposal network)代替了選擇性搜索，卷積層與其它組件共享，從而實現了整個網絡的端到端訓練[10]。

在行人檢測領域，部分產品已經落地使用。如智能交通系統中的車輛輔助駕駛系統，它能使車輛自動識別行人，在緊急情況下提醒司機或制動。在安防系統中，通過對陌生人進行監控或抓拍，可以將陌生人的信息及時反饋給遠程的房主，從而減少偷盜行為的發生。

雖然行人檢測技術在一些終端產品上逐步開始應用，但仍有很多問題需要進行考慮，包括目標所處的背景、目標的特征是否顯著等。這其中就包括在復雜背景下，對監控系統中遠距離及小尺寸行人的檢測。針對這一現狀，有不少學者在這方面開展了研究。Saghir Alfasly等[11]，提出了一個基于卷積神經網絡的自動縮放框架，它能將輸入幀分為多個不重疊的圖塊來進行縮放。Pang等[12]，利用大尺度行人與相應小尺度行人之間的關系，將小尺度行人的分辨率放大，以幫助恢復小尺度行人的詳細信息。Zhou等[10]，提出一種基于Faster R-CNN架構的級聯網絡結構，通過使用級聯網絡以及多尺度RoIAlign，能檢測具有不同大小比例和遮擋的對象。上述方法在行人檢測上，雖然相對于傳統方法有一定的優勢，且在一定程度上都能識別遠距離或小尺寸物體，但這些方法都有一些不足之處。如文獻[12]，文章并未考慮背景對行人的影響，當行人與其背景相似時，檢測性能會大大降低；如文獻[10]，數據集中的圖像雖然有背景的存在，但這些背景都是靜態的，過于單一，且Faster R-CNN檢測的精度不高。因此，本文旨在復雜背景下，通過對傳統Faster R-CNN算法進行改進，準確地檢測詳細信息較少的遠距離及小尺寸行人。本文的主要工作如下：

(1)因為被檢測目標位于前景中，為了消除復雜背景對檢測目標的干擾，采用混合高斯模型方法，將圖像的前景和背景進行分離，再從得到的前景圖像中檢測行人。

(2)之所以難以檢測遠距離及小尺寸行人，是因為這兩種類型的目標所包含的信息少，且分辨率低。故使用雙線性二次插值方法提高圖像的分辨率，使用多尺度特征融合以使其包含更多信息，從而實現遠距離及小尺寸行人的檢測。

1 Faster R-CNN的原理及改進

1.1 Faster R-CNN的原理

Faster R-CNN在Fast R-CNN的基礎上加了一個區域提議網絡(RPN)，從而使其可以生成高質量的區域建議。卷積層對輸入圖像的大小沒有限制，生成的特征將傳輸給RPN和下一層卷積層。隨后，ROI(region of interest)池化層接收到高維特征和區域提議，并將之轉換為同一尺寸。最后，全連接層接收到ROI池化層的特征，通過回歸(reg)得到坐標，通過分類(cls)得到其分數。其結構如圖1所示。

圖1 Faster R-CNN的結構

1.2 圖像前景提取

圖像前景提取的目的是將圖像的前景提取出來，從而去除圖像中背景對行人檢測的干擾。這樣，一方面，由于去除了背景，Faster R-CNN訓練和收斂的速度更快；另一方面，Faster R-CNN能在圖像的前景中集中檢測行人。

圖像前景提取是圖像識別的一個重點研究方向，近年來，涌入了不少方法，如單高斯模型方法[13,14]、RPCA[15,16](robust principal component analysis)方法以及混合高斯模型[17-20]方法?？紤]到視頻的背景可能會發生變化，故選擇混合高斯模型提取前景。

混合高斯模型的作用是將某一幀中的所有像素點分為前景點和背景點。針對幀中的一點 (x,y)， 其為前景或背景是由概率密度決定的，而概率密度可以根據K個高斯分布構成的混合模型表示。Xm的概率密度函數為

(1)

高斯分布的概率密度函數η為

(2)

(3)

未匹配到的成分保持不變；匹配到的分布參數按下式進行更新

μm=(1-ρ)μm-1+ρXm

(4)

(5)

將K個分布按照ω/σ2的值從大到小排列。選取前B個分布構成新背景模型，B的取值如下

(6)

式中：T為背景閾值，表示背景成分所占整個概率分布的比例。由背景模型，按從大到小的順序將Xm與高斯分布進行匹配，能匹配則為背景點，反之，則為前景點。重復執行以上步驟，得到前景圖。

但混合高斯模型算法依舊會存在一些問題，如前景點與背景點之間的誤判，這主要是由更新速率引起的。更新速率太大，容易將噪聲引入模型中，這時運動目標會移入背景；更新速率太小，模型不能適應背景的變化，則容易將背景信息引入到前景。故在此，為了反映真實場景，引入了一個模型更新策略，其在視圖不同的區域有著不同的更新率。其區域主要指的是通過比較幀之間像素值的變化，將像素分為運動和靜止的區域。如下所示

式中：Pk為當前幀的像素，Pk-1為背景模型像素，T1為閾值，Ad為運動變化區域，Aj為靜止區域。這主要是針對背景緩慢變化的情況。

而對背景突變的場景，若該差值在連續20幀都超過了閾值，那么此時需要增大背景更新速率，讓像素融入背景。否則則保持上個時刻的更新狀態。

綜上所述，可得

(7)

式中：i代表像素，k代表當前幀，k-1代表前一幀，P代表圖像像素值，B代表背景模型的像素值，為像素差值的閾值，為更新速率，范圍為0.1-0.3。整個過程更新速率會隨場景和區域的變化進而進行動態的改變。通過不斷地更新和匹配，在一定程度上能減少前景點與背景點之間的誤判，從而減少行人被誤判為背景點而被剔除的幾率。

將圖像的背景去除后，圖2可以看出，前景圖像只有行人的輪廓及姿態，已經不包含背景信息及行人的一些衣著信息，同時也去除了光照對行人檢測的影響。

圖2 混合高斯模型分離圖像效果

1.3 遠距離及小尺寸行人的檢測

1.3.1 雙線性二次插值

在上采樣階段，由于遠距離及小尺寸行人的信息缺失較多，故要提高圖像的分辨率，使其包含更多信息。這里，采用雙線性二次插值方法，通過內插變量來提高圖像的分辨率，具體如圖3所示，也即求出點P的坐標。

圖3 雙線性二次插值

圖中Q11、Q12、Q21、Q22的坐標值已知，最終的結果與插值的順序無關。首先，在x方向上，Q11、Q21的線性插值為R1(x,y1)，Q12、Q22的線性插值為R2(x,y2)， 故可得

(8)

(9)

再根據f(R1)、f(R2) 的值得到y方向上的插值

(10)

因此，通過雙線性二次插值，已知某點周圍4個頂點的坐標，可以求得該點的坐標。從另一層面來講，也即對圖像的分辨率進行了放大，進一步豐富了遠距離及小尺寸行人的信息。

1.3.2 多尺度特征融合

根據卷積神經網絡提取圖像特征的原理，網絡低層提取的一般是行人的輪廓信息，高層提取的一般是行人的姿態等更為細節性的特征。而隨著網絡的增加，每一層都會丟失一些信息，到最后提取更為細小特征的時候，例如遠距離及小尺寸行人的信息，可能隨著一些細節信息的丟失而導致最后檢測結果的不準確。而這時，為了避免這個問題，且為了讓行人識別更準確，就需進行多尺度特征融合。

多尺度特征融合可以從兩個方向進行考慮，一個是采用圖像金字塔，另一個是通過修改Faster R-CNN網絡完成。由于圖像金字塔的計算量大，故本文采用第二種方法。

如圖4所示，通過修改Faster R-CNN的結構，分別將Conv2_2、Conv4_3和Conv5_3卷積層提取的特征進行融合(這里選擇Conv2_2的原因是因為其包含的信息相對于Conv4_3和Conv5_3更為詳細)。由于這三層卷積層的特征圖大小不同，最簡易的方法是將Conv2_2和Conv5_3統一為Conv4_3的大小(分別采用下采樣和上采樣完成)。這里的上采樣就可以運用雙線性二次插值方法。圖4中，Conv為卷積層，Pooling為池化層，FC為全連接層，Concat表示級聯。

圖4 本文所提改進算法的模型結構

最后，將融合后得到的Concat層輸入到RPN，并與原始Faster R-CNN方法作比較。

1.4 評價指標

本文采用平均精度AP、平均精度均值mAP以及每秒幀速率FPS來描述所提方法檢測行人的精度和速度。

平均精度的表達式如下

(11)

(12)

其中，Sp是預測框，Sgt是真實標注框，Sp∩Sgt為預測框和真實標注框交集的面積，Sp∪Sgt為預測框和真實標注框并集的面積。

平均精度均值

(13)

其中，n表示類別的個數，i表示某個類別。

FPS表示每秒處理幀的數量，以衡量算法的測試效果。

2 實驗方法及結果分析

2.1 數據集

文中訓練及測試的數據來自于香港中文大學，名為CUHKSquare[21]，一個約為60 min長的交通視頻序列。分辨率大小為720×576，總共為90 425幀，由固定攝像機拍攝，涵蓋了較多的遠距離及小尺寸行人。為了減少訓練樣本，每三幀采集一幀。將數據集進行分類，分為一個訓練集和兩個測試集。其中訓練集和第一個測試集主要包含小尺寸行人，第二個測試集主要包括遠距離行人。第一個測試集行人高度的中值為63，第二個測試集行人高度的中值為31。數據集的統計情況見表1。

表1 行人檢測數據集統計

2.2 實驗方法

本文實驗平臺為Tensorflow，使用GPU(Nvidia GTX 1080 Ti)進行運算，系統為Ubuntu16.04，顯存容量為11 GB。本文首先將上述的訓練集經過混合高斯模型處理，去除視頻圖像的背景，得到視頻圖像的前景。然后再將前景圖像輸入到Faster R-CNN，經過一系列的卷積池化，再將Conv2_2、Conv4_3和Conv5_3卷積層提取的特征進行融合，將融合后的Concat輸入到RPN中，分別得到改進后Faster R-CNN方法獲得的結果與原始Faster R-CNN獲得的結果。最后再對這兩種方法得到的圖像進行對比。根據測試的平均精度AP、平均精度均值mAP以及測試時間綜合判定本文所提方法相對于原始Faster R-CNN的改進程度。其模型結構如圖4所示。

2.3 模型訓練

使用隨機梯度下降作為優化器，動量設置為0.9，權重衰減設置為0.001，學習速率設置為0.01，批量設置為8，迭代約為40 000次，分別對Faster R-CNN和改進后的Faster R-CNN進行訓練。

2.4 實驗結果分析

分別將表1中的測試集1和測試集2用于測試。為了驗證本文所提改進算法的有效性，通過截取整段視頻中的兩個場景進行對比分析。場景一包含較多的小尺寸行人，場景二包含較多的遠距離行人，具體如圖5、圖6所示。在兩個場景中，圖(a)～圖(c)都有一些小尺寸行人和遠距離行人未被檢出或準確率較低的情況，圖6(a)無背景的檢測還將遠距離的兩個行人檢測為了同一行人。針對場景一，分別對圖5(a)、圖5(b)、圖5(c)和圖5(d)進行比較發現，去除背景后行人檢測的準確率提高。此外，通過雙線性二次插值及多尺度特征融合，同樣能提高行人檢測的準確率。最后再對場景一和場景二進行比較分析發現，去除背景干擾并增加雙線性二次插值和多尺度特征融合的圖5(d)和圖6(d)在各自場景中的檢測效果最優。

圖5 場景一改進前后效果比較

圖6 場景二改進前后效果比較

其次，為了更客觀地對檢測效果進行評價，再對上述場景中有無背景、有無雙線性二次插值、有無多尺度特征融合的mAP值和測試時間進行對比分析。其在相同條件下的mAP值和測試時間分別見表2、表3。

表2 不同方法在相同條件下的mAP值對比

表3 不同方法在相同條件下的測試時間對比

首先對表2進行分析，從這些數據可以看出，由于一開始沒有去除圖像背景，Faster R-CNN直接輸入圖像時模型檢測的mAP值較低，僅高于YOLO v2。另外，在Faster R-CNN的基礎上，僅去除背景干擾的效果比僅加雙線性二次插值和僅加多尺度特征融合的效果要好，mAP值相對后兩者分別高出了1.1%和1%，這是因為外界環境變化對行人檢測結果的干擾大于行人自身變化或模型參數的選擇對其的影響。通過分別對比場景一、場景二中的圖5(a)、圖5(b)、圖5(c)和圖6(a)、圖6(b)、圖6(c)也可以得到相同的結果。在準確率方面，Faster R-CNN的效果要好于YOLO v2。除此以外，由表2可以看出，本文方法基于Faster R-CNN，通過混合高斯模型去除視頻圖像的背景，并由雙線性二次插值提高圖像分辨率、多尺度特征融合增加圖像的信息后，mAP值比原始Faster R-CNN(有背景)高7.3%。由于本文所提改進算法在Faster R-CNN的基礎上加了雙線性二次插值以及多尺度特征融合，增加了算法的復雜度，因此，測試時間在一定程度上會有所增加，相應每秒處理的幀數會降低。但通過對比發現，由表3，測試時間為15.6幀/s，每秒處理的幀數僅略微降低了0.3。

2.5 消融實驗

消融實驗的目的主要是探索引入混合高斯模型、雙線性二次插值以及多尺度特征融合對模型進行行人檢測的影響。根據排列組合，將算法拆解成8個組分別進行訓練。在測試集中，根據表1的像素分類，將檢測目標分類為小目標(Small)、遠距離目標(Long distance)以及除此以外的正常目標(Normal)。然后將8個訓練的模型分別進行測試，得出各自算法在3個分類上的mAP值。其結果見表4。

在表4中，總共有8組算法，第2～第4組為在第1組的基礎上加上一種算法。通過對比1～4這4組算法的測試結果，可以發現，加上混合高斯模型后正常目標提升的mAP值大于另外兩種類型，提升了4.7%。這是因為混合高斯模型去除了背景，從而提高了前景目標檢測的準確率。但對遠距離及小尺寸行人，由于其分辨率沒有提升，所以雖然其mAP值有些許提升，但效果不太明顯。而加上雙線性二次插值后，由于提高了遠距離及小尺寸行人的分辨率，故其提升的mAP值大于正常目標。同樣，加上多尺度特征融合后，增加了模型對圖像的采樣率，增加了圖像的信息，遠距離及小尺寸行人提升的mAP值也大于正常目標。

表4 消融實驗中各種情況下的mAP值/%

第5～第7組為在第1組的基礎上加上了兩種算法。其展示了與第2～第4組幾乎相同的結果，即加上混合高斯模

型對正常目標的檢測較顯著，加上雙線性二次插值和多尺度特征融合對遠距離及小尺寸行人檢測較顯著。但與第2～第4組不同的是，通過運用組合方法，效果會明顯好于單一方法。

第8組為在第1組的基礎上加上3種算法。通過對比可以發現，引入這3種算法后，模型對正常目標、遠距離及小尺寸目標這3種類別測試集的檢測效果都好于算法1～算法7，且檢測結果均為最優。除此以外，加上這3組算法后，模型明顯增加了遠距離及小尺寸行人的檢測精度，其提升的效果要好于正常目標。因此說明本文提出的改進算法引入混合高斯模型、雙線性二次插值以及多尺度特征融合是合理的。

3 結束語

本文基于Faster R-CNN，提出了一種在復雜背景下檢測遠距離及小尺寸行人的改進算法。首先將視頻圖像經過混合高斯模型處理，去除視頻圖像的背景干擾信息，得到視頻圖像的有效前景信息。然后再將前景圖像輸入到Faster R-CNN，經過一系列的卷積池化，將卷積層提取的特征經過雙線性二次插值提升其分辨率，進而進行多尺度融合訓練，增加圖像的信息，最后得到檢測模型。

實驗在CUHKSquare數據集上進行了驗證，結果表明，本文所提改進算法能去除復雜背景對行人檢測的干擾，能顯著地提高視頻圖像中待檢測的遠距離及小尺寸行人的檢測精度。其mAP值比改進前分別提升了8.1%、7.7%，每秒幀速率為15.6 幀/s，僅略微降低，驗證了本文所提改進算法的合理性。在未來的研究中，將進一步優化網絡結構，在不同的數據集上進行訓練和測試，提升模型的檢測能力和檢測效率。