基于卡爾曼濾波改進的MTCNN網絡人臉檢測算法

魏榮耀，鮑士兼，趙成林，許方敏

(1.北京郵電大學 信息與通信工程學院，北京 100876；2.中國國際工程咨詢有限公司，北京 100048)

0 引言

人臉檢測的發展主要分為非深度學習和深度學習2個階段。在非深度學習階段針對特定目的提出經典檢測算法。例如，2001年CVPR的Viola-Jones(VJ)[1-2]、CVPR 2005 HOG + SVM[3]和TPAMI 2010 DPM[4]。深度學習階段經典檢測算法被提出用于通用目的，例如Faster-RCNN[5]、R-FCN系列[6]、YOLO[7-8]和SSD[9-10]系列。其中RCNN系列的優點是在準確性方面具有高性能，缺點是速度低，不能滿足GPU上的實時要求，而SSD和YOLO系列的優勢在于GPU上快速而實時，缺點是密集和小目標的檢測性能相對較差，而人臉在實際場景下屬于小目標。

大多數當前的人臉檢測算法是基于全圖像掃描的單幀圖像檢測。視頻中的人臉檢測將視頻分解為單幀圖像，檢測每幀中的人臉最后將所有幀合并為視頻。然而，視頻中幀與幀之間的人臉信息有很大的相關性。 在上述步驟中有許多冗余計算，因此正確地改進這些步驟已成為熱門研究方向。

本文提出的算法基于多任務級聯卷積網絡(MTCNN)[11]和卡爾曼濾波算法。視頻中的人臉運動可以被假設為線性運動，通過使用卡爾曼濾波器[12-13]來記錄和預測人臉中心點位置。將卡爾曼濾波器校正的人臉中心點用作最終檢測位置，邊界框的長度和寬度仍然使用原始回歸值。同時，根據卡爾曼濾波器的預測人臉中心點，截取原圖像中以預測點為中心的一定區域作為下一幀檢測的推薦區域，在下一幀中將該區域用MTCNN的R-net和O-net進行局部區域人臉檢測，同時每隔一定時間使用MTCNN進行全圖掃描來重置檢測流程。

1 相關算法

1.1 MTCNN網絡結構

MTCNN網絡是常用的人臉檢測網絡，與非深度學習模型和諸如Faster-RCNN和YOLO之類的深度學習模型相比，該網絡可以在僅有CPU的情況下實現實時性和準確性，是一個三級級聯模型。給定輸入圖片，將預測圖片分別依次輸入P-net，R-net中對候選框進行粗選和微調，最后由O-net輸出檢測框位置的回歸值和分類。其中3個子網絡的特性如下：

① P-net：12×12，負責粗選得到候選框，功能有分類和回歸。

② R-net：24×24，負責篩選P-Net的粗篩結果，并微調box使得更加準確和過濾虛警，功能有分類和回歸。

③ O-net：48×48，負責最后的篩選判定，并微調box，回歸得到關鍵點的位置，功能有分類、回歸和關鍵點。

訓練時輸入圖像大小為網絡指定的大小，例如12×12，而因為P-net沒有全連接層，是全卷積的網絡，所以預測識別時沒有尺寸要求，P-net可以對任意輸入尺寸進行預測得到多個邊界框和置信度，通過閾值過濾即可完成候選框提取過程，而該網絡因為結構小，所以效率非常高，因此被工業界使用作為人臉檢測的主流算法。

MTCNN網絡的體系結構如圖1所示。

其中2個任務如下：

① 人臉分類：學習目標被定為二分類問題。 使用每個樣本xi的交叉熵損失：

(1)

② 邊界框回歸：對于每個候選窗口，預測它與最近的真實標注位置之間的偏移(即邊界框的左上角和右下角)。 學習目標被表述為回歸問題，對每個樣本xi使用歐幾里德損失：

(2)

1.2 卡爾曼濾波器原理

卡爾曼濾波器是一種廣泛使用的跟蹤算法，它基于先前的狀態和當前的測量值給出預測值，與其他方法相比，卡爾曼濾波器用于在視頻跟蹤中對移動目標進行更好的位置估計，因此它非常適合跟蹤視頻中的移動人臉中心點。

實際情況下的人臉中心點運動通常是線性運動，而卡爾曼濾波是線性系統下具有良好預測性能的濾波器。假設nk是觀測噪聲，因此可以根據以下公式分別構造狀態方程和系統的觀測方程：

xk=Fkxk-1+vk-1，

(3)

zk=Hkxk+nk，

(4)

式中，xk∈n為時刻k下的系統狀態向量；zk∈n為時刻k下的觀測向量；vk-1為時刻k-1下的系統狀態噪聲；Fk為時刻k下的狀態轉移矩陣；Hk為時刻k下的觀測矩陣。

根據實現過程中卡爾曼濾波器的特點，結合貝葉斯估計中的預測和更新，可以實現卡爾曼濾波器預測和更新模型。有2個預測方程和3個更新模型的方程：

(5)

(6)

(7)

(8)

(9)

式(7)、式(8)和式(9)分別是增益系數方程、狀態更新方程和誤差協方差更新方程。Rk為k時刻的測量噪聲協方差矩陣。

觀測更新過程首先計算卡爾曼的增益，然后導出觀測向量zk，然后根據公式得到狀態的后驗估計，最后計算狀態估計的后驗協方差。

卡爾曼濾波器可以濾除運動目標環境中的一些干擾噪聲，校正目標的位置和速度并預測下一時刻目標的位置，從而縮小目標的搜索區域。 基于此特征，本文算法將MTCNN網絡與卡爾曼濾波器相結合，以提高噪聲視頻中人臉檢測的準確性和速度。

2 聯合卡爾曼濾波和MTCNN網絡的人臉檢測算法

本文基于卡爾曼濾波器，它被添加到MTCNN網絡檢測過程中，由卡爾曼濾波器[14]預測下一幀中最可能的人臉中心點位置，以該預測點作為中心按比例截取原圖像區域，作為推薦區域輸入MTCNN R-net和O-net網絡中檢測人臉，同時每隔一定時間利用MTCNN進行全圖掃描來重置流程。結果表明，該算法可以提高噪聲視頻中人臉檢測的準確性和速度[15]。

對于組合卡爾曼濾波的算法，目標檢測的問題實際上成為從目標的當前幀中的位置信息獲得運動信息的問題。運動信息包含移動目標的位置和速度之類的信息。因此，該信息可以被視為卡爾曼濾波器的狀態向量。因此，只要假設合理的假設，就可以完全建立卡爾曼濾波器。

MTCNN網絡檢測圖片并在時間k給出面部邊界框的4個坐標值，將其定義為(left，top，right，bottom)。可以根據這4個值計算出人臉中心點的位置。xk是人臉中心點的橫坐標，yk是面部中心點的縱坐標：

(10)

(11)

z(k)=[xck，yck]。

(12)

根據牛頓運動定理，可以得出：

(13)

(14)

因此，狀態模型和觀察模型可以建立如下：

① 狀態模型：

xk=Fkxk-1+vk-1=

(15)

式中，t表示2個相鄰幀之間的時間間隔。

② 觀測模型：

zk=Hkxk+nk=

(16)

很容易看出系統的狀態轉移矩陣和系統的觀測矩陣：

(17)

vk-1和nk實際上是上面提到的加速度at和高斯噪聲。假設t的初始值是1，可以根據經驗設置σv=σn=5。同時，將初始時間的狀態向量設置為X0=[x0，y0，0，0]T，其中，x0，y0是初始位置人臉中心點的坐標。對于視頻圖像中的人臉運動，在成功建立相應的卡爾曼濾波器模型之后，卡爾曼濾波器預測和觀測更新過程可以很好地集成到MTCNN算法中。具有卡爾曼濾波器融合的MTCNN算法的具體流程如圖2所示。

圖2 融合算法流程Fig.2 Fusion algorithm flow

算法的具體步驟如下：

① 使用MTCNN檢測整個圖像，找到人臉中心點并根據人臉中心點的位置信息創建卡爾曼濾波器。

② 使用卡爾曼濾波器矯正觀測值，同時預測下一幀的人臉中心點的位置，并將預測點作為中心點，按比例截取24×24圖片區域作為推薦區域，將推薦區域輸入MTCNN R-net和O-net進行檢測。

③ 使用MTCNN R-net和O-net檢測到的人臉中心點位置作為新的觀測值，更新卡爾曼濾波器，并使用卡爾曼濾波器輸出校正后的人臉中心位置，在圖像中畫出人臉邊界框。

④ 檢查檢測到的圖像是否超過N幀，如果超過N幀，則刪除卡爾曼濾波器并返回①，否則返回②。

⑤ 重復上述步驟，直到視頻結束。

3 實驗驗證

基于上述算法，由于需要根據預測點生成推薦區域，而預測點的位置大大影響了后續再檢測時人臉位置的準確率，所以首先需要驗證算法在有噪聲視頻中人臉中心點位置的預測作用，模擬視頻圖像中人臉的運動，并將MTCNN直接檢測到的人臉中心點軌跡與本文算法的軌跡進行比較。

在仿真場景，人臉以特定速度和隨機角度偏轉在圖像中移動。在圖3中，橫坐標和縱坐標分別代表圖像中的長和寬方向的像素值，實線表示由MTCNN網絡檢測到的人臉中心點的移動軌跡。長虛線表示由本算法輸出的人臉中心點的運動軌跡。短虛線表示人臉中心點真實的運動軌跡。

圖3 模擬人臉中心點在圖像中的運動軌跡Fig.3 Simulate the movement of the center point of the face in the image

從圖3可以看出，人臉的小角度抖動或者視頻噪聲干擾將導致MTCNN在面部中心點檢測中產生非常大的抖動，從而在視頻中的面部邊界框中產生嚴重的抖動從而影響下一幀推薦區域的選取。但經過算法檢測，臉部的中心點移動得非常平滑，接近真實的臉部中心點軌跡，可以利用該特性將預測點作為推薦區域的中心點，從而生成下一幀檢測的推薦區域。這證明本文算法中卡爾曼濾波器在嘈雜視頻中可以對臉部中心下一幀可能的位置進行很好的預測。

圖4還模擬了視頻中的靜止中心點，橫軸為幀數，縱軸表示偏差值，當然，這種偏差在實際場景中會更大。面部中心點的檢測位置可能由于視頻中的光變化和一些其他干擾因素(例如噪聲)而改變。然而，在通過卡爾曼濾波器校正之后，在一定數量的幀之后，人臉中心點的位置趨于穩定。

圖4 視頻幀中靜止人臉中心點檢測的效果Fig.4 The effect of detecting the center point of still face in video frame

經過上述2個仿真實驗，可以認為該融合算法由卡爾曼濾波器提供的預測中心點和以該預測點為中心推薦區域是可以作為后續推薦輸入使用的。

本文算法也在實際視頻中進行了測試，其中每過10幀重新進行全圖檢測。原始測試視頻添加了不同強度的高斯噪聲。實驗計算了測試視頻中的平均峰值信噪比(PSNR)[16-17]以及在不同噪聲條件下記錄的準確率和FPS。人臉檢測的評價標準為人臉偏轉小于90°認為存在人臉，在測試視頻中，人臉進行移動并且進行隨機的角度偏轉。本實驗的硬件條件為Intel CPU I7-7700HQ，配備NVidia 1050Ti，CUDA8.0，圖像的寬和高分別為640和480。不同算法對視頻的測試結果如圖5和圖6所示。

圖5 算法FPS對比Fig.5 Algorithm FPS comparison

圖6 算法準確率對比Fig.6 Algorithm accuracy comparison

實驗測試了5種算法，并對測試視頻中不同算法的準確度和FPS進行了統計。根據圖4，可以獲得以下結果：使用諸如yolov3-tiny[18]之類的模型可以實現非常高的FPS，但是在5種算法中，精度最低。雖然YOLOV3和SSD模型在高PSNR值下是準確的，但由于這2種模型需要更多的模型參數，因此FPS低于MTCNN和本文算法。相比于直接使用三級級聯的MTCNN網絡，本文算法在有噪聲的環境中具有更高的FPS和準確率，當PSNR值越小時，算法的準確率高于其他算法，但隨著PSNR值的增加(這意味著高質量的視頻)，算法和MTCNN原網絡的精確度差異變小。從對比圖中可以得出結論，算法可以在一定噪聲的環境中平衡準確率和實時性。

4 結束語

本文結合卡爾曼濾波器，提供了一種改進的MTCNN檢測算法，該算法在噪聲測試視頻中具有良好的性能。該算法以MTCNN為觀測器，通過卡爾曼濾波器校正當前觀測值并預測下一幀人臉中心點的位置，然后通過預測位置生成推薦區域，在下一幀中使用MTCNN R-net和O-net進行局部檢測，避免全圖檢測的冗余計算，將原來的三級級聯網絡簡化為卡爾曼濾波和二級級聯網絡的計算，通過實驗測試在不同加噪情況下，該算法可有效平衡噪聲視頻人臉檢測的準確率和速度性能。