基于神經網絡的移動端人臉特征點檢測

陳科宇　賈玉祥

摘 要： 將人臉特征點檢測技術融合到移動端，通過攝像頭獲取圖像信息并實時地檢測人臉特征點是一個很有前景的研究課題。本文使用ARM開發板作為技術實現平臺，通過USB攝像頭收集圖像信息，使用基于多任務級聯卷積神經網絡的人臉檢測算法結合基于回歸樹的人臉對齊算法進行人臉特征點檢測。實驗表明，該方法切實可行，人臉特征點檢測更準確、高效，移動端平臺使得人臉檢測程序更加實用方便。

關鍵詞： 人臉特征點檢測； 神經網絡； ARM平臺； USB攝像頭

中圖分類號：TP391 文獻標志碼：A 文章編號：1006-8228（2018）08-05-04

Facial feature point detection on mobile terminal based on neural network

Chen Keyu， Jia Yuxiang

（School of Information Engineering， Zhengzhou University， Zhengzhou， Henan 450001， China）

Abstract： It is a promising research topic to integrate facial feature point detection technology into mobile terminal， obtain information by camera and detect facial feature point in real time. This paper uses the ARM development board as the technology platform， combining a face detection algorithm based on multi-task cascaded neural network with the face alignment algorithm based on regression tree， and collects image information via USB camera to detect facial feature point. The experiments show that the proposed algorithm is feasible， making the facial feature point detection more accurate and efficient， and the mobile terminal platform makes the face detection procedure more practical and convenient.

Key words： facial feature point detection； neural network； ARM platform； USB camera

0 引言

近年來，在人工智能與深度學習領域中，人臉識別成為了一個研究熱點，準確地識別人臉的基礎是正確地獲取合適的人臉特征，其基本特征有：眼睛、鼻子、嘴巴等，對基本特征進行定位是人臉識別中必不可少的步驟。

人臉識別大致分為三種方法。第一種是在特征空間中，根據圖片信息在變換域空間中不同的能量分布進行識別，代表算法有奇異值分解、因子分析、獨立成分分析等降維算法。第二種是通過判斷人臉幾何信息特征的相似程度進行人臉檢測。第三種是基于多層神經網絡，在圖片信息空間投射到的子空間中進行識別，雖然該方法與第一種方法類似，但針對不同的需要，可以根據其降維、分維、非正交等特性來構造不同的網絡結構。本文提出使用基于多任務級聯卷積神經網絡的人臉檢測算法[1]結合基于回歸樹的人臉對齊算法[2]在移動設備中實時地進行人臉特征點檢測。

1 人臉檢測與人臉對齊算法

人臉識別大致分為四個步驟，按先后順序為人臉檢測、人臉對齊、人臉校驗、人臉識別。人臉檢測就是在圖片信息中尋找人臉的位置，而人臉對齊則在尋找到的人臉位置中自動找到具有標志性的特征位置并最終定位其準確的形狀。

人臉檢測算法很早就比較成熟了，Viola-Jones（簡稱VJ）算法是非常經典的人臉檢測算法，因其高效快速的檢測效率，至今仍然被廣泛使用。VJ算法[9]使用haar特征與Adaboost算法對分類器進行訓練以建立級聯分類器，并提出了積分圖，能夠對haar特征進行更快速的運算，在實時中表現出色，但大量研究表明，該算法在現實世界中檢測效率會顯著降低。在各種計算機視覺任務中，例如人臉識別、面部分類等，卷積神經網絡表現出顯著優勢，結合多任務級聯的思想，在人臉檢測中將會取得更加優秀的效果。

人臉對齊算法有兩種，分別為模板擬合的方法與基于回歸的方法，常用的較為傳統的算法有基于點分布模型的主動形狀模型算法ASM，在主動形狀模型的基礎上進一步處理紋理以將紋理和形狀融合為外觀模型的主動外觀模型算法AAM，以及結合了主動形狀模型與主動外觀模型優點的約束局部模型算法CLM。比較流行的人臉對齊算法有對牛頓法進行改進的算法SDM、基于回歸的算法ESR、調試參數比較困難的算法LBF以及基于回歸樹的算法等。

2 算法的設計與實現

本節介紹軟硬件開發平臺的選擇、算法的設計原理以及算法的實現與移植。

2.1 開發平臺

經過考量，硬件方面最終選擇使用HiKey960開發板。它是華為目前發布的性能最高的移動SoC平臺，開發板本身適配AOSP硬件開源系統，可以基于安卓系統進行目標實用性很強的APP應用開發。

軟件方面選擇了安卓8.0系統，原因是其在流暢且穩定的基礎上加強了人工智能方面的性能，更利于人臉識別程序的運行，可以提高效率。更重要的一點是安卓系統是完全開源的，具有很好的開放性，開發所需的資料也非常充足。

2.2 算法的設計

對人臉檢測算法的選擇，本文使用了基于多任務級聯卷積神經網絡的算法[1]。該算法結合有效的人臉檢測與人臉對齊兩種任務之間內在的聯系，使用多任務級聯卷積神經網絡框架進行整合。

算法一開始將圖片調整比例大小并構造出圖像金字塔[1，4，5]，以對不同比例的人臉進行檢測。算法本身使用了由粗到精的三階級聯子網絡框架，第一個子網絡簡稱提案網絡，是全卷積，即：沒有全連接層的卷積神經網絡，其特點是可以輸入不同大小的圖片，可進行端到端的訓練并更好地學習上下文信息，是非常適合輸出為圖像的一種神經網絡框架。提案網絡的主要作用是生成候選框，在訓練的過程中網絡有三條支路，分別用來進行人臉分類、對人臉框進行回歸以及人臉關鍵點的定位，而在測試中只輸出了候選框及其四個坐標信息的分數，該網絡使用邊界框回歸以校正候選框，并使用非極大值抑制的方法對候選框的重疊進行合并。第二個子網絡簡稱提取網絡，其輸入為提案網絡獲取的候選框，由于該網絡添加了一個全連接層，所以會起到更好的抑制作用，照比提案網絡會獲取更加精確的候選框信息。第三個網絡簡稱為輸出網絡，該網絡類似于提取網絡，其調整了輸入大小并增加了對地標位置的回歸和一層卷積層，在更進一步地對候選框篩選的基礎上，還會輸出五個人臉特征點位置信息。該算法與[3]比較，在獲取良好的人臉檢測效果的情況下，運行時間也比較短。

在人臉對齊算法的選擇中，本文使用了基于回歸樹的算法[2，11]，該算法通過建立級聯回歸樹將人臉真實形狀還原，整體流程如圖1所示。

其中每個回歸樹的每一個葉子節點都存儲一個殘差，當算法執行到葉子節點時會將殘差與輸入量相加以起到回歸的作用，最終通過疊加所有殘差以獲取人臉對齊的位置信息。

算法使用了GBDT（Gradient Boosting Decision Tree） 梯度提升決策樹，與隨機森林類似，都是許多棵決策樹聯合在一起的，不同點是每棵GBDT樹之間都不是并行的而是串行的，即一棵樹的構造是建立在其他樹之上的[6，7，8，10]。回歸器級聯回歸樹的流程如圖2所示。

GBDT的建立以將人臉的初始形狀回歸為真實形狀為目標，使用像素差作為特征，對于每一幅圖片在合格的特征池中隨機挑選兩個點，計算圖片在該兩點處的像素差值，并將差值與隨機生成的分裂閾值相比較，如果像素差小于該閾值則向左分裂，否則向右分裂，重復執行直到葉子節點。對落入葉子節點所有圖片的差值作平均，即可獲取該葉子節點所對應的殘差值，在構造下一棵樹之前，需要對圖像進行更新，以初始形狀與殘差的和來表示圖像，使得其更接近真實形狀。最終當可以用當前形狀表示真實形狀時，即成功建立了一棵GBDT樹，如圖3所示為回歸樹的建立過程。

該算法具有良好的實時性，但是依賴于光照，即在明亮且均衡的光照下可以獲得相對更好的檢測效果。

2.3 算法的移植與實現

算法的移植分為三個步驟，依次為USB攝像頭視頻輸入驅動的編寫、人臉檢測算法的實現并編譯成動態鏈接庫以及對人臉對齊算法的實現。最終實現對人臉特征點的檢測并在安卓平臺運行。

2.3.1 USB攝像頭的視頻輸入驅動

由于在開發板Hikey960中并沒有配備MIPI接口的攝像頭而是外置了USB接口，所以我們選擇使用USB攝像頭來作為視頻輸入設備，為此需要編寫驅動來對設備進行調用。

通過獲取通用串行總線攝像頭視頻輸入驅動相關資料，選擇使用開源庫來驅動設備。首先獲取libusb庫，它是一套以簡單的方式訪問USB設備的應用程序編程接口且無需特殊權限。然后獲取libuvc庫，它是在libusb庫之上建立的，可以對USB視頻設備進行調用，同時支持對設備進行細粒度的控制，可以獲取視頻流。最后，獲取安卓圖片壓縮庫libjpeg-turbo以對視頻流信息進行處理，該庫是圖像編解碼器，可使用單指令多數據流對JPEG圖像進行編碼與解碼。最終使用Native Development Kit（NDK）將這些開源庫編譯為動態鏈接庫，經測試，可以成功訪問目標設備、獲取視頻輸入流，并正確地處理以獲取圖像信息。具體流程如圖4所示。

2.3.2 人臉檢測算法移植

人臉檢測算法[1]源代碼是使用Matlab結合卷積神經網絡框架caffe所編寫的。移植工作分為兩部分，第一部分是將算法使用計算機視覺庫OpenCV、卷積神經網絡框架caffe和編程語言C++實現并且可以成功地檢測出人臉與五個特征點的位置信息，本文結合以上開源庫成功實現人臉檢測算法，經測試表明，實現的人臉檢測算法精確度和速度與原論文[1]基本一致。第二部分是使用NDK將實現的人臉檢測程序結合卷積神經網絡框編譯成安卓所使用動態鏈接庫。基本步驟為首先使用命令將源代碼編譯生成.class文件和頭文件，創建對應的源文件并添加人臉檢測代碼，編寫配置文件Android.mk與Application.mk以引入標準模板庫，包括頭文件目錄與靜態庫目錄，最后使用NDK指令將其編譯為動態鏈接庫。

最終結合安卓項目，調用相應的動態鏈接庫，使用人臉檢測算法，對USB視頻輸入設備獲取的圖像信息進行處理，經測試可以正確、快速地檢測出人臉以及五個人臉特征點的位置信息。

2.3.3 人臉對齊算法移植

結合上文對人臉檢測算法的移植，將獲取的人臉圖像傳送給人臉對齊算法以進行人臉特征點檢測。具體過程如圖5所示。

首先獲取Dlib庫，它是一個包含機器學習算法的開源庫，以在多平臺運行人臉識別程序為目的，并且對人臉特征點檢測算法[2]進行了實現。對該庫的移植總共分為四個步驟。

第一步編寫代碼以實現對圖像和文件的操作，例如將位圖文件轉換為矩陣、圖像格式轉換、文件的創建刪除加載等，并布置到項目中進行調用。

第二步將上文實現人臉檢測算法運算后所獲取的人臉圖像信息傳給算法以實現人臉對齊功能，結合計算機視覺庫使用NDK命令將其編譯成動態鏈接庫。

第三步實現對動態鏈接庫調用、加載訓練好的模型等函數，并且在主工程中實現對這些函數進行調用。

最后改寫build.gradle、setting.gradle等配置文件，使用gradlew命令集實現對整體項目的構建，生成安卓安裝包并使用adb命令集將其安裝到開發板中，經測試，可以快速、準確地獲取人臉和68個人臉特征點的位置信息，并將檢測結果展示到顯示器中。

3 實驗結果與分析

本文使用基于多任務級聯卷積神經網絡的人臉檢測算法結合基于回歸樹的人臉對齊算法進行人臉特征點檢測，成功在Hikey960開發板（安卓系統8.0）中運行，并通過對USB視頻輸入設備獲取圖像信息，獲得了較高的檢測速度與效率。圖6為檢測效果圖，可見人臉特征點檢測數目基本維持在68個左右。

4 結束語

本文將基于神經網絡的人臉檢測算法結合人臉對齊算法實現了對人臉特征點的檢測，并通過手機攝像頭或者USB攝像頭獲取視頻圖像信息。初步實驗顯示，與經典的人臉特征點檢測程序相比，本文方法運行速度更快、檢測效率更高。

參考文獻（References）：

[1] Zhang K， Zhang Z， Li Z， et al. Joint Face Detection and

Alignment Using Multitask Cascaded Convolutional Networks[J]. IEEE Signal Processing Letters，2016.23（10）：1499-1503

[2] Kazemi V， Sullivan J. One millisecond face alignment with

an ensemble of regression trees[C]// Computer Vision and Pattern Recognition（CVPR），IEEE，2014：1867-1874

[3] Li H， Lin Z， Shen X， et al. A convolutional neural network

cascade for face detection[C]// Computer Vision and Pattern Recognition （CVPR）， IEEE，2015：5325-5334

[4] A. Krizhevsky， I. Sutskever， G. E. Hinton， Imagenet

classification with deep convolutional neural networks[C]//Advances in neural information processing systems （NIPS），2012：1097-1105

[5] X. Zhu， D. Ramanan， Face detection， pose estimation， and

landmark localization in the wild[C]//Computer Vision and Pattern Recognition（CVPR）， IEEE，2012：2879-2886

[6] P.N.Belhumeur， J.P.Hespanha， and D.J.Kriegman. Eigen

faces vs. Fisherfaces：recognition using class specific linear projection [J].IEEE transactions on pattern analysis and machine intelligence，1997.19（7）：711-720

[7] D.Chen， X.Cao，F.Wen， and J.Sun. Blessing of

dimensionality：High-dimensional feature and its efficient compression for face verification[C]//Computer Vision and Pattern Recognition （CVPR）， IEEE，2013：3025-3032

[8] Taigman Y， Yang M， Ranzato MA， et al. Deepface：

Closing the gap to human-level performance in face verification[C]//Computer Vision and Pattern Recognition （CVPR）， IEEE，2014：1701-1708

[9] Huang G B， Lee H， Learned-Miller E. Learning

hierarchical representations for face verification with convolutional deep belief networks[C]//Computer Vision and Pattern Recognition （CVPR）， IEEE，2012： 2518-2525

[10] Wen D，Han H， Jain A K. Face spoof detection with

image distortion analysis[J].IEEE Transactions on Information Forensics and Security，2015.10（4）：746-761

[11] Schroff F， Kalenichenko D， Philbin J.FaceNet： a

unified embedding for face recognition and clustering[C]//Computer Vision and Pattern Recognition （CVPR）， IEEE，2015：815-823