遠(yuǎn)程視頻實(shí)時(shí)人臉識(shí)別系統(tǒng)設(shè)計(jì)

姜濤，朱志宇，劉潤(rùn)邦

（江蘇科技大學(xué)電信學(xué)院，江蘇鎮(zhèn)江212003）

隨著信息技術(shù)的發(fā)展，人臉識(shí)別技術(shù)逐漸進(jìn)入人們的生活[1]。如何精確判斷人臉身份信息是具有挑戰(zhàn)性的課題，吸引了一大批研究者參與。隨著過去幾十年間研究熱情的高漲，越來越多的識(shí)別算法[1-2]和相關(guān)學(xué)術(shù)論文如雨春筍般出現(xiàn)。

但是以往對(duì)人臉識(shí)別的研究主要是集中于算法上，但在實(shí)際應(yīng)用中有諸多因素需要考慮，例如視頻采集端的效率、人臉識(shí)別的時(shí)效性、系統(tǒng)的擴(kuò)展性等等。如何統(tǒng)籌兼顧這些問題是系統(tǒng)得到良好性能的關(guān)鍵。隨著科學(xué)技術(shù)的發(fā)展以及物聯(lián)網(wǎng)觀念的提出，新時(shí)代的視頻監(jiān)控系統(tǒng)越來越趨于小型化、智能化以及網(wǎng)絡(luò)化[3-4]。而嵌入式正好符合這一趨勢(shì)，一般ARM處理器為32位且性能十分強(qiáng)大，用于視頻的采集和傳輸工作比較可靠。經(jīng)試驗(yàn)，在嵌入式ARM端進(jìn)行視頻采集并進(jìn)行遠(yuǎn)程傳輸具有較高的效率，但是一旦進(jìn)行復(fù)雜的圖像處理將會(huì)使得實(shí)時(shí)性得不到保證，計(jì)算能力相比于PC機(jī)較弱，所以在PC端采集到視頻流并進(jìn)行復(fù)雜的算法計(jì)算以滿足實(shí)際的需求。

1 基本結(jié)構(gòu)及工作原理

遠(yuǎn)程視頻實(shí)時(shí)人臉識(shí)別系統(tǒng)的設(shè)計(jì)，集視頻前端和顯示終端為一體。視頻前端采用搭載了linux操作系統(tǒng)的三星公司ARM芯片作為開發(fā)環(huán)境，外部接有UVC攝像頭和無線網(wǎng)卡等。為了減輕CPU的工作壓力，UVC攝像頭自帶DSP芯片自動(dòng)壓縮采集到的圖像為MJPEG格式，然后再將無線網(wǎng)卡設(shè)置為AP熱點(diǎn)模式而無需路由器的介入，并通過它來建立起一個(gè)視頻前端服務(wù)器，用以接收控制信號(hào)和發(fā)送視頻。顯示終端基于Qt+OpenCV的開發(fā)環(huán)境，首先接收視頻前端傳來的視頻流并進(jìn)行圖像的預(yù)處理，并結(jié)合相應(yīng)算法實(shí)現(xiàn)最終的視頻監(jiān)控以及人臉識(shí)別等功能，總體硬件框架如圖1所示。

圖1 總體硬件框架

2 視頻前端部分設(shè)計(jì)

2.1 硬件部分選型

視頻前端采用三星公司的ARM9系列S3C2440作為處理器，工作頻率可達(dá)400 MHz，完全能夠滿足高效的視頻采集和視頻傳輸要求，同時(shí)該處理器也內(nèi)置各類控制器，對(duì)于引腳的控制十分方便，易于開發(fā)。

攝像頭模塊采用百問網(wǎng)公司的UVC攝像頭，它既可以支持USB接口，也可以支持CMOS接口。USB模塊上集成了DSP芯片，可以自動(dòng)將圖像壓縮成MJPEG格式從而避免了軟壓縮的缺陷，減少CPU的壓力從而大幅提高性能。CMOS模組為OV7740，最大分辨率640*480。

無線網(wǎng)卡選用美國(guó)ATHEROS AR9271高階芯片，材料全部采用知名供應(yīng)商（ATMEL，村田，海華等），且獲得了FCC，ROHS，支持IEEE802.11B/G/N協(xié)議，傳輸速率相對(duì)較高。

2.2 軟件部分設(shè)計(jì)

視頻前端軟件部分設(shè)計(jì)需先進(jìn)行uboot移植，linux內(nèi)核移植和根文件系統(tǒng)的制作，同時(shí)根據(jù)相應(yīng)要求編寫或調(diào)試相關(guān)驅(qū)動(dòng)程序以滿足外設(shè)要求，最后編寫上層應(yīng)用程序。操作系統(tǒng)采用Linux 3.4內(nèi)核。如圖2是對(duì)內(nèi)核的配置工作，內(nèi)核支持的菜單項(xiàng)更加容易操作Makefile中的模塊，刪除不必要的驅(qū)動(dòng)模塊從而縮小體積和加快速度。

圖2 Linux內(nèi)核裁剪

新版本的內(nèi)核中支持了USB總線的框架，將通用層包裝起來，差異層提取出來以供修改，大大減少開發(fā)周期，設(shè)計(jì)使用的攝像頭驅(qū)動(dòng)程序是基于V412框架[5]的視頻設(shè)備標(biāo)準(zhǔn)的，其為應(yīng)用層提供了函數(shù)調(diào)用的基礎(chǔ)。當(dāng)接入設(shè)備時(shí)，會(huì)觸發(fā)硬件中斷，內(nèi)核會(huì)去識(shí)別它并且根據(jù)其設(shè)備描述符找到與之匹配的設(shè)備驅(qū)動(dòng)程序，從而可以在應(yīng)用層使用底層函數(shù)接口來操作攝像頭硬件。視頻的采集流程如圖3所示。

圖3 視頻采集流程圖

在采集到視頻數(shù)據(jù)后需要發(fā)送到上位機(jī)去顯示，在網(wǎng)絡(luò)傳輸部分采用TCP協(xié)議，通過socket編程使得視頻前端作為服務(wù)器端，上位機(jī)作為客戶端來交互地傳遞數(shù)據(jù)。視頻傳輸流程如圖4所示。

3 顯示終端部分設(shè)計(jì)

3.1 Qt+OpenCV的開發(fā)環(huán)境

Qt Creator是Qt開發(fā)的輕量級(jí)跨平臺(tái)集成開發(fā)環(huán)境，其包含了一系列高效的創(chuàng)建和測(cè)試工具，可以很方便地利用各種控件做出友好的界面。

OpenCV用于視覺領(lǐng)域，是一款跨平臺(tái)開源庫(kù)，內(nèi)部代碼可免費(fèi)查看和修改。其中有許多模塊可以幫我們更好地進(jìn)行圖像處理，也可以跟蹤進(jìn)相應(yīng)函數(shù)了解算法流程。本設(shè)計(jì)在Qt Creator中調(diào)用OpenCV的相應(yīng)庫(kù)實(shí)現(xiàn)視頻的顯示和人臉識(shí)別等功能。

在界面中用到一個(gè)Qlabel類作為靜態(tài)圖像的顯示容器，然后結(jié)合Qtimer類的定時(shí)器來實(shí)現(xiàn)圖像的不斷刷新，并且給出QPushButton類利用信號(hào)與槽機(jī)制來實(shí)現(xiàn)視頻的打開、關(guān)閉、人臉識(shí)別和手工/智能錄像等功能。

圖4 視頻傳輸流程

3.2 人臉識(shí)別方法

3.2.1 人臉檢測(cè)

本系統(tǒng)選取基于目標(biāo)檢測(cè)方法來進(jìn)行人臉檢測(cè)。首要工作就是根據(jù)需要訓(xùn)練樣本得到低級(jí)分類器，再將多種低級(jí)組合成高級(jí)分類器。得到高級(jí)分類器后就可以用來進(jìn)行檢測(cè)，并將結(jié)果返回。但是由于物體距離的遠(yuǎn)近會(huì)導(dǎo)致目標(biāo)區(qū)域的大小不確定，所以分類器設(shè)計(jì)時(shí)也該可以隨尺寸變化。其可以用不同比例的掃描窗口來達(dá)到這個(gè)目的。

具體檢測(cè)步驟如下：

1）使用Haar特征檢測(cè)；

2）使用積分圖對(duì)haar特征求值進(jìn)行加速；

3）使用Adaboost算法實(shí)現(xiàn)分類器的由弱轉(zhuǎn)強(qiáng)；

4）將得到的強(qiáng)分類器連接起來以達(dá)到更高的精確度。

文中使用OpenCV自帶的級(jí)聯(lián)分類器harrcascade_frontalface_alt2.xml，它能很好地檢測(cè)人臉，使用CascadeClassifier類的Load函數(shù)對(duì)其進(jìn)行加載，然后再進(jìn)行人臉檢測(cè)。

3.2.2 人臉識(shí)別

經(jīng)過之前的人臉檢測(cè)后將會(huì)得到人臉區(qū)域的圖像，在經(jīng)過圖像預(yù)處理之后就可以使用特征臉（PCA）的方法進(jìn)行人臉識(shí)別。

在識(shí)別之前還需要?jiǎng)?chuàng)建人臉庫(kù)并進(jìn)行訓(xùn)練，本文選取了10個(gè)人的10幅圖片來進(jìn)行訓(xùn)練，即每人選取不同姿態(tài)、表情和光照的尺寸為100*100的正面人臉圖像。OpenCV的一系列函數(shù)可以大大簡(jiǎn)化了人臉庫(kù)的創(chuàng)建和加載工作，其代碼如下：

具體識(shí)別步驟如下：

1）創(chuàng)建人臉庫(kù)；

2）讀取庫(kù)文件并訓(xùn)練；

3）把所有的訓(xùn)練數(shù)據(jù)投影到PCA子空間；

4）把待識(shí)別圖像投影到PCA子空間；

5）找到訓(xùn)練數(shù)據(jù)投影后的向量和待識(shí)別

圖像投影后的向量最近的那個(gè)。

3.3 人臉識(shí)別系統(tǒng)實(shí)現(xiàn)

人臉識(shí)別流程如圖5所示，本系統(tǒng)中首先提取視頻前端發(fā)來的數(shù)據(jù)，并加載訓(xùn)練好的人臉檢測(cè)分類器以及訓(xùn)練好的人臉識(shí)別庫(kù)。

圖5 人臉識(shí)別流程

為了更好地檢測(cè)，需要先對(duì)圖像進(jìn)行灰度化處理，其采用OpenCV中的cvtColor函數(shù)，該函數(shù)可以對(duì)色彩進(jìn)行轉(zhuǎn)化。接著進(jìn)行直方圖均衡化處理，直方圖均衡化采用OpenCV中提供的equalizeHist函數(shù)，它可以增強(qiáng)圖像對(duì)比度。總結(jié)以上兩個(gè)處理，我們先利用cvtColor將圖片轉(zhuǎn)化為灰度圖，再將灰度圖對(duì)比度提高，可以更好的區(qū)分圖像的明暗部分，使圖片更加易于級(jí)聯(lián)分類器分析。

經(jīng)過圖像預(yù)處理后，可以開始進(jìn)行人臉檢測(cè)了。本文用新版本的detectMultiScale函數(shù)，并根據(jù)需要傳入相應(yīng)的參數(shù)來調(diào)整檢測(cè)效果，它其實(shí)是用到訓(xùn)練好的高級(jí)分類器來檢測(cè)所需目標(biāo)并返回給一個(gè)矩陣。函數(shù)將會(huì)用不同大小的掃描窗口在圖像上進(jìn)行搜索，每次都會(huì)對(duì)圖像中的重疊區(qū)域進(jìn)行檢測(cè)與組合。在獲得人臉區(qū)域后將其進(jìn)行尺寸上的調(diào)整并與訓(xùn)練好的人臉庫(kù)進(jìn)行對(duì)比，判斷閥值大小從而確定個(gè)人身份信息，若不存在于事先設(shè)定好的人臉庫(kù)中則報(bào)警和開啟自動(dòng)錄像功能。

4 實(shí)驗(yàn)效果分析

本次實(shí)驗(yàn)主要是為了驗(yàn)證該遠(yuǎn)程視頻人臉識(shí)別系統(tǒng)的相關(guān)性能，我將分別從以下幾個(gè)角度來進(jìn)行驗(yàn)證：正臉（單人與多人）、距離遠(yuǎn)近、光照干擾、局部遮擋和實(shí)時(shí)性。

單人/多人檢測(cè)與近距離/遠(yuǎn)距離的人臉識(shí)別實(shí)驗(yàn)效果很理想，基本可以無誤地識(shí)別所有出現(xiàn)的人臉。對(duì)于局部遮蓋情況下的人臉識(shí)別，在不遮蓋超過三分之一人臉的情況下也可以準(zhǔn)確的識(shí)別出來。光照等環(huán)境因素對(duì)人臉識(shí)別的影響比前幾種稍大，總體的人臉檢測(cè)精度接近95%，人臉識(shí)別達(dá)到86%。在實(shí)驗(yàn)過程中打印出人臉識(shí)別所用平均時(shí)間約等于140 ms，實(shí)時(shí)性得到保證。

同時(shí)在上位機(jī)上也添加了智能化的功能，例如在監(jiān)控區(qū)域有人出現(xiàn)時(shí)可以識(shí)別并顯示其身份信息，在遇到陌生人時(shí)系統(tǒng)會(huì)開啟自動(dòng)報(bào)警和智能錄像等功能。圖6為視頻前端部分展示，圖7為遠(yuǎn)程顯示客戶端展示。

圖6 視頻前端部分展示

圖7 遠(yuǎn)程顯示客戶端展示

5 結(jié) 論

本系統(tǒng)基于嵌入式ARM設(shè)計(jì)實(shí)現(xiàn)了視頻采集和傳輸前端，PC作為接收、處理和顯示終端，實(shí)現(xiàn)了一種高效的遠(yuǎn)程視頻實(shí)時(shí)人臉識(shí)別系統(tǒng)。系統(tǒng)抗干擾能力強(qiáng)，實(shí)時(shí)性也完全可以保證，該系統(tǒng)可以推廣到視頻監(jiān)控、人臉識(shí)別和機(jī)器人視覺等領(lǐng)域。但是人臉識(shí)別的準(zhǔn)確度較復(fù)雜的環(huán)境下會(huì)有所降低，所以還需要對(duì)人臉識(shí)別算法進(jìn)行深入的研究以使得系統(tǒng)更加完善。

參考文獻(xiàn)：

[1]卜秋月.基于OpenCV的人臉識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].長(zhǎng)春：吉林大學(xué)，2015.

[2]嚴(yán)利民，李躍.基于OpenCV的形態(tài)處理人臉檢測(cè)[J].工業(yè)控制計(jì)算機(jī)，2014，27（9）:79-81.

[3]楊冰.基于ARM的視頻監(jiān)控取證系統(tǒng)的研究[D].西安：西安工業(yè)大學(xué)，2013.

[4]茍志堅(jiān).基于ARM的遠(yuǎn)程視頻監(jiān)控系統(tǒng)的研究與設(shè)計(jì)[D].長(zhǎng)沙：湖南大學(xué)，2014.

[5]王飛，孔聰.基于V4L2的Linux攝像頭驅(qū)動(dòng)的實(shí)現(xiàn)[J].電子科技，2012，25（2）:86-92.

[6]陳志恒，姜明新.基于OpenCV的人臉檢測(cè)系統(tǒng)的設(shè)計(jì)[J].電子設(shè)計(jì)工程，2012，20（10）:182-185.

[7]韋東山.嵌入式Linux應(yīng)用開發(fā)完全手冊(cè)[M].北京：人民郵電出版社，2012.

[8]白薇薇.基于ARM和Linux的嵌入式視頻監(jiān)控系統(tǒng)[J].電腦知識(shí)與技術(shù)，2016，12（1）:233-234.

[9]阮琳琳.基于人臉識(shí)別的會(huì)所智能監(jiān)控系統(tǒng)的研究[D].南京：南京理工大學(xué)，2012.

[10]盧靈，周賢軍.基于WiFi的嵌入式視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].電視技術(shù)，2013，37（1）:157-168.

[11]王越，龐振營(yíng)，王帥，等.嵌入式無線視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].重慶理工大學(xué)學(xué)報(bào)：自然科學(xué)，2015，29（4）:67-72.

[12]黃佳.基于OpenCV的計(jì)算機(jī)視覺技術(shù)研究[D].上海：華東理工大學(xué)，2015.

[13]王愛俠.基于OpenCV的人臉檢測(cè)系統(tǒng)實(shí)現(xiàn)[J].軟件導(dǎo)刊，2014，13（11）:139-141.

[14]張維笑.基于ARM9 S3C2416的嵌入式人臉檢測(cè)系統(tǒng)[J].工業(yè)控制計(jì)算機(jī)，2014，27（12）:25-26.

[15]孫志.基于OpenCV的人臉識(shí)別算法實(shí)驗(yàn)平臺(tái)研究與實(shí)現(xiàn)[D].長(zhǎng)春：吉林大學(xué)，2014.

[16]何榮.基于OpenCV的人臉識(shí)別系統(tǒng)設(shè)計(jì)[D].廣州：華南理工大學(xué)，2013.