基于特征分析的人臉檢測算法的DSP實現

劉紀紅，劉 祚，李中帆

(東北大學信息科學與工程學院，沈陽110819)

在智能監控系統中涉及人臉檢測、人臉跟蹤、人臉識別、表情識別等技術，其中人臉檢測是最為關鍵的一個步驟，是后續處理過程的基礎［1］。起初的人臉研究工作主要體現在人臉識別范疇，并且大都是假設已經獲得一個正面的人臉或者是人臉很容易獲取的前提情況下。但隨著人臉應用領域的逐漸擴大和實際要求的逐漸提高，這種假設前提下的研究工作不能夠繼續滿足需求了，進而復雜背景下，滿足多角度、多尺度人臉的實時檢測漸漸成為獨立的研究課題并且發展起來［2-3］。

數字信號處理器是適合高速運算的電子器件，可以實現實時圖像處理和分析。系統使用了適合做監控的CCD攝像頭做圖像傳感器，獲取有效的數字圖像信息［4］。本文將在分析人臉膚色和形狀特征的基礎上，討論在DSP系統中實現人臉的實時監測算法。

1 人臉檢測DSP硬件平臺

人臉檢測的硬件平臺采用以TI達芬奇系列單核DSP TMS320DM6437為核心芯片的ICETEKDM6437-B評估板。ICETEK-DM6437-B評估板是專為視頻和圖像應用開發的處理平臺，DM6437是一款專用于數字圖像處理的高性能32 bit定點DSP處理器，工作主頻高達600 MHz，處理性能(每秒處理指令數)可達 4 800 MIPS(Million Instructions per Second)［5］。板載DDR2存儲器通過32 bit專用總線與DM6437相連。板載視頻編碼芯片TVP5146把視頻流接入到DM6437。DM6437通過片上視頻輸出接口輸出視頻流。DM6437可以通過板載JTAG接口與仿真器相連進行調試。ICETEK-DM6437-B評估板提供屏幕顯示功能［6］。

本文中人臉檢測硬件系統結構框圖如圖1所示，其中包括:圖像采集模塊、DSP核心處理模塊和顯示模塊:

(1)圖像采集模塊:CCD攝像頭采集圖像，經過板載視頻解碼芯片TVP5146解碼，送到DSP核心處理模塊。

(2)DSP核心處理模塊:接收解碼后的圖像，實現人臉檢測，將人臉區域在圖像中標定并輸出到顯示模塊。

(3)顯示模塊:用于顯示處理后的圖像。

圖1 人臉檢測硬件系統結構框圖

2 人臉檢測DSP實現軟件流程

本文設計的人臉檢測算法在DSP上的實現流程如圖2所示，其中人臉檢測算法主要流程包括3部分:(1)預處理 獲取待檢測人臉圖像的YUV圖像數據;(2)膚色區域的分割 對YUV圖像進行膚色提取，確定膚色連通域以及最小外接矩形;(3)人臉區域的定位 通過判別條件排除不規則但與膚色色調接近的物體和人體其他非人臉部分(如彎曲的四肢等)以及實現脖子部分的排除。下面將詳細討論人臉檢測算法的DSP實現。

圖2 人臉檢測算法流程圖

2.1 預處理

將RGB圖像數據轉換為YUV圖像數據，這是因為在RGB色彩空間里人臉的膚色受亮度影響相當大［7］，膚色像素很難從非膚色像素中分離出來，處理后膚色點是離散的點，中間嵌有很多非膚色，這為膚色區域的標定(人臉標定、眼睛等)帶來了難題，而如果把RGB色彩空間轉換為YUV色彩空間的話，可以忽略Y(亮度)分量的影響，膚色會很好的類聚［8-9］。

在本文中待識別人臉圖像采用了兩種方式送入:在DM6437內存中存入一幅圖像和通過CCD攝像頭采集一幅圖像。若在DM6437內存中存入一幅圖像則需要將RGB圖像數據轉換為YUV圖像數據;若為CCD攝像頭采集，則不需要RGB到YUV色彩空間變換，因為DM6437支持YUV422格式。

RGB色彩空間到YCbCr色彩空間的轉換公式［10］如式(1):

2.2 膚色區域的分割

2.2.1 膚色區域的提取

膚色區域的提取是根據大量實驗得出膚色范圍的 Cb、Cr值:100≤Cb≤130，140≤Cr≤170 來判定的。若像素點Cb、Cr范圍在此區域內，則該像素點為膚色像素點。然后進行二值化，將膚色區域像素點在相對彩色空間位置的像素置為白色，將非膚色區域像素點在相對彩色空間位置的像素置為黑色，由此可以得到膚色區域的二值圖像。

圖3 人臉檢測算法流程圖

2.2.2 膚色區域連通域及最小外接矩形的確定

連通域及最小外接矩形的確定過程采取分兩次對整幅二值圖像掃描，第1次確定連通域及其標號，其流程如圖3所示，連通域示意圖如4所示。第2次再次掃描圖像，找出連通域內橫縱坐標的最小值和最大值，確定其最小外接矩形，并記錄其內白像素點數目。

圖4 連通域示意圖

對于連通域在DSP實現采用區域增長法［11-13］。

對于二值圖像中所有像素點依次掃描，當發現到某個未被標記的目標像素點時，把它壓入堆棧并且從這一點開始反復標記它的鄰域，當堆棧為空時停止。在8鄰域連通規范下，區域增長法的平均掃描次數能夠由8次下降到4次。

先腐蝕后膨脹的過程稱為開運算，可以消除細小物體、分離物體、平滑較大物體的邊界且不明顯改變其面積的左右。開運算定義如式(2)。

先膨脹后腐蝕的過程稱為閉運算，可以填充物體內細小空洞、連接臨近物體、平滑邊界等。閉運算定義如式(3)。

其具體步驟如下:

(1)判斷目標點為背景點還是“前景”點，區域增長算法只對“前景”點起作用，如果當前目標像素點的灰度為0，則重復進行步驟(1)，順次掃描下一個目標像素點;如果當前目標像素點的灰度等于255，則跳到步驟(2);

(2)判斷該像素點上半部分鄰域(即左上鄰域、上鄰域、右上鄰域及左鄰域)是否存在前景點，若存在則直接進入步驟(3);否則將其當前點賦予一個新的標號，進行步驟(4);

(3)獲取上半部分鄰域像素點中存在標號的最小值，將其最小標號賦給當前目標點，進行步驟(4);

(4)判斷下一目標點，直到整幅圖像都被掃描過。

2.3 人臉區域的定位

在提取出膚色區域后，要想精確定位出人臉，則需要排除一些可能存在的干擾。綜合考慮其干擾，可能包含以下3方面:(1)與膚色色調接近的物體;(2)非人臉膚色區域，如四肢等;(3)脖子對精確定位的影響。

考慮到上述3方面對人臉定位造成的影響，下面分別對上述情況進行處理，以達到精確定位人臉的目的。

2.3.1 膚色色調接近物體排除

對膚色區域確定后的圖像，根據其連通域內像素點總數，可以排除一些比較小的連通域塊;根據連通域內膚色像素點總數與連通域外接矩形的像素總數的比值可以排除掉彎曲的四肢等;根據其外接矩形的高寬比值可以排除一些狹長的膚色及類似膚色區域。

綜合考慮各種人臉庫圖像樣本，設定連通域內白像素點總數閾值為2 000，即小于2 000個白像素點總數的連通域將被排除掉?？紤]臉部區域內白像素點總數與連通域外接矩形像素總數的比值，設定該閾值為0.6。根據人臉的外觀特征，設定滿足要求的連通域高寬比值應該在0.8～2.0之間，其中2.0這個值是考慮到脖子的影響，因此設置范圍較大。

如圖5所示，可以看到原始圖像及排除膚色色調相近物體前后對比，其中原圖中背景露出的土地為膚色相近物體，經過上述判定，被排除掉。

圖5 膚色色調相近物體排除結果

2.3.2 非人臉膚色區域排除

根據先驗知識，人臉內部器官(如眼睛、嘴等)進行邊緣檢測后會存在許多邊緣，而手等純膚色區域邊緣會很少。但由于邊緣檢測計算量相對較大，考慮到DSP內存資源及系統計算速度，根據眼睛、嘴等像素點在連通域內為黑，黑像素點較多，而純膚色中黑像素點很少，因此采用黑像素點個數設置閾值來進行區分。結果如圖6所示，其中原圖包含手這樣的純膚色模塊，通過該過程被排除掉。

圖6 非人臉膚色區域排除結果

2.3.3 脖子部分的排除

對于脖子部分的排除，本文進行了大量的圖像實驗驗證，最后確定將滿足上述條件的連通域細化為3類，并設計了對應解決方法:

(1)若連通域外接矩形高寬比范圍在0.8～1.3，保持原高度、寬度不變;

(2)若連通域外接矩形高寬比范圍在1.3～1.5，高度變為原高度的0.85倍，寬度保持不變;

(3)若連通域外接矩形高寬比范圍在1.5～2.0，高度變為原高度的0.7倍，寬度保持不變。

脖子部分的排除如圖7所示，可以看到原圖與排除脖子部位影響后的結果。

圖7 脖子部分的排除結果

2.4 程序優化及誤差分析

在DM6437編譯器中定義的數據類型如表1所示:long型數據長度為64 bit，因此要避免將int和long型作為相同的尺寸處理。由于C64x+內部寄存器都是32 bit的，而且內核的32 bit的8個執行單元每次處理的數據若也是采用64 bit long型表示數據，就會導致每次使用的不是一個寄存器存取。這不僅對DSP內部寄存器使用而言是極大的浪費，也會占用更多的功能單元，浪費大量的DSP內核處理時間。所以本文在不影響精度的情況下，把程序中的long型全部換成int或short型。

表1 DM6437數據類型

執行一次short×short運算僅用1個指令周期，而執行一次int×int運算需要花費5個指令周期。所以本文對定點乘法輸入采用了short型數據。這樣可以最有效地利用DSP內部的16 bit乘法器，加快指令執行速度。并且對循環計數器使用int或unsigned int類型，而不使用 short或者 unsigned short類型，來避免不必要的符號擴展指令。

3 測試與結果分析

3.1 測試方案與測試數據

本節中對本文設計的人臉檢測方法進行綜合測試。測試方案如下:按照圖片來源其測試內容包括網絡圖像、FDDB人臉檢測數據庫圖像、實際生活中采集的圖像3種類型;按照圖像中人臉數目測試內容分為簡單背景的單人臉圖像和復雜背景的多人臉圖像。人臉檢測結果統計表如表2和表3所示。其中定義人臉檢測率為正確檢測出人臉的數目與圖像中所有人臉數目的比值;誤檢率為檢測出非人臉數目與圖像中所有人臉數目的比值;漏檢率為沒有檢測出來的人臉數目與人臉總數的比值。

同時對MATLAB與DSP的人臉檢測程序進行運算速度的測試，測試采用10張單人臉圖像以及10張多人臉圖像作為測試圖像。MATLAB人臉檢測程序在MATLAB中利用tic、toc函數直接得到運行時間，DSP人臉檢測程序可以在CCS得到系統運行時所需的時鐘周期。其中，MATLAB運行環境為Windows 7系統，采用2.8 GHz主頻的Intel CPU以及8G RAM，ICETEK-DM6437-B的系統時鐘設定為600 MHz。MATLAB與DSP人臉檢測程序運算速度對比如表4所示。

表2 不同圖像來源人臉檢測統計表

表3 不同人臉數目人臉檢測統計表

表4 MATLAB與DSP人臉檢測程序運算速度對比表

模擬實際監控錄像采集圖像，對其進行人臉檢測。實驗地點為宿舍，將照相機支架置放在床鋪上，此時照相機與地面的距離大約為2.2 m左右(床高大約1.7 m，支架高大約0.5 m)，連續采集圖像。其采集原圖像與DSP人臉檢測結果如圖8所示。

圖8 DSP人臉檢測結果

3.2 結果分析

從上面數據可以看出，網絡圖像和FDDB人臉數據庫中的圖像其人臉正確檢測率相比生活中采集的圖像檢測率高，針對DSP優化的人臉檢測程序運算速度要強于MATLAB，同時可以得出DSP人臉檢測程序很好的滿足了人臉檢測實時性的要求。通過對測試生活圖像和網絡圖像膚色提取后的結果分析，主要存在兩方面原因。一是采集圖像本身質量問題，拍攝網絡圖像如明星合影等所使用的攝像機像素相對較高，同時拍攝過程中會采取補光等一些措施，因此對其進行膚色提取效果較好;二是生活圖像的背景比較復雜，可能含有更多的與膚色相近的物體，而且大多數在室外取景的生活照片，其膚色的提取過程受光線影響很大。

4 結論

本文在ICETEK-DM6437-B評估板上實現了實時人臉檢測算法。算法首先根據MATLAB環境中統計好的膚色模型確定所有候選膚色區域，依據人臉的形狀特征排除非人臉區域，可以實現所有人臉的精確定位;同時采用區域增長的連通域方法來確定人臉候選塊，代替了邊緣檢測等方法，進而減少了DSP的運算量。實驗結果表明，經過優化的算法在DM6437上可以很好的滿足實時人臉檢測的要求。

［1］葛薇.自動人臉識別的關鍵問題研究［D］.北京:中國科學院研究生院，2007.

［2］隋靜.基于視頻圖像的人臉檢測方法研究［D］.西安:西安電子科技大學，2011.

［3］Yang M H，Kriegman D，Ahuja N.Detecting Faces in Images:A Survey［J］.IEEE Trans Pattern Analysis and Machine Intelligence，2002，24(1):34-58.

［4］王珺，彭進業，李丹嬌，等.基于DSP的視頻人臉監控系統設計與實現［J］.計算機測量與控制，2012，20(3):697-701.

［5］Texas Instruments Inc.TMS320DM6437 Digital Media Processor［EB/OL］.Product Specifications，http://www.ti.com.cn/.

［6］瑞泰創新科技有限責任公司.ICETEK-DM6437-B實驗手冊［S］.北京:瑞泰創新科技有限責任公司，2011.

［7］Augusteijn M F.Identification of Human Faces through Texture-Based Feature Recognition and NeuralNetwork Technology［C］//Proceedings of IEEE Conference on Neural network，1993:392-398.

［8］姜軍，張桂林.一種基于知識的快速人臉檢測方法［J］.中國圖像圖形學報，2002，7(1):6-10.

［9］Vidit Jain，Erik Learned-Miller.A Benchmark for Face Detection in Unconstrained Settings［R］.Technical Report UM-CS-2010-009，Dept.of Computer Science，University of Massachusetts，Amherst，2010.

［10］Rafael C Gonzalez，Richard E Woods.Digital Image Processing，Third Edition［M］.New Jersey:Prentice Hall Publication，2008.

［11］李華勝，楊樺，袁保宗.人臉識別系統中的特征提?。跩］.北京交通大學學報，2003，25(2):6-10.

［12］高紅波，王衛星.一種二值圖像連通域標記的新算法［J］.計算機應用，2007，27(11):2776-2777.

［13］張瑩，李勇平，敖新宇.基于OpenCV的通用人臉檢測模塊設計［J］.計算機工程科學，2011，1(5):97-101.