基于改進Gabor-PCA分析重構的人臉遮擋物清除

毛賢光　李　罕　李云欣　高　靜

1(南寧市工業和信息化委員會　廣西 南寧 530028)2(南寧市城市應急聯動中心　廣西 南寧 530021)3(廣西通信規劃設計咨詢有限公司　廣西 南寧 530007)

?

基于改進Gabor-PCA分析重構的人臉遮擋物清除

毛賢光1,2李罕2李云欣2高靜3

1(南寧市工業和信息化委員會廣西 南寧 530028)2(南寧市城市應急聯動中心廣西 南寧 530021)3(廣西通信規劃設計咨詢有限公司廣西 南寧 530007)

摘要針對實際應用于“智慧南寧”項目建設時，多重訓練樣本容易使重構人臉陷入局部最大化以及協方差矩陣分解耗時嚴重的問題，提出一種基于改進Gabor-PCA分析重構的人臉遮擋物清除算法。在訓練樣本集選擇階段，通過構建5維8方向的Gabor直方圖信息分類器，從人臉庫中選擇Gabor直方圖信息與待重構原始人臉圖像在外形輪廓等粗信息更為接近的圖像組成訓練樣本集。同時，在PCA主元分析時，通過SVD分解重構協方差矩陣來降維，從而達到二次減少耗時的目的。實驗證明，隨著訓練樣本集的增加，該算法對各種人臉都有很強的適應性，并且得到的清除遮擋物后的人臉圖像清晰、無局部最大化現象，與原始圖像匹配度高，具備投入實際應用的能力。

關鍵詞智慧南寧人臉重構Gabor訓練樣本集PCASVD

0引言

隨著十二五規劃中對城鎮信息化建設提出的新要求，“智慧城市”這一描述城市信息化發展階段的代名詞逐漸成為未來10年城市信息化建設的總目標[1-3]。南寧市作為廣西壯族自治區的首府，“智慧城市”的發展具有獨特的優勢：比鄰北部灣經濟開發區，打造面向東盟的區域性城市。南寧市工業和信息化委員會作為全面負責南寧市公共數字化、工業信息化系統/平臺規劃和建設、企業監督和管理的單位，在“智慧城市”的建設中起著核心作用。目前“智慧南寧”建設正處于網絡建設向平臺和應用融合的階段轉變，將建設統一的公共平臺和統一的城市信息中心(大數據中心)[4,5]。這要求各類信息經采集、分析后能以統一的標準存儲并再次交互，這其中以人臉信息的錄入標準最為嚴格。人臉信息的獲取在“智慧南寧”中來自于方方面面：“智慧政務”和“智慧醫療”中登記錄入的面部信息、“智慧交通”、“智慧園區”和“智慧旅游”中抓拍到的監控對象等等，這些信息在“智慧城市”模式下最終都將以統一的標準和身份證上的照片信息進行比對。按照公安部的要求，身份證照片十分苛刻，其中一條就是不能有面部遮擋物，包括眼鏡、濃妝、飾物、大胡子等，這對“智慧城市”模式下采集到的人臉圖像信息提出更高的要求——自動清除面部遮擋物。

人臉遮擋物清除在人臉識別中屬于高維矩陣計算范疇，目前，解決這種問題的方法大致分為兩類：場量法和代數解析，這兩者的共同點是都需要投影映射。文獻[5]提出的共同向量結合法，通過Gram-Schmidt正交解決投影，文獻[6]利用完備鑒別保局投影法，解決投影降維，除此之外，比較經典的場量法還有有零空間保局投影法NDLPP[7]、維數增加法CODI[8]、Variant Faces分類法[9]等；代數解析法有獨立主成分分析法ICA[10]、核主成分分析法Kernel PCA[11]、支持向量機SVM[12]等。他們的特點是當投影矩陣或協方差矩陣直接滿足局部正交時，函數不會陷入局部最大化，但是這些方法都跳過分類器設計，默認函數符合局部正交，這不符合 “智慧城市”建設項目的實際情況。“智慧南寧”項目主要面向東盟，采集得到人臉圖像千差萬別，不可能跳過分類器，同時鑒于投入使用時的處理耗時問題，還要求算法精準快速。

因此，本文針對應用于“智慧南寧”項目建設時，訓練樣本多樣性使重構人臉容易陷入局部最大化以及協方差矩陣分解耗時嚴重的情況，提出一種基于改進Gabor-PCA分析重構的人臉遮擋物清除算法。通過構建Gabor直方圖信息分類器，并根據待重構原始人臉圖像相應的Gabor直方圖信息，從人臉庫中選擇輪廓信息更為接近的圖像作為訓練樣本集。同時，在PCA主元分析時，通過奇異值分解來重構協方差矩陣來降維，達到二次減少耗時的目的。

1人臉特征描述

第二代居民身份證制證用數字照片的尺寸為358像素(寬)×441像素(高)，分辨率為350 dpi。如圖1(a)所示，彩色為正面免冠，拍攝前，要求面部清潔，不能有汗漬、油污，不能化濃妝，嚴禁配戴眼鏡、非黑色的鋼絲發卡等任何影響拍攝效果的飾品；可著T恤或者西裝拍攝，但不得穿制服。因此，無論圖片質量，還是拍攝技術，與第一代身份證相比要求更高，但同時也為全市基礎圖像數據的比對提供了標準。總所周知，人臉信息分為五官結構、比例等固定信息和一些細節信息：表情、姿態、發型、膚色、飾物、噪聲等。這幾大類的細節信息如果能在人臉重構前，通過分類形成有針對性的訓練樣本空間，將大大縮短主元分析的耗時。

本文提出的基于改進Gabor-PCA分析重構的人臉遮擋物清除算法，就是針對人臉多種細節信息，構建Gabor直方圖信息分類器，并根據待重構人臉相應的Gabor直方圖信息從人臉庫中選擇細節信息更為匹配的圖像作為訓練樣本集。如圖1(e)所示，傳統的Gabor分析能有效地分析指紋等區分度高的細節信息，但是對區分度不高的人臉，缺乏適應性(如圖1(b))，因此，本文對Gabor進行改進，使其能有效應用于人臉(如圖1(c))。同時，在PCA主元分析時，通過奇異值分解來重構協方差矩陣來降維，避免圖像出現局部最大化的癥狀(如圖1(d))，并達到二次減少耗時的目的。

圖1　Gabor、PCA分析

2改進Gabor-PCA算法

2.1算法流程解析

圖2　改進Gabor-PCA算法流程圖

2.2Gabor、PCA算法

復值Gabor[13]函數空間表達的一般形式如下：

(1)

復值Gabor函數是二維高斯函數在兩個頻率軸都發生了平移之后的結果，即原來的頻率中心由坐標原點移到(l,v)處。它是一個二維帶通濾波器，為了適用于分析人臉，這里將復值Gabor濾波器變換成偶對稱：

(2)

(3)

PCA[14]算法利用K-L變換排列訓練樣本的主要信息，構成特征空間，并將待測目標投影到此空間，使重建誤差和噪聲分散整個重建信號，達到E[y2]最大化的目的：

E[y2]=E[(ATx)2]=ATE[xxT]A=ATCA

(4)

2.3Gabor-PCA算法設計

步驟1對采集到的原始圖像化為尺寸358×441的歸一化圖像F，以便和身份證圖像信息進行后續匹配。

步驟2按式(1)、式(2)構建Gabor函數，其中θ和f分別為Gabor濾波器方向以及頻率，σx和σy是Gaussian包絡常數。

在本算法中，取θ=π(180-i)/180，i=0,22.5°×1,…，22.5°×7，f=0.2，σx=σy=4。

步驟3對圖像F的每一點像素按照式(5)進行Gabor變換。其中ε(i,j)為濾波后像素(i,j)的圖像，θ(i,j)為F在像素(i,j)的梯度方向，f(i,j)為像素(i,j)在紋線梯度方向上的頻率，m為在F進行Gabor分析的維度，這里取w=0,1,…,4。

(5)

步驟4對統計得到的40組Gabor信號，構建矩陣G5×8=[G0,…,Gi,…,G7]，列向量Gi為ε(i,j)在對應角度i下的5個維度Gabor直方圖統計信號。

步驟5分別對Gi求模得到S=[‖G0‖,…,‖Gi‖,…,‖G7‖]。

步驟6為忽略人臉細節信息，根據θ在5個維度m上對人臉外形輪廓的影響力，設權值η=[0.25,0.05,0.15,0.05,0.25，0.05，0.15，0.05]。

步驟9對F″按式(4)構建協方差矩陣，其中x=(x0,…,xi,…,xN-1)T，N為訓練樣本集中樣本個數，xi=(F″i(0,0),…,F″i(k-1,h-1))，xi為一維k×h行向量，k和h分別為圖像F″的寬和高。

(6)

步驟11鑒于協方差矩陣C的維數為kh×kh，計算量太大，故對C進行SVD[15]。計算ATA的特征值λi及其正交歸一化特征向量νi。

步驟12按式(7)計算特征值的貢獻率，其中p為有效的特征值個數，α=0.99。

(7)

步驟14按式(8)計算圖像F的重構圖像Ff。

(8)

步驟15計算F與Ff的差Fc，并按式(9)計算補償圖像Fr，其中，當F=Fc時δ=0，當F≠Fc時δ=1。

Fr=δF+(1-δ)Ff

(9)

步驟16按式(10)計算相鄰兩次重構圖像之間的距離ε，如果ε≥0.99進入步驟17；否則，令F=Ff并進入步驟9。

ε=‖Ffi-Ffi-1‖2

(10)

步驟17結束。

3試驗及分析

3.1訓練樣本集選擇和SVD分析

實驗一首先驗證本文算法對訓練樣本集選擇的有效性，為下兩個實驗打下基礎。這里為了凸顯訓練樣本集對重構圖像的影響力，對樣本集圖像采集的隨意性進行最大限度的放大。如圖3所示，樣本集圖像在尺寸、光照強度、衣著款式、發型、面部拍攝角度等都存在差異，這是符合“智慧城市”應用背景的實際情況的。要知道，“智慧城市”各領域收集到的圖像格式不可能統一，這除了需要我們構建強大的大數據中心以便提供有效的訓練樣本集外，更要求算法自身具有區別力。

圖3　多樣性的樣本集圖像

圖4(a)為待重構原始圖像F，圖5為F經由本文所提Gabor直方圖分析后得到的其中一組信號，可以看出當θ=0°、90°時，包含的外形等輪廓信息最為豐富；當θ=45°、135°時，也包含較為豐富的輪廓信息；而當θ=22.5°、67.5°、112.5°、157.5°時，包含的信息大多為面部等細節，這就是為什么η=[0.25,0.05,0.15,0.05,0.25，0.05，0.15，0.05]的原因。

圖4(b)和(c)分別為樣本集數量為35和280時，將F直接進行PCA主元分析后的重構情況。從效果圖可以非常直觀的看出，由于樣本集沒有經過篩選且在PCA主元分析時沒有進行SVD重構協方差矩陣，圖4(b)重構得到的Ff完全被噪聲淹沒，僅能通過肉眼區分出Ff存在一個人形輪廓，F直方圖原有的信息也完全畸變；幸運的是，圖4(b)由于樣本少，所以Ff出現局部最大化的癥狀不太多。圖4(c)由于樣本集數目較大，Ff得到提升，人形輪廓較圖4(b)清晰，但是局部最大化的癥狀比圖4(b)嚴重。

圖4(d)為先由本算法進行Gabor直方圖分析構建與F在外形輪廓等粗信息大致匹配的數量同樣為35的訓練樣本集后，F直接進行PCA主元分析。可以看出，由于經過篩選，構建的訓練樣本集在輪廓上大致符合長發、面孔居于圖像中上位置等粗信息，得到的Ff從視覺上已經能清晰分辨出和F依稀相似，但是由于沒有經過SVD重構，部分Ff還是陷入局部最大化。圖4(e)為完全按照本文設計的算法先進行粗選，得到同樣為280的訓練樣本集，并由SVD重構后才進行PCA分析后。從視覺上看，人臉面部信息完整、清晰，和F相差無幾。波形也與F的直方圖大致相似，并且訓練樣本集的增大，Ff也沒有陷入局部最大化，只是包含少量噪聲。說明本算法對樣本集的選擇是成功的，所構建的訓練樣本集在用于本文下面要進行的人臉障礙物清除中是有效的。

圖4　Gabor-PCA訓練樣本集選擇和SVD分析

圖5　w=4時，F在8個θ方向的投影值

3.2Gabor-PCA分析

下面要進行的兩個實驗都是“標準”實驗，即已經經過本算法構建訓練樣本集。圖6(a)為待重構原始圖像F，圖6(b)為經過本文算法重構后的Ff，從兩者的直方圖可以看出，F經過與訓練樣本集的投影，得到的Ff明顯將F的重建誤差和噪聲分散整個重建信號。F直方圖最右邊的孤立“小山丘”為噪聲信號，而Ff直方圖最右邊的“小山丘”已經被弱化，不僅如此，F直方圖最左邊的“次要”信號也被相應分散。但是從Ff的整體效果來看，還不理想，視覺效果還比較差，部分細節信息比較模糊，因此需要繼續輪回迭代。

圖6(c)為Fc，圖6(d)為補償圖像Fr，按照本文算法，面部遮擋物部分用Ff替代，其余沿用F，從視覺效果來看，依稀可見眼睛邊框和面部“色斑”，這是由于Ff只進行一次主元SVD分析，噪聲依舊太多的緣故。圖6(e)為第二次迭代得到的Ff，從直方圖來看，有效信息所在的“大山丘”更為平滑，其余噪聲信號也得到了進一步削弱；圖6(f)為經過17次迭代后得到的最終Ff，圖6(g)為最終的輸出圖像，從視覺效果和直方圖來看，很好地達到了“遮擋物清除”的目的。

圖6　Gabor-PCA分析

3.3人臉遮擋物清除

本實驗旨在驗證本文所提算法的普適性。本實驗選取幾個典型的例子，應用本文所提算法進行人臉遮擋物清除，并用adaboost人臉檢測算法來進行正確率驗證和耗時分析。圖7(a)為大胡子的男性，經過本文算法分析后“剃掉”了胡子；圖7(b)為戴有眼鏡和耳墜的女性，輸出為一副“標準、干凈”的圖像：沒配戴眼鏡、無面部飾物；圖7(c)～(f)分別為拍攝光照昏暗、佩戴墨鏡、“側臉”和長頭發的人臉圖像，值得一提的是，圖7(f)為戴眼鏡的長頭發男性，輸出圖像不僅摘掉了眼睛，更“剪掉”了頭發，為下一步的匹配打下更堅實的基礎。

圖7　本文算法的普適性

以2400個原始人臉樣本為樣本庫一(即未經本文算法處理的人臉庫)，經過本文算法處理后的這2400個樣本為樣本庫二，分別應用adaboost人臉檢測算法來對這2組樣本進行單一身份識別來比較錯誤率和耗時。明顯的，圖8(a)中未經本文算法處理的錯誤率要高于經過本文算法處理后的錯誤率，這是因為經過本文所提的改進Gabor-PCA分析重構的人臉信號更為收斂。從圖8(b)可以看出，由于adaboost方法為非閾值檢測，而是對所有樣本進行識別后依據最高相似度匹配唯一對象，因此耗時會隨著樣本的增加而呈上升趨勢，但是隨著樣本數的遞增，adaboost識別未經本文算法處理的樣本耗時增速較快，而經過本文算法處理后的耗時增速平緩。

圖8　未經本文算法處理和經過本文算法處理后的adaboost識別效果對比

4結語

本文擬作為“智慧南寧”建設的一個試點項目，具有前瞻性和探索性，提出的改進Gabor-PCA分析重構的人臉遮擋物清除算法為整個試點項目打開缺口。針對樣本集的多樣性，算法具有自主選擇性，構建符合外形輪廓要求的訓練樣本集，并通過SVD進行二次縮短計算耗時，最終達到清除人臉遮擋物的目的。只要大數據中心有足夠的樣本可供選擇，算法的可行性就有保障，但是，通過長時間的實驗，我們發現，PCA主元分析中的對稱矩陣分解的方法選擇決定最終的計算耗時，目前能應用于計算機的最快的分解方法是QR分解，本文所用的方法也是基于此。但是，當輸入圖像尺寸接近2200×1800像素或訓練樣本集大于22 600時，算法耗時難以容忍，這需要特殊硬件編解碼，因此，“智慧南寧”建設的下一步應先加強基礎設施和配套硬件建設，為信息化項目在南寧市的鋪開提供有力的保證。

參考文獻

[1] 朱虹.我國智慧城市發展現狀及標準化建設思考[J].標準科學,2013(10):10-13.

[2] 段淑敏.智慧城市關鍵技術研究[J].電子世界,2013(21):82-83.

[3] 謝衛民.智慧城市瓶頸分析及對策研究[J].信息通信,2013(9):168-169.

[4] 楊京英,陳彥玲.智慧城市發展指數研究[J].調研世界,2013(11):8-14.

[5] 袁遠明.智慧城市信息系統關鍵技術研究[D].武漢:武漢大學,2012.

[6] 姜文濤,劉萬軍,袁姮.一種基于曲量場空間的人臉識別算法[J].計算機學報,2012,35(8):1739-1750.

[7] 蘇煜,山世光,陳熙霖.基于全局和局部特征集成的人臉識別[J].軟件學報,2010,21(8):1849-1862.

[8] 楊利平,龔衛國,辜小花,等.完備鑒別保局投影人臉識別算法[J].軟件學報,2010,21(6):1277-1286.

[9] M S Bartlett,J R Movellan,T J Sejnowski.Face recognitiong by independent component analysis[J].IEEE Transactions on Neural Networks,2002,13(6):1450-1464.

[10] 朱玉蓮,陳松燦.特征采樣和特征融合的子圖像人臉識別方法[J].軟件學報,2012,23(12):3209-3220.

[11] 余潔,劉利敏,李小娟.利用ICA算法進行全極化SAR影像濾波研究[J].武漢大學學報:信息科學版,2013,2(2):1945-1950.

[12] 盧桂馥,林忠,金忠.基于核化圖嵌入的最佳鑒別分析與人臉識別[J].軟件學報,2011,22(7):1561-1570.

[13] 張寶昌,陳熙霖,山世光.基于支持向量的Kernel判別分析[J].計算機學報,2006,29(12):1561-1570.

[14] 張文超.局部Gabor二值模式人臉表示與識別方法研究[D].哈爾濱:哈爾濱工業大學,2007.

[15] 陳金西.基于PCA人臉識別系統設計與實現[J].廈門理工學院學報,2013,21(3):40-44.

[16] 史郡,王曉華.基于改進K-SVD字典學習的超分辨率圖像重構[J].電子學報,2013,41(5):997-1000.

收稿日期：2014-12-03。南寧市城市應急聯動指揮系統升級項目(NNZC2010-1441A)；南寧市城市公共安全與社會綜合服務系統人才小高地項目(2011020)。毛賢光，高工，主研領域：信息架構，信息模塊化設計。李罕，高工。李云欣，高工。高靜，工程師。

中圖分類號TP391.4

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.07.054

ELIMINATING FACE OCCLUDED AREA BASED ON IMPROVED GABOR AND PCA ANALYSIS RECONSTRUCTION

Mao Xianguang1,2Li Han2Li Yunxin2Gao Jing3

1(NanningCommitteeofIndustryandInformationTechnology,Nanning530028,Guangxi,China)2(NanningCityEmergencyandResponseCenter,Nanning530021,Guangxi,China)3(GuangxiCommunicationPlanningandDesignConsultingCo.,Ltd.,Nanning530007,Guangxi,China)

AbstractWhen practically applying to the construction of “Smart Nanning City” project, multiple training samples are easy to leading the face reconstruction to falling into local maximum and to severe time consuming in covariance matrix decomposition. In order to solve these problems, this paper presents a face occluded area elimination algorithm which is based on Gabor and PCA analysis reconstruction. In the phase of training sample set selection, by constructing a 5-dimensional and 8-directional Gabor histogram information classifier we select the images from face database which have closer rough information such as the figure outlines between the Gabor histogram information and original face to be reconstructed for forming the training sample set. Meanwhile, when making PCA analysis, we use SVD (singular value decomposition) to reduce the dimensionality of covariance matrix, so as to reach the goal of decreasing time cost. Experiment proves that along with the increase of training sample sets, the algorithm has high adaptability to various faces, moreover, the derived face image with the occluded area eliminated is clear, does not have the phenomenon of local maximum, highly matches the original image, and possesses the capability of putting into practical use.

KeywordsSmart Nanning CityFace reconstructionGaborTraining sample setPCASVD