一種基于視覺注意模型的人臉圖像評估算法?

朱利偉，蔡曉東，曾澤興，梁奔香

（桂林電子科技大學信息與通信學院，桂林541004）

·微機軟件·

一種基于視覺注意模型的人臉圖像評估算法?

朱利偉，蔡曉東，曾澤興，梁奔香

（桂林電子科技大學信息與通信學院，桂林541004）

人臉識別受光照和姿態等影響。對人臉圖像進行質量評估有利于在人臉識別過程中獲得有利于識別的人臉圖像。提出一種新的基于視覺注意模型的人臉圖像質量評估方法。首先進行人臉檢測獲得人臉區域，然后對人臉區域分別進行眼睛檢測和顯著性檢測，再根據所得到的眼睛區域和顯著圖計算左眼顯著性和右眼顯著性，最后計算雙眼顯著性，作為人臉圖像質量。該方法計算簡單，不需要參考圖像。實驗結果表明，該方法能對人臉圖像質量進行正確評估，評估結果符合人眼的視覺注意。

人臉；人臉檢測；質量評估；視覺注意力模型；顯著性；無參考

1 引 言

人臉識別是模式識別領域一個非常活躍的研究方向，在安全、經濟領域有著廣闊的應用場景。近年來，對人臉識別的研究取得了突破性進展，但是人臉識別算法普遍受光照、姿態變化、年齡增長、圖像分辨率等因素的影響，離大規模實際應用存在一定距離。

在一個人臉識別系統中，輸入圖像的質量嚴重影響系統識別率。準確評估輸入的人臉圖像質量，對提高人臉識別系統的性能（如正確識別率，錯誤拒絕率等）具有重要意義。

目前，很多圖像質量評估方法已經被提出，但是針對人臉圖像質量的評估方法很少。主要有2類：有參考的圖像質量評估方法和無參考的圖像質量評估方法。其中無參考的圖像質量評估方法又可以分為基于機器學習和基于非機器學習這兩種。

有參考的質量評估方法有著較完整的理論體系和成熟的評價框架，常用的方法如峰值信噪比（PeakSignal－Noise Ratio）和結構相似性（Structural Similarity），這類方法需要參考圖像。但是在一個實際的人臉識別應用中參考圖像很難得到或是得到的代價很大。Liu［1］等提出一種分塊評估人臉圖像質量再融合的方法，采用訓練圖像的平均臉作為參考圖像。

對于無參考的質量評估方法，不需要參考圖像就能對圖像進行合理評價，符合實際應用需求，是未來的發展趨勢之一。基于非機器學習的無參考質量評估方法，通常是根據反映人臉圖像質量的特征結合人臉的先驗知識來評估人臉圖像質量。多數這類方法僅僅針對一種或幾種反映人臉圖像質量特征的因素，無法很好地反映人臉圖像的整體質量。Abaza等人［2］利用高斯模型將對比度、明亮度、清晰度、光照等分別進行歸一化，通過加權方式將歸一化的質量因素整合成人臉的質量標簽。Marsico等人［3］提出一種基于人臉頭部姿態、光照變化、人臉對稱性的質量評估方法，該方法依賴與人臉特征點的準確定位。Nasrollahi等人［4］通過分別評估頭部姿態、清晰度、明亮度、分辨率這四個因素，然后固定加權綜合來評估人臉圖像整體質量。Luo等人［5］利用人臉區域與圖像面積之比、人臉區域陰影區域所占比例、人臉區域清晰度來評估人臉圖像質量

基于機器學習的無參考質量評估方法的基本思路是：在訓練階段，獲得用于訓練的人臉圖像質量；抽取反映圖像質量的特征向量，以此特征向量和其所對應的人臉圖像質量構建質量評估模型。在測試階段，用同樣的方法抽取測試圖像的特征向量作為質量評估模型的輸入，模型輸出值即為人臉圖像質量的客觀評估值。這類方法需要預先知道部分人臉圖像的質量，用之訓練模型。但是人臉圖像的質量很難準確獲得。Li等人［6］提取圖像的相位一致性、熵、梯度信息，通過回歸神經網絡建立評估模型。Wong等人［7］提出一種基于分塊和概率的人臉圖像質量評估方法。訓練時，首先對一系列標準圖像進行分塊，然后通過對每一個塊提取DCT特征建立局部概率模型。將測試圖像各個分塊概率的log乘積作為人臉圖像的最終質量。

目前大部分人臉圖像質量評估方法都是基于傳統的與人臉無關的圖像屬性，比如對比度、明亮度、模糊度等，這些方法無法或很難獲取符合人類視覺感受的質量評估。

從人類視覺感受出發，提出了一種基于顯著性檢測的、結合人臉先驗知識的人臉圖像質量評估方法。實驗結果表明，該方法能夠有效評估人臉圖像質量。系統流程圖如圖1所示。

圖1 人臉圖像質量評估流程圖

2 人臉圖像的顯著性

顯著性區域檢測的本質是一種視覺注意模型（Visual attention model，VAM）。VAM是依據視覺注意機制得到圖像中最容易引起注意的顯著部分，并用一幅灰度圖像表示其顯著性，灰度圖像的灰度值由低到高對應顯著性從小到大［8］。對于人臉圖像而言，最容易引起注意的是眼睛、鼻子、嘴巴，尤其是眼睛。因此，在顯著圖上，人臉圖像的這些部分應該更亮。從算法的效果和時間復雜度考慮，采用了SR方法［9］。結果如圖2（b）所示。

其中輸入圖像為I（x），對其傅里葉變換，并且求出振幅譜A（f）和相位譜P（f）。L（f）是log振幅譜。h是一個n*n均值濾波的卷積核，默認n＝3。R（f）就是SR譜。然后利用SR譜和相位譜，進行傅里葉反變換，最后進行一個高斯模糊濾波（σ＝8），最終得到顯著圖S（x）。

3 基于顯著性的人臉圖像質量評估方法

通過觀察人臉圖像顯著圖可以知道，標準人臉顯著圖的明亮區域集中在兩只眼睛的位置，隨著光照條件、頭部姿態、清晰度、表情等變化，顯著圖的明亮區域相應變化。提出一種基于這種觀察的人臉圖像質量評估方法。

其中S（x）表示人臉圖像顯著圖；S表示人臉圖像顯著性；Sl（x）表示左眼區域顯著圖；Ls表示左眼的顯著性；Sr（x）表示右眼區域顯著圖；Rs表示右眼顯著性；Qs表示人臉圖像質量。計算過程如圖2所示。

圖2 人臉圖像質量計算

4 實驗結果與分析

4.1 不同顯著性的人臉圖像質量評估的有效性差別

為評估SR算法能否作為有效的人臉圖像的顯著性檢測方法，比較了SR算法與主流的4種顯著性檢測方法：ac［10］、ft［11］、hc［12］、lc［13］在feret［14］、fei［15］人臉庫中的表現。一些具有代表性的測試圖像及實驗結果見圖3、4。從圖中可以看出，SR方法得到的顯著圖很好地反映了人眼的視覺感受，而且隨著頭部姿態、光照條件、圖像清晰度等變化，呈現一定的規律。其它方法，雖然能夠獲得更加符合人眼視覺感受的顯著圖，但是卻無法正確反映頭部姿態、光照條件、圖像清晰度等的變化。

圖3 不同的顯著性檢測方法在feret人臉庫的表現

4.2 基于顯著性的人臉圖像質量評估的有效性

提出的算法在yaleb人臉庫上進行了實驗。部分結果如圖5所示。如果人臉圖像左邊亮，右邊暗，則左眼的顯著性高，右眼的顯著性低，結果兩者的乘積小，反之亦然。如果人臉圖像整體曝光過亮或過暗，則眼睛區域之外的部分顯著性明顯提高，則兩只眼睛的顯著性會降低，結果兩者的乘積小。實驗驗證了提出的人臉圖像質量評估方法的可行性。

圖4 不同的顯著性檢測方法在fei人臉庫的表現

圖5 基于顯著性的人臉圖像質量評估在yaleb中的結果

4.3 實驗對比

為驗證提出的人臉圖像質量評估方法的有效性，與PSNR、mssim算法進行了比較。結果如圖6所示。從圖中可以看出，提出的人臉圖像質量評估方法和psnr、mssim算法的評估結果趨勢大體一致。都能準確評估出質量最差和質量最好的人臉圖像。提出的算法評估出的結果更符合人眼視覺系統。

圖6 不同的人臉圖像質量評估方法比對

5 結束語

提出了一種基于顯著性分析的無參考的人臉圖像質量評估算法。首先對人臉圖像進行人臉檢測，然后對人臉區域分別進行雙眼檢測和顯著性檢測，接著分別計算左眼和右眼的顯著性，最后將兩者的乘積作為人臉圖像的質量。實驗結果表明，本文算法符合人的視覺注意模型，而且能夠正確地評估人臉圖像質量。

［1］ LIU Y，LUO Y，ZHOU W，et al.Image－quality－based fusion approach for face recognition［C］.//Image and Signal Processing（CISP）.Chongqing，CHINA：IEEE，2012.

［2］ ABAZA A，HARRISON M A，BOURLAI T.Quality metrics for practical face recognition［C］.//Pattern Recognition（ICPR）.Tsukuba：IEEE，2012.

［3］ DE MARSICO M，NAPPIM，RICCIO D.Measuringmeasures for face sample quality［C］.//MiFor＇11 Proceedings of the 3rd international ACM workshop on Multimedia in forensics and intelligence.New York，NY，USA：ACM，2011.

［4］ NASROLLAHIK，TM.Extracting a Good Quality Frontal Face Image From a Low－Resolution Video Sequence［J］.IEEE Transactions on Circuits and Systems for Video Technology，2011，21（10）：1353－1362.

［5］ LUO W，WANG X，TANG X.Content－based photo quality assessment［C］.//Computer Vision（ICCV）.Barcelona：IEEE，2011.

［6］ LIC，BOVIK A C，WU X.Blind image quality assessment using a general regression neural network［J］.//Neural Networks.2011，22（5）：793－799.

［7］ WONG Y，CHEN S，MAU S，et al.Patch－based probabilistic image quality assessment for face selection and improved video－based face recognition［C］.//Computer Vision and Pattern Recognition Workshops（CVPRW）.Colorado Springs，CO：IEEE，2011.

［8］ 沈蘭蓀，張菁，李曉光.圖像檢索與壓縮域處理技術的研究［M］.北京：人民郵電出版社，2008：107－121.

SHEN LANSUN，ZHANG QING，LIXIAOGUANG.Image Retrieval And Compressed Domain Processing［M］.Beijing：Post＆Telecom Press，2008：107－121.

［9］ HOU X，ZHANG L.Saliency detection：A spectral residual approach［C］.//Computer Vision and Pattern Recognition.Minneapolis，MN：IEEE，2007.

［10］ ACHNANTA R，ESTRADA F，WILS P，et al.Salient region detection and segmentation［M］.GER：Springer，2008：66－75.

［11］ ACHANTA R，HEMAMIS，etal.Frequency－tuned salient region detection［C］.//Computer Vision and Pattern Recognition.Miami，FL：IEEE，2009.

［12］ CHENG M，ZHANG G，MITRA N J，et al.Global contrast based salient region detection［C］.//Computer Vision and Pattern Recognition（CVPR）Providence，RI：IEEE，2011.

［13］ ZHAI Y，MUBARAK S.Visual attention detection in video sequences using spatiotemporal cues［C］.//MULTIMEDIA＇06 Proceedings of the 14th annual ACM international conference on Multimedia.New York，NY，USA：ACM，2006.

［14］ PHILLIPS P J，WECHSLER H，HUANG J，et al.The FERET database and evaluation procedure for face－recognition algorithms［J］.Image and Vision Computing，1998，16（5）：295－306.

［15］ C.E.Thomaz and G.A.Giraldi.A new rankingmethod for Principal Components Analysis and its application to face image analysis［J］.Image and Vision Computing，2010，28（6）：902－913.

A Face Image Assessment Algorithm Based on Visual Attention Model

Zhu Liwei，Cai Xiaodong，Zeng Zexing，Liang Benxiang
（School of Information and Communication，Guilin University of Electronic Technology，Guilin 541004，China）

Face recognition is influenced by illumination and posture.Face image quality assessment obtained in the process of face recognition is good for face image recognition.This paper proposes a new model based on visual attention to do quality assessmentmethod.First，the face region is got by face detection，and then eyes detection and significance detection are conducted separately.According to the obtained eyes area and significant figure，the significant characteristics of the right eye and the left one are calculated and that of two eyes is used as a human face image quality.Thismethod is simple and do not need the reference images.The test results show that the method can assess the face image quality correctly and the assessment results conform to the human eye visual attention.

Human face；Face detection；Quality assessment；Visual attention model；Significant characteristics；No reference

10.3969/j.issn.1002－2279.2015.06.010

TP391.41

A

1002－2279（2015）06－0036－04

廣西自然科學基金（2013GXNSFAA019326）；國家科技支撐課題（2012BAH20B10）

朱利偉（1989－），男，廣西省桂林市人，碩士研究生，主研方向：圖像處理、模式識別。

蔡曉東（1971－），男，廣西省桂林市人，博士，副教授，主研并行化圖像和視頻處理、模式識別與智能系統。

2015－03－10