人臉圖像信息可用性影響因素的研究分析

潘 越，方向忠，王 慈

(上海交通大學 電子信息與電氣工程學院，上海 200240)

?

人臉圖像信息可用性影響因素的研究分析

潘 越，方向忠，王 慈

(上海交通大學 電子信息與電氣工程學院，上海 200240)

傳統的圖像質量評估技術通常用于判斷圖像的整體質量，而不能有效地判斷人臉圖像信息的可用性。而人臉圖像信息可用性評估在安防監控中具有很強的應用價值。提出了人臉圖像信息可用性的概念，并提出了通過人臉識別算法來評估該可用性的度量方法。通過采用PCA人臉識別算法模擬仿真，定量地從原理上研究了影響人臉圖像信息有用性的關鍵因素，并通過實驗進行了驗證。

人臉圖像；PCA識別；質量評估

當代是一個視覺內容越發豐富的時代，圖像和視頻信息已經變得無處不在，發達的科技讓人們可以輕松高效地完成圖像或者視頻信息的獲取、傳輸、存儲以及瀏覽。在這樣的過程中，一直被關注的一個問題就是：圖像所傳遞的信息對人是否有效，是否可用？

圖像質量評估技術[1]的研究一般被應用于對上述問題的回答當中。如今的圖像質量評估技術對圖像質量的評價標準通常是圖像是否清晰、是否美觀[2]。當前比較熱門的圖像質量評估方法有空間域處理技術[3-4]、視覺碼本技術[5]、曲波小波混合變換技術[6]等。然而，不同的應用場景對于圖像信息是否有用的標準是不一樣的。例如，對于安防監控信息來說，公安能否從監控中識別人臉才是圖像可用性的判斷標準。

圖像質量評估技術判斷圖像是基于 “主觀平均打分”的標準(DMOS/MOS)[7]。而如果想要判斷一個監控視頻的人臉部分的信息是否“可用”，DMOS標準將不具有參考價值。人們需要建立一個新的監控圖像中的人臉數據庫，并將特定的受眾對數據庫中每張人臉的“可用性”高低的打分作為評判的基礎。

在圖像質量評估技術的算法中，加性和乘性噪聲等因素通常是算法的入手點，這些因素也被認為是影響圖像質量“好壞”的關鍵因素。而在此之前尚未有研究者單獨對“人臉信息的可用性”進行過相關研究，而人臉的可用性卻在安防視頻可用性有著很大的應用前景。所以本文將從模糊和白噪聲的角度來研究影響人臉圖像信息可用性的因素，以及影響的具體原因和程度。

本文將計算機視覺的人臉識別技術識別率的高低作為人臉圖像“可用性高低”的評判標準。因為計算機人臉識別算法是對人主觀地進行人臉識別的一種模擬，并且還可以從人臉識別算法的識別率變化，以及其變化的原因進一步定量地探討影響人臉圖像可用性因素的影響原因和影響程度。

主成分分析(Principal Component Analysis, PCA)人臉識別算法[8]是使用最廣泛的人臉識別算法。本文將通過探索加性噪聲與乘性噪聲對PCA識別算法識別率的影響來認識這些因素對人臉可用性的影響。

1 PCA人臉識別算法

PCA人臉識別方法，也叫做特征臉識別(eigenfaces)，是通過降維進行人臉識別的算法。PCA的主要思想就是找到能夠最好地說明圖片在圖片空間中分布情況的向量。對于一幅M×N的人臉圖像，將其每列相連構成一個大小為D=M×N維的列向量。D就是人臉圖像的維數。設n是訓練樣本數，xj表示第j幅人臉圖像形成的人臉向量，則所需樣本的協方差矩陣為

(1)

式中：u為訓練樣本的平均圖像向量，即

(2)

設A=[x1-u，x2-u，…，xn-u]，則有Sr=AAT，其維數為D×D。

根據SVD定理，令li(i=1,2,…,r)為矩陣ATA的r個非零特征值，vi為ATA對應于li的特征向量，則AAT的正交歸一特征向量ui為

(3)

則特征臉空間為w=(u1,u2,…,ur)。

將訓練樣本投影到“特征臉”空間，得到一組投影向量Ω=wTu，構成人臉識別的數據庫。在識別時，先將每一幅待識別的人臉圖像投影到“特征臉”空間，再利用最近鄰分類器比較其與庫中人臉的位置，從而識別出該圖像是否為庫中的人臉，如果是，屬于哪一個人臉。

2 乘性噪聲對PCA人臉識別的影響：以鈍化噪聲為例

在各種圖像降質因素[9]的影響中，“模糊”是圖像質量降低的最為常見表現，也可以稱之為“鈍化噪聲”。鈍化噪聲相當于給原圖中相近的像素點加上了一定的相關性。在數字圖像處理技術中，鈍化噪聲相當于在原圖上用平滑濾波器進行平滑處理的效果。平滑濾波器的不同也可以產生如均值平滑、高斯平滑等不同的效果。本文將從原理上推導通常的鈍化噪聲對PCA人臉識別造成的影響，以及影響的方式。

2.1 鈍化噪聲對協方差矩陣的影響

在現實場景中，訓練集的圖像和預測集的圖像都應來自相同的圖像獲取系統，所以應當有著相似的鈍化方式和鈍化程度。對于一幅M×N的人臉圖像，將其每列相連構成一個大小為D=M×N維的列向量。D就是人臉圖像的維數，也即是圖像空間的維數。設n是訓練樣本的數目；xj表示第j幅人臉圖像形成的人臉向量，這里用xj′來表示鈍化處理過的圖像。因為鈍化是屬于乘性噪聲，所以xj與xj′的關系表示如下：

xj′=B[xj]

(4)

式中：操作B[]表示對圖像xj進行了鈍化處理，即用某平滑濾波器對xj代表的源圖像進行了二維卷積操作，再將結果圖像表示為D=M×N維的列向量，即xj′。 則對應于式(1)，訓練所需樣本的協方差矩陣為

(5)

式中：u′為訓練樣本的平均圖像向量，因為通常的平滑濾波器并不會改變圖像像素的均值，所以u′和式(2)中的u取相同的值，即

(6)

為了便于理解，根據式(4)，這里不妨近似地認為

(7)

于是這里需要進一步探索平滑操作對協方差矩陣Sr會造成何影響，協方差矩陣可以簡單地展開寫成

(8)

式中：對角線上的元素代表著每個人臉圖像向量的方差σ2，而非對角元素σij則代表人臉圖像向量xi和人臉圖像向量xj的互相關系數。

對于PCA人臉識別方法，關鍵的要素是從D=M×N維的列向量中提取信息量最大的主元,舍棄信息量較少的維，即一個降維的過程。從數學上講，就是選擇的維度需要使原始數據投射在這些維度上之后，字段之間的相關性盡量小，即協方差要盡量小，而字段自身的信息量要盡量大，即方差盡量大。于是不難發現，這就是將協方差矩陣Sr對角化的過程。PCA方法所求的“主元”實際上就是讓協方差矩陣對角化的維度。

從前面的分析可以初步發現，平滑處理讓協方差矩陣的元素值變小了，雖然這讓不同人臉間的互相關性下降了，但平滑也讓對角元素變小，本質上這是一種信息量的丟失，這樣也就在一定程度上理解了為何鈍化噪聲會影響PCA人臉識別的效果了。

2.2 鈍化噪聲對主元的影響

通過進一步探索平滑對主元的影響，可以對信息量的丟失有更直接的理解。在數學中，協方差矩陣對角化后得出該矩陣的特征值為

(9)

N張圖片訓練集的協方差矩陣將有n個特征值。PCA人臉識別方法中，在求得特征值后，將特征值從大到小排序，選出數值大的特征值(如前10大)，其對應的正交特征向量就是算法所求的主元特征空間。越大的特征值意味著其特征向量對應的維度具有越高的信息量。對于特征值為λj的主成分，λj也是該主成分的方差，該值表示樣本點方向的離散程度，主成分λj的貢獻率為

(10)

根據之前的分析，鈍化噪聲導致協方差矩陣信息的流失。于是在進行協方差矩陣對角化之后，所得到的特征值對應的維度將不再足夠離散，即不再像平滑之前那樣具有足夠的信息量。所以，平滑導致了主要特征值的減小，以及n個人臉圖像訓練集中的n個特征值的均值和方差的減小。如圖1，通過實驗，筆者也驗證了在平滑之后特征值的變化結果(實驗所用數據庫，具體條件、參數等詳細信息見第4節)。

通俗地講，正是特征值這樣的變化，導致了PCA算法選擇出來的所謂“主元”不再如平滑之前那樣具有足夠的信息量，相對地不能夠反映人臉的關鍵特征，從而最終導致了PCA算法識別效果的變差。通過PCA人臉識別算法的分析，可以看到鈍化噪聲對人臉圖像信息可用性造成的影響。

3 加性噪聲對PCA人臉識別的影響：以白噪聲為例

在圖像降質的因素中，除了乘性的鈍化噪聲之外，另一類降質因素就是加性噪聲。圖像降質中常見的白噪聲根據分布特性的不同，有高斯噪聲、椒鹽噪聲等。與前一節類似，這一節將從原理上推導通常的白噪聲對PCA人臉識別造成的影響，以及影響的方式。

因為白噪聲是屬于加性噪聲，所以xj與xj′的關系表示為

圖1 鈍化噪聲對特征值的影響

xj′=xj+Nj

(11)

其中Nj表示圖像xj上的白噪聲，Nj與xj一樣，也是D=M×N維的列向量。為了方便推導，下文都將以均值為0、方差為σ2的高斯白噪聲為例。所以Nj可以表示為

Nj=p(x)

(12)

(13)

于是這里需要進一步探索平滑操作對協方差矩陣Sr會造成如何的影響，協方差矩陣可以簡單地展開寫成與式(8)相同的形式。

再進一步從特征值λj的角度來考慮。上述Sr在受到噪聲影響后，元素相應地增大。在協方差矩陣對角化得到特征值λj對角陣時，特征值同樣也會總體地增大，使得原來信息量小的特征值λ反而會變得較大。

從實驗(實驗所用數據庫、具體條件、參數等詳細信息見第4節)中筆者的觀點也得到了驗證。如圖2a所示，其中特征值的增大印證了筆者的分析，而方差的減小則也說明了噪聲使本來方差較大、“好壞分明”的特征值被噪聲加上了干擾因素后更趨于均值。如圖2b所示，隨著噪聲方差的增大，PCA識別算法選出的“主元”將失去其能量占比高的特點，結合式(10)，就能夠理解噪聲最終導致了信息的流失。其中，特征值λj以及其對應特征空間的物理意義在上一節已經闡明，這里不再贅述。這里不難發現，與上一節鈍化噪聲相比，白噪聲對協方差矩陣、特征值的影響方式恰恰是相反的，不過都是導致了有效信息的丟失，并最終導致識別率的降低。

圖2 高斯白噪聲對特征值的影響

4 實驗結果及分析

4.1 人臉數據庫

實驗使用的數據庫是ORL人臉數據庫[10]。該人臉數據庫包含40個人臉圖像，每個人臉有10張不同的圖像。每個人臉的圖像有不同的拍攝時間、不同的亮度、不同的面部表情(睜眼閉眼、微笑或不笑)或者是面部特征(戴眼鏡或不戴眼鏡)。所有的圖像都是在黑色的背景下拍攝的，圖像的分辨率均為112×92。

4.2 PCA識別率實驗

本文采用PCA識別方法進行實驗，實驗分為兩個步驟：訓練和預測。在實驗的過程中，筆者將ORL人臉數據庫分為兩個部分：訓練集和預測集，且兩個集沒有交集。此外，實驗按照訓練樣本占比分為兩類。一類為訓練樣本占比30%，即每個人的10張臉部圖像中3張歸入訓練集，剩余的7張歸入預測集。另一類為訓練樣本集占比70%，即每個人的10張臉部圖像中7張歸入訓練集，剩余的3張歸入預測集。為了保證實驗的精確性，實驗遍歷了所有訓練集和預測集的可能性。例如在30%訓練集的情況下，10張人臉選出3張加入訓練集共有120種可能，所以筆者一共進行了120次ORL人臉數據庫的訓練和預測的實驗，每次取400張人臉中的120張圖片作為訓練集，剩余的280張作為預測集，最終將120次實驗結果匯總記為最終的識別率，即預測正確的次數/預測總次數。

驗證鈍化噪聲對識別率的影響的試驗中，筆者使用高斯鈍化來給ORL人臉數據庫進行預處理，并通過實驗驗證PCA識別率的變化。實驗結果如圖3所示，橫軸表示高斯鈍化窗的邊長變化(邊長為0表示沒有進行鈍化處理)，其中高斯鈍化窗都為正方形。高斯鈍化采用0均值的模型，σ則設為邊長的函數，滿足

σ=0.3×([平滑窗邊長-1)×0.5-1]+0.8

(14)

圖3 高斯平滑對識別率的影響

驗證白噪聲對識別率的影響的試驗中，筆者使用高斯白噪聲來給ORL人臉數據庫進行預處理，并通過實驗驗證PCA識別率的變化。實驗結果如圖4所示，實驗采用均值為0的高斯模型，橫軸表示高斯白噪聲的方差系數Var，其中Var=噪聲的灰度值方差/2552。

圖4 高斯白噪聲對識別率的影響

此外，在前兩節進行的特征值實驗中，采用的均為和本節相同的鈍化或噪聲模型。由于只對特征值進行實驗，所以這些實驗把ORL人臉數據庫的400張圖片都設置為訓練集進行訓練所得到的特征值的特點。

4.3 實驗結果分析

實驗得出了與第2節、第3節分析一致的結論，即鈍化噪聲和白噪聲都一定程度地導致了識別率的下降，而第2節、第3節也從根源上解釋了識別率下降的原因，即圖像有效信息的丟失。

此外，從實驗結果也可以發現隨著噪聲的加強，識別率會越來越低。不過，實驗結果還顯示，不論是鈍化噪聲還是白噪聲，噪聲強度和識別率的變化關系并非是線性的。在噪聲強度未達到一定程度的時候，對識別率的影響并不是很顯著，而超過了某一強度后，識別率才開始顯著下降。從這樣的結論還可以進一步發現，當噪聲發生時，雖然都包含了信息的丟失，但是當噪聲沒有達到很大強度時，PCA的人臉識別率其實并沒有受到影響，即并不強烈的噪聲對人臉圖像信息可用性的影響是可以忽略的。

以上的實驗結果也能夠說明，通過人臉識別技術可以一定程度上描述人臉部分圖像受到各種噪聲的影響，而人臉識別率也一定程度上反映了人臉圖像信息的可用性。

5 小結

本文提出了人臉圖像信息可用性這個研究課題，并說明了其重要性。隨后，通過PCA來模擬人對人臉圖像的識別，分析發現鈍化噪聲，以及白噪聲導致人臉圖像有效信息的流失，從而進一步導致PCA人臉識別率的下降。基于本文得出的結論，未來將可以進一步展開人臉圖像信息可用性評估技術的研究，從而解決安防監控中對該技術的需要。

[1]楊慕星,孟放,姜秀華.不同分辨力視頻之間的圖像質量客觀評價研究[J].電視技術,2009,33(5):103-105.

[2]高立發，徐靜濤.基于自然場景統計的無參考圖像質量評價算法[J]．電視技術，2014，38(1):11-16.

[3]MITTAL A, MOORTHY A K, BOVIK A C.No-reference image quality assessment in the spatial domain[J].IEEE Trans.Image Processing，2012，21(12)：4695-4708.

[4]TANG H, JOSHI N, KAPOOR A.Learning a blind measure of perceptual image quality[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition.Providence，RI：IEEE Press，2011：305-312.

[5]YE P，DOERMANN D.No-reference image quality assessment using visual codebooks[C]//Proc.IEEE International Conference on Image Processing.[S.l.]：IEEE Press，2011：3129-3138.

[6]SHEN J, LI Q, ERLEBACHER G.Hybrid no-reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images[J].IEEE Trans.Image Processing, 2011，20(8)：2089-2098.

[7]ITU-R，ITU-R Recommendation 500-5 method for the subjective assessment of the quality of television pictures[S].1992.

[8]閆娟,程武山,孫鑫.人臉識別的技術研究與發展概況[J].電視技術,2006,30(12):81-84.

[9]王文文，錢振興，趙麗麗.基于平滑特性的壓縮圖像質量盲評估[J].電視技術.2013，37(2):91-94.

[10]AT&T Laboratories Cambridge.Face database[S].2002.

潘 越(1990— )，碩士生，主研數字圖像處理；

方向忠(1968— )，教授，博士生導師，主研圖像通信與多媒體技術、數字電視、圖像壓縮編碼機器國際標準、圖像處理等；

王 慈(1976— )，副教授，主研圖像處理和視頻處理等。

責任編輯：薛 京

Image Validity Analysis for Face Recognition

PAN Yue, FANG Xiangzhong, WANG Ci

(SchoolofElectronicInformationandElectricalEngineering,ShanghaiJiaoTongUniversity,Shanghai200240,China)

Traditional IQA (Image Quality Assessment) is used to do assessment on a general level, but can′t be used for face image quality assessment.However, assessment of face quality is needed in many applications such as surveillance video.The validity of face image is defined, and a method to assess face image using face recognition algorithm is proposed.And the key factors that affecting validity of face image are analyzed through experiment of PCA recognition algorithm in this paper.

face image; PCA recognition; quality assessment

上海市2014年度“科技創新行動計劃”高新技術領域項目

TN949.6

A

10.16280/j.videoe.2015.07.020

2014-10-08

【本文獻信息】潘越，方向忠，王慈.人臉圖像信息可用性影響因素的研究分析[J].電視技術,2015，39(7).