基于旋轉主方向梯度直方圖特征的判別稀疏圖映射算法*

童瑩 沈越泓 魏以民

1) (中國人民解放軍陸軍工程大學, 通信工程學院, 南京 210007)

2) (南京工程學院, 信息與通信工程學院, 南京 211167)

非約束環境下采集的人臉圖像復雜多變, 將其直接作為字典原子用于稀疏表示分類(sparse representation based classification, SRC), 識別效果不理想.針對該問題, 本文提出一種基于旋轉主方向梯度直方圖特征的判別稀疏圖映射 (discriminative sparse graph embedding based on histogram of rotated principal orientation gradients, DSGE-HRPOG)算法, 用于構建類內緊湊、類間分離的低維判別特征字典, 提高稀疏表示分類準確性.首先, 采用旋轉主方向梯度直方圖 (histogram of rotated principal orientation gradients,HRPOG)特征算子提取非約束人臉圖像的多尺度多方向梯度特征, 有效去除外界干擾和像素間冗余信息, 構建穩定、鑒別的 HRPOG 特征字典; 其次, 引入判別稀疏圖映射 (discriminative sparse graph embedding,DSGE)算法, 以類內重構散度最小、類間重構散度最大為目標計算特征字典的最佳低維投影矩陣, 進一步增強低維特征字典的判別性、緊致性; 最后, 提出投影矩陣和稀疏重構關系交替迭代優化算法, 將維數約簡過程伴隨在稀疏圖構建過程中, 使分類效果更理想.在 AR, Extended Yale B, LFW 和 PubFig 這 4 個數據庫上進行大量實驗, 驗證了本文算法在實驗環境數據庫和真實環境數據庫上的有效性.

1 引 言

隨著互聯網技術和人工智能技術的飛速發展,實時采集人臉圖像進行身份認證、安全監控和信息提取已成為機器視覺領域最熱門的研究課題之一[1,2].然而, 非控環境中采集的人臉圖像受光照、姿態、表情、遮擋、年齡等多種因素影響, 導致人臉圖像復雜多變, 嚴重抑制了非約束人臉識別的準確性.

2009年, Wright等[3]受生物視覺稀疏性啟發,首次提出稀疏表示分類模型(sparse representation based classification, SRC), 并將其成功應用于非約束人臉識別中, 很好地解決了人臉圖像中光照、遮擋、噪聲等因素的影響.分析其原因, 關鍵在于稀疏表示分類中并不需要精確的特征表達, 只需遵循“簡約性”原則, 從字典中選擇“有限”原子對待測樣本進行線性表示, 并期望達到所選“原子”僅與待測樣本同類.由此可見, 構建學習緊致、判別的字典在稀疏表示分類中具有極其重要的作用.Yang等[4]提出 Fisher判別字典學習 (fisher discrimination dictionary learning, FDDL)方法,將Fisher判別準則引入結構字典學習中, 使得同類字典原子具有相似性而異類字典原子具有差異性.Vu等[5]在此基礎上引入低秩共享字典(lowrank shared dictionary, LRSD)用于表示人臉本質特征, 與表示人臉差異性的類特定字典(classspecific dictionary, CSD)相結合, 進一步提高了字典空間的判別性.為使學習得到的字典具有更豐富的語義信息, Babaee等[6]摒棄了二值標簽信息而采用相對屬性信息, 提出相對屬性引導字典學習 (relative attribute guided dictionary learning,RAGDL)算法.同時, 文獻 [7?10]在字典學習方面也進行了深入研究.

分析發現, 字典學習 (dictionary learning,DL)方法雖然在構建學習緊致、判別字典空間上取得一定效果, 但仍受2個方面限制:1)稀疏表示分類[3]要求字典原子的維度遠遠小于字典原子個數,從而保證解空間存在最優稀疏解, 然而, 以M×N像素大小的樣本圖像作為字典原子構建字典空間,其維度遠大于樣本個數, 容易導致出現“小樣本”問題; 2)字典學習方法通過增加各種約束條件優化字典滿足類內緊湊和類間分離, 然而, 由于原始樣本圖像的高維性、復雜性和冗余性, 使得優化效果大打折扣, 嚴重抑制了待測樣本稀疏表示分類的準確性.

鑒于此, 大量學者提出采用降維(dimensionality reduction, DR)方法克服上述不足, 一方面通過降低字典空間維度可以避免“小樣本”問題, 減少稀疏編碼計算復雜度, 加速搜尋最優解; 另一方面增加投影約束條件, 使高維樣本字典在低維子空間更具緊致性、判別性, 稀疏表示更準確, 這已成為稀疏表示分類中必不可少的步驟.

以主成分分析 (principle components analysis,PCA)[11]、線性鑒別分析 (linear discriminant analysis, LDA)[12]為代表的經典降維方法被首先用于稀疏表示分類模型中[3,4,13], 但受數據全局線性分布條件的限制, 當處理復雜扭曲的非線性分布的真實數據時, 這類方法效果不佳.鑒于此, 廣大學者提出采用基于核的方法[7,14?16]和流形學習方法[17?21]進行數據非線性降維.核方法的本質是利用核函數映射樣本到高維空間進行線性劃分, 但起關鍵作用的核函數的選擇機制和意義并不明確.因此, 以等距映射 (isometric mapping, ISOMAP)[17]、局部線性嵌入 (locally lineare mbedding, LLE)[18]、拉普拉斯特征映射 (Laplacian eigenmaps, LE)[19]、平行向量場嵌入 (parallel vector field embedding,PFE)[20]、測地線距離學習 (geodesic distance function learning, GDL)[21]等為代表的非線性流形學習方法更受青睞.這類方法符合人眼視覺感知機制, 可以有效挖掘出隱藏在錯綜復雜的高維數據中的低維流形本質結構.He等[22,23]針對LE和LLE的隱式映射問題進行改進, 在不改變原有目標函數的基礎上增加線性約束, 提出具有顯式映射函數的局部保持投影(locality preserving projections, LPP)和近鄰保持嵌入(neighborhood preserving embedding, NPE)算法, 有效克服了樣本外擴展問題(out-of-sample extension problem)[24],使得流形學習方法在圖像、視頻、文本等高維、海量、真實數據中的應用成為可能.隨后, 大量改進算法被陸續提出, 例如, 指數判別局部保持投影(exponential discriminant locality preserving projection, EDLPP)[25]、二維判別局部保持投影(two-dimensional discriminant LPP, 2DDLPP)[26]、雙向二維近鄰保持判別嵌入 (bilateral twodimensional neighborhood preserving discriminant embedding, B2DNPDE)[27]、快速正交局部保持投影 (fast and orthogonal LPP, FOLPP)[28]、監督近鄰保持嵌入 (supervised NPE, SNPE)[29]等.

Yan等[30]對LPP, NPE及改進算法的實現原理進行分析, 將它們歸納到圖映射框架(graph embedding framework, GEF)中.分析發現, GEF的核心思想是通過構建高維樣本近鄰分布圖, 尋找使低維子空間數據仍保持高維樣本分布特性的最優投影矩陣.因此, 在GEF中如何構建一個準確的高維樣本近鄰分布圖是這類方法的關鍵.近鄰圖的構建包含2個關鍵步驟:圖頂點選擇和圖邊權分配.傳統方法多采用 k-nearest[31]或 e-ball[23]方法搜索樣本近鄰點, 并用熱核函數[31]或逆歐式距離[32]計算近鄰點之間的權值.然而, 實際應用中真實數據的分布是未知的、復雜的, 選擇合適的近鄰點非常困難, 并且樣本之間距離測度的可區分性也會隨著樣本維數的增加而減弱, 這在一定程度上抑制了基于GEF的降維方法的廣泛應用.

2010年, Qiao等[33]受信號稀疏表示 (sparse representation, SR)[3?5]的啟發, 首次將稀疏技術引入圖映射框架中, 提出稀疏保持投影(sparsity preserving projections, SPP)算法.這是一種不以距離測度為區分, 而以保持樣本間稀疏重構關系為目標的全新降維方法.它通過優化求解每一個樣本在全局超完備字典下的線性稀疏表示, 自適應得到與該樣本近鄰的少量重構樣本以及樣本之間的重構權值, 有效克服了傳統圖映射方法中預定義近鄰圖的弊端.這種以SPP為代表的自適應稀疏圖映射 (sparse graph embedding, SGE)方法極大提高了真實復雜數據低維投影的準確性, 受到廣大學者們的高度關注.

Lai等[34]將稀疏表示技術引入LLE框架中,提出稀疏線性映射 (sparse linear embedding, SLE)算法, 并擴展到核空間, 在3個人臉庫和2個目標庫上驗證了其降維有效性, 尤其是在小樣本情況下表現更突出.Yin等[35]將稀疏表示與LPP相結合,提出局部稀疏保持投影 (local sparsity preserving projection, LSPP) 算法, 并成功應用于生物大數據的降維與識別中.Zhang等[36]結合近鄰圖和稀疏圖優點, 提出稀疏鄰域保持投影(sparsity and neighborhood preserving projections, SNPP)算法.分析發現, 基于全局樣本的稀疏關系約束會破壞樣本局部結構, 導致樣本間的近鄰關系描述并不準確.Lu等[37]在SPP基礎上引入類別標簽, 提出鑒別稀疏鄰域保持嵌入(discriminant sparsity neighborhood preserving embedding, DSNPE)算法, 分別考慮待測樣本與同類樣本的重構關系, 以及異類樣本對待測樣本的重構影響, 有效提高了待測樣本稀疏近鄰圖的準確性, 相比SPP算法識別性能大大提升.同樣地, Wei等[38]提出加權判別稀疏 保 持 映 射 (weighted discriminative sparsity preserving embedding, WDSPE)算法, Lou 等[39]則將稀疏表示技術引入LPP框架中, 提出正則圖稀疏判別分析(graph regularized sparsity discriminant analysis, GRSDA)算法.鑒于傳統方法中多將降維和分類作為2個獨立步驟分別建模,存在降維效果與分類器不匹配的問題, Yang等[40]提出稀疏表示分類引導判別投影(sparse representation classifier steered discriminative projection, SRC-DP)算法, 以同類重構殘差最小、異類重構殘差最大為目標, 聯合優化投影矩陣以及稀疏表示分類系數, 使SRC分類器在投影子空間獲得最佳性能.類似地, Zheng等[41]提出特征加權組稀疏判別投影 (feature weighted group sparse classification steered discriminative projection,FWGSDP)算法, 并采用迭代重約束稀疏編碼優化方法對該模型進行高效求解.Gao等[42]基于Fisher判別準則引導數據降維和分類.Zhang等[43]將SRC-DP進一步擴展到核空間, 從多個不同角度驗證算法有效性.可見, 由于稀疏表示技術的引入, 以SPP為代表的稀疏圖映射方法具有非常好的圖自適應性和噪聲魯棒性, 將其與SRC分類器相結合, 用于構建低維、緊致、判別字典可以顯著提高分類器的精度和速度, 是近年來值得研究和探索的熱點方向之一.

受基于統計局部特征的魯棒核表示(robust kernel representation with statistical local features,RKR-SLF)[44]以及基于Gabor特征的魯棒表示分類[45](gabor feature based robust representation and classification, RRC-GF)等算法的啟發, 我們發現, 采用LBP, Gabor等鑒別力和魯棒性較強的局部特征代替傳統的冗余數據樣本構建特征字典,可以顯著提高稀疏表示分類的準確性.因此, 本文考慮將局部特征算子與降維方法相結合, 提出一種基于旋轉主方向梯度直方圖特征的判別稀疏圖映射 (discriminative sparse graph embedding based on histogram of rotated principal orientation gradients, DSGE-HRPOG)算法, 實現流程如圖1所示.首先, 從特征描述角度設計一種旋轉主方向梯度直方圖 (histogram of rotated principal orientation gradients, HRPOG)特征算子, 相比傳統方向梯度直方圖(histogram of oriented gradients,HOG)特征算子, 它從多個尺度、多個方向捕捉人臉紋理的梯度變化信息, 可以更準確提取出人臉本質特征, 顯著提高了特征字典的鑒別性和魯棒性.其次, 從降維角度提出判別稀疏圖映射(discriminative sparse graph embedding, DSGE)算法, 在 DSNPE算法[37]的基礎上, 通過引入類內、類間緊湊度約束, 有效增強了待測樣本與同類非近鄰樣本的重構關系, 并削弱了異類偽近鄰樣本的重構影響; 同時,在低維投影階段又增加了全局約束因子, 利用樣本全局分布中隱含的鑒別信息使HRPOG特征字典在低維子空間更判別、更緊致.最后, 受SRC-DP[40]的啟發, 提出一種投影矩陣和稀疏重構關系交替的迭代優化算法, 將維數約簡過程伴隨在稀疏圖構建過程中, 使分類效果更理想.經實驗環境下采集的人臉數據庫(AR和Extended Yale B)和真實環境下采集的人臉數據庫(LFW和PubFig)驗證,DSGE-HRPOG算法可以有效提取這些高度扭曲的人臉數據的低維流形本質結構, 大大增強特征字典的緊致性、判別性和魯棒性, 使SRC分類性能更突出.

圖1 本文算法的實現流程Fig.1.Flow chart of the proposed algorithm.

2 HRPOG特征算子

2.1 方向梯度直方圖(histogram of oriented gradients, HOG)

2005年, Dalal和 Triggs[46]提出方向梯度直方圖 (histogram of oriented gradients, HOG)用于行人檢測, 其基本原理是統計圖像中各個像素點的梯度幅值和梯度方向, 用于表征目標形態、輪廓變化等信息.相比LBP, Gabor等局部紋理特征算子, HOG算子提取的方向梯度變化信息更符合人眼視覺感知特性, 受光照、旋轉、噪聲等外界干擾影響更小, 提取目標特征效果更佳、更魯棒[47,48].實現步驟如下:

1)將圖像f(x,y) 劃分成大小相同的無重疊單元格(cell);

2)將 0 —180?分為 9 個區間, 平均每 2 0?為一個區間, 統計每個單元格中所有像素的梯度幅值和梯度方向, 將屬于同一梯度方向區間的像素點的梯度幅值按照權重累加, 組成該單元格的9維方向梯度直方圖;

3)將4個相鄰的無重疊的單元格組合成一個塊(block), 級聯塊中單元格的方向梯度直方圖構成該塊的方向梯度直方圖特征;

4)級聯所有塊的方向梯度直方圖, 得到整幅圖像的HOG特征.

2.2 HRPOG特征算子

分析發現, 在HOG算子實現過程中, 圖像f(x,y)中任意像素的梯度是一個具有大小和方向的矢量, 由順序表示:

這里,hx和hy為梯度卷積模板, 記為hx=[?1 0 1] ,hy=[?1 0 1]T.

可以看出, 依據(2)式計算圖像梯度受2個方面限制:1)僅考慮了中心像素點周圍 2 個像素點的灰度變化情況, 提取的圖像標量場的微觀信息并不豐富, 也不準確; 2)僅描述了圖像在水平方向和垂直方向上的灰度變化程度, 其他方向上的灰度變化并未考慮.鑒于此, 本文提出一種HRPOG特征算子, 一方面, 增加梯度卷積模板hx和hy的計算范圍, 充分考慮中心像素點周圍鄰域像素點的灰度變化情況; 另一方面, 旋轉模板hx和hy, 使HRPOG算子可以提取圖像在不同方向上的梯度特征, 具有旋轉不變性.具體設計細節如下:

首先, 將梯度卷積模板hx和hy設計為 3×3 大小(圖2).模板中, 主方向(箭頭指向)上的卷積權值設為3, 其余卷積權值設為1或–1, 使模板中所有卷積權值的和為零.可以看出, 相比傳統HOG算子, HRPOG算子的梯度卷積模板既充分考慮了中心像素點周圍鄰域像素點的灰度變化情況, 同時, 卷積權值設置也可以有效增強圖像在主方向(箭頭指向)上的梯度變化信息.這里, 為了區分HRPOG算子中設置不同尺度的梯度卷積模板的情況, 定義 3 × 3尺度下的 HRPOG 算子為3-HRPOG.依據圖2得到3-HRPOG算子的梯度矢量計算公式如下:

圖2 3-HRPOG 算子的梯度卷積模板示意圖 (a) hx 模板; (b) h y 模板Fig.2.Gradient convolution masks of 3-HRPOG feature descriptor:(a) hx mask; (b) hy mask.

其次, 在圖2的基礎上, 依據梯度卷積模板的主方向(箭頭指向), 將hx和hy分別沿逆時針以45?為間隔旋轉一周, 依次得到8組旋轉梯度卷積模板, 記 為 3 ?Group(i) (i=1,2,...8), 如 圖3 所 示.采用(5)式分別計算圖像在每組旋轉梯度卷積模板主方向上的梯度矢量, 統計得到對應的主方向梯度直方圖.將8組主方向梯度直方圖依次累加, 得到最終的3-HRPOG特征向量.

圖4進一步說明了3-HRPOG算子的旋轉不變性.圖4(a)是一幅二值圖像(紫色表示0, 綠色表示1), 將其沿逆時針方向旋轉 4 5?, 得到圖4(b),分別采用傳統HOG算子以及3-HRPOG算子計算2種情況下的梯度矢量.分析發現, 傳統HOG算子受圖像旋轉影響, 梯度矢量由 [ 1,0]T變為 [ 1,?1]T,而3-HRPOG算子的8組梯度矢量值不變, 僅出現順序發生變化, 可見, 3-HRPOG算子可以提取圖像在各個不同方向上的梯度變化信息, 不受圖像旋轉影響.

2.3 多尺度旋轉主方向梯度直方圖(multiscale histogram of rotated principal orientation gradients, Ms-HRPOG)特征算子

研究表明, 人眼視覺系統具有多尺度分析能力, 通過調節視網膜細胞感受野范圍可以提取不同尺度下的目標信息, 從而更加全面準確地“認識”目標[49,50].受此啟發, 本文在 2.2 節 3×3 尺度的 3-HRPOG算子基礎上(圖3), 將卷積模板尺寸擴展為5×5大小, 且卷積權值設置方法不變, 進一步設計出 5×5尺度的 5-HRPOG算子 (圖5), 并將2種算子相互結合, 提出一種Ms-HRPOG特征算子, 特征提取流程如圖6 所示, 其中, 5-HRPOG 特征提取步驟與3-HRPOG特征提取一致, 將二者級聯得到最終的Ms-HRPOG特征向量.

3 稀疏表示和稀疏保持投影

稀疏表示 (sparse representation, SR)[3]是繼小波變換、多尺度幾何分析后, 又一新的信號表示方法, 基本思想是用超完備字典D中少量 (稀疏)原子線性組合來近似表示待測樣本y:

圖3 3-HRPOG 算子的旋轉梯度卷積模板Fig.3.Rotated gradient convolution masks of 3-HRPOG feature descriptor.

圖4 旋轉不變性分析 (a) 原圖及 HOG 和 3-HRPOG 的梯度矢量值; (b) 旋轉 4 5? 圖像及 HOG 和 3-HRPOG 的梯度矢量值Fig.4.Rotation invariance analysis:(a) Original binary image and gradient vectors of HOG and 3-HRPOG; (b) rotated 4 5? binary image and gradient vectors of HOG and 3-HRPOG.

這里采用l1范數約束向量α中非零編碼個數,使其最少(最稀疏).喬立山等[33]受SR啟發, 提出了稀疏保持投影 (sparsity preserving projections,SPP)算法, 通過在低維子空間保持高維樣本之間的稀疏重構關系, 尋找最佳低維投影, 目標函數如下:

其中,Xi=[x1,...,xi?1,0,xi+1,...,xN]∈Rmn×N是樣本集X中去除樣本xi的超完備字典, 約束式松弛了重構條件, 1Tsi=1 使樣本xi的稀疏重構權值si歸一化, 這里1=[1,1,...,1]T∈RN×1.可見, SPP 中si描述了高維空間中樣本xi與剩余樣本的稀疏重構關系, 通過在低維空間中約束保持該局部屬性, 由(8)式優化得到最佳低維投影矩陣P∈Rmn×d.

圖6 Ms-HRPOG 特征提取示意圖Fig.6.The sketch of Ms-HRPOG feature descriptor.

以LFW數據庫為例, 圖7給出了根據(7)式計算得到的某一樣本圖像的稀疏重構權值.圖中,前10個為同類樣本的重構權值, 后90個為異類樣本的重構權值.由圖7可以看出, 圖中僅同類的第4個樣本和第8個樣本參與了重構(有權值), 而剩余的同類樣本均未參與重構(權值為0); 相反, 某些異類樣本在重構中具有較大權值, 如第29, 39,48, 65 個樣本等.造成這種結果的原因是, 真實采集的人臉圖像復雜多變, 同類樣本受光照、遮擋、表情、年齡、姿態等影響, 彼此之間存在差異, 導致部分同類非近鄰樣本重構權值為0, 而不同類樣本間又具有人臉結構相似特征, 造成部分異類偽近鄰樣本參與重構.可見, SPP算法在非約束人臉識別中仍有局限性, 不能準確描述樣本的近鄰重構關系.

圖7 LFW數據庫中某一圖像的SPP稀疏重構權值Fig.7.Sparsity reconstruction weights of one sample with SPP algorithm on the LFW database.

4 判別稀疏圖映射算法

鑒于SPP的局限性, 本文提出DSGE算法,從2個方面進行改進.一方面, 在稀疏圖構建階段,利用類別標簽分別構建類內、類間重構關系矩陣,并且引入類內、類間緊湊度約束因子, 用以增強待測樣本與同類非近鄰樣本的重構關系, 以及削弱異類偽近鄰樣本的重構影響; 另一方面, 在低維投影階段, 增加全局約束因子, 利用樣本全局分布中隱含的鑒別信息, 以類間重構散度最大、類內重構散度最小為目標計算最佳投影矩陣, 使低維子空間更緊致、更判別.

4.1 類內、類間重構關系矩陣

首先, 分析待測樣本與同類樣本之間的重構關系.設訓練樣本集X由C類樣本子集X1,X2,...,XC組成, 表示為

其中,nk表示為第k類樣本子集個數, 滿足引入類別標簽, 優化求解待測樣本xij的類內稀疏重構權值, 目標函數如下:

這里,l(xij) 表示待測樣本xij的類別, 取l(xij)=i,定義類內超完備字典

表示為除xij外的剩余同類樣本子集.定義Γl(xij)為類內緊湊度約束因子, 記為與xij同類的所有樣本的類內稀疏重構權值的平均向量, 最小化可以使同類樣本的稀疏重構權值接近中心值, 增強待測樣本與同類非近鄰樣本的重構關系.

依據(10)式分別計算樣本子集Xi(i=1,2,...C)中同類樣本的類內稀疏重構權值從而得到樣本子集Xi的類內重構權值矩陣由此構建樣本集X的類內重構關系矩陣Λw∈RN×N:

分析發現, (11)式保證了待測樣本與同類樣本的重構關系, 然而大量研究表明, 異類樣本在樣本集中的空間分布對低維投影的準確性也有很大影響, 因此, 有必要進一步考慮待測樣本與異類樣本的重構關系.定義目標函數如下:

為了便于描述樣本集X的類間重構關系, 將擴展為N維列向量, 即

則樣本子集Xi的類間重構權值矩陣表示為

由此得到樣本集X的類間重構關系矩陣Bb∈RN×N:

4.2 DSGE低維投影

首先, 為了使低維子空間中同類樣本盡可能聚合,在最小化類內重構誤差基礎下, 增加全局類內約束條件, 使得低維子空間數據既保留了樣本間局部類內稀疏重構關系, 又考慮了同類樣本子集的全局緊湊度分布特性.最小化類內重構散度目標函數如下:

這里為了描述方便, 不考慮樣本類別, 定義xi為樣本集X中的第i個樣本,xj為第j個樣本,對應類內重構關系矩陣Λw中相應元素, 描述了樣本xi與xj的類內重構關系.定義全局類內約束因子是第i類樣本子集,則是第i類樣本子集的均值矩陣, 約束最小, 可以使得各類樣本子集類內更緊湊.推導目標函數(14)得到

取Lw=I?Λw?(Λw)T+(Λw)TΛw, 則目標函數(14)轉換為

同理, 為了使低維子空間中異類樣本盡可能分離, 在最大化類間重構誤差基礎下, 又增加全局類間約束條件, 得到最大化類間重構散度目標函數如下:

結合(16)式和(18)式, 基于最大邊界準則(maximum margin criterion, MMC)得到 DSGE 低維投影目標函數:

由拉格朗日乘子法, 在PTP=I約束條件下,(19)式轉換為如下特征方程:

求取前d個最大特征值對應的特征向量, 構成最佳低維映射矩陣P?=[p1,p2...,pd]∈Rmn×d.

5 基于DSGE-HPROG的算法

綜上所述, 稀疏表示可以理解為函數逼近問題, 選擇一個好的基函數對SRC分類器非常重要,因此, 本文將HRPOG和DSGE相結合, 提出一種DSGE-HPROG算法, 用以增強低維特征字典的鑒別性、緊致性和穩定性, 使SRC分類效果更理想.同時, 考慮DSGE算法中稀疏重構關系與SRC分類器的稀疏表示系數具有相同物理意義,本文又借鑒SRC-DP[40]思想, 將低維投影和稀疏圖構建聯合優化, 使SRC分類器在低維投影子空間獲得最佳識別效果, 具體實現步驟如算法1所示.

算法1 DSGE-HRPOG算法

步驟1.采用HRPOG算子(單尺度或多尺度)提取訓練樣本X的特征, 并采用 PCA對HRPOG特征向量進行預處理降維, 構建特征字典DHRPOG

步驟2.初始化投影矩陣P0, 取迭代次數k=1 ;

步驟3.將特征字典DHRPOG投影到變換空間

步驟4.依據 (10–13)式計算變換空間Z=[Z1,Z2,...Zc]中任一樣本zij與同類樣本的重構關系矩陣Λw, 以及與異類樣本的重構關系矩陣Bb;

步驟5.計算L(w=)I?(Λw)?(Λw)T+(Λw)TΛw和Lb=I?Bb?BbT+BbTBb, 代入特征方程(20)中, 取前d個最大特征值對應的特征向量構成投影矩陣Pk;

步驟6.取k=k+1 , 計算收斂條件|J(Pk)?J(Pk?1)|/|J(Pk)|;

步驟 7.若或迭代次數k大于設定值kmax, 則最佳投影矩陣P?=Pk, 反之, 重復步驟3—步驟7.

6 實驗結果

為了驗證DSGE-HRPOG算法的有效性, 分別在 AR, Extended Yale B, LFW 和 PubFig 這4個人臉數據庫上進行實驗仿真.實驗主要參數設置為λ1=λ3=0.5 ,λ2=λ4=1 ,kmax=20.所有實驗均采用PCA進行數據預處理(取PCA Ratio=0.98), 在 Win10 64位操作系統、8 GB 內存和MATLAB R2017a仿真環境下完成.

6.1 AR數據庫

AR數據庫是在嚴格控制實驗環境條件下采集的具有不同面部表情、照明條件和遮擋(包括太陽鏡和圍巾)的人臉正視圖, 圖像尺寸為50×40像素大小.本文選取120類人(65男55女)在2個階段拍攝的圖像, 其中每人每個階段包含7張無遮擋圖像(包含表情、光照影響)和6張遮擋圖像(3張墨鏡遮擋, 3張圍脖遮擋), 樣本如圖8所示.HRPOG算子的參數設置為 1個 cell= 2×2 pixels, 1 個 block= 2×2 cells, bin= 9.

6.1.1 表情、光照、時間的影響

本實驗主要分析表情、光照、時間等非遮擋因素對人臉識別的影響.取AR數據庫中每類人在Session1中7張無遮擋圖像作為訓練樣本,Session2中7張無遮擋圖像作為測試樣本進行實驗仿真(表1).由表1可以看出, 在本文提出的DSGE-HRPOG算法框架下, 無論采用單尺度特征算子(3-HRPOG和5-HRPOG), 還是多尺度特征算子(Ms-HRPOG)構建特征字典, DSGE-HRPOG的識別率均高于其他算法, 與 DSNPE[37], DPNFL[51]和 SRC-DP[40]相比, 識別率最大提升了12.74%, 17.01% 和 13.61%.這說明, 本文提出的DSGE-HRPOG算法在降低人臉識別中表情、光照、時間等非遮擋影響時, 具有絕對的優勢.同時,本實驗又基于原始圖像構建樣本字典, 并采用DSGE算法進行字典降維, 得到DSGE-pixels的識別率為 76.79%, 相比 SPP[33], DSNPE[37], DP-NFL[51]和SRC-DP[40], 識別率分別提升了8.58%,0.72%, 4.99%和1.59%.這也從另一個角度說明,摒棄特征字典的作用, 本文提出的DSGE算法在去除數據冗余、構建低維判別字典方面也具有一定優勢, 但將DSGE與HRPOG特征字典相結合,識別效果更佳, 如表1中所示, DSGE-HRPOG算法的識別率比DSGE-pixels最大提升了12.02%.

圖8 AR 數據庫部分樣本圖像Fig.8.Samples of one person in the AR database.

表1 AR數據庫在表情、光照和時間干擾因素下的實驗結果Table 1.Experimental results on the AR database with the interference factors of expression, illumination and time.

6.1.2 遮擋的影響

本實驗主要分析遮擋因素對人臉識別的影響,包括眼鏡遮擋、圍巾遮擋以及混合遮擋3個方面.下面有針對性地設計3個實驗, 依次進行實驗仿真(表2).

表2 AR數據庫在遮擋干擾因素下的實驗結果Table 2.Experimental results of AR database with the occlusion interference.

實驗1:取AR數據庫中每類人在Session1中7張無遮擋圖像和任意1張眼鏡遮擋圖像作為訓練樣本, 而Session2中7張無遮擋圖像和3張眼鏡遮擋圖像, 以及Session1中剩余的2眼鏡遮擋圖像作為測試樣本.

實驗2:取AR數據庫中每類人在Session1中7張無遮擋圖像和任意1張圍巾遮擋圖像作為訓練樣本, 而Session2中7張無遮擋圖像和3張圍巾遮擋圖像, 以及Session1中剩余的2圍巾遮擋圖像作為測試樣本.

實驗3:取AR數據庫中每類人在Session1中7張無遮擋圖像和任意1張眼鏡遮擋圖像以及任意1張圍巾遮擋圖像作為訓練樣本, 而Session2中7張無遮擋圖像、3張眼鏡遮擋圖像、3張圍巾遮擋, 以及Session1中剩余的眼鏡和圍巾遮擋圖像作為測試樣本.

分析表2中3個實驗結果, 可以看出, 本文提出的DSGE-HRPOG算法在眼鏡遮擋、圍巾遮擋以及混合遮擋3種真實遮擋情況下, 均具有最佳識別效果, 其中, 基于Ms-HRPOG特征字典的識別率最高, 分別為 89.31%, 90.00% 和 91.06%, 比次優算法 SRC-FDC[42, 52]高 8.41%, 10.1% 和 10.76%.這說明, DSGE-HRPOG算法通過結合HRPOG特征字典以及DSGE低維投影的優勢, 可以有效消除人臉識別中各種遮擋因素的影響, 具有較強的遮擋魯棒性.同時, 從表2中也可以看出, 基于多尺度特征字典(Ms-HRPOG)的DSGE-HRPOG的識別率均高于基于單尺度特征字典(3-HRPOG和5-HRPOG)的情況, 這也說明, 采用多尺度特征融合策略有助于進一步提升特征字典的鑒別能力,增強系統的穩定性.

6.1.3 混合影響

前2個實驗分別分析了遮擋因素以及非遮擋因素對人臉識別的影響, 本實驗將遮擋因素和非遮擋因素綜合考慮, 分析混合因素(遮擋、表情、光照、時間)對人臉識別的影響.隨機取每類人26張(2個Session)圖像中的13張圖像作為訓練樣本,剩余圖像作為測試樣本進行實驗仿真, 交叉驗證10次(表3).分析發現, 當樣本中隨機包含各種不同干擾因素時, 本文提出的DSGE-HRPOG算法在消除人臉識別中遮擋、表情、光照、時間等混合影響時, 仍具有一定優勢.相比文獻[53]和[54]中提出的2個先進算法, 基于Ms-HRPOG特征字典的DSGE-HRPOG算法的平均識別率提升最多,分別提升了0.96%和1.7%.同時, 文獻[53]和[54]算法的標準差分別為 0.53和 0.93, 而 DSGEHRPOG的標準差最大為0.17, 遠遠小于文獻值,這也進一步說明了本文提出的DSGE-HRPOG算法不受樣本選擇和干擾因素變化的影響, 具有分類穩定性.

表3 AR數據庫在混合干擾因素下的實驗結果Table 3.Experimental results on the AR database with the mix interference factors.

6.2 Extended Yale B數據庫

Extended Yale B數據庫包含38類人在不同光照條件下拍攝的人臉正視圖, 每類人約64張圖像, 共 2414 張, 圖像尺寸為 32×32 像素大小, 部分樣本圖像如圖9所示.這里, HRPOG算子的參數設置與AR數據庫一致.

圖9 Extended Yale B 數據庫部分樣本圖像Fig.9.Samples of one person in the Extended Yale B database.

在 Extended Yale B 數據庫上, 首先分析不同強度光照對人臉識別的影響.隨機選取每類人的10張圖像作為訓練樣本, 剩余圖像作為測試樣本進行實驗仿真(表4).由表4可以看出, 在多尺度特征字典情況下(Ms-HRPOG), DSGE-HRPOG算法可以達到92.48%的識別率, 相比近年來提出的先進算法GRSDA[39]和RCDA[52], 分別提升了9.78%和0.48%, 識別效果最佳.而在單尺度特征字典 (3-HRPOG和 5-HRPOG)情況下, DSGEHRPOG的識別率分別為91.35%和89.77%, 略低于 RCDA[52].可見, 在少量訓練樣本條件下, 多尺度特征更有助于消除人臉識別中不同強度的光照影響.

其次, 進一步驗證 DSGE-HRPOG算法在Extended Yale B 數據庫上的遮擋魯棒性.本文又隨機選取每類人14張圖像, 在上面分別添加大小隨機、位置隨機的黑白點噪聲塊, 得到部分遮擋樣本圖像(圖10).這里, 噪聲塊大小與圖像大小比例在0.05—0.15任意取值.

下面設計2個實驗, 用以討論遮擋樣本數量不同時, DSGE-HRPOG 算法的性能.實驗 1:隨機選取每類人32張圖像作為訓練樣本, 其中包含14張遮擋圖像, 剩余圖像作為測試樣本, 交叉驗證10次; 實驗2:隨機選取每類人32張圖像作為訓練樣本, 其中包含7張遮擋圖像, 剩余圖像作為測試樣本, 交叉驗證10次, 實驗仿真結果如表5所示.從表5中可看出, 在光照和遮擋混合干擾情況下, DSGE-HRPOG算法仍具有最佳性能.當遮擋樣本數為7張時, 基于Ms-HRPOG特征字典的平均識別率為98.10%, 當遮擋樣本數增大到14張時, 識別率仍有 97.98%, 二者僅相差 0.12%.同樣地, 基于3-HRPOG和5-HRPOG特征字典的平均識別率也高于其他算法, 并且在不同遮擋樣本數量條件下, 實驗結果僅相差0.43%和0.08%, 而其余算法則有近1%左右的差值.這充分說明, 無論是基于單尺度特征字典還是多尺度特征字典,DSGE-HRPOG算法不受遮擋樣本數量和質量的影響, 系統性能穩定.

6.3 LFW和PubFig數據庫

前面討論是基于實驗環境下采集的人臉數據庫 (AR和 Extended Yale B)進行實驗仿真和分析的, 實驗結果具有一定的局限性, 本節將進一步對真實環境中采集的LFW和PubFig數據庫上進行實驗仿真, 使實驗結果更具有說服力.

LFW(labeled faces in the Wild database)數據庫[55?57]是從Internet上采集的真實人臉數據庫, 共有13233張5749類人臉圖像, 包含了光照、表情、姿態、遮擋、年齡、種族等多種混合干擾, 對于人臉識別來說非常具有挑戰性.部分樣本如圖11(a)所示, 圖像尺寸為 128×128 pixels.本文從中選取包含10張以上圖像的人進行辨識, 得到158類人,共4324張圖像, 隨機選取每類人的5張圖像作為訓練樣本, 5張圖像作為測試樣本進行實驗(表6).HRPOG特征算子的參數設置為一個cell= 4×4 pixels, 一個 block= 2×2 cells, bin= 9.

表4 Extended Yale B 數據庫在光照干擾因素下的實驗結果Table 4.Experimental results of Extended Yale B database with the illumination interference.

圖10 Extended Yale B 數據庫部分遮擋樣本圖像Fig.10.Occlusion samples of one person in the Extended Yale B database.

表5 Extended Yale B 數據庫在遮擋干擾因素下的實驗結果Table 5.Experimental results of Extended Yale B database with the occlusion interference.

圖11 部分樣本圖像 (a) LFW 數據庫部分樣本; (b)PubFig數據庫部分樣本Fig.11.Samples of one person:(a) LFW database; (b) Pub-Fig database.

表6 LFW 和 PubFig 數據庫的實驗結果Table 6.Experimental results on the LFW database and PubFig database.

PubFig(public figures face database) 數據庫[56]與LFW數據庫類似, 包括從互聯網上采集到的200類知名人物的58797張圖像.數據庫中的人臉都是真實環境下拍攝的, 包含部分遮擋(眼鏡、帽子等飾物)、極端光照、較大的姿勢變換 (> 45°)、不同種族、年齡等干擾因素.部分樣本如圖11(b)所示, 圖像尺寸為 100×100 pixels.本文從 PubFig數據庫中隨機選取100類人, 每類人20張圖像進行實驗仿真, 其中每類人的10張圖像作為訓練樣本, 剩余圖像作為測試樣本(表6).HRPOG特征算子的參數設置為一個 cell= 10×10 pixels, 一個block= 2×2 cells, bin= 9.

從表6中可以看出, DSGE-HRPOG算法在LFW和PubFig這2個數據庫上的識別率均高于其他算法, 其中, 基于3-HRPOG特征字典的識別率最高, 達到76.71%和 54.20%, 比文獻 [41]提出的IRGSC算法提升了20.41%和5.7%, 比文獻[57]提出的RRC算法提升了23.51%和12%, 比其他算法則提升更多.然而, 表中DSGE-pixels的識別效果并不理想, 在LFW數據庫上識別率僅為51.52%, 低于 IRGSC[41]和 RRC[57], 在 PubFig 數據庫上識別率為 38.6%, 低于 IRGSC[41], RRC[57]和 RSRC[3].可見, 在 LFW和 PubFig這 2個具有挑戰性的非約束人臉數據庫上, DSGE算法容易受樣本影響, 近鄰圖構建不準確, 而 DSGEHRPOG算法通過結合HRPOG特征字典以及DSGE低維投影兩方面的優勢, 能夠更準確挖掘出嵌入在真實復雜數據中的低維流形本質結構, 顯著提高了系統的判別能力.

值得注意的是, 本文也采用傳統HOG特征算子構建特征字典, 再與DSGE算法相結合, 得到DSGE-HOG的識別率為69.62%和49.00%, 分類效果僅次于DSGE-HRPOG算法, 并優于其他非特征字典算法.這進一步說明了, 在稀疏表示分類中, 首先采用特征算子提取圖像特征用以構建特征字典, 對準確區分受不同因素干擾的真實環境采集的非約束人臉圖像十分有效.同時, 這也從另一角度驗證了, 相比傳統HOG特征算子, 本文提出的HRPOG特征算子從多個尺度、多個方向捕捉人臉紋理的梯度變化信息, 可以更準確提取出人臉本質特征, 從而顯著提高特征字典的鑒別性和魯棒性.

6.4 參數性能分析

本節主要討論DSGE-HRPOG算法中最優參數選擇, 包括初始投影矩陣P0的選擇、最大迭代次數kmax的選擇, 以及有聯合優化和無聯合優化條件下的分類結果比較.以PubFig數據庫為例, 圖12為P0取隨機矩陣、單位矩陣以及LDA投影矩陣作為初始值時, 在不同特征字典條件下的識別結果.從圖12中可以看出, 無論采用單尺度特征字典(3-HRPOG或 5-HRPOG), 還是多尺度特征字典(Ms-HRPOG), 取初始投影矩陣P0為隨機矩陣時,聯合優化得到的P?最佳, 分類效果最好.

圖12 不同初始投影矩陣 P0 的識別率Fig.12.Recognition rates based on different initial matrix P 0.

圖13為迭代次數與目標函數差值的曲線圖,從圖13中可以看出, 隨著迭代次數k的增加, 目標函數J(Pk) 與J(Pk?1) 的差值越來與小, 當k?20后, 逐漸趨于穩定, 目標函數收斂.因此, 本文選取最大迭代次數kmax=20 作為算法1的截止條件之一.

圖13 目標函數收斂曲線Fig.13.Convergence curve of the objective function.

最后, 表7給出有聯合優化和無聯合優化條件下, DSGE-HRPOG算法在PubFig數據庫上的識別結果及對應最佳投影維度.這里取初始投影矩陣P0為隨機矩陣, 最大迭代次數kmax=20.從表7中可以看出, 將維數約簡過程伴隨在稀疏圖構建過程中, 可以使低維子空間數據逐漸逼近最佳判別分布, DSGE-HRPOG分類效果更理想.

表7 PubFig 數據庫上有聯合優化和無聯合優化的實驗結果Table 7.Experimental results with joint optimization and without joint optimization on the PubFig database.

7 結 論

鑒于SRC分類器的局限性, 本文從字典構建、低維投影以及聯合優化3個方面進行改進, 提出一種基于DSGE-HRPOG的算法.首先, 利用鑒別力和魯棒性更強的HRPOG特征算子提取樣本本質特征, 去除非約束人臉圖像中包含的各種干擾因素, 增強同類字典原子間的相關性和異類原子間的差異性; 然后, 再與 DSGE 算法相結合, 進一步提升了特征字典的緊致性、判別性和穩定性; 最后,將稀疏圖構建與低維投影聯合優化, 在AR,Extended Yale B, LFW 以及 PubFig 這 4 個人臉數據庫上進行實驗仿真, 實驗結果均表明, DSGEHRPOG算法相比傳統流形學習算法以及現有先進算法, 均表現出卓越性能.需要強調的是,DSGE-HRPOG算法提供了一種稀疏圖映射與局部特征提取相結合的研究思路, 為非約束人臉識別的實用化提供了有效解決方案.

近年來, 有許多學者[59,60]將圖像、視頻等數據組織為張量形式進行稀疏圖映射降維, 避免了將多維數據強制表示為向量形式而引發的一系列問題.下一步, 我們將研究基于張量特征字典的稀疏重構技巧及優化算法, 對流形學習與字典學習進行改進和推廣, 力爭進一步提高非約束人臉識別準確率.