基于稀疏表示的人臉圖像高光檢測和消除

李明悅

（四川大學視覺合成圖形圖像技術國防重點學科實驗室，成都610065）

0 引言

許多計算機視覺問題在處理的時候都會假設圖像不存在鏡面反射高光，然而在真實場景中，非均勻介質不是理想的漫反射體，物體的表面總會存在高光。圖像中的鏡面反射會遮蓋高光區域內的真實材質屬性，影響圖像的質量，對于如圖像分割、目標檢測和跟蹤等問題產生很大的干擾。

傳統的高光消除研究大多采用Shafer 提出的在非均勻介質上的雙色反射模型（Dichromatic Reflection Model）。該模型指出，當場景中光源發出的光線照射到物體材質表面時，反射光同時包含漫反射和鏡面反射：漫反射是入射光線在物體表面經過多次的反射和吸收后返回物體表面的光；鏡面反射是入射光在物體表面上直接反射出的光，它與物體表面的位置、粗糙程度等因素有關。數學模型為：

其中，ms和md分別是鏡面反射和漫反射的權重因子，Γ 是光照顏色的色度，Λ 是漫反射的色度。

本文工作的目的是針對單幅人臉圖像的鏡面反射高光分量，建立一個有效的檢測和消除方法。在高光檢測任務中，我們利用人臉圖像上高光分布的稀疏性特點，結合非負矩陣分解方法檢測高光。進而，在高光消除過程中，在盡可能不改變圖像特點的前提下，借鑒圖像修復的思想實現高光消除。

1 相關工作

單幅圖像的高光消除算法，因為輸入圖像數量的限制，是一個病態問題，有大量的相關研究。早期高光消除方法通過分析彩色圖像的直方圖分布恢復高光和漫反射分量。Schluns 和Koschan[1]利用雙色反射模型公式，將鏡面反射圖像( x,y )和漫反射圖像( x,y )看作是顏色空間的兩個基向量，圖像應當近似地分布在這兩個向量支撐的平面上。但是，該方法適用于材質一致的物體表面的高光檢測和消除，因為當物體包含不止一種材質時，不同材質的漫反射分量不相同，鏡面反射分量也會發生變化，所以無法統一地近似到一個平面上。Tan[2]提出通過顏色一致性的方法估計光照色度，將圖像的光照色度規范為均勻分布，從而可以在已知光照色度時，高光系數ms只與物體的漫反射色度的最大值Λmax相關，即可以通過估計Λmax去估計ms，進而估計出高光分量Is。Tan 證明，在沒有明確顏色分割的情況下，迭代地將色度值移向鄰域中具有最大色度的相鄰像素的色度值，可以有效地去除具有復雜多色場景的紋理對象的高光。此外，Yang 等人[3]利用雙邊濾波的方法近似最大漫反射色度，Kim 等人[4]用暗通道先驗近似偽漫射圖像。但是，因為這些方法對輸入圖像的限制，曝光量較大的自然圖像必須通過直方圖均衡化或圖像增強等方法進行預處理，這樣操作的同時，會改變圖像的光照信息。

2 基于稀疏約束的高光檢測

人臉皮膚呈現的顏色主要受黑色素和血紅蛋白影響[5]，膚色的變化是由這兩種色素的密度和分布變化引起的。因此，本文假設皮膚材質函數Sd( )x,λ 由色素的密度和分布決定：

其中x 表示空間坐標, β( x )表示色素的分布。

此外，在皮膚中的高光區域中，鏡面反射光的光譜可以等同于環境光源的光譜。因為有假設，Ss=1 當且僅當位于高光區域，否則Ss=0。同時假設場景光照是一致的，光強的變化是由皮膚表面曲率的變化引起的?；谏鲜黾僭O，Blinn Phong 光照模型可以表示為：

式（3）的意義在于：將鏡面反射和漫反射分解為僅受幾何參數影響的色度無關項和受光照因素控制的色度項的乘積。

我們考慮有N 個像素的彩色圖像在RGB 空間每個顏色通道的分量，有：

其中，等號右端的第一個矩陣是3*2 的矩陣，表示漫反射和鏡面反射的RGB 通道幅度，僅與光照有關；第二矩陣是2*N 矩陣，表示N 個像素的每個點的漫反射和鏡面反射的空間關聯系數。

顯然，對圖像而言，所有矩陣都是非負的。同時，因為鏡面反射區域存在但且是局部稀疏分布的，根據提出的假設，圖像的所有非高光區域中鏡面反射系數ks( x )=0，因此，系數矩陣的ks( x )分量是稀疏的。我們選擇帶有稀疏約束的非負矩陣分解（Non-negative Matrix Factorization，NMF）求解（4）。

2.1 算法描述

Hoyer[6]提出稀疏度（Sparseness）的概念，用于衡量向量的稀疏程度，數學定義是：

本文的高光檢測問題中，輸入矩陣是圖像像素點的數據矩陣，若圖像的像素點個數為N，那么輸入矩陣大小是3*N 。公式（4）表明矩陣分解內部的維度為2，分別對應漫反射特征和鏡面反射特征。根據前文有關鏡面反射的假設，本文針對鏡面反射系數向量設置稀疏度約束。具體算法步驟如下：

輸入：原始圖像I=3×n

鏡面反射系數的稀疏約束sp( ki)=Si

輸出：稀疏分解系數矩陣K。

Step 1. 用矩陣的奇異值分解算法（SVD）分解I=W?K ；

Step 2.迭代最小化能量函數E(W,K)=‖I-W?K‖2直至收斂；

b.將K 的每行行向量進行“投影”，保證投影后的行向量滿足非負，L2范數為一，L1范數為根據稀疏度約束Si和( 3.4 )式計算的值；

其中，?和?分別表示按元素的乘法和除法。μK是小值步長系數，相當于傳統的梯度下降法，μK的值取足夠小的時候我們能保證逐步減小能量函數E(W ,K )，我們根據自動計算μK。

2.2 算法優化

在計算中，我們知道對給定的向量x，它的實際稀疏度sp( x )在絕大多數情況下并不一定符合預期的稀疏情況。我們通過近似的方法找到和x 接近的非負向量y，令y 滿足我們預期的稀疏度，同時向量y 與向量x的距離最小。我們稱之為L1范數不變的稀疏化近似。具體過程如下：

Step 1. 計 算 x 的 L1范 數，記，其中s 是預期的稀疏度；

Step 2.令yi=xi+(l1-∑xi)/n，Z={}，；

Step 4. 若 y 非負，則結束運算；否則令Z={i,yi＜0}，yi=0,i ∈Z，計算c=(∑yi-l1)/(n- ||Z)，最后令yi=yi-c,i ?Z，返回Step 3。

3 基于稀疏表示的高光消除

在檢測出高光區域之后，本文旨在盡可能保留圖像上非高光部分屬性的前提下，消除高光對圖像的影響。借鑒圖像修復的思路，我們將檢測到的高光區域視為異常值，在假設非高光區域只包含漫反射分量的前提下，將高光區域部分匹配到非高光區域的近似中，消除高光分量的影響。在樣本匹配階段，我們利用稀疏表示來完成高光消除。

記Ω={p|εp≠0}為高光區域坐標集合，它的邊界為?Ω。記I?Ω為圖像I 中不包含Ω 區域的像素集合，即為圖像的非高光區域，D?Ω是將Ω 區域坐標列刪除后對應的字典。那么在I?Ω上有稀疏表示：

從而，我們可以通過?修復圖像：

為了保證結構信息能得到正確有效地恢復而不是錯誤計算或者遺漏信息，我們在對邊界?Ω 進行填充的時候需要確定填充順序。我們在每次迭代中，都計算邊界?Ω 上每個像素點p 的優先度P(p)。因為高光區域的不規則性，所以我們記P(p)為p 的k*k 窗口內的非高光像素的比例，即。記其中最大優先度的點為pm，以pm為中心的一個k*k 大小的窗口補丁就作為當前迭代的處理對象Ψpm。因為pm位于待修復區域邊界?Ω 上，所以以pm為中心的圖像塊Ψpm既包含Ω 區域像素，也包含I?Ω區域內像素，同時我們可以明確地區分這兩個區域，對應上文討論的稀疏分解圖像進行修復，就有：

具體的算法過程如下：

Step 1.將檢測出的高光區域記為Ω，使用不含高光區域的I?Ω構建字典D；

Step 2.While Ω 非空，Do：

b. 在窗口Ψpm內利用字典D 進行稀疏分解得到系數矩陣；

c. 根據系數矩陣恢復Ψpm?Ω 的像素，更新Ω=Ω-Ψpm?Ω。

4 實驗結果

本文將高光檢測實驗分為兩步：首先通過上述的L1范數不變的稀疏化近似方法初始化輸入矩陣，即圖像I；然后使用單一稀疏度約束的非負矩陣分解算法計算檢測高光區域，根據分解出的系數矩陣K 的第二行的數值判定高光區域。此外，為了保證計算的自動化，我們根據暗通道圖像計算非負矩陣分解中的稀疏約束。

高光檢測實驗對比圖中可以看出，盡管圖（1）和（2）一個膚色偏白，一個膚色偏黑，但是第二列本文方法的結果（1a）和（2a）檢測出的高光區域具有較強的魯棒性。與第三列暗通道閾值檢測結果（1b）和（2b）相比，由于單一閾值導致檢測出的區域很不穩定，表現為：圖（2）皮膚偏黑，高光檢測結果不完全；圖（1）皮膚偏白，高光檢測過多。本文方法受白色牙齒的干擾十分小，同時基本檢測了嘴唇和下巴的高光區域。

圖1 高光檢測實驗

（1）（2）是大小為600×600 像素的人臉圖像；（1a）（2a）是對應圖像的本文高光檢測算法的結果；（1b）（2b）是基于暗通道圖像閾值檢測高光的結果，根據文獻[7]的統計數據將閾值設置在0.7。

圖2 不同高光消除方法的對比

（1）（2）是輸入的原始圖像；（a）-（e）分別為文獻[7],[8],[9],[10]以及本文的高光消除實驗的結果。

圖2 所示的高光消除實驗對比結果中，第二列（1a）（2a）是文獻[7]采用了暗通道圖像特性對高光區域檢測并消除，但是針對非人臉區域的非高光白色材質、人臉的牙齒部分會錯誤檢測為高光，高光消除過程會錯誤地修改這些區域的結果。第三列（1b）（2b）根據文獻[8]中采用的技術在針對單張人臉圖像上結果是失敗的，一方面因為是文獻[8]選取的圖像都是較暗光照下的圖像，高光區域有較為明顯的特征，但是這類方法對一般的人臉圖像并不適用。第四列（1c）（2c）是文獻[9]根據雙色反射模型利用圖像分割方法實現的高光消除的效果。盡管人臉區域的材質是稀疏的，但并不是單一材質，圖像分割受到高光的影響就會導致錯誤的結果。第五列（1d）（2d）是文獻[10]的高光消除，同樣地因為檢測高光過程需要手動標定閾值，所以在對于不同光照環境下的圖像設定一個固定閾值時，會導致有些圖像的非高光區域被錯誤檢測（1d）。第六列是本文采用的高光消除的實驗結果。從方框區域的對比中可以看出，本文方法不論是在不同光照條件下高光區域檢測的準確性，還是檢測出高光區域后高光消除的可信度上，都比前面幾種方法有著更好的結果。

5 結語

本文利用人臉圖像上鏡面反射高光的成因和特征，采用雙色反射模型構建圖像的高光分量和漫反射分量。通過假設材質函數可以由色素的密度和分布決定，且高光系數為空間上的二值函數，僅在高光區域高光系數為1，從而利用有稀疏約束的非負矩陣分解算法檢測鏡面反射高光區域。同時，本文從高光檢測區域、高光消除結果兩個方面同其它高光檢測消除方法進行實驗對比。對比結果證實本章提出的方法對影響人臉圖像的高光檢測和高光消除的膚色、光照等因素具有較好的魯棒性。

但是由于在鏡面反射分量上做了大量的假設，并且拋棄了實際人臉圖像上其他材質特征，如胡子、斑點的稀疏性討論，因此這些稀疏的材質特征可能會對高光檢測造成影響，這也是我們下一步要研究解決的問題。