基于材質(zhì)稀疏的人臉本征分解

鄭期尹

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

ZHENG Qi-yin

（College of Computer Science，Sichuan University，Chengdu 610065）

基于材質(zhì)稀疏的人臉本征分解

鄭期尹

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

本征圖像分解是圖像處理中的一個(gè)經(jīng)典問(wèn)題，給定一幅圖像，需要分解出對(duì)應(yīng)的材質(zhì)本征圖和光照本征圖。本征分解得到的材質(zhì)圖和光照?qǐng)D可作為高層視覺(jué)算法的輸入，如物體識(shí)別。通過(guò)引入材質(zhì)稀疏先驗(yàn)，恢復(fù)人臉的材質(zhì)圖與光照?qǐng)D，并利用MATLAB編程給出算法的實(shí)驗(yàn)結(jié)果。

本征分解；材質(zhì)稀疏；人臉

0 引言

恢復(fù)本征圖像的任務(wù)是將給定的輸入圖像分離成材質(zhì)相關(guān)的被稱為反照率或反射率的性質(zhì)以及諸如陰影、光照、鏡面高光等光的性質(zhì)，這些屬性的成功分離將有益于許多計(jì)算機(jī)視覺(jué)任務(wù)。本征分解所獲得的材質(zhì)圖像往往可以作為高層視覺(jué)的輸入，例如，移除圖像中的光照和陰影可以極大地提高人臉識(shí)別算法的正確率，提高圖像分割的準(zhǔn)確率。如在該領(lǐng)域的大多數(shù)先前工作中，我們將人臉本征圖像恢復(fù)問(wèn)題轉(zhuǎn)換為以下簡(jiǎn)化形式，其中每個(gè)圖像像素是兩個(gè)分量的乘積：

這里I是RGB空間的像素顏色，s是光照?qǐng)D，R是材質(zhì)圖。

本文工作的目的是建立一個(gè)簡(jiǎn)單但有效的陰影和反射率估計(jì)的概率模型。我們總共使用兩種不同類型的因素。第一個(gè)是最常用的因素也是所有基于Retinex方法的關(guān)鍵成分，即提取真實(shí)反射率邊緣的圖像邊緣，然后恢復(fù)僅包含這些邊緣的材質(zhì)圖。（下一個(gè)因素是一個(gè)簡(jiǎn)單的相鄰圖像像素的光照平滑先驗(yàn)，）第二個(gè)是基于Omer[1]的發(fā)現(xiàn)提出的全局材質(zhì)稀疏先驗(yàn)，Omer[1]已經(jīng)表明，自然場(chǎng)景的圖像通常僅包含幾個(gè)不同的“基色線”。

1 相關(guān)工作

針對(duì)本征圖像分解的研究，之前已有大量的工作，這里主要介紹與本文相關(guān)由Land[2]提出的Retinex算法。Retinex理論主要包含了兩個(gè)方面的內(nèi)容：物體的顏色是由物體對(duì)長(zhǎng)波、中波和短波光線的反射能力決定的，而不是由反射光強(qiáng)度的絕對(duì)值決定的；物體的色彩不受光照非均性的影響，具有一致性。基本Retinex算法是一個(gè)兩步過(guò)程：第一步是檢測(cè)由反射率變化引起的所有圖像梯度；第二步是恢復(fù)材質(zhì)圖，其中材質(zhì)圖保存第一步檢測(cè)到的反射率梯度。這種方法的基本假設(shè)是小的圖像梯度更可能由陰影引起，而大的梯度由反射率的變化引起。它的主要思想就是區(qū)分由光照變化和反射率變化引起的邊緣。

2 本征圖像分解概率模型

我們用下標(biāo)i表示圖像中位置i處的值，Ii是圖像像素（3維向量），Ri是材質(zhì)向量（3維向量），si是光照（標(biāo)量），圖片中的總像素?cái)?shù)是N。我們重寫(xiě)Ri=riRid，其中Rid是Ri的方向向量，由公式（1）可知Rid=Ii/||Ii||，這樣只需求出ri，光照可由si=||Ii||/ri計(jì)算。

2.1 概率模型

本文描述的能量函數(shù)包括線性組合的兩個(gè)不同的項(xiàng)，我們將在下面更詳細(xì)地描述這兩個(gè)項(xiàng)及其影響。

梯度一致性（Eret）：假設(shè)我們已經(jīng)知道在圖像位置i，j的邊緣是由反射率變化引起的，然后我們通過(guò)log（Ii）-log（Ij）=log（riRid）-log（rjRjd）知道出現(xiàn)在反射率圖中的梯度的大小。

其中，g（I）為指定圖像邊緣的分類函數(shù)。對(duì)于每個(gè)像素i和相鄰像素j，我們計(jì)算強(qiáng)度圖像的梯度和色度變化的梯度，如果兩個(gè)梯度都超過(guò)某個(gè)閾值，則i，j的邊緣被分類為“反射率邊緣”，則gij（I）=1。

全局材質(zhì)稀疏先驗(yàn)（Ecl）：受Omer[1]的發(fā)現(xiàn)的啟發(fā)，提出全局材質(zhì)稀疏，將材質(zhì)分成幾個(gè)類簇。我們假設(shè)C個(gè)不同的反射率類簇，其中每個(gè)類簇由Rc表示，c∈{1，…，C}。每個(gè)ri屬于這些類簇中的一個(gè)，用變量αi∈{1，…，C}表示其聚類成員，該項(xiàng)總結(jié)如下：

對(duì)于固定的α，該項(xiàng)在r中是凸的；對(duì)于固定的r，α是一個(gè)簡(jiǎn)單的分配問(wèn)題。

2.2 算法實(shí)現(xiàn)

問(wèn)題（3）包括離散和連續(xù)變量，我們使用坐標(biāo)下降法解決它。算法總結(jié)如下：首先初始化r0=1，K均值聚類求出α0，令t=0。重復(fù)步驟①到③，直到E（rt-1，αt-1）-E（rt，αt）＜θ（θ為預(yù)設(shè)閾值）

①對(duì)固定的αt，通過(guò)（2）求出rt+1

②K均值聚類更新αt+1

③t=t+1

對(duì)于給定的固定的α，通過(guò)共軛梯度下降法更新r；對(duì)于給定的r，α的更新則是一個(gè)簡(jiǎn)單的分配問(wèn)題。

2.3 實(shí)驗(yàn)結(jié)果

該算法的實(shí)驗(yàn)結(jié)果如下圖：

圖1

第一列（a），（e）是輸入圖像，第二列，第三列是輸出圖像，其中（b）、（f）是材質(zhì)圖，（c）、（g）是光照?qǐng)D。由圖可看出該算法很好地分離了原始圖像的材質(zhì)屬性和光照屬性，效果明顯。

3 結(jié)語(yǔ)

本文通過(guò)引入材質(zhì)稀疏項(xiàng)構(gòu)建新的本征分解概率模型，提出基于材質(zhì)稀疏的人臉本征分解算法，并用MATLAB實(shí)現(xiàn)該算法。該算法得到的人臉材質(zhì)圖和光照?qǐng)D可用于高層視覺(jué)算法的輸入，如用于人臉識(shí)別算法的輸入，可提高識(shí)別的準(zhǔn)確率。但我們發(fā)現(xiàn)在強(qiáng)光條件下該算法的效果不夠穩(wěn)定，這也是下一步要解決的問(wèn)題。

[1]I.Omer，M.Werman.Color Lines:Image Specific Color Representation.In IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2004.

[2]E.Land，J.McCann.Lightness and Retinex Theory.Journal of the Optical Society of America，1971.

[3]P.Gehler，C.Rother，M.Kiefel，L.Zhang，B.Schoelkopf.Recovering Intrinsic Images with a Global Sparsity Prior on Reflectance.In Proc. Adv.Neural Inf.Process.Syst，2011.pp.765-773

[4]A.Bousseau，S.Paris，F(xiàn).Durand.User Assisted Intrinsic Images.SIGGRAPH Asia，2009.

作者簡(jiǎn)介：

鄭期尹（1990-），男，福建泉州人，碩士研究生，研究方向?yàn)閳D像處理

Recovering Intrinsic Face Images with Sparsity Prior on Reflectance

Intrinsic image decomposition is a classic problem in image process,given an input image,corresponding reflectance and shading image need to be decomposed.The reflectance and shading image can be used as inputs to high level vision algorithms,such as object recognition.Recovers face reflectance image and shades image by introducing a sparsity prior on reflectance and gives a result of the algorithm by applying the MATLAB.

Intrinsic Decomposition;Sparsity on Reflectance;Face

1007-1423（2017）08-0074-03

10.3969/j.issn.1007-1423.2017.08.016

2017-01-10

2017-03-10

ZHENG Qi-yin

（College of Computer Science，Sichuan University，Chengdu 610065）