基于相機運動子空間的人臉圖像非均勻去模糊

郭曉磊　曹萌萌　薄一航

1(開封大學信息工程學院　河南 開封 475004)2(北京電影學院美術系　北京 100088)

?

基于相機運動子空間的人臉圖像非均勻去模糊

郭曉磊1曹萌萌1薄一航2

1(開封大學信息工程學院河南 開封 475004)2(北京電影學院美術系北京 100088)

由于在相機拍攝的人臉中往往會存在較大的模糊，為了有效去除人臉圖像的抖動模糊，提出一種基于非均勻去模糊與人臉特殊屬性相結合的人臉圖像去模糊方法。首先研究非均勻去模糊的原理，并提出通過約束相機運動子空間的方法來估計出相機與人臉之間的相對運動路徑。再根據人臉的特殊屬性，通過對清晰人臉訓練得到一組清晰的人臉字典，建立人臉的先驗知識。最后利用得到的非均勻模糊核和人臉字典對模糊人臉圖像進行去卷積。實驗結果表明，提出的方法相對于現有的去模糊算法可以得到更清晰的人臉圖像，對后續的人臉識別有很大的輔助作用。

圖像去模糊稀疏表達人臉圖像非均勻模糊相機運動子空間

0　引　言

目前圖像去模糊的方法有很多種，根據運動模糊的不同特征可以分為均勻去模糊[1]和非均勻去模糊[2]。在傳統的去模糊中，通常都假設圖像的模糊為均勻的，即只考慮相機與物體之間的相對平面內的平移運動。目前，針對均勻模糊的去除方法主要包括基于專業硬件芯片[3，4]、梯度統計[5]、稀疏表達[6，7]和邊緣透明度的方法[8]等。但是這些方法只有針對自然圖像的去模糊效果才比較明顯，卻很少有專門針對人臉圖像模糊的去除方法[9]。視頻監控已經廣泛應用于生活的各個領域，通過視頻圖像對目標人物進行定位識別跟蹤、刑事偵察和打卡簽到應用中有著迫切的需求。但是在很多情況下，由于相機的抖動或者人物的行走會引起的人臉圖像模糊，導致后續的人臉識別失效。為此提出了人臉圖像的去模糊方法，傳統方法都將運動模糊視為均勻模糊，沒有考慮在相機成像平面外的運動。但在實際應用中，因為相對運動不能總是維持在成像平面內，均勻模糊的去除方法往往不能真正達到去模糊效果[10]。較早的文獻通常將一幅輸入圖像分割成很多區域，其中每一個區域看作是均勻模糊，不同區域的模糊核各不相同，達到估計非均勻模糊核的目的[11]。Whyte[12]等人提出了一種新的非均勻去模糊的模型，將模糊圖片看作是沿著相機路徑拍攝的每一張圖片的疊加總和，這些圖片可以看作是清晰圖片在相對運動軌跡上每個軌跡點的變形圖片?；谶@個新的模型，可以通過計算相機的抖動路徑去除非均勻模糊。Gupta[13]等人提出了一種相似的去模糊模型，用相機在相機平面內的平移和旋轉對相機的運動軌跡進行建模，也證明了只需要這三個自由度的參數就可以近似地估計出相機在空間中的平移與旋轉。本文將非均勻模糊去除方法應用在人臉去模糊中，通過對相機的運動軌跡進行約束，可以更快速準確地估計出相機的運動軌跡。由于大部分文獻對圖像的先驗知識是根據自然圖像設定的，并不適合于本文的人臉圖像。因此通過對人臉圖像訓練又得到人臉特有的稀疏字典，增加了人臉圖像的約束，可以得到更好的人臉去模糊效果。

1　非均勻去模糊模型與圖像先驗知識

1.1非均勻去模糊模型

非均勻去模糊的模型可描述為過程：

B=∫f(Hθ,L)w(θ)dθ+n

(1)

其中，B代表模糊圖像，L代表清晰圖像。θ代表相機的運動軌跡參數，n代表噪聲。采取文獻[13]的方法，用平面內的平移和旋轉來近似相機的抖動路徑。Hθ代表在在相機姿勢θ下的單應矩陣，f(Hθ,L)即為在θ相機姿勢下變形后的圖片。模糊圖片B可以看作是在相機路徑下所有變形圖片的疊加與噪聲n的總和。在離散情況下，模糊圖片的離散表達形式為：

(2)

其中，Kθ代表在相機姿勢θ下的變形矩陣。在三維空間中，相機的運動軌跡包括在x軸、y軸、z軸的移動和旋轉，共計6個參數[14]。但是本文只考慮沿著x軸、y軸的平移和圍繞z軸的旋轉。因為沿著x軸、y軸的旋轉可以用沿著y軸、x軸軸的平移近似。而沿著z軸的平移對圖片的影響很小可以忽略不計。因此，原本6D的相機運動空間可以用3D的相機運動空間來近似。

因此，在非均勻去模糊中求解清晰圖像是通過最小化如下能量函數得到：

(3)

其中，W代表權重wθ的集合。Φ(L)、Φ(W)分別代表L和W的先驗知識。

1.2圖像先驗知識

為得到較好的去模糊效果，不僅需要準確估計出相機的抖動路徑，還需要對清晰圖像建立先驗知識。由于相機抖動路徑不可能被完美的求解得到，所以圖像的先驗知識在去模糊效果中也起到了關鍵作用。圖像的梯度分布方法常被用于先驗知識的構建，但并不適用于人臉圖像的梯度分布。因為在自然圖像進行去模糊處理中，梯度分布符合超拉普拉斯分布規律，然而人臉圖像的梯度分布并不滿足這一特性[15]。假設圖像像素點的總個數為N，每個梯度幅值的個數為N，則自然圖像與人臉圖像梯度分布情況分別如圖1中的(a)和(b)所示。

圖1　自然圖像與人臉圖像梯度分布對比

從圖1中可以看出，自然圖像與人臉圖像梯度分布存在一定的差異，利用自然圖像的梯度分布對人臉圖像建立先驗會引起很大的誤差。根據分析，本文對人臉圖像需要建立一種新的稀疏先驗，來達到清晰人臉的效果。

2　人臉圖像去模糊模型

通過估計相機的抖動路徑，并同時建立人臉的先驗知識來達到人臉圖像去模糊的效果，主要包括非均勻模糊核估計和人臉圖像稀疏先驗兩部分，去模糊模型的步驟流程如圖2所示。

圖2　去模糊模型步驟流程圖

2.1基于相機運動子空間的非均勻模糊核估計

首先對相機路徑上所有姿勢的權重進行初始化。定義T(θ,p)為在相機姿勢θ下在像素位置p的變形函數，因此，在相機姿勢θ下在像素位置p的模糊核可以表示為：

kθp=wθT(θ,p)

(4)

相機的整個路徑在像素位置p噪聲的模糊核則可表示為：

(5)

其中，S表示相機的整個路徑，也即是相機姿勢θ的集合。

首先利用均勻模糊的去除方法，在模糊圖像上選取一些小的圖像塊來求出一些均勻的模糊核。本文中選取文獻[1]的方法。根據求出的多個均勻模糊核，利用反向投影(BP)算法，可以得到投影值為：

(6)

其中，i代表模糊核kp的位置，Γ(θ)用來表明相機姿勢θ是否起到作用，如果有，則Γ(θ)=1，反之Γ(θ)=0。因此，可以初始化相機姿勢權重W為：

(7)

但由于估算的幾個均勻模糊核并不準確，而且利用BP算法對這幾個僅有的均勻模糊核進行非均勻模糊核重建必然會有很大的誤差。同時，由于相機的抖動路徑在運動空間是非常稀疏的，因此，可以進一步對相機姿勢的權重利用下式進行初始估計：

(8)

為得到更精確的權重W的估計，通過對權重W和圖像L的迭代優化來得到更好的解。因為圖像的導數在清晰圖像估計中會起到積極的作用，可有效地去除環效應并且可以加速最優值的求解速度[16]，因此本文利用圖像的導數來求解清晰圖像L和相機姿勢權重W：

(9)

其中，▽∈{▽x,▽y,▽xx,▽xy,▽yy}代表圖像L的一階導數和二階導數。從式(9)中可以看出，相機姿勢的權重需要在整個運動空間S上進行優化，這樣必然會引起計算速度大大的降低。但由于相機的運動路徑應該是一個連續的一維路徑，不應該是一個復雜的立體路徑，如圖3所示。

圖3　相機的抖動路徑

因此，需要將冗余的相機路徑去除，在每次迭代過程中，將相機路徑限制在一個運動子空間S′?S中。為了達到該目的，將每次迭代過程中得到的權重WS={w1,w2,…}按照降序排列，然后將末尾最小的m個權重取值為0，然后在剩余的權重對應的子空間{θ∈S′}中，重新對求解最有值：

(10)

s.t.Ws′≥0

2.2人臉圖像先驗

在每次的迭代過程中，當固定權重W后，需要對清晰圖像L進行求解：

(11)

根據1.2節的分析，廣泛應用的關于圖像梯度分布的先驗知識在人臉圖像中并不適用，因此需要對人臉圖像設計一個合適的先驗知識。選取耶魯人臉數據庫中的部分圖片用作訓練集，該數據庫分別對十個測試對象拍攝了不同的照片，選取其中5個對象的圖片為訓練集，其余部分用作測試集，通過訓練集f={f1,f2,…,fn}，來訓練一個人臉的特殊字典D。

(12)

可以根據訓練得到的人臉特殊字典，得到清晰人臉圖像的先驗知識：

(13)

其中，Ri代表提取圖像L中的第i個圖像塊，選取圖像塊大小為8×8。字典大小為64×512。由于利用清晰的人臉圖像進行了字典訓練，因此在去模糊的過程中對人臉重建可以得到更加清晰的人臉圖像。

3　實驗結果與分析

實驗選取耶魯人臉數據庫中三幅圖像作為測試集的圖片，并合成三個不同的三維空間的連續路徑模糊核，根據三個清晰人臉圖像分別合成三個不同模糊核的非均勻模糊人臉圖片。實驗通過三組圖片展示本文提出的新模型的對模糊人臉圖像的去模糊效果，并與文獻[13]中Gupta等人提出的去模糊模型進行比較。

同時，實驗采用的是評價效果較好的PSNR和MSSIM兩種方法，峰值信噪比PSNR的計算公式為：

(14)

結構相似性MSSIM的計算公式為：

(15)

其中，式(15)中的SSIM是用來表示兩幅不同圖像的相似程度，表示公式如下：

(16)

其中，σx和σy代表圖像x和y的方差。σxy是x和y的協方差。C1=(K1I)2,C2=(K2I)2，其中K1=0.01，K2=0.03，I代表圖像灰度值的動態范圍。計算結果的MSSIM值越大，越接近1，代表去模糊后的圖像與原始無噪聲圖像的相似度越高，去模糊效果越好；而MSSIM值越小，則代表去模糊效果較差。

實驗過程中，本文首先對模糊圖像隨機選取7個的小圖像塊用文獻[1]求得7個均勻模糊核，利用反向投影法得到一個3D模糊核的初始值，然后進行后續的非均勻模糊核估計。測試圖片選自耶魯人臉數據庫測試集中。對三張人臉圖片分別用隨機生成的3D模糊核進行模糊處理，然后用本文方法以及文獻[2,13]的模型分別對測試圖片進行去模糊并記錄處理結果的PSNR值與MSSIM值，數值比較如表1所示。

表1　實驗結果的PSNR與MSSIM的比較

從表1的結果可知，在三張測試圖片中本文模型處理方法可以得到更高的PSNR和MSSIM值。在每張人臉圖片的PSNR值平均比文獻[13]可以提高2～3dB，MSSIM平均可以提高10%左右，比文獻[2]可以提高1～2dB，MSSIM可以提高5%左右。因此，可以表明本文提出的方法比文獻[2，13]可以得到更清晰的人臉圖片。這不僅可以提高圖片的視覺效果，而且也會在很大程度上提升后續對人臉圖片的人臉識別等應用的準確性。

4　結　語

針對模糊人臉圖片在均勻模糊的去處效果差的問題，提出了一種新的人臉去模糊方法。研究了圖像的非均勻模糊的去除方法，并在現有的非均勻模糊方法上提出了改進，對相機的抖動空間進行了約束，使得本文模型可以得到更準確的相機抖動路徑估計。另外，由于大部分的圖像去模糊對圖像的先驗知識都是根據圖像的梯度分布而建立的，但是該先驗知識對于人臉圖像卻不適用。因此，提出了一種針對清晰人臉特有的屬性，根據清晰人臉訓練了人臉特有的稀疏字典，從而可以在去模糊的過程中可以得到更清晰的人臉圖像。

[1]FergusR,SinghB,HertzmannA,etal,Removingcamerashakefromasinglephotograph[J].ACMTransactionsonGraphics,2009,25(3) 787-794.

[2]HirschM,SchulerC,HarmelingS,etal,Fastremovalofnon-uniformcamerashake[C]//IEEEICCV,2011:463-470.

[3] 范賜恩,陳曦,張立國,等.雙CMOS成像系統中運動模糊圖像的復原[J].光學精密工程,2012,20(6):1389-1397.

[4] 王敏,葉松,黃峰,等.基于突變粒子群算法的圖像自適應增強[J].科學技術與工程,2012,12(26):6657-6660.

[5] 荊奇,宣士斌,吳瑞芳.基于側抑制原理的局部分數階微分圖像增強[J].計算機工程與設計,2013,34(8):2826-2833.

[6] 黃曉生,黃萍,曹義親,等.一種改進的基于K-SVD字典學習的運動目標檢測算法[J].微電子學與計算機,2014,31(3):5-8,13.

[7] 許彬彬,戴清平,朱敏,等.基于哈夫曼編碼的稀疏矩陣的存儲與計算[J].計算機工程與科學,2013,35(11):134-138.

[8] 高薇,王珂,原發杰,等.基于不變矩的高分辨率遙感圖像建筑物提取方法[J].計算機應用研究,2014,31(2):622-624.

[9] 朱珍,萬志平,蔣鵬.改進單尺度Retinex的復雜光照人臉識別算法[J].計算機應用與軟件,2014,31(3):246-249,262.

[10] 楊欣欣,王志明.改進的廣義高斯分布與非局部均值圖像去模糊[J].計算機應用研究,2012,29(5):1990-1992.

[11] 唐敏，彭國華.基于非均勻模糊核的RL改進算法[J].計算機工程與應用,2013,49(21):114-118.

[12]WhyteO,SivicJ,ZissermanA,etal.Non-uniformdeblurringforshakenimages[C]//IEEECVPR,2010:491-498.

[13]AnkitGupta,NJoshi,CZitnick,etal.Singleimagedeblurringusingmotiondensityfunctions[C]//IEEE,ECCV,2010:171-184.

[14] 劉京,孫哲南,譚鐵牛.一種基于非局部正則化和可靠區域檢測的虹膜圖像去模糊算法[J].計算機科學,2014,41(1):54-58.

[15] 王國棟,徐潔,潘振寬,等.基于歸一化超拉普拉斯先驗項的運動模糊圖像盲復原[J].光學精密工程,2013,21(5):1340-1348.

[16] 王國棟,潘振寬,劉存良,等.基于混合數據項的運動去模糊變分方法[J].儀器儀表學報,2013,34(7):1552-1558.

FACEIMAGENONUNIFORMDEBLURRINGBASEDONCAMERAMOTIONSUBSPACE

GuoXiaolei1CaoMengmeng1BoYihang2

1(School of Information Engineering,Kaifeng University,Kaifeng 475004,Henan,China)2(Department of Fine Art,Beijing Film Academy,Beijing 100088,China)

Sincethefacestobeshotbycamerawillusuallyhavebiggerblur,weproposedafaceimagedeblurringmethod,whichisbasedoncombiningthenonuniformdeblurringwithspecialfaceproperty,foreffectivelyremovingtheditheringblursonfaceimage.First,westudiedtheprincipleofnonuniformdeblurring,andproposedtoestimatetherelativemotionpathbetweencameraandfacebythemethodofconstrainingthesubspaceofcameramovement.Then,accordingtothespecialpropertyofface,weobtainedagroupofclearfacedictionarythroughtrainingclearfacesandestablishedtheprioriknowledgeoffaces.Finally,weemployedthederivednonuniformblurkernelandfacedictionaryforconvolutiononblurringfaceimage.Experimentalresultsindicatedthattheproposedmethodwasabletogetclearerfaceimagerelativetoexistingdeblurringalgorithm.Thisplaysagreatauxiliaryroleonsubsequentfacerecognition.

ImagedeblurringSparserepresentationFaceimageNonuniformblurCameramotionsubspace

2014-08-28。國家自然科學基金青年基金項目(61202 327)。郭曉磊，講師，主研領域：計算機應用與人工智能。曹萌萌，講師。薄一航，講師。

TP391.41

ADOI:10.3969/j.issn.1000-386x.2016.03.045