基于BP神經網絡的數字圖像修復

賀文熙，葉坤濤

（江西理工大學理學院，江西贛州341000）

基于BP神經網絡的數字圖像修復

賀文熙，葉坤濤

（江西理工大學理學院，江西贛州341000）

考慮到BP神經網絡非凡的學習能力和非線性映射能力，提出了利用BP神經網絡修復數字圖像.由于一般的BP神經網絡收斂速度較慢，且易陷入局部極小，產生振蕩現象.因此考慮在梯度下降算法的基礎上引進動量因子，結果發現收斂速度加快、振蕩現象減輕.該方法根據待修復區域的邊界尋找相似塊，利用相似塊周圍像素數據得到BP神經網絡的權值和閾值.試驗表明：文中的方法相對于利用偏微分方程（如BSCB方法）速度要快，而且具有更大的ISNR.

圖像修復；相似邊界；BP神經網絡

0前言

現在數字圖像修復是一個熱點問題，修復結果的好壞主要通過感觀判斷.過去人們依靠手工的辦法修復破損或者有污漬的圖像，費時費力.人們自然渴望能方便快捷地修復圖像.2000年，Bertalmio等人[1-2]首次提出了利用三次偏微分方程算法進行圖像修復（即BSCB模型），算法中心思想是充分利用需要修復區域邊緣的信息沿梯度垂直方向擴散到待修補區域內.BSCB方法修復速度過于緩慢而且不穩定.如果圖像中出現了大面積的污漬，可用Criminisi和Efros及Shih T K等人[3-5]提出的基于樣圖或基于紋理的修復方法進行修復.這種方法由于需要不間斷全局尋找匹配塊，直到修復完畢，所以仍然非常費時，而且可能產生誤匹配.本文提出利用相似邊界鄰域尋找相似塊，只需匹配一次.尋找相似塊的原因是考慮到待修復區域的像素值一般未知，但兩個區域若邊界鄰域是相似的，則邊界內的像素值分布也是相似的應是大概率事件，特別是對于人物圖像更是如此.鑒于此本文提出：根據待修復區域的邊界鄰域尋找相似塊，再利用相似塊周圍像素數據訓練網絡，從而得到BP神經網絡的權值和閾值.選擇引入動量因子的BP神經網絡是因為可以減少振蕩、加速收斂.修復時遵循從外及里的原則，一層一層處理.試驗表明：利用該方法修復圖像ISNR值大，費時較少，且主觀效果自然流暢.這種方法也能應用于近紅外圖像的修復.

1 尋找相似邊界鄰域

首先要得到待修復區域的相似邊界鄰域，毫無疑問這是很關鍵的.可以定義一個復合向量[6]：

其中：Nε（s）表示關注點的一個小鄰域，r→i為待關注點s指向任一鄰域像素p的向量.因待修復點的鄰域（東南西北）存在未知像素，且考慮到待修復點和近鄰點關系最大，故i取6.再定義復合向量的二范數為：

其中u0和ui分別表示關注點的灰度和它的任一鄰域像素的灰度.

按照這一定義的二范數顯然滿足范數的3個條件.

以上三式中的→α、→β向量就是如上定義的任意兩個復合向量r→，三式顯然成立.

定義了復合向量的二范數后再定義相似邊界鄰域.所謂相似是指像素值分布近似,相似邊界就是指兩條邊界大小（即像素數）幾何形狀一樣.

定義1嚴格相似邊界鄰域

嚴格相似邊界鄰域須滿足如下兩條：

（1）待修復區域的邊界和找到的邊界的兩兩對應像素（即在下面的定義M和N中，A1M對A1N，A2M對A2N等等，依此類推）的二范數應為極小.

（2）鄰域對應點的二范數也應為極小.為了說明問題方便和加快修復速度，引入細胞矩陣M和N.

對于第一條，細胞矩陣M和N里每一個單元只有一個元素，即Mj=1,i為邊界上像素的個數.對于第二條，j=6.嚴格相似邊界鄰域有時很難尋找，這時可以利用廣義邊界鄰域進行修復.

定義2 廣義相似邊界鄰域

廣義相似邊界鄰域指邊界上存在大小近似相等的像素，不要求相對應位置上的像素值相等，只要求存在大小近似相等的像素值.這是由于神經網絡只是用這些數據進行訓練網絡，調整網絡的權值和閾值.

2 BP神經網絡

2.1 BP神經網絡框圖

利用神經網絡模型控制電機轉速[7-9]、對圖像進行分割[10]、圖像復原[11]、進行圖像增強[12-13]、圖像去噪[14]等經常見諸于各種期刊，BP神經網絡模型應用于圖像修復難覓蹤影.考慮到每個像素看作一個神經元，近鄰的神經元密切通訊，因此可引入神經網絡修復數字圖像.而引入動量的BP神經網絡在梯度下降算法的基礎上引進動量因子，該算法是以前一次修正結果來影響本次修正量，當前一次的修正量過大時可以使得式（3）第二項的符號與前一次的修正量的符號相反，從而使本次的修正量減小，起到減小振蕩的作用；當前一次修正量過小時，式（3）第二項的符號與前一次的修正量的符號相同，從而使本次修正量增大，起到加速修正的作用[15].網絡模型如圖1所示.本文只需取2層，輸入層神經元13個，輸出層神經元1個.學習速率取0.01，動量因子為0.6，允許誤差取10-3，迭代次數為5000，傳輸函數使用logsig.

圖1 BP神經網絡模型

2.2 BP神經近似均方誤差的最速下降法及網絡的權值和閾值更新

基于均方誤差的最速下降算法為[16]：

其中，α和γ是標量，Wm、bm、F?和Sm是矩陣.近似均方誤差F?為：

其中，t為目標輸出向量，α是實際輸出向量.利用鏈法則得：

其中，nm為第m層第i個輸入.根據神經網絡輸

i入、輸出關系得：

故有

考慮到sm是向量有：

sm的計算需要利用雅可比矩陣

經過計算可得：

由于BP網絡是反向傳播敏感性，計算sm必須先得到最后一層的sM.

3 試驗結果及分析

試驗以Matlab6.5為平臺，在PC機（Pentium 4，2.94 GHz,內存在512 MB）上實現.像素值用歸一化處理，最后結果再反歸一化.為了比較各種模型的修復效果引入ISNR作為客觀評價標準.ISNR的定義是：

上式中I（I，j）、J（I，j）和I?（i，j）分別表示原圖像、受損圖像和修復后的圖像的灰度.對于BP神經網絡，修復時間主要是尋找相似區域的時間.為了提高修復速度可以根據待修復區域的特點縮小尋找范圍，神經網絡的訓練僅需一次.而利用BSCB模型方法需不斷迭代，速度很慢.

利用BP神經網絡修復圖像具體步驟為：

1）讀入原圖像、受損圖像和掩模圖像

對原圖像進行人為破損，為了便于PC機識別受損區域，必須對破損區域掩模（如用紅色標記）.

2）利用定義二找到廣義相似邊界

根據圖像大小確定平移量.對待修復區域邊界進行平移操作，計算二范數.找到二范數最小的邊界.

3）基于廣義相似邊界像素的灰度值訓練BP網絡

讀入廣義相似邊界及鄰域灰度值，訓練網絡.網絡輸入層神經元13個，輸出層神經元1個.學習速率取0.01，動量因子為0.6，允許誤差取10-3，迭代次數為5000.得到的權值和閾值存盤.

4）由外及里逐個修復受損區域

利用待修復區域的鄰域像素灰度值作為訓練好的BP網絡的輸入向量，得到受損區域像素的灰度值.

利用BSCB模型修復圖像具體步驟為：

1）讀入原圖像、受損圖像和掩模圖像

對原圖像進行人為破損，為了便于PC機識別受損區域，必須對破損區域掩模（如用紅色標記）.

2）離散BSCB模型各向異性擴散方程

方程為

u為像素的灰度，gε是在待修復區域內為1，在待修復區域邊界上為零的函數，α代表曲率.

用半點中心差分格式對BSCB模型方程離散化.

3）設置一個門限

當相鄰的兩次計算結果小于門限時，迭代結束.

修復試驗如下：有些珍貴的歷史照片上出現了我們不希望出現的物體，就有必要去除.修復情況見圖2.

圖2 移除多余物體試驗

有時要去除照片上多余的廣告文字，修復過程見圖3.

圖3 去除廣告文字試驗

照片上的劃痕也是必須去除的，修復過程見圖4.

圖4 去除劃痕試驗

BSCB模型和BP神經網絡模型修復時間的比較見表1.

表1 神經網絡模型和BSCB模型修復時間比較

BSCB模型和BP神經網絡模型ISNR的比較見表2.

表2 神經網絡模型和BSCB模型ISNR比較

以上試驗表明：基于BP神經網絡模型在移去多余物體、去除不需要的文字等方面都得到了較好的結果.相對于BSCB模型而言，BP神經網絡模型在訓練過程中，只要達到了精度要求，即可保存好權值和閾值矩陣，修復過程中反復調用即可.不須每修復一個像素疊代一次，從而可以節約時間.修復圖像時INSR值可達約19.5 dB.這是由于神經網絡模型模擬了人腦的感知和學習能力,而且有很強的泛化能力，所以修復后的圖像看上去非常自然.當然這種模型也可用來修復彩色圖像，這時只要把彩色圖像按三個通道分解即可.

[1]Bertalmio M,Bertozzi A L,Sapiro G.Navier-stokes,fluid dynamics, and image and video inpainting[C]//Computer Vision and Pattern Recognition,2001.CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on.IEEE,2001,1:355-362.

[2]Bertalmio M,Sapiro G,Caselles V,et al.Image inpainting[C]// Proceedings of the 27th annual conference on Computer graphics and interactive techniques. ACM Press/Addison -Wesley Publishing Co.,2000:417-424.

[3]Drori I,Cohen-Or D,Yeshurun H.Fragment-based image completion[C]//ACM Transactions on Graphics (TOG).ACM, 2003,22(3):303-312.

[4]Guo H,Ono N,Sagayama S.A structure-synthesis image inpainting algorithm based on morphological erosion operation[C]// Image and Signal Processing,2008.CISP'08.Congress on.IEEE, 2008,3:530-535.

[5]Shen J,Chan T F.Mathematical models for local nontexture inpaintings[J].SIAM Journal on Applied Mathematics,2002,62 (3):1019-1043.

[6]賀文熙，丁興號.一范數在圖像修復中的應用[J].計算機工程與應用，2010，46(19):164-165.

[7]李毓洲，陽 林．基于小波神經網絡的永磁同步電機無速度傳感器控制[J]．微電機，2010，43(7):53-56．

[8]孫大洪，王發展，劉 強，等．基于BP和RBF神經網絡的滾動軸承故障診斷比較[J]．軸承，2010(2):53-56．

[9]郜克存，戴瑜興，蔣 近．基于小波神經網絡的PWM整流器電流檢測算法[J]．電力電子技術，2011，45(4)：61-65.

[10]王津京，趙德安，姬 偉，等．基于BP神經網絡的蘋果圖像分割算法[J]．農機化研究，2008(11)：19-21.

[11]丁 偉．基于小波混沌神經網絡的圖像復原算法[J]．計算機與數字工程，2012，40(9)：106-109.

[12]Cheung H N,Bouzerdoum A,Newland W.Properties of shunting inhibitory cellular neural networks for colour image enhancement [C]//Neural Information Processing,1999.Proceedings.ICONIP'99. 6th International Conference on.IEEE,1999,3:1219-1223.

[13]Ma Y,Lin D,Zhang B,et al.A novel algorithm of image enhancement based on pulse coupled neural network time matrix and rough set[C]// Fuzzy Systems and Knowledge Discovery,2007.FSKD 2007.Fourth International Conference on.IEEE,2007,3:86-90.

[14]李云紅，伊 欣．基于脈沖耦合神經網絡模型的小波自適應斑點噪聲濾除算法[J]．光學精密工程，2012，20(9)：2060-2067.

[15]周開利，康耀紅.神經網絡模型及其MATLAB仿真程序設計[M].北京：清華大學出版社，2005.

[16]（美）Martin T Hagan,Howard B Demuth,Mark H Beale.神經網絡設計[M].戴 葵，譯.北京：機械工業出版社，2003.

Image inpainting based on BP neural network

HE Wen-xi,YE Kun-tao

(Faculty of Science,Jiangxi University of Science and Technology,Ganzhou 341000,China)

BP neural network used to repair digital images has be proposed,considering the traits of BP neural network which has an extraordinary capacity for learning and the non-linear mapping.Because ordinary BP neural network converge at a slower rate,fall in to a local minimum easily,and produce oscillatory behavior, introduction of momentum on the basis of the gradient descent algorithm is considered.It get faster convergence speed,smaller oscillation phenomena.Similar blocks will be found in accordance with the border of areas to be restored.With similar block pixel data,BP neural network get its weights and thresholds.The experiment results show this model spend less time than the model utilized partial differential equation(PDE) (for example BSCB),and this model has larger ISNR than PDE model.

image inpainting;similar boundary;BP neral network

TP319.41

A

2095-3041（2014）00-0065-05

10.13265/j.cnki.jxlgdxxb.2014.01.011

2013-09-06

江西省教育廳科技項目（GJJ11468）

賀文熙（1963- ），男，副教授，主要從事數字圖像處理等方面研究，E-mail:hwxhhd@126.com.