多幀距離選通圖像點擴散函數估計的超分辨率重建

許廷發，羅　璇，蘇　暢，卞紫陽

(北京理工大學 光電學院 光電成像技術與系統教育部重點實驗室，北京 100081)

?

多幀距離選通圖像點擴散函數估計的超分辨率重建

許廷發*，羅璇，蘇暢，卞紫陽

(北京理工大學 光電學院 光電成像技術與系統教育部重點實驗室，北京 100081)

為了解決水下激光距離選通圖像成像過程中退化模型復雜的難題，提出了利用連續幀圖像估計點擴散函數的距離選通超分辨成像方法。首先，從連續幀圖像中選取一幀為參考幀作為初始清晰圖像，下一幀圖像為模糊圖像，用梯度約束的方法求出點擴散函數，用于優化清晰圖像；然后，依次將后續幀圖像當作模糊圖像與清晰圖像交替迭代求取點擴散函數并優化更新清晰圖像；最后獲得的清晰圖像與參考幀圖像用乘法更新的方法估計點擴散函數，結合凸集投影法算法進行超分辨率成像重建。仿真實驗結果表明，改進的算法重建圖像分辨率和質量明顯優于原始的算法。

水下圖像；超分辨率重建；點擴散函數；凸集投影法

1　引　言

江河、海洋和地下水資源的勘探、開發和利用以及領海主權的防衛需要水下高分辨力的成像裝備。水下光電成像技術分辨力高，且成像直觀快速，是水下設備的必需技術。為提高水下成像的作用距離，人們提出了6類探測技術：時間區分/距離選通光電成像技術、空間區分/激光同步線掃描技術、結構光成像技術、調制/解調去除散射光技術、偏振區分技術和多視角圖像構造技術[1]。其中水下激光距離選通成像技術是水下最有效的光電成像技術。然而，水下激光距離選通成像技術噪聲量大、對比度差、照明不均勻，需要后期的超分辨率圖像處理技術改善圖像質量[2-4]。

近年來，人們一直在研究超分辨率重建技術[5-7]。然而關于超分辨率重建技術在水下應用的研究相對較少，Sun Xiaodan[8]等人使用稀疏表示的方法，對水下圖像同時進行增強和超分辨率重建處理，取得了一定的效果；羅濤、楊宗元[9]等人根據水下光束傳播理論、水下湍流特性、傳感器衍射極限等因素建立了水下成像模型，并用于傳統的超分辨率重建算法中，實現水下圖像重建；諶雨章、楊悅[10]等人將幾種經典的點擴散函數模型以及基于光線傳播的點擴散模型結合到凸集投影法(POCS)中，實現了水下圖像重建。

退化函數在超分辨率算法中是重要的先驗知識。然而在不同的水域和光照條件下，水下圖像的退化程度差異很大，退化函數具有不確定性。目前對于水下圖像的退化模型尚鮮見系統定量的研究。本文針對水下激光距離選通圖像成像過程中退化模型復雜難題，提出了利用連續幀圖像估計點擴散函數的方法。通過水下激光距離選通拍攝的連續幀圖像估計點擴散函數，并結合到POCS算法中，提高水下圖像的分辨率。

2　多幀點擴散函數估計的超分辨成像

2.1水下激光距離選通成像基本原理

激光距離選通成像的原理如圖1所示。水體的光學窗口大致在480～550 nm，所以水下距離選通成像方式常以Nd∶YAG固體脈沖激光器作為照射光源[11]，T0時刻激光發射入射光照明目標物體，由于ICCD探測器上的選通門關閉，水體的大量后向散射光不能進入探測器，探測完整目標所需時間ΔT，T1時刻目標反射光到達探測器，選通門開啟ΔT的時間，ICCD對探測目標完整成像，由此可屏蔽掉大部分的水體后向散射光，增加水下光電成像系統的作用距離。水下距離選通成像技術的應用，可以將水下光電成像設備的探測距離提高3～5倍[12-13]。

圖1　激光距離選通成像的原理 Fig.1　Principle of laser range-gated imaging

2.2改進的POCS算法

POCS算法可以分為以下幾步[14]：

(1)選擇觀測序列圖像(低分辨率圖像)中的一幀作為參考幀，并對其采用雙三次線性插值，使其作為高分辨率圖像的初始估計。

(2)對觀測序列作運動估計并在運動向量場中找到該像素映射到當前估計的高分辨率圖像中的像素位置，以及PSF作用下的像素。

(3)模擬圖像獲取過程，得到該像素的估計值，并計算估計值與實際像素值之間的殘差。如果殘差超出給定的殘差限，則需對估計值進行修正。

(4)修正迭代當前的高分辨率估計，直至達到可以接受的范圍。

其中PSF表示點擴散函數，它是許多光學成像系統中常見的降質函數，其可以表達成

(1)

式中，σ為標準差，決定了模糊程度；Sh為h(x,y)的支撐域；C為歸一化常數，用來使模糊的PSF的系數之和等于1，通常也通過這種特性求解常數C。

(2)

式中，ω×ω為h(m1,m2;n1,n2)支撐域的大小。于是，觀測幀中實際像素值與估計的高分辨率圖像像素值之間的殘差可以表示為:

(3)

如果殘差r超出設定的誤差限σ，則對當前估計圖像按下式修正：

(4)

傳統的POCS方法中，點擴散函數h的支撐域一般采用5×5的矩陣塊:

(5)

然而，在水下成像環境中，成像的退化模型較復雜，僅僅使用固定的PSF模型并不能很好地表示圖像的退化。因此，本文提出一種用連續的圖像序列估計PSF。

假定a表示點擴散函數PSF，圖像的退化同樣可以看作是一個線性的過程:

(6)

式中，x表示清晰圖像，y表示模糊圖像，A表示圖像線性變化的矩陣，*表示卷積運算。同樣存在一個矩陣X，使得這個線性過程可以表示為：

(7)

則如果已知A和y則可以通過min‖Ax-y‖2，求解x；同樣，已知x和y可以通過min‖Xa-y‖2求解a。這兩個求解最小化問題本質上是非負最小二乘問題的特殊情況，z=argminZ≥0‖Bz-y‖2。本文使用一種盲解卷積的方法求解z[15-16]，具體方法如下：

(1)利用z的梯度約束優化： 2BT(Bz-y)

(2)使用乘法更新迭代:

(8)

式中⊙，表示矩陣中對應元素相乘。

在已知模糊圖像和清晰圖像的情況時，可以使用梯度約束優化的方法求取點擴散函數；在已知點擴散函數和模糊圖像時，可以通過乘法更新的方法復原得到清晰圖像。

通過連續的觀測圖像序列y(0),…,y(s-1)和對應噪聲n，利用公式:

(9)

可以復原得到圖像x，求得A。式中，噪聲n(t)假定為均值為0的高斯型噪聲。改進的算法步驟：

(1)將第一幀觀測圖像作為參考幀，并作為清晰圖像的初始值x(1)，用x(1)和第2幀觀測圖像y(2)用梯度約束的方法求得PSF、A(1)。

(2)此時，將清晰圖像x(1)當作模糊圖像，用求得的A(1)和x(1)用乘法更新迭代求得清晰圖像x(2)。

(3)用清晰圖像x(2)和第3幀觀測圖像y(3)梯度約束求得PSF、A(2)。用A(2)和x(2)乘法更新求得清晰圖像x(3)。

(4)重復這個過程直到最后一幀圖像y(n)，用y(n)和清晰圖像x(n-1)梯度約束求得PSF、A(n-1)并用乘法更新求得最終的清晰圖像x(n)。

這樣即可通過連續的圖像序列求取得到復原圖像。

(5)將參考幀x(1)作為模糊圖像和最終求得的清晰圖像x(n)用梯度約束即可求得全局的點擴散函數a(n)。

(6)將a(n)帶入到POCS算法中替換點擴散函數模型h，改進POCS算法。

3　評價指標的選取

圖像灰度平均梯度是將圖像長度、寬度方向上相鄰像素灰度值求差后再平方求均方根，能反映圖像的紋理變化特征，值越大表示圖像越清晰，質量越好：

(10)

式中，M和N分別表示重建結果圖像的行和列，g(i，j)表示圖像在(i，j)點上的像素。

拉普拉斯梯度模是在每個像素點的3×3領域內使用拉普拉斯算子進行8領域微分，最后求和。LS值越大，則像素點附近灰度值變化越大，輪廓越清晰:

(11)

4　仿真實驗及效果

根據實驗原理搭建水下距離選通實驗平臺，如圖2所示。

圖2　距離選通實驗平臺 Fig.2　Range-gated experiment platform

各部分具體參數如下：

(1)激光器參數:

a) 法國 Quantel公司的Brilliant燈泵浦 Nd:YAG調 Q 激光器;

b) 波長為532 nm;

c) 脈沖能量為160 mJ;

d) 激光脈寬為4 ns。

(2)ICCD參數:

a) 相增強器分辨率為72 lp/mm;

b) 重頻為1～50 MHz;

c) 亮度增益為30 000 lm/m2/lx;

d) 光纖耦合方式。

(3)CCD相機在數:

a) 韓國 GENICAM 型號為MV-B(C)U10G的 CCD網口相機；

b) 像元大小為4.4 μm；

c) 最大幀頻為20 fps；

d) 最大采集1 628×1 236像素的24位RGB圖像。

模擬水下環境的管道以及實驗靶標如圖3、圖4所示。

圖3　水下環境管道 Fig.3　Pipeline of underwater environment

圖4　實驗靶標 Fig.4　Experimental target

實驗一：

在清水(衰減長度約3AL)環境下，對距離相機12 m處的靶標進行拍攝，選取其中連續的4幀圖像，如圖5所示。

圖5　連續的4幀觀測圖像 Fig.5　Four frames of consecutive observation images

圖6　重建結果 Fig.6　Reconstruction results

對得到的圖像分別采用原始的POCS算法和改進的POCS算法進行處理，重建效果如圖6所示。 對圖像中紅色區域進行放大，放大后的圖像如圖7所示。

圖7　放大部分圖像對比 Fig.7　Images contrast of enlarged region

可以看到改進后的算法圖像分辨率明顯高于原始算法，并且圖像質量更好，選用灰度平均梯度、拉普拉斯梯度膜、圖像質量統計參數作為圖像的評價標準，評價結果如表1所示。

表1　實驗一算法效果對比Tab.1　Comparation with two methods in the experiment Ⅰ

改進算法重建結果各項指標均高于原始算法?？梢缘贸?，改進后的算法重建效果明顯由于原算法。

實驗二

在渾濁水體(衰減長度7-8AL)環境下，對距離相機20 m處的靶標進行拍攝，選取其中連續的4幀圖像，并對其分別采用原始的POCS算法和改進的POCS算法進行重建，如圖8所示。

圖8　算法效果對比 Fig.8　Comparation of obtained images with two methods

同樣選用圖像灰度平均梯度、拉普拉斯梯度膜、圖像質量統計參數作為圖像的評價標準，結果如表2所示。

表2　實驗二算法效果對比Tab.2　Comparation with two methods in the experiment Ⅱ

對比表2中的數據可知，改進的POCS算法處理得到的高分辨率圖像的圖像質量明顯優于原始的POCS算法處理得到的圖像。

4　結　論

本文針對水下激光距離選通圖像成像過程中退化模型復雜的難題，提出通過連續幀圖像求解點擴散函數的方法，介紹了該方法的原理和求解過程，并將算法運用到POCS算法中，改進了POCS算法。實驗結果證明：改進的后的算法重建圖像分辨率和質量明顯優于原算法。

[1]張平,邱衛根,劉效東,等.一種遠距離水下光電成像的方法[J].應用光學,2014,35(5):756-760.

ZHANG P,QIU W,LIU X D,etal.. Method for enhancing distance in photoelectronic imaging under water[J].J.AppliedOptics,2014,35(5):756-760.(in Chinese)

[2]宋建中.圖像處理智能化的發展趨勢[J].中國光學,2011,4(5):431-441.

SONG J ZH. Development trend of image processing intelligence[J].ChineseOptics,2011,4(5):431-441.(in Chinese).

[3]鄧建青,劉晶紅,劉鐵軍.基于DSP系統的超分辨率圖像重建技術研究[J].液晶與顯示,2012,27(1):114-120.

DENG J Q,LIU J H,LIU T J. Super-resolution image reconstruction technology based on DSP system[J].ChineseJ.LiquidCrystalsandDisplays,2012,27(1):114-120.(in Chinese)

[4]徐美芳,劉晶紅.基于邊緣保持的航拍圖像凸集投影超分辨率重建算法[J].液晶與顯示,2010,25(6):873-877.

XU M F,LIU J H. Super-resolution image reconstruction of aerial photography based on projection onto convex sets[J].ChineseJ.LiquidCrystalsandDisplays,2010,25(6):873-877.(in Chinese)

[5]趙欣慰.水下成像與圖像增強及相關應用研究[D].浙江:浙江大學,2015.

ZHAO X W. The research on underwater imaging underwater image enhancement and relevant applications[D]. Zhejiang:Zhejiang University,2015.(in Chinese)

[6]劉妍妍,張新,張建萍.超分辨重建技術及其研究進展[J].中國光學,2009,2(2):102-111.

LIU Y Y,ZHANG X,ZHANG J P. Super resolved reconstruction technologies and recent evolution[J].ChineseOptics,2009,2(2):102-111.(in Chinese)

[7]陳健,高慧斌,王偉國,等.超分辨率復原方法相關原理研究[J].中國光學,2014,7(6):897-910.

CHEN J,GAO H B,WANG W G,etal.. Correlation theory of super-resolution restoration method[J].ChineseOptics,2014,7(6):897-910.(in Chinese)

[8]SUN X D,ZHANG ZH,ZHANG X W. Image processing and sparse resolution for under water imaging[J].AppliedMechanicsandMaterials,2014,599:1544-1547.

[9]羅濤,楊宗元,諶雨章,等.基于水下成像系統模型的水下圖像超分辨率重建技術研究[J].光學與光電技術,2013(3):35-40.

LUO T,YANG ZH Y,SHEN Y ZH,etal.. Underwater imaging super-resolution reconstruction based on imaging model[J].OpticsandOptoelectronicTechnology,2013(3):35-40.(in Chinese)

[10]諶雨章,楊悅,譚海燕.基于點擴散函數模型的激光水下圖像重建[J].科技視界,2015,(1):86-87+95.

SHEN Y ZH,YANG Y,TAN H Y. Underwater laser imaging restoration based PSF model[J].ScienceandTechnologyVision,2015,(1):86-87+95.

[11]趙陽，蓋志剛，趙杰,等.距離選通水下激光成像技術研究[J].物流工程與管理,2014,(7):269-270.

ZHAO Y,GAI ZH G,ZHAO J,etal.. Research on range-gated underwater laser imaging technology[J].LogisticsEngineeringandManagement,2014,(7):269-270.

[12]KOCAK D M,DALGLEISH F R,CAIMI F M,etal.. A focus on recent developments and trends in underwater imaging[J].MarineTechnologySocietyJournal,2008,42(1):52-67.

[13]金偉其,王霞,曹峰梅.水下光電成像技術與裝備研究進展(下)[J].紅外技術,2011,33(3):125-132.

JIN W Q,WANG X,CAO F M. Review of underwater opto-electrical technology and equipment(Ⅱ)[J].InfraredTechnology,2011,33(3):125-132.

[14]楊婷.基于POCS的紅外圖像超分辨率重建算法研究[D].西安:西安電子科技大學,2013.

YANG T. Research on the algorithm of super-resolution reconstruction of infrared images based on POCS[D]. Xi′an:Xidian University,2013.

[15]HIRSCH M,SRA S,SCHOLKOPF B,etal.. Efficient filter flow for space-variant multiframe blind deconvolution[C]. IEEE Conference on Computer Vision and Pattern Recognition,San Francisco,CA,USA,June 13-18,2010:607-614.

[16]HARMELING S,HIRSCH M,SRA S,etal.. Online blind deconvolution for astronomical imaging[C]. Computational Photography(ICCP),2009 IEEE International Conference on. IEEE,2009:1-7.

[17]JOBSON D J,RAHMAN Z,WOODELL G A. The Statistics of visual representation[C]. Proceedings of the International Society Optical Engineering Visual Information Proceeding. Washington DC,USA:SPIE Press,2002:25-35.

Super-resolution reconstruction of multiformat laser range-gated image by the estimate of point-spread function

XU Ting-fa*, LUO Xuan, SU Chang, BIAN Zi-yang

(KeyLaboratoryofPhotoelectronicImagingTechnologyandSystemofMinistryofEducation,SchoolofOptoelectronics,BeijingInstituteofTechnology,Beijing100081,China)

,E-mail:xutingfa@163.com

In order to solve the problem of complicated degeneration model of underwater laser range-gated imaging system,a method to estimate point spread function(PSF) by continuous image sequence is presented. At first, a reference image is selected from continuous image sequence as initialized clear image and next sequence image is used as blurred image. PSF can be estimated by constrained optimization using its gradient . The clear image can be optimized and updated by PSF. Then following images are all defined as blurred image to calculate PSF with clear image. Clear image is updated by the PSF. At last, a final clear image can be got from continuous image sequence. PSF of the whole sequence can be estimated by multiplicative updates of reference image and the final clear image. Projection onto convex sets(POCS) can be optimized by the PSF and the super resolution reconstruction can be made. The stimulation results show that the resolution and quality of reconstruction image obtained by improved algorithm are much better than that of orginal ones.

underwater image;super resolution reconstruction;point spread function;projection onto convex sets

2015-12-03；

2016-01-08

國家國際科技合作專項資助項目(No.2014FR10960)

2095-1531(2016)02-0226-08

TP751.1

A

10.3788/CO.20160902.0226

許廷發(1968—)，男，黑龍江肇東人，博士，教授，博士生導師，1992年、2000年于東北師范大學分別獲得學士、碩士學位，2004年于中國科學院長春光學精密機械與研究所獲得博士學位，2006年于華南理工大學電子與信息學院完成博士后工作，主要從事光電成像探測與識別等方面的研究。E-mail:xutingfa@163.com

Supported by National International Cooperation Special Project of Science and Technology of China(No.2014FR10960)