朱加豪 唐嵐 瘳若冰



摘要:針對視頻中局部運動模糊圖像復原問題,首先運用RPCA將運動物體從圖像中分離出來,用傅里葉變換得到其頻譜圖,對頻譜圖進行邊緣檢測和Hough Trans form,估算出PSF值,然后用維納濾波進行圖像恢復并合成到背景中。從實驗結果可以看出,該方法能夠很好地分離圖像的前景和背景,并將恢復后的前景圖像融合到背景中,沒有振鈴效應產生,取得了很好的復原效果。
關鍵詞:前背景分離;傅里葉頻譜;Hough Trans form;點擴散函數估計;維納濾波中圖分類號:TP391文獻標識碼:ADOI:10.3969/j.issn.l003-6970.2017.08.010
本文著錄格式:朱加豪,唐嵐,廖若冰.基于RPCA的局部運動模糊圖像的復原[J].軟件,2017,38(8):54-58
引言
圖像復原是數字圖像處理中的一個重要分支,也一直是圖像處理中的一個難點。視頻里常見的局部運動模糊圖像,運動模糊圖像是由于攝像設備和對象之間在曝光瞬間的相對運動造成的。如果采用全局模糊恢復算法進行恢復,會使得恢復圖像的背景產生較大的振鈴效應,這個時候就需要恢復局部模糊的區域,并將恢復后的區域融合到背景中,因此,需要研究局部運動模糊圖像的復原。目前,恢復局部運動模糊圖像的算法包括:維納濾波法、逆率波法和Richardson-Lucy算法等。這些恢復算法在計算過程中都需要得到運動物體PSF(即點擴散函數,用該指標來衡量重建后的圖像的分辨率)的值,而PSF常常是未知量,所以本文針對這個問題,將運動物體與靜止背景進行分離,先對PSF進行估計[KM1],再利用經典的算法進行恢復。以往采用的局部模糊區域分割的方法,提取出的是包含運動物體的矩形區域,融合后必然造成圖像分層現象[15~16]。本文利用RPCA低秩矩陣恢復的方法,能夠很好地分離前景和背景,融合后將得到更好的恢復圖像。
1 分離前景和背景
1.1 RPCA
Robust PCA,又稱低秩矩陣恢復。視頻圖像序列的每一幀圖像像素值組成一個觀測矩陣。前景分布在圖像上的范圍比較小,所以前景像素組成的矩陣具有稀疏特性。而在穩定的背景下,圖像序列幀與幀之間相似性很大,所以僅由背景像素組成的矩陣就具有低秩特性;視頻觀測矩陣就是低秩特性和稀疏特性矩陣的疊加,低秩矩陣恢復的過程就是前背景分離。已知觀測矩陣。其中低秩,稀疏且非零元素可以任意大,則可以優化為:
其中rank(L)表示矩陣的秩,表示范數。對(1)式松弛變化轉化為一個易解決的問題:用込范數代替范數,用核范數代替L的秩,
如下:
這是一個PCP凸優化問題,在一定條件下,通過求解式(2)得到唯一的解(LQ+SQ)。文獻[18]給出主要結論定理:
若:L0是n*n矩陣,秩
是矩陣,隨機稀疏模式,基數其中,h表示低秩率,ps表示稀疏率,二者均為正常量。對于,PCP準確恢復出的概率近乎為1。若矩陣為矩形矩陣,對入有與上述相同的結論。
2 點擴散函數的估計
2.1 傅里葉變換
是的周期函數,周期信號在滿足狄里赫利
條件即在一個周期內,周期信號必須絕對可積;(1)在一個周期內,周期號只能有有限個極大值和極小值;
(2) 在一個周期內,周期信號只能有有限個不連續點,而且,在這些不連續點上,的函數值必須是有限值;
(3) 能展開成傅里葉級數,則有的傅里葉變換為如下:
其中,為時域變量,為頻域變量。將進行傅
里葉逆變換得到,變換式如下:
令表示大小為的圖像,那么
就是它的二維離散傅里葉變換對,所以有二維離散傅里葉變換對:
正交變換:
反交變換:
其中,
和是空間變量,通常稱為頻率矩形,與輸入圖像大小一致。將結果先后進行對數變換和中心化,得到傅里葉頻譜圖。
2.2 Canny邊緣檢測
2.2.1 Canny檢測原理
圖象邊緣檢測要能夠抑制噪聲并且確定出邊緣的位置。為了得到最優化逼近算子,需要測度信噪比與定位乘積。主要有以下步驟:
(1)用高斯濾波器平滑圖象;
(2)用一階偏導的有限差分來計算梯度的幅值和方向;
(3)對梯度幅值進行非極大值抑制;
(4)用雙閾值算法檢測和連接邊緣。
2.2.2 算法流程:
2.3 Hough Trans form
Hough Trans form是圖像處理中從圖像中識別幾何形狀的基本方法之一主要用來從圖像中分離出具有某種相N特征的幾何形狀,Hough Trans form通過曲線表達形式,利用了點與線的對偶性,將原始圖像空間的給定曲線變為參數空間的一個點。把檢測原始圖像給定曲線的問題轉化為參數空間的峰值檢測問題。也就是把檢測整體特性轉化為檢測局部特性。
下圖示展示了平面與面的轉換關系,其中是平面到原點的距離是直線與水平線夾角。
2.4 模糊角度和模糊長度的估計
將傅里葉頻譜圖做水平翻轉,通過邊緣檢測和Hough Trans form得到亮點坐標,此坐標值與運動模糊角度是一致的,文獻給出通過兩個亮點的坐標和求解模糊長度和模糊角度的估算公式:
其中,是運動模糊圖像水平方向上的尺寸,是取整操作。
計算出較為精確的PSF值。
3 圖像恢復
3.1 維納濾波復原
維納濾波是一種使原圖像及其恢復圖像之間的均方差最小的有約束的復原方法優點是適應面較廣,不僅可應用于標量或向量的,也可應用于連續的或離散的平穩隨機過程。對某些問題,還可求出濾波器傳遞函數的顯式解,并進而采用由簡單的物理元件組成的網絡構成維納濾波器。這種濾波器的輸出與期望輸出之間的均方誤差為最小即:
其中,EG為數學又稱為期望算子。因此維納濾波也叫做最小均方差濾波。利用維納濾波器對運動模糊圖像進行恢復,得到復原圖象。
3.2 復原圖像與背景圖像合成
恢復了運動模糊圖像后,需要將其無分層地合成到背景圖像中去,經過對圖像對象的分割、提取,經過處理后最終合成出滿足要求的結果圖像。本文在運動物體分割過程中使用低秩矩陣恢復,對物體的提取不會對背景產生明顯的干擾,所以可以將復原圖像與背景圖像進行直接合成。
4 實例分析
本文在MATL AB平臺下驗證該方法,對一張含局部運動模糊的圖像進行恢復。流程如下:
結果如下:
5 結論
本文提出一種針對視頻中產生的局部運動模糊圖像恢復的方法,首先將運動模糊物體圖像從背景圖像中提取出來,然后對運動模糊圖像進行恢復,最后將其與背景圖像進行融合,形成完整的恢復圖像。結果表明此方法恢復后的圖像無明顯分層現象,背景圖像無振鈴效應產生,具有良好的恢復效果。不足之處在于沒有討論噪聲對恢復過程的影響,算法的實時性還有待改善,具體到實際應用中的實時處理能力也還需要進一步的優化算法。所以算法的綜合、自適應以及硬件實現都是下一步要進行的工作。