基于RPCA視頻去噪算法的自適應優化方法

李小利　楊曉梅

(四川大學電氣信息學院自動化系　四川 成都 610065)

?

基于RPCA視頻去噪算法的自適應優化方法

李小利楊曉梅

(四川大學電氣信息學院自動化系四川 成都 610065)

傳統去噪算法不能在盡量濾除噪聲的同時很好地保持原始圖像信息。針對這種情況，提出基于魯棒主成分分析的自適應視頻去噪算法。首先根據視頻數據的低秩性和噪聲的稀疏性，利用加速近端梯度方法重建出原始視頻的低秩部分和稀疏部分，實現噪聲的初步分離；其次利用自適應中值濾波器進行預濾波處理，提高塊匹配精度，進一步去除視頻噪聲；最后引入自適應奇異值閾值法，增強圖像細節邊緣信息，降低迭代優化算法的時間復雜度。實驗結果表明，該方法不僅能極大程度地恢復出原始視頻序列， 還能自適應地去除干擾噪聲。不論從客觀指標PSNR值還是從主觀視覺，該方法與傳統去噪方法相比都具有很大的優勢。

視頻去噪低秩性魯棒主成分分析自適應奇異值閾值

0　引　言

隨著計算機和多媒體技術的發展，海量視頻文件的出現對視頻的整理、分析以及檢索提出了越來越多的需求。從現實意義的角度來看，圖像視頻技術需求非常普遍，如高質量成像設備、視頻成像軟件和面向公共安全的成像設備等[8]。然而在大多數情況下，如在拍攝、采樣、傳輸等過程中，視頻數據常常受到各種類型噪聲的干擾而退化。尤其是在低光條件、高ISO設定和高捕獲頻率等敏感環境下，都能使視頻圖像變得模糊。作為計算領域的一個研究熱點，視頻去噪效果的好壞將對后續的視頻分析和理解等處理產生至關重要的影響。

目前，國內外根據圖像特點、噪聲的統計特征、頻譜分布規律已提出了許多關于圖像去噪的傳統方法，大致可分為空間域法和變換域法[5]兩類。前者主要利用平滑模板的卷積處理，通過數據運算直接對像素灰度值進行處理。其常用方法主要中值濾波法[6]，它是一種基于非線性的信號處理方法，其基本原理就是利用領域模板中灰度值的中值來替換該點像素值。這種方法對于帶有椒鹽噪聲的圖像恢復有較好的效果。然而中值濾波器作為一種非參數估計，處理方式單一，可能會造成圖像細節和邊緣信息的丟失。對于變換域法，先對圖像進行變換將其轉到變換域，再對變換域中的系數進行濾波處理，最后反變換到原始空間域得到去噪圖像。常見的方法有頻域濾波[7]、小波變換法[8]、BM3D法[17]等。通過對信號變換使得換系數具有明顯的分布特征，對噪聲的濾波處理變得更加有效。

近年來，基于壓縮感知技術的稀疏模型[4]和非局部模型成為圖像去噪研究的熱門，并被廣泛運用于圖像處理的各個領域。非局部均值[16]去噪利用圖像結構的自相似性，通過對相似塊進行加權平均得到去噪圖像。稀疏模型本質上是屬于變換域，采用全新的采樣理論，突破了Nyquist采樣定理的瓶頸。它主要是利用觀測矩陣將原始信號稀疏化[9，10]，其關鍵在于觀測矩陣的設計，主要強調樣本數據在觀測矩陣下的稀疏表示，從而忽略了圖像塊的非局部信息。低秩恢復[11-13]是隨著稀疏理論的發展而提出的，其基本思想是通過約束矩陣奇異值的稀疏性，使矩陣的秩降到最低。隨著稀疏與低秩的發展，近一兩年來，出現了一種基于塊的聯合稀疏與低秩模型[3]。該方法在原始圖像的重構算法中，不僅對椒鹽噪聲有很好的抑制效果，還能在去除圖像中隨機噪聲和異常值基礎上，較好地保留細節信息。基于該方法，本文引入了自適應閾值迭代的思想提出了改進，并應用于視頻圖像去噪。

1　預備知識

定理1矩陣奇異值分解。設X的秩為r，它的奇異值分解為：

(1)

其中，U和V分別為m×r,r×n的正交矩陣，對角矩陣∑r=diag(λ1,λ2,…,λr)，λi代表矩陣X的第i個奇異值，且λ1≥λ2≥…≥λr，那么X核范數定義如下：

(2)

對于每一個τ≥0，定義收縮算子[1]如下：

S(x，τ)=sgn(x)max(|x|-τ,0)

(3)

奇異值收縮算子：

D(x，τ)=US(∑，τ)VT

(4)

Sτ(x)和Dτ(x)在魯棒主成分分析(RPCA)模型的求解算法中起著十分重要的作用，它們分別用來解以下兩種最小化問題：

(5)

(6)

2　魯棒主成分分析

2.1矩陣恢復

在具體問題中，很多信號都可以用數據矩陣來表示，這使得對數據的分析、建模極為方便。矩陣恢復理論最早由john wright等提出[14]，即魯棒主成分分析(RPCA)，是指當矩陣某些元素被嚴重破壞后，自動識別出被破壞的矩陣并恢復出原始矩陣[15]。其具體描述為：將給定矩陣P分解為兩個矩陣之和，即：P=L+S，其中L是逼近于原始矩陣的低秩矩陣，S是稀疏的噪聲矩陣。將低秩矩陣恢復轉化為如下最小化問題：

(7)

顯然，式(7)的求解是一個NP難問題。Candes等[13,14]提出：在一定條件下，矩陣0范數的最小化和矩陣秩的最小化分別等價于矩陣1范數和矩陣核范數的最小化問題，于是將上述最小化問題轉化成如下凸優化問題：

(8)

以此模型，將RPCA方法應用于視頻去噪。對原始視頻序列，利用其時空域的冗余性，采用基于塊的方法來去除圖像噪聲。然而對存在顯著噪聲的圖像，如何找到精確的匹配塊不是一個簡單的任務，因此，本文采用一個快速三步分層搜索法[1]來簡單實現。將每一個塊排列成一個向量，再將所有相似塊對應的向量排列成一個矩陣，則穩定的圖像信息對應矩陣的低秩部分，而隨機干擾噪聲對應于矩陣的稀疏部分。基于模型式(8)，本文將采用一種魯棒性算法來恢復低秩矩陣L。

2.2優化模型的建立

上一節提出的最小化模型式(8)用來提取噪聲數據的低維結構，它作為對主成分分析(PCA)的補充，對異常值具有一定的魯棒性。在具體算法中，我們對式(8)引入拉格朗日算子[1]，將其轉換如下形式：

(9)

選擇合適的μ時，式(8)與式(9)等價。因此，正則化方法式(9)的有效性高度依賴于參數λ和μ的設定。在本文方法中，λ的值設定如下[1]：

(10)

至于μ，根據文獻[1],我們選擇其經驗值：

(11)

其中，m、n 是相似塊矩陣的大小，σ為圖像噪聲的標準差。

2.3加速近端梯度法

針對式(9)的低秩矩陣恢復問題，Goldfarb等[14]給出了集中具體的求解方法，如：迭代閾值(IST)方法、交替增廣拉格朗日(ADAL)方法和加速近端梯度法(APG)方法等。在此，本文采用基于APG的矩陣恢復方法，根據其基本原理，設：

g(L,S)=μ‖L‖*+λμ‖S‖1

(12)

(13)

(14)

其中，Lf為Lipschitz常數，本文取Lf=2。針對式(14)的優化問題，本文采用快協調下降方法[1]進行交替迭代優化求解，其基本思路就是求解當前變量時固定其變量，具體步驟如下(用MATLAB編程的具體過程見算法1)：

1) 計算S*，固定L，目標函數轉化成如下形式：

上式全局最小值為：

(15)

2) 計算L*，固定S，目標函數轉化成如下形式：

上式全局最小值為：

(16)

3) 視頻合成。在本文方法中，由于圖像塊的采樣區域有重疊，因此每個像素由多個去噪圖像塊覆蓋。與大多數基于塊的方法類似，在視頻合成過程中，圖像的每個像素值由該像素點所有去噪圖像塊的平均估計值[1,3]確定，這將有利于消除塊邊界不連續的偽影。

算法1加速近端梯度(APG)算法，Lf=2

1) 輸入矩陣P,λ,μ ;

2) 初始化:L0=L-1=0,S0=S-1=0,t0=t-1=0;

3) While not converged do

9) Until converged

10) 輸出:Lk,Sk

3　空間自適應迭代奇異值閾值法

3.1奇異值閾值分析

上節提到的奇異值閾值算子式(4)，僅對奇異值進行了硬閾值操作，使之向無噪值收縮逼近，這在實際應用中明顯不妥。一般情況下，如果輸入矩陣的奇異值小于閾值，經過閾值處理之后的輸出矩陣就是低秩的。根據文獻[8]，閾值的選擇不僅依賴于噪聲水平，還與數據本身性質有關：閾值太大會使圖像出現過平滑現象而導致其邊緣細節模糊，太小又會導致去噪效果不明顯。因此，選擇恰當的閾值是改進算法的關鍵。接下來本文將對矩陣進行擾動分析，進一步討論噪聲對奇異值的影響。

文獻[8]指出，相似塊矩陣P各元素服從高斯分布，假定其秩為r，對P進行SVD分解：

(17)

其中ui和vi分別對應矩陣U和V的列向量, λ1≥λ2≥…≥λr，揭示了矩陣P的特征分量強度。這樣，通過SVD分解就將含噪數據中真實的相關信號分離出來。也就是說，相似矩陣P的奇異值在一定程度上反映了真實的原始信號。因此，有必要進一步分析噪聲對奇異值λi的影響。

該理論表明噪聲強度是影響含噪矩陣與無噪低秩矩陣奇異值之差的主要因素，也進一步解釋了低秩矩陣的恢復與其奇異值密切相關。不妨假設L的秩為l，則:

因此，當λ滿足:

(18)

此時，可以選擇矩陣P的前p個奇異值來作為對低秩矩陣L的估計。通過SVD分解，矩陣P的奇異值在空間上依此減小，特別的，從λl+1開始，奇異值的迅速減小趨近于0。據統計[8]，前10%甚至更少的奇異值之和在所有奇異值之和中有高達99%的比例，這樣就可以通過選擇恰當的閾值去掉較小奇異值，以最大程度逼近低秩矩陣。在上一節的算法中，用一個經驗值作為對奇異值的硬閾值處理，本節我們將通過對P和L奇異值差異的估計，得到一個自適應的奇異值閾值。

3.2空間自適應迭代奇異值閾值法

由于噪聲在每個奇異值上的分布并不均勻，不能直接選取同一個閾值，而應對不同的奇異值設計一個自適應的閾值，即空間自適應迭代奇異值閾值法(SAIST)[2]，其基本思想就是奇異值越大，含噪值和真實值差異越小，則奇異值閾值也就越小；反之，奇異值閾值就越大。

根據文獻[2],將奇異值建模成零均值的拉普拉斯分布，根據空間自適應的先驗知識，將閾值參數設為：

(19)

其中，σi代表位置i上的局部方差估計，采用單樣本的最大似然估計如下：

(20)

此外，當下最新的迭代正則化技術提供了另外一種空間自適應方法，其基本思想就是將濾波噪聲信號反饋到原始含噪圖像，即：

(21)

其中，k為迭代次數，δ為松弛參數。我們將這種迭代正則化思想分別擴展到噪聲估計和信號估計：

(22)

(23)

算法2空間自適應迭代奇異值閾值(SAIST)

2) While not converged do

3) 塊匹配，構造相似塊矩陣Y;

6) (U,∑,V)=svd(y)

388 Protective effects of dexmedetomidine on alveolar epithelial cells in sepsis mice

9) Until converged

3.3基于RPCA模型的自適應去噪算法

算法3基于SAIST 的APG改進算法(本實驗中Lf=2)

1) 輸入矩陣P,λ,μ;

3) While not converged do

11) Until converged

12) 輸出Lk,Sk

圖1　算法3的工作流程

4　實驗結果及分析

4.1預濾波改進實驗

在第2節的建模過程中，給定一個參考塊，窮舉搜索相似塊可能是非常耗時的。且當視頻數據被圖像噪聲嚴重損壞時，直接對噪聲數據進行塊匹配的結果非常不可靠。特別的，當有強脈沖噪聲(如椒鹽噪聲)存在時，塊匹配的性能將嚴重降低。

對此，本文在塊匹配之前進行了一個去除脈沖噪聲的預處理加以改進。在具體實現中，采用文獻[24]提出的自適應中值濾波法，在算法中內置一個異常值去除器，用小鄰域中值來替換被脈沖噪聲損壞的像素。實驗結果如圖2和圖3所示，值得注意的是，預濾波處理數據僅僅作為塊匹配的輸入，整個去噪模型的輸入仍然是原始含噪圖像。

圖3　APG算法加預濾波局部放大效果

根據圖2和圖3，從視覺上已經能看出二者的差別。由其是從局部放大圖來看，方法改進之后，去噪效果也明顯提高。另外，從客觀量化指標來看，APG算法恢復圖像的PSNR值為23.8964，加預濾波方法恢復圖像的PSNR值為26.8347，高出將近3 dB。由此可見，改變塊匹配算法的輸入能使整個去噪方法達到更優的去噪效果，這種改進的有效性得以驗證。

4.2基于RPCA的自適應去噪實驗

目前，關于視頻修復方法，國內外已有大量豐富的研究文獻。它們本質上可以分為三種類型：局部、非局部以及二者混合，本文研究的是一種非局部方法。因此，我們將從兩個方面來，與傳統的中值濾波器、非局部均值(NLM)去噪，以及目前公認的去噪效果最好的VBM3D算法進行對比，從主觀視覺效果和峰值信噪比PSNR兩個指標來評價去噪效果。

首先是傳統的局部去噪法，我們選擇中值濾波器來作為對比，它是一種基于非線性的信號處理方法，其基本原理就是利用領域模板中灰度值的中值來替換該點像素值。對于非局部方法，NLM是利用圖像自相似性的開創方法之一。在NLM方法中[16]，每個像素估計值是在空間域和時間域上所有像素強度值加權平均，該權重值由集中在該像素的圖像塊與集中在其他像素的塊的相似性測量來確定。特別的，近年來比較流行的BM3D算法在圖像去噪中也采取了類似的做法。在VBM3D方法中[17]， 通過尋找相似塊并將其聚集形成一個三維數組，然后在3D變換域上對這些三維數組進行聯合濾波處理，從而去除噪聲。最后，通過對去噪塊的聚集合成得到真實圖像的最終估計。

為了驗證本文去噪算法的有效性，在相同實驗環境下，將本文算法與上述三種方法進行比較，其結果如圖4和圖5所示。

圖4　各方法去噪效果對比圖

圖5　各方法去噪效果局部放大對比

由圖可以清楚地看到，總體上本文去噪算法的視覺效果及PSNR值都是最優。中值濾波器方法的結果仍有許多明顯的噪聲，在四中方法中效果最差；基于NLM及BM3D方法的結果對圖像細節太平滑，由其是在凌亂部位，還會出現切斷失真，但相比之下BM3D方法效果更優。相反，本文算法由于引入了稀疏矩陣來代表異常值，在恢復低秩矩陣的同時也能實現異常值的檢測。因此，該算法能較好地保留圖像的邊緣細節信息。

4.3量化對比及結果分析

為了量化評估算法的性能，本文采用峰值信噪比(PSNR)客觀指標來衡量圖像質量。PSNR是一個表示信號最大可能功率與影響其精度的噪聲功率的比值。基于信號較寬的動態范圍，一般用對數分貝單位來表示：

其中，x(i,j)表示圖像在位置(i,j)上的灰度值，y(i,j)表示含噪圖像在位置(i,j)上的灰度值。 PSNR是根據失真信號與原始信號之間的誤差差異定義的，計算方法清晰易懂，是評價圖像質量最常用的客觀標準，其值越大表明去噪效果越好。

從表1 可見，本文算法對不同水平的噪聲都具有一定的魯棒性。選擇bus視頻序列的第25幀作為輸出，視頻被高斯噪聲和椒鹽噪聲同時污染， 其中σ和S的變化范圍分別為5～40和0.01～0.05。我們可以看到，隨著高斯噪聲和椒鹽噪聲水平的加強，去噪效果呈下降趨勢：橫向來看，椒鹽噪聲加強，PSNR值緩慢下降；縱向來看，高斯噪聲加強，PSNR快速下降。

也就是說高斯噪聲比椒鹽噪聲更難去除，由此可以判斷，算法1對椒鹽噪聲的魯棒性優于高斯噪聲。從另外一個角度，對于原始圖像，加入高斯噪聲之后，圖像質量下降緩慢；相反，椒鹽噪聲卻使圖像質量快速下降。這是由于椒鹽噪聲只有兩個極值，當圖像像素被污染時，原始信息被完全破壞；而當圖像被高斯噪聲污染時，有大部分信息都被保留了下來。

表1　不同噪聲水平在APG算法下的PSNR值

本文方法的目的在于針對第2節提出的去噪算法的不足，提出了一種基于RPCA的自適應閾值去噪法。該方法結合了非局部和RPCA技術，克服了硬閾值的局限，降低了迭代優化算法的時間復雜度。與第2節的結果相比，改進之后的算法在去除噪聲的同時，能夠保持更多的細節紋理。另外，從實驗結果表2和圖4、圖5，可以清楚地看到，該方法與其他三種算法相比，具有更優越的視覺效果和PSNR指標，說明該算法的有效性和實用性。

表2　不同噪聲水平在APG算法下的PSNR值

5　結　語

本文提出了一種基于RPCA模型的自適應視頻去噪算法。該方法運用低秩矩陣恢復理論講視頻去噪轉化為基于稀疏與低秩恢復的問題，極大程度地去除了干擾噪聲并恢復原始視頻序列。此外，通過加入預濾波處理與自適應閾值的改進，該方法能很好地適應各種強度的噪聲，魯棒性和自適應性較強。在未來的工作中，我們將研究如何用將高階思想(即張量模型)運用在該算法中。同時，也將探索如何將該算法在視頻圖像處理方面的其他運用。

[1] Ji H, Huang S, Shen Z, et al. Robust video restoration by joint sparse and low rank matrix approximation[J].SIAM Journal on Imaging Sciences, 2011,4(4):1122-1142.

[2] Dong W, Shi G, Li X. Nonlocal image restoration with bilateral variance estimation: a low-rank approach[J].IEEE Trans on Image Processing，2012,2(22):700-711.

[3] Ji H, Liu C, Shen Z, et al. Robust video denoising using low rank matrix completion[C]//In Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on,2010:1791-1798.

[4] Candàs C, Romberg J. Sparsity and incoherence in compressive sampling[J]. Inverse Problems, 2007, 23(3):969-985.

[5] 鄭毅賢, 江浩淼, 金波, 等. 基于自適應壓縮感知的圖像去噪方法[J]. 通信技術, 2013 (3): 74-76.

[6] 任倩儒. 壓縮感知理論及其在圖像去噪中的應用研究[D]. 長安大學2012.

[7] 鄭毅賢. 基于稀疏表示理論的圖像去噪方法研究[D]. 上海交通大學, 2013.

[8] 唐中和. 低秩逼近理論及其在自然圖像去噪中的應用[D]. 西安電子科技大學, 2013.

[9] 樊立. 壓縮感知在圖像去噪中的應用研究[D]. 北方工業大學,2013.

[10] 鄒建成, 樊立. 一種基于壓縮感知的圖像去噪方法[J]. 北方工業大學學報, 2012, 24(1): 1-3.

[11] 馬堅偉, 徐杰, 鮑躍全, 等. 壓縮感知及其應用: 從稀疏約束到低秩約束優化[J]. 信號處理, 2012, 28(5): 609-623.

[12] 劉鋼. 基于壓縮感知和稀疏表示理論的圖像去噪研究[D]. 電子科技大學, 2013.

[13] 彭義剛, 索津莉, 戴瓊海, 等. 從壓縮傳感到低秩矩陣恢復: 理論與應用[J]. 自動化學報, 2013, 39(7): 981-994.

[14] 史加榮, 鄭秀云, 魏宗田, 等. 低秩矩陣恢復算法綜述[J]. 計算機應用研究, 2013, 30(6): 1601-1605.

[15] 張磊, 彭偉才, 原春暉, 等. 奇異值分解降噪的改進方法[J]. 中國艦船研究, 2012, 7(5): 83-88.

[16] 羅亮, 馮象初, 張選德, 等. 基于非局部雙邊隨機投影低秩逼近圖像去噪算法[J]. 電子與信息學報, 2013, 35(1): 99-105.

[17] 李政, 劉文江, 戎蒙恬, 等. BM3D 視頻去噪算法實現與評估[J]. 信息技術, 2012(4):30-32.

AN ADAPTIVE OPTIMISATION METHOD BASED ON RPCA VIDEO DENOISING

Li XiaoliYang Xiaomei

(Department of Automation, School of Electrical Engineering and Information, Sichuan University, Chengdu 610065, Sichuan, China)

Traditional denoising algorithm cannot well reserve primitive image information while filtering the noise as much as possible. In light of this situation, the paper presents an RPCA-based adaptive video denoising algorithm. First, according to the low-rank property of video data and the sparsity of noise, it utilises the accelerated proximal gradient approach to reconstruct the low-rank component and sparse component of original video, and realises the initial separation of the noise. Then, it uses adaptive median filter to make pre-processing of filtration to improve block matching accuracy, and further removes video noise. Finally, it introduces adaptive singular-value threshold method to enhance the detailed edge information of image, reduces the time complexity of iterative optimisation algorithm. It is demonstrated by experimental result that the proposed algorithm can restore original video sequence to a great deal extent, besides it can also adaptively remove interference noise. The algorithm has significant advantage no matter in objective quantitative indicator PSNR or subjective vision quality compared with traditional denoising algorithms.

Video denoisingLow-rank propertyRobust principal component analysis (RPCA)Adaptive singular-value threshold

2015-06-09。李小利，碩士生，主研領域：視頻圖像去噪。楊曉梅，副教授。

TP3

A

10.3969/j.issn.1000-386x.2016.09.051