基于降采樣塊匹配的數字視頻3D降噪算法

谷元保，余康為，姚洪濤

（長春理工大學　計算機科學技術學院，長春　130022）

?

基于降采樣塊匹配的數字視頻3D降噪算法

谷元保，余康為，姚洪濤

（長春理工大學計算機科學技術學院，長春130022）

摘要：針對數字視頻圖像的高斯白噪聲，提出了一種基于降采樣塊匹配的3D降噪算法。該算法先進行邊緣檢測并分塊噪聲估計，根據噪聲強度設置閾值，然后利用圖像的自相似特征，對搜索塊內部像素降采樣，再進行塊匹配運算以降低算法復雜度。在自適應閾值篩選階段，對選出的剛體運動塊和非剛體運動塊分別統一進行處理，對剛體運動區域進行時域加權濾波，對非剛體運動區域用改進的雙邊濾波器進行系數自適應濾波，減少了單獨對每個塊進行處理所產生的塊效應，對細節處理更好。仿真結果表明，該算法能明顯改善圖像主觀質量，提高信噪比。

關鍵詞：邊緣檢測；噪聲估計；降采樣；運動檢測；雙邊濾波

由于攝像設備的內部結構與外部環境等因素，在獲取、存儲和傳輸視頻的過程中，都會不可避免的引入噪聲，噪聲不僅會嚴重影響視頻圖像的主觀質量，而且會帶來額外的高頻分量，浪費更多的比特來保留這些無用信息。此外，噪聲的存在還會影響到圖像增強、目標識別等。因此降噪是視頻圖像處理系統中最為關鍵和共同的處理之一。

目前，視頻降噪算法基本上可以分為時域降噪（1D降噪），空域降噪（2D降噪）和轉換域降噪幾種算法［1，2］。這些算法中，時域濾波較空域濾波在保護邊緣和細節方面更具有優勢，但是時域濾波處理運動物體會引入拖影現象，空域濾波只用到了視頻圖像空間上的相關性，處理較為簡單，比較典型的有高斯濾波、中值濾波、雙邊濾波和Non-local means filter［3-6］，但是單純的空域濾波容易引起幀間閃爍，模糊邊緣和紋理。典型的轉換域降噪算法如傅里葉變換濾波和小波變換濾波等［7，8］，通過對信號變換后系數的分析和篩選，去除掉噪聲，保留有用信號，在保留圖像邊緣和細節上有較好效果，但是在選擇小波基上比較困難，應用受到一定限制［9，10］。參考文獻［11］提出了一種基于運動估計的視頻3D降噪算法。該算法能夠根據噪聲標準差自動調整運動強度檢測閾值，同時根據運動的強度自適應的選擇時域濾波或空域濾波。該算法結合了時域濾波和空域濾波的優點，是一種典型的3D濾波器，有較好的參考意義［12-14］，但該算法塊搜索時間復雜度較高，有明顯的塊效應，同時模糊了邊緣。

針對以上問題，本文以參考文獻［11］中算法為參考算法，提出了一種基于降采樣塊匹配的降噪算法，本算法主要從以下幾個方面進行改進，首先引入了邊緣檢測機制，根據邊緣檢測的結果去除含有強邊緣的子塊，然后進行噪聲估計，避免了子塊噪聲過估計。然后引入了降采樣塊匹配［15］，降低了塊匹配算法時間復雜度。最后空域濾波結合邊緣檢測結果進行自適應調整。實驗結果表明，本方法能夠減少塊效應，改善視頻的信噪比和主觀質量，具有較好的降噪效果。

1　算法流程與原理

本文提出的基于降采樣塊匹配的數字視頻降噪算法的流程如圖1所示。按以下步驟進行：

圖1　本文算法流程圖

（1）提取輸入視頻連續三幀圖像：前一幀、當前幀和后一幀。

（2）對當前幀圖像進行簡單邊緣檢測，然后分塊噪聲方差估計，并根據噪聲方差設定運動檢測的閾值T。

（3）分別對前一幀圖像和當前幀圖像、后一幀圖像和當前幀圖像降采樣后進行運動估計，以最小SAD（Sum of Absolute Difference）準則，得到前向匹配塊和后向匹配塊。

（4）根據前向匹配塊與后向匹配塊對采樣前的塊進行運動檢測，若匹配塊與當前塊的MAD （Mean Absolute Difference）值小于閾值T，則對剛體運動區域進行時域加權濾波；若匹配塊與當前塊的MAD值大于閾值T，則認為該塊是非剛體運動，然后根據邊緣檢測結果進行自適應空域濾波。

（5）對步驟（4）中濾波的結果加權平均，同時輸出作為下次濾波的前一幀，參與到遞歸濾波中。

1.1邊緣檢測和噪聲估計

噪聲估計是閾值設置中關鍵的一步，它的大小直接決定了運動判斷的好壞。傳統的噪聲估計容易造成噪聲過估計，從而將運動的物體判斷為靜止的，影響降噪結果。本文先利用Sobel算子進行邊緣檢測并記錄下邊緣點的坐標值，然后將圖像分成16* 16像素互不重疊的子塊，如果子塊Bmn中含有連續N個邊緣點，則排除Bmn對剩下的子塊進行噪聲估計。噪聲估計方法采用基于塊內鄰域相關度的方法計算。塊內鄰域相關度最高的塊，其平滑程度越高，此時其像素間的突變可認為是由噪聲引起的。計算方法如下：分別計算塊內每一個像素點與其所有相鄰像素點差的絕對值的平均值，然后求得所有平均值的和得到ψ，ψ即為塊內鄰域相關度，從所有塊中選出最小ψ的塊，該塊均值和方差即可作為噪聲的均值和方差，閾值T即為該塊方差。實驗結果如表1所示。

表1　噪聲方差估計值與真實值比較

1.2基于降采樣塊匹配的運動估計

常見的運動估計方法有以下幾種，考慮到計算復雜度和實時應用，本文采用的算法是一種基于降采樣的塊匹配三步搜索改進算法［15］。該算法是利用圖像的局部相似性特征，對搜索塊內的像素采用交叉采樣方式（如圖2所示）做塊匹配的運算。降采樣后的塊用改進后的新三步法分別在前后兩幀中搜索匹配塊。由于減少了塊內參與運算的像素點，每個塊計算運算量也減少。在匹配準則的選取上，由于MAD準則不需要乘法運算、實現簡單方便并滿足實時性要求，便于硬件實現，因此使用最多。實際中通常使用絕對誤差之和SAD準則代替MAD準則，其定義如下：

式中，（m，n）表示像素在圖像中的坐標位置，k表示圖像在視頻中的幀數，（i，j）為像素（m，n，k）與（m+i，n+j，k -1）間的位移矢量，f（m，n，k）與f（m+i，n+j，k-1）分別是當前fk幀與參考幀fk-1像素（m，n，k）與（m+i，n+j，k -1）的灰度值。若某個位移矢量（i0，j0）處，SAD（i0，j0）值達到最小，則該矢量即為所求的最佳塊匹配運動矢量。

圖2　降采樣的方式圖（黑點方塊表示采樣點）

1.3運動檢測

視頻圖像中的物體運動可以分為剛體運動和非剛體運動，所謂剛體運動是指物體在運動過程中幾何特征（例如體積、形狀、灰度等）保持不變；而非剛體的幾何特征隨時間而變化（例如邊緣的旋轉、縮放等）。對于剛體運動部分，由于其時域上具有高相關性，因此可以根據運動估計的結果，沿著運動軌跡進行時域濾波。對于非剛體運動部分，其時域上相關性低，搜索到的匹配塊也不夠準確，此時需要利用二維幀平面中的空域相關性才能較好的抑制噪聲。為了區分出當前塊是否進行剛體運動，根據噪聲估計設定一個閾值T進行運動檢測，當搜索到的匹配塊與當前塊的MAD大于這個閾值時，則認為當前塊是非剛體運動，否則，則認為當前塊為剛體運動。這就是該運動檢測算法的主要思想。

1.4時域濾波

通過運動檢測，若判定當前塊運動為剛體運動，則對該塊進行基于運動估計的時域平滑濾波。濾波器結構如公式（3）、（4）所示：

式中p（t-1）和p（t+1）分別表示前一幀和后一幀上采樣恢復后的結果，p（t）表示當前幀上采樣恢復后的結果，pout1表示前一幀和當前幀時域加權濾波的結果，pout2表示后一幀與當前幀時域加權濾波的結果。w為權系數，本文取值為0.6［11］。

1.5改進的雙邊濾波

對于非剛體運動塊，采用雙邊濾波器濾波，對濾波窗口采用自適應機制處理，雙邊濾波器權系數如公式（5）所示。本文利用邊緣檢測的結果來調節濾波窗口大小，設濾波半徑為N，則濾波窗口為（2N + 1）*（2N +1），判斷在當前要處理像素點濾波窗口內邊緣點的個數，當邊緣點的個數小于5%時，濾波半徑N +1，并再次判斷濾波窗口內的邊緣點個數是否還小于5%，重復此過程，直到邊緣點的個數大于5%時返回上一步的濾波半徑；當濾波窗口內邊緣點的個數超過50%時，濾波半徑N縮小一半。

其中wd（i，j）為空間鄰近度因子，它的設置與普通的平滑線性濾波器的權系數的設置相同，表達式如下：

式中，wr（i，j）為亮度鄰近度因子，由于指數函數曲線與倒數函數曲線變化趨勢幾乎一樣，都隨著亮度差值的增大而減小（如圖3所示），且倒數函數運算量較小，并能得到更高信噪比［16］，便于硬件實現，故用倒數函數簡化，表達式為：

式（6）、（7）中σd和σr分別表示像素之間的距離差和亮度差，它們共同決定了雙邊濾波器的權系數，其中σr為自適應濾波系數，它的值為噪聲估計方差δ的兩倍。

圖3　倒數函數與指數函數對比曲線圖

1.6加權平均輸出

當前幀需要分別與前一幀和后一幀進行濾波處理，因此將得到兩個濾波結果，對這兩次濾波結果需要加權平均才能得到最終的輸出。加權平均能夠更好的利用圖像間的相關性，信噪比更高。最后，將濾波結果輸出，同時將濾波結果作為下一次濾波的前一幀參與到遞歸濾波中去。加權平均的公式如下：

其中pout1和pout3分別表示當前幀與前一幀時域濾波和空域濾波的結果，pout2和pout4分別表示當前幀與后一幀時域濾波和空域濾波的結果，||表示或，0.6 和0.4為加權系數，由于前一幀已參與過濾波，所以系數適當增加，p0表示最終輸出結果。

2　實驗結果分析

本文實驗結果在Matlab平臺下采用兩種方案進行仿真，第一種方案采用foreman視頻測試序列不同幀進行對比，第二種方案采用soccer、akyio、city、foreman前100幀作為測試序列進行對比，測試視頻均為YUV格式，噪聲模型為0均值的高斯白噪聲。對foreman序列第17幀處理結果如圖4所示。

本文從主觀客觀兩方面對降噪效果進行評判，主觀方面采用人眼直接對比觀察圖像降噪效果，客觀方面采用PSNR對比研究。PSNR公式如下：

式中，fmax是圖像信號的峰值，通常取255，MSE為均方誤差，K為視頻幀數，WH為圖像大小。

圖4　foreman序列第17幀降噪效果圖

如圖4所示，（a）為foreman序列第17幀原圖，（b）是高斯白噪聲強度為δ=10的加噪圖像，（c）和（d）分別為參考算法和本文算法去噪結果圖。從圖4（c-d）中發現，參考算法在帽子邊緣的濾波效果不夠，在臉部部分存在塊效應，影響主觀感受，而本文算法在帽子邊緣和臉部表現較好。

如表2所示，基于運動估計的視頻3D降噪算法能自適應區分剛體運動塊和非剛體運動塊，以此算法為參考算法，由圖4可以發現兩者都有較好的去噪效果，但是參考算法以塊為單位單獨處理，不可避免的引入了些許塊效應，影響主觀效果，同時本文算法將所有非剛體運動區域和剛體運動區域多塊一起進行處理，避免了塊效應的產生，具有更高的峰值信噪比。此外本文算法采用了交叉采樣塊搜索方法，在平均搜索點數上都比參考算法小，因此具有更快的搜索速度。

從表3中可以看出本文降噪算法能夠適應多種噪聲強度，而參考算法在噪聲強度較小時，損失了邊緣和細節，導致圖像模糊，原因在于參考算法引入了塊效應且未能較好估計噪聲強度。本文降噪算法在噪聲較小時能很好的估計噪聲強度，較為準確的設定濾波系數，同時采用了改進后的雙邊濾波，比經典濾波器具有更強的濾波能力。City和soccer視頻測試序列中邊緣細節較多，本文算法比參考算法PSNR平均提高了0.73dB。對于平坦區域較多的akyio測試序列，本文采用的時域濾波與參考算法濾波效果相當，而在臉部變化較為劇烈的視頻序列foreman中，本文算法較為準確地估計噪聲，能夠更好的區分剛體運動塊和非剛體運動塊，不會帶來運動拖影，PSNR值比參考算法平均提高了0.64dB。

表2　同一噪聲方差下不同幀的PSNR/dB

表3　不同噪聲方差下測試序列的平均PSNR/dB

3　結論

本文提出了一種基于降采樣塊匹配的視頻3D降噪算法，該算法首先進行邊緣檢測并估計出噪聲強度，然后通過降采樣和運動估計等技術得到像素點的運動信息和局部結構，根據這些信息自適應選擇不同的濾波策略。實驗結果表明該算法既能較好的去除噪聲分量，減少塊效應，又能保留高頻部分的細節，提高主觀視覺感受。

參考文獻

［1］Chen G Y，Bui T D，Krzyzak A，et al. Adaptive video denoising using block matching 3-D filtering ［C］. IEEE Canadian Conference on Electrical & Computer Engineering（CCECE），2012（25）：1-4.

［2］Ren J，Zhuo Y，Liu J Y，et al. Illumination-invariant non-local means based video denoising［C］. IEEE International Conference on Image Processing （ICIP），2012（19）：1185-1188.

［3］Lu J，Zou Y，Ye Z. Enhanced fractal-wavelet image denoising［C］.ISECS International Colloquium on Computing，Communication，Control，and Management，IEEE，2008（1）：115-119.

［4］陳立.微光ICCD數字圖像去噪的研究［D］.長春：長春理工大學，2013.

［5］周占民.背景提取與前景濾波相結合的時空聯合視頻降噪［J］.電子測量技術，2015，38（6）：68-72.

［6］Lu Q B，Lu Z B，Tao X Q，et al，A new non-local video denoising scheme using low-rank representation and total variation regularization［C］. International Symposium on Circuits and Systems（ISCAS），2014：2724-2727.

［7］Eric J Balster，Yuan F Zheng，Robert L Ewing.Combined spatial and temporal domain wavelet shrinkage algorithm for video denoising［J］.IEEE Trans Circuits Syst Video Techn，2006，16（2）：220-230.

［8］吳萬正.基于小波變換的視頻去噪系統的FPGA實現［D］.廣州：華南理工大學，2014.

［9］楊文波，馬天瑋，劉劍.非局部變分修復法去除高密度椒鹽噪聲［J］.中國光學，2013（6）：876-884.

［10］李明輝.基于小波分析的圖像降噪算法研究［D］.長沙：中南大學，2012.

［11］龍紅梅，田逢春，譚洪濤，等.一種基于運動估計的3D視頻降噪算法［J］.計算機與數字工程，2009，236（6）：122-124.

［12］唐權華，雷金娥，周艷，等.一種時空聯合的視頻去噪方法［J］.計算機工程與應用，2010，46（6）：163-165.

［13］高輝，謝永昌，狄紅衛.一種基于時空聯合的實時視頻降噪算法［J］.微型機與應用，2011，30（16）：36-38.

［14］白瑞廣，金湘亮，徐杰.一種基于運動估計的視頻降噪算法［J］.紅外與激光，2014（4）：443-446.

［15］許海峰，趙文慶，孫崢，等.一種基于降采樣的塊匹配三步搜索改進算法［J］.復旦學報：自然科學版，2010 （12）：653-659.

［16］陳瀟紅，王維東.基于時空聯合濾波的高清視頻降噪算法［J］.浙江大學學報：工學版，2013（5）：853-859.

A Digital Video 3D Denoising Algorithm Based on Down Sampled Block Matching

GU Yuanbao，YU Kangwei，YAO Hongtao
（School of Computer Science and Technology，Changchun University of Science and Technology，Changchun 130022）

Abstract：For the Gauss random noise of digital video. An improved 3D denoising algorithm based on the down sample block matching is proposed. Firstly the new 3D denoising algorithm carries on the edge detection and the block noise estimation，according to the noise intensity setting threshold. Then，by using local similarity of image，the pixels in the search block are used to do crossing sampling block matching in order to reduce th-e complexity of the algorithm. In adaptive threshold selection stage，the selected rigid moti-on blocks and the selected non-rigid motion blocks are unified processed respectively with d-ifferent methods. The temporal weighting filtering method is applied to the rigid motion area. Of non rigid motion area using the improved bilateral filter coefficients adaptive filter，reduces the individually for each piece of block effect produced by processing，bet-ter for details. The simulation results show that the proposed algorithm can significantly improve the subjective image quality，improve the signal-to-noise ratio.

Key words：edge detection；noise estimation；down sampled；motion detection；bilateral filtering

中圖分類號：TN911.73

文獻標識碼：A

文章編號：1672-9870（2016）02-0098-05

收稿日期：2015-10-12

作者簡介：谷元保（1976-），男，副教授，E-mail：570766073@qq.com