可見光視頻去噪及其FPGA硬件實現

趙思嫻，萬敏杰*，錢惟賢，周 琳，韶阿俊，陳 錢，顧國華*

（1.南京理工大學 電子工程與光電技術學院，江蘇 南京 210094；2.南京理工大學 江蘇省光譜成像與智能感知重點實驗室，江蘇 南京 210094）

1 引 言

視頻信號產生噪聲的主要原因是在采集、壓縮、傳輸等過程中受到周圍環境、溫度等方面的影響，以及設備、傳輸信道等因素的干擾。一方面，由于相機自身成像時圖像會產生非均勻性或者在傳輸過程中產生動態噪聲；另一方面，外在的環境因素，如霧霾、沙塵暴等極端惡劣天氣、或光照不足的情況下，成像對比度較低，從而存在圖像污染、模糊或輪廓丟失等問題，導致接收到的視頻信號質量嚴重下降，影響視頻的視覺效果，也為后續的分析及視頻圖像的增強［1］帶來不便。因此，視頻實時去噪算法研究有著廣泛的應用價值與實際意義。

目前，較為普遍的視頻去噪算法大致可以分為三類：變換域去噪、空間域去噪和時間域去噪。變換域去噪又稱為頻域去噪，先對圖像進行特定的變換，如傅里葉變換、離散余弦變換［2］和小波變換［3］等，把圖像信號轉換到變換域中，針對圖像真值和噪聲在頻域上的區別進行處理，再把處理完的數據反變換后得到去噪后的圖像，這就導致該去噪方式的運算時間較長。近年來，雖然小波變換在視頻去噪領域中有了較大的發展，但固定小波基的分解模式不能完全表示自然圖像，去噪結果會有一定的偏差［4］。非下采樣輪廓波（Nonsubsampled Contourlet，NSCT）算法［5］利用非下采樣輪廓波變換，彌補輪廓波有下采樣的缺點，增加視頻幀中的結構信息特征，算法復雜度也相應提升。空間域去噪算法主要去除的噪聲以加性噪聲為主，因為視頻圖像中鄰域像素相關性較強，一般可根據鄰域像素的局部特征對視頻去噪［6］。一些經典的空間域去噪算法主要為中值濾波、均值濾波及自適應濾波等。經典的空域濾波雖然復雜度低、運算時間短，但會模糊視頻細節；為改善空域濾波的效果，基于馬爾可夫隨機場理論的模型，如FRAME模型［7］、VISTA模型［8］、FOE模型［9］等，通過學習的方式獲得參數，能夠避免人為設置參數所造成的誤差，因此有很大的優勢［10］。時間域濾波利用視頻前后幾幀的相關性來設計算法達到去噪的效果，如基于金字塔結構的去噪算法［11］，滿足實時性要求，但去噪效果還有上升空間。近年來，多種域結合的算法，如空間域與頻率域結合的三維塊匹配（Block Matching 3D，BM 3D）算法［12］被提出，此算法在轉換域中加強稀疏表達，在處理圖像細節及高斯白噪聲時效果較好，但在處理具有高對比度圖像的邊緣時，由于匹配塊不能完整表示圖像細節，圖像邊緣會產生振鈴效應［13］。除此之外還有時空頻域結合的算法［14］，該算法結合了時空域的降噪方法，同時在頻域上采用了高斯和拉普拉斯金字塔，達到了很優秀的去噪效果，然而算法復雜度高，且未實現實時處理。在考慮到硬件并行設計方面，也出現了結合時空域的運動紋理感知去噪算法［15］。

為了提高視頻去噪算法的去噪能力與實時運行時間，本文提出了一種針對可見光波段的時空域去噪算法，并成功移植到FPGA硬件平臺。

2 去噪原理

本文的視頻去噪算法的完整流程如圖1所示。該算法先用高斯差分（Difference of Guassian，DOG）濾波得到4層DOG來提取當前幀圖像的特征信息；再對最高層DOG1用卷積模板做空間域濾波，抑制高頻噪聲；剩下3層DOG在時間域上采用區域分割濾波，對不同的區域采取不同的濾波策略；最后把處理后的各層圖像相加，得到最終的去噪結果。

圖1 時空域視頻去噪算法流程Fig.1 Flow chart of spatio-temporal domain video denoising algorithm

2.1 高斯差分濾波

為了使算法具有運動補償的效果，需要對每幀圖像的特征區域進行提取。現有的DOG濾波［16］具有較好的邊緣檢測能力，廣泛地應用于數字信號圖像處理中。其函數表達式為：

其中：σ1與σ2為高斯濾波的標準差，并且σ1＜σ2，x，y表示二維平面的橫縱坐標。由于高斯濾波函數對圖像的平滑程度是通過σ實現的，σ越大，平滑程度越高，高頻成分越少。當DOG濾波器中心區域通過點線特征較為明顯的區域時，因為點線特征周圍的背景灰度值較小，高斯濾波后特征處的結果數值較大；當濾波器中心通過灰度值起伏變化不大的平緩區域時，高斯濾波結果則趨于零。如此，便達到了抑制平緩背景的效果。

本算法使用了4個高斯濾波參數，4個參數的大小為σ1＜σ2＜σ3＜σ4，具體取值為1.5，2.5，5.5，10.5，對 應 得 出4層DOG結 果：DOG1，DOG2，DOG3，DOG4。以實驗視頻其中一幀為例，4層DOG如圖2所示。由于σ1最小，DOG1中包含的高頻噪聲最多，需要單獨對DOG1做進一步的高頻噪聲抑制處理。

圖2 一幀視頻的高斯差分濾波結果Fig.2 DOG filter result of one frame

2.2 空間域濾波

為了濾除DOG1中的高頻噪聲，單獨對該層進行空間域濾波。由于噪聲大部分都服從高斯分布，該層內的高頻噪聲即為鄰域范圍內的極大值點，在圖像二維平面內可轉換成求離散函數的偏導，公式如下：

由此可知，高頻噪聲只有鄰域極大值的特征而不含有表征方向的信息，因此可用基于梯度的卷積模板來剔除高頻噪聲，提取含有方向信息的圖像特征邊緣輪廓信息。

用來抑制極大值的空域濾波卷積模板如下：

其中：G0，G45，G90，G135分別是0°，45°，90°和135°方向上的濾波模板。

2.3 時域區域分割濾波

在運動場景中，前后兩幀的線面特征會產生位移，靜止背景部分的平坦區和特征區域部分的突變區可以通過前后兩幀之差進行區分。為了進一步濾除噪聲，需要對4層DOG進行時間域上的濾波，即在時間域上對4層圖像數據進行區域分割，具體分割方式如圖3所示。

圖3 時域區域分割濾波流程Fig.3 Flow chart of domain division filtering in time domain

計算當前幀DOG與上一幀去噪結果的差值，當這個差值小于閾值時，判定當前像素在平坦區域，像素值不變；當差值大于閾值時，判定當前像素在突變區域，取上一幀去噪結果與當前幀DOG的加權平均作為當前幀的去噪結果，其中，權值a通常取0.8，表明前一幀的濾波結果對當前幀的濾波結果影響較大。最后把4層DOG的濾波結果和σ4對應的高斯濾波結果相加得到去噪后的圖像，如圖4所示。

圖4 DOG濾波結果Fig.4 Filtering results of DOG

3 算法的FPGA實現

該算法使用VIVADO 2019進行硬件編程，在ZYNQ7045，型號為xc7z045ffg900-2的硬件開發平臺上實現，cameralink接口連接開發板與黑白可見光相機成像，HDMI接口連接開發板視頻輸出端口與顯示屏，最終顯示去噪后的視頻圖像，總體硬件架構如圖5所示。

圖5 本文去噪算法的硬件架構Fig.5 Hardware architecture of denoising algorithm in this paper

首先，相機輸入的視頻數據流通過cameralink接口進入數據解碼模塊，該模塊將數據流轉換成標準的VGA時序信號后輸出；在進入下一個模塊之前，需要利用Video In to AXI4-stream這個IP核把VGA時序信號轉換成AXIstream格式的數據流，因為分層模塊需要的輸入輸出數據都是AXIstream格式的數據；數據格式轉換完成后，通過分層模塊把原始視頻幀信號分成4層，輸入數據格式轉換模塊，該模塊由5個Video In to AXI4-stream IP核組成，把4層數據信號加上原始圖像數據轉換成標準VGA時序信號，方便時空域濾波模塊對數據的處理；FDMA（AXI4 FULL MASTER DIRECT MEMORY ACCESS）能通過控制模塊、MIG控制器和DDR交互，對濾波模塊輸出結果通過三緩存的方式存入DDR，然后輸出上一幀的濾波結果給濾波模塊；VDMA（VIDEO DIRECT MEMORY ACCESS）是VIVADO中專門用來傳輸圖像數據的IP核，通過該IP核將最終結果送入HDMI實現結果在顯示器的顯示；HLS圖像分層模塊和VDMA都需要通過PS（Processing System）部分的ARM核來配置參數。

3.1 Cameralink數據解碼模塊

本文算法實現所選用的可見光相機輸出單通道8 bit視頻幀數據，采用的Cameralink標準的視頻傳輸模式是Base模式。FPGA開發板收到的圖像相關信號有28 bit，包括1 bit場有效信號、1 bit行有效信號、1 bit數據有效信號和24 bit數據信號。24 bit的數據信號分成A，B，C三個端口，根據相機每時鐘周期輸出的像素個數使用的端口數不同，根據端口定義就能夠解碼得出正確的圖像數據。最后，把該解碼模塊封裝成IP核添加在本設計中，解碼出來的數據如圖6所示。其中，v_sync與h_sync分別是場有效信號與行有效信號。檢測到場有效信號上升沿時為一幀視頻的開始，下降沿為一幀視頻的結束；行有效信號為1時，表示正在進行一行數據的傳輸；數據有效信號與行有效信號相同。D16_o是最后解碼出來的視頻數據信號。

圖6 Cameralink解碼數據Fig.6 Cameralink decodes data

3.2 HLS數據分層模塊

該模塊用來實現4個不同參數的高斯濾波，為后續產生4層DOG做準備。如果高斯濾波使用HDL編程，不僅代碼復雜度高，而且會占用大量資源，所以使用賽靈思自帶的VIVADO HLS工具來實現。HLS支持C語言編程，并且支持包含Opencv在內的視頻圖像處理庫函數，完成編程后，能直接把C語言綜合成HDL代碼組成的IP核，同時自帶優化指令，方便IP優化，大大降低了開發時間。

為了進一步簡化代碼，便于硬件實現，把高斯濾波簡化為先用4次降采樣，得到4個降采樣數據，然后分別還原成原始圖像的分辨率，降采樣和還原分辨率用到的HLS庫函數分別是hls：：Prydown和hls：：Resize。最后封裝完成的IP核如圖7所示。其中，輸入端s_axi_AXILiteS是控制信號，src_axi是數據信號，ap_clk是時鐘信號，ap_rst_n是復位信號；輸出端dst_axi，dst_axi2-5分別是4個降采樣并還原原始分辨率后的數據信號和一個原始數據信號。

圖7 HLS模塊的IP核Fig.7 IP core of HLS module

3.3 空間域濾波模塊

FPGA實現圖像的空域濾波算法基于濾波模板與圖像數據做滑動窗口卷積，需要在FPGA內開辟一個緩存區形成圖像窗口。選擇shiftram IP核作為緩存圖像數據的寄存器，在與N×N的卷積模板做卷積時，一共需要N個shiftram IP核。本算法選取5×5的卷積模板，共需要5個shiftram IP核。以3×3卷積窗口為例，實現原理如圖8所示。

圖8 卷積濾波窗口原理Fig.8 Schematic diagram of convolution filter window

3.4 時間域濾波模塊

時間域濾波移植到FPGA硬件平臺上要主要解決的問題是濾波結果的多幀緩存以及當前幀DOG與上一幀濾波結果的像素匹配處理。DDR3因其內存大、有賽靈思提供的MIG控制器來控制其讀寫，是用于多幀緩存的最佳選擇；同時，為實現像素匹配，需要有一個高速接口訪問DDR3，因此加入FDMA IP核。

FDMA是DMA（DIRECT MEMORY ACCESS）的變形。DMA包含一條數據總線和一條地址總線，一般具有能一次傳輸多個字節數據的突發傳輸的功能，能大大增強系統的整體吞吐能力［17］。FDMA就是在DMA的基礎上把兩條總線換成AXI4-FULL（Advanced eXtensible Interface）總線協議，以便與MIG控制器進行數據交互。FDMA IP核如圖9所示。通過上述自定義IP模塊就能快速進行數據交互，實現像素配準。

圖9 FDMA IP核Fig.9 IP core of FDMA

為了生成FDMA輸入端的數據打包格式，需要有一個FDMA控制模塊，需要給FDMA輸出讀寫請求和讀寫地址信號，并通過輸入視頻幀的行場信號控制異步FIFO把8位數據組包成32位數據送入FDMA，同時把對應地址的FDMA輸出的32位DDR讀出數據拆包成8位上一幀濾波結果數據，送入計算模塊，異步FIFO組包數據流如圖10所示。

圖10 組包數據流Fig.10 Packet data flow

FIFO寫入時鐘為25 MHz，讀出時鐘約為150.7 MHz，以寫入時鐘約6倍的速度讀寫DDR，可使視頻當前幀數據與從DDR中讀出的上一幀視頻數據同時輸入下一個模塊，完成時域區域分割濾波。

由于需要對4層DOG進行濾波處理，利用FPGA的并行處理能力，采用4路FDMA IP核通過AXI4總線連接到MIG控制器，使得四路DOG能夠同時輸入輸出。

4 實驗與結果分析

硬件平臺的搭建及去噪結果如圖11所示。硬件平臺由結果顯示器、編程及操作顯示器、ZYNQ7045開發板、可見光黑白相機（通過Cameralink接口與開發板相連）及拍攝目標組成。為了能直觀地顯示去噪效果，顯示器可同時輸出相機原圖和去噪后圖像，上半部分為原始視頻圖像，下半部分為去噪后的視頻圖像。可以看出，該算法有一定的去噪效果，但由于選用的相機噪聲較小，視覺效果不太明顯。

圖11 本文去噪算法的硬件平臺Fig.11 Hardware platform of denoising algorithm in this paper

4.1 定性實驗

對15個含噪可見光視頻場景，用本文算法（包括MATLAB軟件平臺與FPGA硬件平臺）、NSCT去噪算法［18］、FOE算法［9］、基于金字塔結構的去噪算法［11］和BM 3D算法［12］進行處理，截取其中一幀，去噪結果如圖12所示。

圖12 本文算法軟硬件實現結果及不同去噪算法的結果Fig.12 Denoising results of software and hardware of proposed algorithm and denoising results of different algorithms

圖中，原始圖像是用低噪相機拍攝的視頻場景，含噪原圖采用原圖加上幅度為20 d B的噪聲合成。從視覺效果上看，BM 3D算法對噪聲有一定的抑制，且圖像細節保留也較為完好，但是圖像的明暗程度有所改變；NSCT算法對噪聲的抑制最為明顯，但細節模糊較為嚴重；FOE算法和基于金字塔結構的去噪算法都有一定的去噪效果，也都保留了圖像細節；本文算法在不改變圖像明暗的同時，對噪聲有明顯的抑制，且細節部分保留完好。

算法的硬件移植方面，在視覺效果上MATLAB處理后對比原圖去噪效果明顯，且無拖尾現象產生；移植到FPGA上后，處理結果與MATLAB相比無明顯差別。

4.2 定量實驗

將本文算法包括MATLAB軟件平臺與FPGA硬件平臺的實現與NSCT去噪算法［18］、FOE去噪 算法［9］、基于金 字塔結構 的去噪 算法［11］和BM 3D去噪算法［12］的結果用峰值信噪比（Peak Signal to Noise Ratio，PSNR）、結 構 相 似 性（Structural Similarity Index Measure，SSIM）和一幀視頻處理時間進行評價。其中，PSNR是信號峰值與噪聲均值之比，數值越大，失真越小；SSIM從亮度、對比度、結構三個方面分析處理前后圖像的相似性，取值區間為［0，1］，值越大，失真越小。PSNR與SSIM的計算公式分別為：

其中：n表示采樣值的比特數，MSE是原圖與處理后圖像間的均方誤差，x，y為兩幅圖像，μx，μy分別是x，y的均值，σx

2，σy

2分別是x，y的方差，σxy是x和y的協方差，c1和c2是用來維持穩定的常數。計算結果如表1～表5所示，其中金字塔表示基于金字塔結構的去噪算法，MATLAB實現和FPGA實現分別表示本文算法在MATLAB和FPGA上的實現。由表可知，本文算法在大部分場景中的定量指標都優于NSCT算法、基于金字塔結構的算法和BM 3D算法。在場景5中，本文算法的PSNR相比NSCT算法的PSNR提升一倍左右；本文算法的PSNR雖然在場景11這種明亮且背景單一的地方稍低于FOE算法的PSNR，但總體而言相差不大且SSIM有一定的提升；在SSIM指標上，4種算法比較接近，在場景13中NSCT算法的結果雖然比本文算法更加模糊，且PSNR指標明顯低于本文算法，但SSIM數值卻略高于本文算法。其原因可能為：在場景13這種線條特征明顯、整體灰度值變化平穩的場景，SSIM指標更傾向于去噪后圖像的平滑性，而對圖像的模糊程度考量較少。總體而言，本文算法相較于其他算法在整體穩定性方面比較突出。在處理時間上，NSCT算法所用時間最長，大約50 s才能處理一幀視頻，FOE算法大約需要3 s，基于金字塔結構的算法、BM 3D算法和本文算法都只需要0.4 s左右的時間，但在絕大多數場景下，本文算法的處理時間仍優于基于金字塔結構的算法和BM 3D算法。綜合上述3個客觀指標，由于本文算法結合了時間域和空間域濾波并分區域采用不同的去噪手段，去噪能力有了可觀的提升。

表1 場景1～3處理結果對比Tab.1 Comparison results of scene 1-3

表2 場景4～6處理結果對比Tab.2 Comparison results of scene 4-6

表5 場景13～15處理結果對比Tab.5 Comparison results of scene 13-15

表3 場景7～9處理結果對比Tab.3 Comparison results of scene 7-9

表4 場景10～12處理結果對比Tab.4 Comparison results of scene 10-12

本文算法移植到FPGA硬件平臺后，FPGA處理后的結果在PSNR方面比MATLAB平均降低約0.4 dB，在SSIM方面平均降低了約0.02 dB，均可視為在誤差允許范圍內；而在運行時間方面，FPGA比MATLAB減少了0.2 s多，約減少了71.5%，大大提升了算法的實時性。本文算法移植到FPGA平臺上的資源占用情況如圖13所示，占用的FPGA開發板的資源不到50%，也可說明本文算法移植到硬件平臺的有效性。

圖13 資源占用情況Fig.13 Resource occupancy

5 結 論

為了克服可見光視頻去噪算法細節模糊、處理時間長、實時性差等缺點，本文提出了一種結合時間域與空間域濾波的去噪算法，先利用高斯差分濾波使原圖分層，對含高頻噪聲最多的圖像層進行空域濾波，抑制信號極大值；然后把當前幀各尺度濾波后的圖像當作下一幀濾波的輸入，在時間域上形成反饋，區分每幀圖像對上一幀而言的平坦區域與突變區域，并采用不同的去噪策略；最后把算法分為多個模塊，利用卷積模板進行空域濾波，控制DDR形成4路視頻數據流在ZYNQ7045 FPGA硬件平臺上實時實現。實驗結果表明，本算法在主觀上實現了視頻去噪的功能；在客觀評價指標方面，相比于現有的單域去噪算法，PSNR至多可提升15 d B；移植到硬件平臺后，在PSNR和SSIM指標相差不大的情況下運行時間可節省約71.5%，兼顧了可見光視頻去噪的精度與實時性要求。