基于FPGA 的微光圖像處理

陳文明

（1.中航華東光電有限公司，安徽 蕪湖 241002；2.特種顯示技術國家工程實驗室，安徽 蕪湖 241002）

0 引 言

目前，像增強器作為主流器件被用于微光夜視系統中，但是隨著CMOS 圖像處理器技術的不斷發展和進步，尤其是SOI（絕緣襯底硅）、BSI（背照結構）等新技術的出現，極大提升了CMOS 圖像處理器的光敏度和成像質量。同時，CMOS 技術兼容性高，具有低電壓驅動、低功耗、高分辨率的特點，在夜視系統中逐漸被應用。但是由于CMOS 圖像處理器中的模擬電路較多，導致電路的一致性很難控制，因此成像圖像的均勻性較差，而且在低照度情況下，底噪聲嚴重。為了提升最終顯示圖像的效果，需要根據CMOS 圖像處理器在低照度下輸出圖像的特點，針對性地進行圖像處理[1]。本文采用現場可編程邏輯門陣列（Field Programmable Gate Array，FPGA）作為圖像處理的主控制器，實現CMOS 的驅動、圖像的采集、壞點的矯正、噪聲的去除以及圖像增強等圖像處理操作，保證微光系統能夠輸出干凈、清晰、對比度高的視頻圖像。

1 微光圖像處理系統硬件組成

微光圖像處理系統的硬件電路部分如圖1 所示，由CMOS 傳 感器、FPGA、SRAM、DVI 編碼器、通信接口以及各個電源模塊組成。CMOS 傳感器是微光視頻的采集終端，對微弱的光信號進行采集、放大、數模轉化及讀出等操作，實現光電轉化的功能，并將采集的視頻按一定的視頻格式傳輸給FPGA，以進行下一步的處理和控制[2]。FPGA 是主控制模塊，負責電路的總體控制、視頻接口的實現以及針對視頻數據進行降噪、增強處理；SRAM 是視頻數據的存儲模塊，配合相應的視頻處理算法，實現需要數據的讀寫控制操作；DVI 編碼芯片負責數字視頻信號向DVI 信號的轉化，主要完成DVI 編碼；通信方式采用RS-422 接口，主要完成對微光夜視儀的控制以及工作狀態的反饋。

圖1 電路整體框圖

2 微光圖像處理算法的FPGA 實現

2.1 FPGA 視頻處理架構

本文采用的CMOS 圖像傳感器的分辨率為1 920×1 080，需要處理的數據量非常大，而且要求具有實時顯示的功能，通過軟件中斷很難實現。而FPGA 是一種并行架構，通過Verilog DHL 或者VHDL 語言描述的電路，被編譯成具體的數字電路在FPGA 內部并行運行，所以使用FPGA 來處理數字圖像，具有吞吐量大、處理速度快的特點。因此，本文的夜視圖像處理系統的主控制器選用的是Xilinx 公司的Artix 7 系列FPGA。FPGA 主要實現的功能有采集移動產業處理器接口（Mobile Industry Processor Interface，MIPI）信號轉化為數字信號以便后續模塊的處理，由于CMOS 圖像傳感器以MIPI接口輸出視頻信號，通過FPGA 的LVDS 接口搭配外圍的電阻網絡將MIPI 信號進行轉化；CMOS 上電后需要對其內部寄存器進行配置，使其進入正常的工作模式，同時在使用過程中，需要根據環境調整相關參數，來使CMOS 適應外部環境，使其工作在最佳狀態。CMOS 輸入的信號在照度極低的情況下會產生嚴重的噪聲，通過相應的算法將其去除；由于低照度圖像的灰度較低，圖像總體的對比度較低，不易于人眼識別，所以要對去噪后的圖像進行灰度拉升，提升對比度，即增強處理[3]。FPGA 內部主要的功能框圖如圖2 所示。

圖2 FPGA 內部功能模塊

2.2 FPGA 代碼實現

2.2.1 壞點矯正

CMOS 圖像傳感器上有呈陣列排列的像素點。每個像素點是一個感光單元，根據光強將光信號轉化為電信號，被像素下的采樣電路接收和轉化。由于像素陣列在制作過程中存在工藝上的差異，或者在光信號轉化電信號的過程中出現錯誤，都會造成輸出圖像上的像素信息出現錯誤。直觀的表現是壞點的灰度與周圍的像素點不一致，存在很大的差別，一般為亮點或是暗點，這樣的點就被稱作壞點。在壞點尺寸不是很大的情況下，可以通過算法對圖像進行修復[4]。

以圖3 所示的壞點矯正區域為例，在3×3 的區域內，通過比較算出區域中最大值Pmax，次大值Pmax1，最小值Pmin，第二小值Pmin1以及此區域的平均亮度Pyav。根據數據之間的關系，判斷當前點是否為壞點。如果是，就用區域內相互差異最小的兩個點的均值來替代壞點的值。壞點矯正分為3 種情況。

圖3 壞點矯正3×3 區域

（1）對于亮點的矯正。當同時滿足|Pmax-P11|≥Th，|Pmax1-P11|≥Th，|4×(Pmax-Pmax1)|<|Pmax1-Pyav|。

（2）對于暗點的矯正。當同時滿足|P11-Pmin|≥Th，|P11-Pmin1|≥Th，|4×(Pmin1-Pmin)|<|Pyav-Pmin1|。

（3）如果P11是壞點，就要用3×3 區域內差異最小的兩個點的均值來替代；否者，輸出P11。

壞點校正模塊框圖如圖4 所示，其中line_sram模塊是行緩存器，3 個line_sram 一起得到一個3×3 區域。badpix_control 模塊對3×3 個數據進行判斷和運算，判斷當前數據是否為壞點。如果是，用計算數值替代，反之，直接輸出[5]。

圖4 壞點校正模塊框圖

2.2.2 視頻去噪

CMOS 圖像傳感器由于其自身特點，在低照度成像難免會出現各種噪聲，主要包括暗電流散射的噪聲、暗電流復位噪聲、放大器噪聲以及光散射噪聲等。這些噪聲讓圖像處理變得異常復雜，所以在進行進一步處理之前要對視頻圖像進行去噪。常見的去噪方式有中值濾波、均值濾波以及高斯濾波，還有機遇時間域的幀間平均濾波。結合夜視圖像的噪聲特點，本文設計一種改進的雙邊濾波算法，能夠有效地去除夜視圖像的噪聲，對圖像的邊緣和細節保護，而且不需要延時，實時性好。

雙邊濾波的數學表達式為：

式中：g(x,y)表示處理后數據，f(i,j)表示原始圖像，ω(i,j)為加權系數，ωs(i,j)為距離對應的加權系數，ωr(i,j)為數值對應的加權系數。

考慮到算法的實時性和FPGA 的運行速率，以上電路采用流水線方式實現，在各個運算節點處需要插入觸發器，注意ω(i,j)結束時間和f*w 的時間不在同一時刻，需要對ω(i,j)輸出進行相應延時以和f*w 匹配。f*w 與ω(i,j)經過FPGA 自帶的除法器計算，得到此區域的濾波后數據。算法效果如圖6 所示，圖像中的噪聲部分被濾除，線條的邊緣銳度變化較小。

圖5 算法計算電路

圖6 算法效果對比圖

2.2.3 視頻增強

夜視圖像的灰度級都集中在較小的區間，而正常亮度下的圖像灰度值在直方圖中呈現均勻分布的狀態。為了提升圖像的對比度，需要對其進行增強處理。自適應直方圖均衡（Adaptive Histgram Equalization，AHE）是一種比較適合在FPGA 中實現的算法。本文采用此算法進行圖像的增強處理，來達到擴大局部對比度、平滑區域細節的作用。直方圖均衡化的數學表達式為其中，k為灰度級，N為一幅圖像的像素總點數。

在FPGA 中實現自適應直方圖均衡，需要進行兩步操作。首先，對整幅圖像中的灰度進行統計，計算其出現的概率；然后計算每一個灰度級的累積分布函數；最后在下一幀通過累積分布函數計算輸入圖像的值，實現圖像的增強。

如圖7 所示，自適應直方圖均衡模塊由fifo、雙口ram1、雙口ram2、SRAM_CTRL 以及CDF_cal 控制模塊組成。電路工作過程如下。

圖7 自適應直方圖均衡電路

當檢測到VS 信號下降沿，對fifo 進行復位，同時啟動對his_ram1 內部數據的清零。因為新的一幀圖像的直方圖數據會有差異，需要清零，重新記錄。雙口his_ram1 的端口A 為數據寫入端，端口B 為數據讀出端。直方圖計算需要先從對應的地址讀出數據，再將數據自增1，并寫回his_ram1 的原地址。也就是說，一個新像素的直方圖計算至少要3 個像素時鐘。為了保證數據流的連續性，需要在輸入視頻數據和直方圖計算模塊之間加入緩存。本文采用fifo 進行緩存。當新的一幀視頻數據輸入后，在像素時鐘和DEN 信號的控制下，將數據寫入到fifo 中進行緩存。直方圖計算模塊監控到fifo 的empty 信號為0 時，從fifo 讀出數據，讀出時鐘頻率是像素時鐘的3 倍。整個控制流程的狀態轉化如圖8 所示。

圖8 直方圖計算的狀態轉換圖

上電后，程序首先進入Idle 狀態，當vs 信號出現低電平時vs_neg=’1’，狀態跳轉到ini_ram，在此狀態現實對雙口ram 的清零，地址從0 ～255 自增，對應地址的數據為0。當地址addr=255 時，ram 清零完成，狀態切換到wait_data 狀態。在wait_data狀態監控fifo 的empty 信號狀態，當empty=’0’，從fifo 讀取數據，并跳轉到rd_his 狀態。在rd_his狀態，以從fifo 讀到的數據作為ram 的讀地址，從此地址讀取數據，并且將數據加1，同時跳轉到wr_his狀態。在wr_his 狀態將自增后的數據寫回到讀出地址，并回到wait_data 狀態，這樣就完成了一個像素的統計。如此循環往復，直到一幀數據全部統計完，在wait_data 狀態同時滿足empty=’1’和field_over =’1’，完成一幀數據統計，返回到idle 狀態，等待新一幀數據的統計。

完成一幀數據的直方圖統計之后，開始計算這一幀的CDF 值。計算方式與直方圖計算類似，從his_ram1 循環讀取0 ～255 地址的數據，并將當前地址的數據與其前所有地址的數據相加，將相加結果寫到his_ram2 對應的地址，直到地址達到255，計算完成。

由于直方圖統計需要對一幀的所有數據進行統計，為了將計算的結果與對應的統計幀對應起來，需要將統計幀進行緩存，等計算繼續后，在下一幀統計的過程中，按一定視頻時序從SRAM 中取出，并在his_ram2 中進行查表，得到增強后的像素值。考慮到計算的方便，在最后輸出視頻的時候，對數據進行固定除數（除數為一幀圖像的總點數）的除法計算，商即為最終輸出像素數據。采用以上方法得到的圖像增強效果如圖9 所示。

圖9 自適應直方圖均衡后對比

3 夜視效果驗證

為了驗證夜視圖像處理的效果，改進現有微光相機的FPGA 代碼，增加了壞點校正、視頻去噪以及視頻增強算法。在夜晚環境照度5.4×10-4lx 下，對同一地點進行拍攝，通過監視器觀察顯示效果如圖10 所示。其中，左邊為原始效果，右邊為處理后的效果。可以看出，處理后的圖像清晰，邊緣輪廓分明，對比度范圍寬。總體而言，經過本文算法聯合處理后，夜視視頻圖像的質量得到明顯改善，圖像中的細節清晰，所含噪聲較少，同時，視頻圖像的總體亮度有提升，灰度之間的差異被拉開。對比度提升，能明顯識別感興趣區域，而且處理后視頻更適合人眼的視覺觀察效果。

圖10 夜視視頻圖像處理前后效果對比

4 結 語

本文針對夜視CMOS 圖像傳感器的特點，研究了針對其圖像質量提升的方法。首先對微光夜視系統的硬件組成進行介紹，進一步分析了基于FPGA的圖像處理的架構，并且對具體的處理模塊進行了詳細的介紹，在理論分析的基礎上，介紹了其在FPGA 中的詳細實現過程和具體電路。本文主要論述了CMOS 圖像傳感器的壞點矯正、視頻圖像的噪聲去除以及視頻圖像增強算法的FPGA 實現。最后通過夜晚戶外實驗來檢驗算法的有效性。通過實驗對比，結果表明本文的算法能夠有效改善夜視視頻圖像質量，能夠提升圖像細節，減少噪聲，提升對比度，使得處理后的視頻更適合人眼觀察。