高分辨率視頻圖像實時增強系統的設計

孔 壯，何衡湘，代 俊，孫 彬，朱建坤

(1.電子科技大學，四川 成都 611731;2.西南技術物理研究所，四川 成都 610041)

高分辨率視頻圖像實時增強系統的設計

孔 壯1，何衡湘2，代 俊2，孫 彬1，朱建坤1

(1.電子科技大學，四川 成都 611731;2.西南技術物理研究所，四川 成都 610041)

霧霾天氣情況下，視頻成像跟蹤系統采集到的圖像往往呈現對比度低、灰度分布集中的特點，地面的軍事人員很難準確、快速地識別跟蹤目標，為了解決這一問題，本文以Xilinx公司的Spartan 3AN系列低成本FPGA芯片為核心，設計了高分辨率(1 004×1 004)視頻圖像實時增強系統，主要工作為系統硬件平臺的設計和限制對比度直方圖自適應均衡(Contrast Limited Adaptive Histogram Equalization-CLAHE)算法的FPGA實現。通過實際系統測試，設計滿足實時性的要求，同時增強效果明顯，可以清晰地識別目標。該系統可用于醫學圖像增強、交通檢測及航空航天等多個領域，具有較高的實用價值。

圖像增強；實時處理；CLAHE；FPGA

在霧霾天氣下，從物體反射的光線在大氣中傳播時受到懸浮的霧霾顆粒的散射影響，以及霧霾顆粒本身作為光源的環境光影響，造成入射到觀察者或CCD的光線發生衰減，形成的圖像對比度低、層次不豐富[1]。近些年來，針對霧霾天圖像增強算法的研究，一直是國內外的研究熱點，根據處理方式不同可以將增強算法分為基于物理模型的方法和基于非物理模型的方法[2]。其中基于直方圖均衡的CLAHE算法[3]增強效果明顯，計算量適中，適合并行實現。

現場可編程邏輯門陣列(FPGA)基于查找表的架構以及豐富的寄存器資源可以靈活地實現流水線設計，極大地提高系統的數據吞吐量和最大工作頻率。另外FPGA內部豐富的邏輯資源、塊存儲資源以及專用IP核資源可以方便地實現數據的并行計算，非常適合圖像處理領域。本文對CLAHE算法的實現流程和數據處理進行多個改進，在Xilinx推出的低成本Spartan-3AN系列XC3S1400AN型號FPGA實現了高分辨率視頻圖像的實時增強，并完成了硬件平臺的設計。

1 限制對比度自適應直方圖均衡算法

數字圖像直方圖信息表示圖像各個灰度級出現的次數或頻率，其數學意義為各灰度級的概率分布函數。霧天圖像的對比度低，直方圖中像素集中分布在少數的灰度級上，為了達到圖像增強的目的，可以通過直方圖均衡的方法，即將直方圖近似于均勻分布。通過離散形式的累積分布函數作為直方圖變換函數，就可以實現直方圖的均勻擴展，累積分布函數相當于圖像原始灰度和增強后像素灰度的一種映射關系，如

(1)

式中：L表示圖像灰度級總數；rk為直方圖中某個灰度級，0≤k≤L-1；N為圖像總的像素數量；nk代表灰度級rk的像素的數量；sk為rk灰度級增強后對應新的灰度級。全局直方圖均衡(ImageHistogramEqualization)算法即為對圖像所有像素通過式(1)的映射進行增強，該算法對整幅圖像進行統一的變換計算簡單，但存在細節損失、過度增強等問題。

為了解決全局直方圖均衡算法的缺陷，Zuiderveld等人提出限制對比度的自適應直方圖均衡(CLAHE)算法[3]。首先，對圖像進行分塊，具體子圖塊的個數N需要根據圖像大小以及實際需要確定。然后統計每個子塊的直方圖，根據判決門限β對直方圖進行削峰，把多余的像素個數累加到超出門限像素變量Excess中，遍歷整個直方圖灰度級以后，需要將Excess重新分配到小于判決門限β直方圖灰度級上，該操作需要多次重復，直到變量Excess為0。再根據重分布后新的直方圖按式(1)對每個子塊的直方圖進行均衡映射，得到N個子圖塊的直方圖映射函數。最后，對整個圖像的像素點進行線性加權重構[4]，將重構的像素點重新連接，即為CLAHE算法處理后的圖像。

2 圖像實時增強系統硬件設計

視頻圖像由高分辨數字CCD采集，通過CameraLink接口[5]輸入到硬件處理平臺，在FPGA內部完成圖像增強，裁剪門限β的值可通過RS-422接口實時改變，然后通過VGA接口輸出到顯示器上顯示，系統框圖如圖1所示。

圖1 系統硬件框圖

系統采用ADIMEC-1000md型號CCD工業相機采集視頻圖像，圖像分辨為1 004×1 004，數據時鐘為40 MHz，幀頻為30.5 f/s，雙通道8 bit數據輸出模式。數據由CameraLink接口傳輸到硬件平臺，5對LVDS圖像數據進入芯片DS90CR288A進行CMOS/TTL電平轉換，其中4對轉換成28 bit的圖像信息，包括24 bit的圖像數據信號、相機的場同步、數據同步和行同步信號；另外1對信號轉換成時鐘信號。針對本系統因為相機采用雙通道數據輸出模式，所以只需要使用CameraLink中的A、B口就可以。

FPGA產生相機的控制信號需要經過差分驅動芯片DS90LV047A，通過CameraLink接口傳到相機。異步串行通信部分包括2對差分信號，其中一對是由相機到FPGA通信信號，另一對是FPGA到相機的通信信號，系統選用差分收發芯片DS90LV019用來對這兩對信號進行電平轉換。

經過FPGA圖像增強算法后的圖像數據需要實時地在顯示器顯示，供軍事人員監視跟蹤目標，本系統采用的視頻輸出接口為VGA接口[6]，采用Analog Devices公司的ADV7123視頻數模轉換芯片進行視頻數模轉換，圖像數據作為ADV7123的高8位，后面兩位補0處理。

VGA接口的行、場同步信號需要根據VGA時序以及不同分辨率和刷新頻率的時序要求產生，本系統采用分辨率為1 280×1 024、刷新頻率為60 Hz的時序要求如表1所示，VGA時序如圖2所示。在FPGA內部使用兩個計數器，根據表1的時序要求，生成行、場同步信號連接到VGA接口。

圖2 VGA時序圖

符號參數場同步信號/行行同步信號/像素時鐘Ts同步脈沖10661688Tdisp顯示時間10241280Tpw脈沖寬度3112Tfp前沿148Tbp后沿38248

3 FPGA實現CLAHE增強算法

3.1 算法實現優化

CLAHE算法的FPGA的實現流程主要有直方圖統計、直方圖重分配、直方圖均衡以及線性加權計算像素重構[7]。其中直方圖統計與像素重構根據圖像像素的灰度值，所以需要在場同步信號有效時并行執行；所有子圖塊直方圖重分配和直方圖均衡計算過程可以在場消隱期間并行完成。

1)時鐘管理以及子區域劃分

通過Xilinx FPGA特有的時鐘管理器(DCM)對PCLK進行2倍頻PCLK_2X，然后以PCLK_2X作為像素時鐘將輸入的雙通道圖像數據拆分成單獨的像素灰度數據(IMGDAT)。同時根據像素時鐘和行同步信號作為計數信號，可以得到像素的水平和垂直坐標。

子圖塊與子區域劃分的方法如圖3所示，在像素重構線性計算中可以使用移位運算代替除法運算。

圖3 像素子區域的劃分

2)直方圖統計

圖像直方圖相當于存儲圖像每個灰度級出現個數的存儲器，所以這里使用FPGA內部專用的塊RAM(Block RAM)資源生成的雙口RAM來完成直方圖統計。裁剪門限β可以由上位機通過RS-422接口傳輸到FPGA，根據β對直方圖削峰以及統計Excess。

以像素數據作為直方圖統計雙口RAM的讀寫地址，讀出數據dout與裁剪門限β比較，等于β時寫入RAM的數據din=β，超出門限累加變量Excess加1；小于β時，寫入RAM的數據din=dout+1。

3)直方圖重分配

在場同步低電平(場消隱)期間，設計以PCLK_2X上升沿計數器，用于生成直方圖統計RAM的讀寫地址，按圖4所示流程[8]依次對直方圖RAM中灰度級的數據重分配，重復3次上述流程完成直方圖重分配操作。

圖4 直方圖重分配流程圖

4)直方圖均衡

直方圖重分配完以后，根據式(1)進行直方圖均衡，該過程相當于原始圖像灰度與增強后圖像灰度的一種映射關系，同樣可以使用雙口RAM來實現，稱為直方圖查找RAM。FPGA內部沒有專用的除法器，需要消耗大量的邏輯資源完成除法運算，可以利用專用乘法器與FPGA移位運算解決這一問題，對式(1)進行改進，子圖塊的大小為251×251，灰度級數L=256，比例系數P=255×2512/2562取近似值為267，某灰度級rk的直方圖累加值為ACC，則該灰度級的直方圖均衡映射灰度級sk可以由公式(2)計算。在完成上述操作以后，需要對直方圖統計RAM清零。

sk=(ACC×P)?16bit

(2)

5)像素線性加權重構

CLAHE算法流程最后一步像素灰度值重構的計算，需要根據原始圖像各個像素位置以及子圖塊直方圖均衡映射函數來完成。利用視頻圖像兩幀圖像的高度相似性，以前一場的直方圖均衡映射函數作為當前場圖像數據的依據。

在前一場視頻圖像的消隱期間，獲得了16個子圖塊的直方圖均衡后像素映射查找表RAM，以行、場同步復合信號為使能，以輸入像素數據IMGDAT為地址，同時讀出16個直方圖查找表RAM中對應的像素映射灰度值，根據屬于的子區域從16個像素映射灰度值取F1(Iold)、F2(Iold)、F3(Iold)和F4(Iold)。式(3)中線性加權參數r和x在根據像素的坐標來確定，在一個周期能通過專用乘法器的乘法運算以及移位運算就能得到像素重構的結果Inew。

Inew= F1(Iold)+r·x·(F1(Iold)+F4(Iold)-

F2(Iold)-F3(Iold))/256+x·(F2(Iold)-

F1(Iold))/256+r·(F3(Iold)-F1(Iold))/256

(3)

3.2 FPGA資源消耗及時序分析

CLAHE算法FPGA實現資源消耗情況如表2所示，其中16個Block RAM用作直方圖統計RAM剩下的16個用作直方圖查找RAM。32個專用乘法器(MULT)16個用于直方圖均衡計算，4個用于像素重構計算。消耗2個時鐘管理器DCM和7個全局布線資源GCLK，用來產生算法所需的控制時鐘。

表2 CLAHE算法FPGA實現資源消耗

LogicUtilizationUsedAvailableUtilization/%NumberofSlices26841126423NumberofSliceFlipFlops1220225285Numberof4inputLUTs48972252821NumberofbondedIOBs195023NumberofBRAMs3232100NumberofMULT18X18SIOs203262NumberofGCLKs72429NumberofDCMs2825

圖像增強系統的原始輸入信號為30 Hz灰度數字視頻，雙通道像素時鐘為40 MHz，每場視頻圖像所占用的時間為33.4 ms，單場視頻圖像共有1 736行，每行像素個數為1 536，場正程時間ttrace和場消隱時間tfblank的計算如式(4)和(5)所示

ttrace=1 004×1 536/(80×106)≈19.27 ms

(4)

tfblank=(1 736-1 004)×1 536/(80×106)≈14.06 ms

(5)

直方圖統計以及像素重構以行、場同步復合信號為使能并行執行，需要的時間tcomplex計算為式(6)。直方圖重分配、直方圖均衡和統計RAM清零操作在場消隱期間順序執行，需要計數器產生讀取和寫入地址和使能，所以消耗的時間可以由采用的計數器總的時間tcount計算，如式(7)所示，由計算結果可知，tfblank遠遠大于tcount，所以系統能在場消隱實時處理前一幀圖像的直方圖數據，為下一幀圖像的重構準備。

tcomplex=1 004×1 004/(80×106)≈12.55 ms

(6)

tcount= (1 000+400)/(80×106)+

400/(40×106)=27.5 μs

(7)

4 系統實驗測試結果

CCD相機采集的視頻數據分成兩路，一路經過圖像采集卡保存到PC機硬盤上，另一路通過CameraLink接口進入FPGA進行圖像增強，硬件平臺預留測試接口，將圖像增強后的數據經過圖像采集卡保存到另一臺PC機中。系統外場試驗采集到的原圖像和增強后圖像對比如圖5所示。本文采用對比度、有效灰度級和圖像熵作為圖像增強的客觀評價參數，圖5中的圖像客觀評價結果如表3。

圖5 外場試驗圖像效果對比

圖像參數對比度有效灰度值熵圖像a046615853481圖像b0667512458056圖像c052155954421圖像d0823113360069

對比圖5a和圖5b、圖5c和圖5d以及表3中的客觀評價指標，原圖像畫面非常模糊，很難識別跟蹤目標(圖中白色亮點)，經過系統增強后的圖像對比度得到增強，圖像層次感更強烈，細節更豐富，目標(圖中白色亮點)清晰明顯，說明系統滿足實際要求，具有較強的應用性。

5 結論

為了解決霧天情況下視頻成像跟蹤系統采集到圖像模糊不清目標難以分辨的問題，本文采用低成本FPGA為核心設計高分辨率視頻圖像實時增強系統硬件平臺，并在FPGA內部實現了限制對比度直方圖均衡算法(CLAHE)，經過試驗測試，系統在滿足實時性的同時，圖像對比度明顯增強，地面軍事人員可以清晰地監視跟蹤目標。該系統還可以用于民用室外監控、航天測控等領域，實際應用價值較高。

[1] 王欣威,李穎,董慧穎.基于大氣模型的天氣退化圖像復原方法及應用[J].沈陽理工大學學報，2005，24(01)：36-39.

[2] 郭蟠,蔡自興,謝斌.圖像去霧技術研究綜述與展望[J].計算機應用，2010，30(9)：2417-2421.

[3] ZUIDERVELD K. Contrast limited adaptive histogram equalization[M]. Cambridge：MA Academic Press，1994.

[4] 周衛星,廖歡.基于高頻強調濾波和CLAHE的霧天圖像增強算法[J].電視技術，2010，34(7)：38-40.

[5] 馬利剛,馬鐵華.基于FPGA的實時圖像采集系統設計[J].計量與測試技術，2009，36(4)：51-56.

[6] 孫艷.基于FPGA的VGA顯示控制器的實現[J].自動化與儀器儀表，2008(6)：106-107.

[7] 楊光,李晶,吳鐘建，等.基于FPGA的實時視頻增強[J].電視技術，2013，37(19)：19-23.

[8] REZA A M. Realization of the contrast limited adaptive histogram equalization for real-time image enhancement[J].Journal of VLSI Signal Processing，2004(38)：35-44.

責任編輯：許 盈

Design of High Resolution Video Image Real-time Enhancement System

KONG Zhuang1, HE Hengxiang2, DAI Jun2, SUN Bin1, ZHU Jiankun1

(1.University of Electronic Science and Technology of China,Chengdu 611731, China; 2. Southwest Institute of Technical Physics,Chengdu 610041,China)

Under fog and haze weather condition, the images collected by real-time video imaging and tracking system often appear with characteristics of low contrast and centered gray distribution, the target is difficult to be accurately and quickly identified and tracked by military personnel on the ground. In order to solve this problem, the high resolution (1 004×1 004) video image real-time enhancement system, taking the low cost FPGA chip of Spartan 3AN serial of Xilinx company is designed in this paper, the main work includes the system hardware platform is designed and contrast limited adaptive histogram equalization (CLAHE) enhancement algorithm is implemented in FPGA. The practical system tests prove that the design meets real-time requirements, enhancement effect is obvious, and the target can be clearly identified. The system can be used for medical image enhancement, traffic detection, aerospace and other fields, it has high practical value.

image enhancement; real-time processing; CLAHE; FPGA

TP391.41

A

10.16280/j.videoe.2015.20.027

2015-03-30

【本文獻信息】孔壯，何衡湘，代俊，等.高分辨率視頻圖像實時增強系統的設計[J].電視技術,2015，39(20).