基于FPGA與DSP的實時視頻圖像偏色校正系統(tǒng)

周楨

摘 要： 提出一種基于FPGA與DSP的實時視頻圖像偏色校正系統(tǒng)，包括數字視頻解碼芯片、FPGA、DSP以及數字視頻編碼芯片。該系統(tǒng)能以一種格式接收視頻圖像信號并以相同的格式輸出，輸出偏色校正后的視頻信號相比輸入的視頻信號而言，延遲非常小，實時性強，是一種較為實用的視頻圖像偏色校正系統(tǒng)。

關鍵詞： 實時系統(tǒng)； 顏色校正； 顏色恒常性； FPGA

中圖分類號： TN911.73?34； TP391.41 文獻標識碼： A 文章編號： 1004?373X（2015）12?0077?03

0 引 言

通過可見光成像系統(tǒng)采集的視頻圖像往往因為環(huán)境光照的影響存在偏色的問題，這是因為成像系統(tǒng)不能夠對變化的環(huán)境光照條件做出對應的光譜響應，使得圖像的顏色范圍發(fā)生了偏移，也引起了圖像偏色。因此，需要利用視頻圖像偏色校正技術對圖像的顏色范圍進行實時調整，使其與人眼視覺系統(tǒng)對場景真實顏色的感知相吻合，這對于可見光成像系統(tǒng)成像質量的提高有著重要的意義。

現(xiàn)有技術中，關于偏色校正的方法很多，比如白點法[1]、灰色調法[2]、灰度世界假設方法[3]等。其中，灰度世界假設方法認為平均場景反射分量是沒有顏色的，并以此假設為基礎利用輸入圖像的R、G、B三個分量計算出偏色校正系數，進而實現(xiàn)對圖像的偏色校正。文獻[4]提出了灰度邊緣假設方法，認為場景反射分量導數的范數是沒有顏色的，而后利用此假設進行偏色校正系數的估計。此外，文獻[4]結合上述的幾種方法建立了一個統(tǒng)一的顏色恒常性計算框架。文獻[5]對多種偏色校正方法進行了綜述和比較。文獻[6] 提出了一種偏色校正系數的層級計算模型，在該模型中，各層級分別模擬了人眼視覺系統(tǒng)中從視網膜到初生視覺皮層的顏色處理機制。通過對這些偏色校正方法進行仿真和比較，發(fā)現(xiàn)灰度世界假設方法具有計算過程相對簡單以及校正效果與人眼視覺感知非常一致等優(yōu)點。

雖然現(xiàn)有技術中偏色校正的方法較多，但是實時視頻圖像偏色校正系統(tǒng)并沒有成熟型號產品。偏色校正系統(tǒng)多采用將圖像采集到計算機后在計算機上進行偏色校正的方案，該方案需要依賴于計算機，給實際應用帶來諸多不便，具有很大的局限性。針對此問題，本文提出一種基于FPGA與DSP的實時視頻圖像偏色校正系統(tǒng)，該系統(tǒng)對灰度世界假設方法[3]進行了實現(xiàn)，利用上一幀計算得到的偏色校正系數對下一幀進行偏色校正，不僅不需要對一幀圖像進行存儲，而且使得輸出的偏色校正后的視頻信號相比輸入的視頻信號延遲非常小，實時性強，可有效提高可見光成像系統(tǒng)的成像質量。

1 系統(tǒng)組成

如圖1所示，本文提出的基于FPGA與DSP的實時視頻圖像偏色校正系統(tǒng)，硬件上包括數字視頻解碼芯片、FPGA、DSP以及數字視頻編碼芯片。其中，數字視頻解碼芯片采用DS90CR286，F(xiàn)PGA采用EP3SE110F1152，DSP采用TMS320C6455，數字視頻編碼芯片采用DS90CR285。

端口連接方式為：FPGA的端口R[7：0]、G[7：0]、B[7：0]、F1、L1、CLK1與數字視頻解碼芯片的R[7：0]、G[7：0]、B[7：0]、F1、L1、CLK1相連；FPGA的端口R[7：0]、G[7：0]、B[7：0]、F2、L2、CLK2與數字視頻編碼芯片的R[7：0]、G[7：0]、B[7：0]、F2、L2、CLK2相連；FPGA的端口SR[31：0]、SG[31：0]、SB[31：0]、INT與DSP的SR[31：0]、SG[31：0]、SB[31：0]、INT相連；FPGA的端口WR[15：0]、WG[15：0]、WB[15：0]與DSP的WR[15：0]、WG[15：0]、WB[15：0]相連。

由于灰度世界假設方法的計算過程與其他偏色校正方法相比相對簡單，且校正效果與人眼視覺感知非常一致，因此，提出的偏色校正系統(tǒng)通過協(xié)同F(xiàn)PGA與DSP對灰度世界假設方法進行了實現(xiàn)。其中，F(xiàn)PGA用于實現(xiàn)該方法中的像素累加和偏色校正部分，DSP用于實現(xiàn)偏色校正系數的計算。接下來，將詳細闡述各個實現(xiàn)環(huán)節(jié)。

2 實現(xiàn)步驟

偏色校正系統(tǒng)具體的實現(xiàn)步驟為：

步驟1：輸入的CameraLink格式彩色數字視頻信號經數字視頻解碼芯片解碼后分解為彩色RGB信號（R[7：0]、G[7：0]、B[7：0]）、幀同步F1、行同步L1、像素時鐘信號CLK1傳遞給FPGA。

步驟2：在FPGA中，彩色RGB信號（R[7：0]、G[7：0]、B[7：0]）在幀同步F1、行同步L1、像素時鐘信號CLK1的控制下用于像素累加計算出3個累加數SR[31：0]、SG[31：0]、SB[31：0]，而后，SR[31：0]、SG[31：0]、SB[31：0]隨同F(xiàn)PGA產生的中斷信號INT傳遞給DSP，3個累加數的計算公式為：

式中：除以256通過右移8位來實現(xiàn)。

由于處理的對象為視頻圖像，前后兩幀的關聯(lián)性非常大，也即利用上一幀計算得到的偏色校正系數可以用于下一幀進行偏色校正。這樣做不僅不需要對一幀圖像進行存儲，而且使得輸出的視頻信號相比輸入的視頻信號延遲非常小。此外，由于偏色校正計算過程需要兩個像素時鐘周期，于是，通過將幀同步F1、行同步L1、像素時鐘信號CLK1延遲兩個像素時鐘周期賦給F2、L2、CLK2實現(xiàn)校正后的彩色RGB信號與這些同步信號之間的同步。

步驟5：數字視頻編碼芯片將校正后的彩色RGB信號（R[7：0]、G[7：0]、B[7：0]）、幀同步F2、行同步L2、像素時鐘信號CLK2編碼并形成CameraLink格式彩色數字視頻信號輸出。至此，完成偏色校正過程。

3 實驗結果

利用能夠輸出分辨率為1 024×768的CameraLink格式彩色數字視頻的可見光成像設備作為偏色校正系統(tǒng)的輸入，針對不同的場景進行相應的偏色校正實驗。圖2（a）為其中一個場景未經校正的有偏色圖像，圖2（b）為是同一場景經本文提出的校正系統(tǒng)校正后的圖像。顯然，經過校正后的圖像與人眼對場景真實顏色的感知是相吻合的。

4 結 語

本文提出的偏色校正系統(tǒng)利用FPGA與DSP協(xié)作實現(xiàn)了基于灰度世界假設的偏色校正方法，能夠將視頻圖像的顏色范圍校正到與人眼對場景真實顏色的視覺感知相吻合，并且能以一種格式接收視頻圖像信號并以相同的格式輸出，易于將其集成到一個系統(tǒng)中，而不用對系統(tǒng)的接口進行更改。此外，該系統(tǒng)輸出的偏色校正后的視頻信號相比輸入的視頻信號而言，延遲非常小，實時性強。

參考文獻

[1] CARDEI V， FUNT B， BARND K. White point estimation for uncalibrated images [C]// Proceedings of the 7th Color Imaging Conference. Scottsdale， USA： [s.n.]， 1999： 97?100.

[2] FINLAYSON G， TREZZI E. Shades of gray and colour constancy [C]// Proceedings of the 12th Color Imaging Conference. USA： [s.n.]， 2004： 37?41.

[3] BUCHSBAUM G. A spatial processor model for object color perception [J]. Journal of Franklin Institute， 1980， 310（1）： 1?26.

[4] VAN D， GEVERS T， GIJSENIJ A. Edge?based color constancy [J]. IEEE Transactions on Image Processing， 2007， 16（9）： 2207?2214.

[5] GEVERS T， VAN D， Computational color constancy： Survey and experiments [J]. IEEE Transactions on Image Processing， 2011， 20（9）： 2475?2489.

[6] GAO S， YANG K， LI C， et al. A color constancy model with double?opponency mechanisms [C]// Proceedings of IEEE International Conference on Computer Vision. [S.l.]： IEEE， 2013： 1?8.