基于FPGA 的傳像光纖束圖像預處理器

摘 要:針對傳像光纖束成像的算法結構，提出一種基于FPGA 的傳像光纖束圖像預處理器設計方案。該圖像預處理器相對于傳統的圖像預處理器具有充分利用FPGA有限的片上資源，合理安排數據操作之間的并行性和流水性等優點。具體實驗結果表明，該預處理器能滿足傳像光纖束成像系統的實時性要求，達到預期效果。

關鍵詞:FPGA;傳像光纖束成像;圖像預處理;片上資源

中圖分類號:TP391文獻標識碼:A

文章編號:1004-373X(2010)04-042-03

Preprocessor for Image of Image-carrying Fiber Bundles Based on FPGA

WANG Jingming

(Network Education College，Shanghai Jiaotong University，Shanghai，200030，China，)

Abstract:A preprocessor for the image of image-carrying fiber bundles based on FPGA is presented for the algorithm structure of the imaging with image-carrying fiber bundles.Comparing with the traditional image- preprocessor，this preprocessor has several advantages like making best of the limited on-chip resources，reasonable arrangements of the parallelism and pipeline among the data operation.Experimental results show that the design can meet the real-time requirement of the imaging system and achieve the expecting purpose.

Keywords:FPGA;image-carrying fiber bundles;image preprocessing;on chip resource

0 引言

在傳像光纖束成像系統中，基于FPGA的圖像預處理都會涉及到矩陣化運算，這就勢必需要用存儲器(內部或者外部的)暫存幾行或者整個一幀圖像數據，然后按照矩陣相乘的方法來處理。如果需要處理一個n×n圖像陣列，則需要大于等于n個RAM或FIFO作為圖像數據緩沖，特別是對于高分辨率的掃描圖像進行處理而言，不僅浪費了很多FPGA寶貴的片上RAM資源，而且會使邊界效應的處理復雜化。不僅如此，由于在處理前需要存儲多行圖像數據，導致整個系統的實時性不高。

在此提出一種基于FPGA 的傳像光纖束圖像預處理器設計與實現方案，合理利用FPGA有限的片上資源，使邊界效應的處理簡便化，并充分利用數據操作之間的并行性和流水性，生成圖像數據流，以滿足傳像光纖束成像算法對圖像傳輸系統的功能要求和實時性要求。

1 傳像光纖束成像系統

傳像光纖束的成像算法主要涉及預處理算法和一些核心的成像算法，因此根據成像算法的特殊性構建了基于FPGA和DSP傳像光纖束的成像系統。其中，用FPGA來完成傳像光纖束圖像的預處理;用DSP實現光纖束成像的核心算法;用USB芯片完成將處理完的數據傳送至上位機的任務。系統中FPGA采用Xilinx的150萬門級芯片XC3S1500;Spartan-3 FPGA采用90 nm制造技術來獲得較低的硅裸片成本。該系列器件也是惟一擁有高效率可實現DSP功能所需要的所有系統特點(這些特點一度屬于高端FPGA所專有)的低成本FPGA;DSP 采用的是TI 公司的TMS32DM642;USB選用Cypress公司的CY7C68013。該成像系統硬件結構圖如圖1所示。

圖1 成像系統硬件結構

先由FPGA對攝像頭采集到的圖像數據進行預處理，以減輕DSP的運算負擔，使得DSP能夠工作在核心算法上，之后再由FPGA將處理后的圖像送至DSP。DSP通過EDMA將圖像數據搬運至片外SDRAM，然后對圖像進行傳像光纖束成像算法。經算法處理好的圖像數據由DM642發送至FPGA，由FPGA通過在其內部設置FIFO完成圖像數據緩沖功能，并控制USB傳輸圖像數據。最后由68013完成USB數據的封裝，并將封裝后的數據傳送到上位機。

2 預處理器的設計和實現

系統中的500萬像素CMOS鏡頭輸出圖像格式為2 592×1 944×12 b的Bayer圖像數據格式，為了后續DSP能夠更好地處理數據，并減輕DSP的運算負擔，需先將輸出的圖像數據提取成8 b，再通過使用RGB插值算法，將Bayer圖像數據格式轉換成RGB信號和亮度信號[1]。圖1為是CMOS圖像傳感器輸出的Bayer圖像格式[2]:

圖2 CMOS圖像感器輸出的Byer圖像格式

顏色插值方法有很多種，常用的算法有鄰域插值法、線性插值法、Mondriaan 的彩色圖像信息模型法[3]、神經網絡插值法、顏色差空間的線性插值法[4]等。鄰域插值法和線性插值法能在圖像相對平滑區域得到較好的結果。但是，在圖像高頻區域，如圖像中邊緣處色差大的區域，則不能很好地控制走樣現象。神經網絡插值算法的特點是圖像質量好，但運算時間長。

為了使神經網絡插值算法更加適合使用FPGA來實行，該系統中采用雙線性插值法。這種插值方法具有算法計算量少，算法結構簡單等優點，適合該系統的算法結構要求。算法的核心思想是:利用需要處理的原始圖像中當前像素點周圍3×3像素矩陣之內的9個像素點的相關性，將每個像素的RGB分量都由以這個像素為中心的3×3像素矩陣進行線性插值而成。按照這個思想可以將所有圖像中的3×3矩陣分成三類[5，6]。它的分類情況如表1所示。

表1 Bayer圖像格式分類

奇行偶列奇行奇列偶行偶列偶行奇列

BGBGBGGRGRGR

GRGRGRBGBGBG

BGBGBGGRGRGR

按照表1的分類，便可以得到各個矩陣的具體計算方式。例如，對于奇行偶列的像素點而言，它的紅色分量為其本像素點的像素值，它的綠色分量為其上下左右的4個綠色像素和的1/4，它的藍色分量為其左上、左下、右上和右下的4個藍色像素和的1/4。其他圖像矩陣的計算方式如下所示:

奇數行偶數列像素:

R(2，2)=R(2，2)

G(2，2)=(1/4)(G(1，2)+G(2，1)+G(2，3)+G(3，2))

B(2，2)=(1/4)(B(1，1)+B(1，3)+B(3，1)+B(3，3))

奇數行奇數列像素:

R(2，2)=(1/2)(R(2，1)+R(2，3))

G(2，2)=G(2，2)

B(2，2)=(1/2)(B(1，2)+B(3，2))

偶數行偶數列像素:

R(2，2)=(1/2)(R(1，2)+R(3，2))

G(2，2)=G(2，2)

B(2，2)=(1/2)(B(2，1)+B(2，3))

偶數行奇數列像素:

R(2，2)=(1/4)(R(1，1)+R(1，3)+R(3，1)+R(3，3))

G(2，2)=(1/4)(G(1，2)+G(2，1)+G(2，3)+G(3，2))

B(2，2)=B(2，2)

FPGA具有豐富的邏輯資源和觸發器資源，其內嵌大量乘法器和豐富的RAM資源，特別適合大量數據的并行運算，軟件設計時應該充分發揮FPGA的特長，以提高處理速度[7，8]。由于鄰域線性插值法不可避免地需要將圖像數據變換成3×3的圖像矩陣。為了解決這一問題，該系統中采用了一種合理結合FPGA硬件結構的FIFO_FD算法模型。具體算法模型如圖3所示。

圖3 FIFO_FD的算法模型

運行流程: 8位圖像信號送到第一個移位寄存器，經過移位操作從移位寄存器(FD)存入左邊第一個4 192-Byte-FIFO(先入先出寄存器)，存入一行圖像數據后，當第二行圖像數據送達并經過移位操作從FD存入左邊第一個FIFO時，存儲在第一個FIFO的數據開始讀出到第四個FD，再經過移位操作存入第二個FIFO，等兩行圖像數據都存儲之后，當第三行圖像數據送達至第三個FD時，后兩個FIFO分別讀出前兩行中前三個圖像數據，此時就可以從FD和FIFO的輸出端口讀取到一個3×3的圖像數據矩陣:

DIDHDG

DFDEDD

DCDBDA

然后可以根據插值計算公式計算R，G，B信號。

模板計算，不可避免地存在邊界效應。運用本方法也可以簡便地對其進行處理，對邊界處理如下:對圖像四周全部補零，即先將圖像擴展成2 594×1 946大小，然后計算得到2 592×1 944大小的圖像，這樣得到的圖像仍具完整尺寸。只需在運算時，針對不同四周特殊的像素采用裁減公式(系統中不產生零像素，只是對計算公式中相應邊界元素補零)獲得。過程如下:

第一行圖像讀入第一個FIFO后，第二行圖像開始讀入左邊第一個FD時，開始計算第一行真彩數據，這時候第二個FIFO 沒有數據，相當于在第一行的數據前面補零。第1 944行圖像讀入第一個FIFO后，第1 943行圖像讀入第二個FIFO時，開始計算最后一行(第1 944行)，這時候第一個FD已經沒有數據讀入，相當于在第1 944行的數據后面補零。

對列的操作也是如此，每一行的第一個元素讀出到B，E，H位置時開始計算，這樣每一列的第一個元素前相當于是零元素。每一行的最后一個元素讀出到B，E，H位置時開始計算，這樣每一列的最后一個元素后相當于是零元素。

3結 語

針對Bayer濾色器彩色特性，結合FPGA的硬件結構，充分考慮了圖像數據處理時所消耗的硬件資源和處理速度之間的矛盾，提出一種高流水深并行的FIFO加FD的圖像處理架構。

這里提出的硬件架構對于處理一般的3×3的圖像矩陣可以節省1/3的RAM或FIFO的資源開銷，簡便了邊界效應的處理，實時性也達到了最高[9]。此方法更可以適用于FPGA對于一般圖像信號的算法處理，例如Sobel算子、中值濾波、Bayer圖像的彩色恢復等[10]。

參考文獻

[1]Micron.1/2.5-inch 5 MP CMOS Digital Image Sensor[EB/OL].http://www.micron.com/imaging.

[2]Pei S C，Tam I K.Effective Color Interpolation in CCD Color Filter Arrays using Signal Correlation [J].IEEE Trans.on Circuits and Systems for Video Technology，2003，13(6):503-513.

[3]王開軍，姜宇柏.面向CPLD/FPGA的VHDL[M].北京:機械工業出版社，2006.

[4]劉皖，何道君，譚明.FPGA設計與應用[M].北京:清華大學出版社，2006.

[5]劉方.基于Bayer彩色濾波陣列插值算法的研究[D].成都:電子科技大學，2006.

[6]彭俊，高偉.基于FPGA的Bayer圖像彩色恢復快速算法研究及實現[J].科學技術與工程，2007，13(7):1 671-1 819.

[7]石英，李新新，姜宇柏.ISE 應用與開發技巧[M].北京:機械工業出版社，2007.

[8]華清遠見.FPGA應用開發入門與典型實例[M].北京:人民郵電出版社，2008.

[9]劉曉松，楊新，文逡，等.一種用于數字圖像傳感器的彩色插值算法[J].中國圖像圖形學報，2003，8(5):516-521.

[10]Meyeer Baese.數字信號處理的FPGA實現[M].北京:清華大學出版社，2006.

[11]許建，王福明.指紋圖像預處理算法研究[J].現代電子技術，2009，32(1):84-86.