基于FPGA的結(jié)構(gòu)光圖像中心線提取

摘要：在線結(jié)構(gòu)光視覺三維測量系統(tǒng)中，為了實現(xiàn)對結(jié)構(gòu)光圖像線條紋中心的實時高精度提取，本文采用了極值法、閾值法和灰度重心法相結(jié)合的中心線提取方法。利用現(xiàn)場可編程門陣列器件（FPGA）的流水線技術(shù)以及并行技術(shù)的硬件設(shè)計來完成運算，保證了光條紋中心點的實時準(zhǔn)確提取。實驗表明采用FPCJA實現(xiàn)圖像處理的專用算法能滿足圖像數(shù)據(jù)進行實時準(zhǔn)確提取的要求。本文網(wǎng)絡(luò)版地址：http：//www.eepw.com.cn/article/274762.htm

關(guān)鍵詞：結(jié)構(gòu)光圖像；中心線提取；FPGADOI：10.3969/j.issn.1005-5517.2015.5.021

引言

隨著測控技術(shù)及數(shù)字圖像處理技術(shù)的高速發(fā)展，基于三角法線結(jié)構(gòu)光的三維測量具有高精度、非接觸、實時性和強主動受控性的特性，因此在現(xiàn)實中有廣泛的應(yīng)用，尤其是在計算機視覺、醫(yī)療診斷和工業(yè)檢測等領(lǐng)域應(yīng)用價值日漸增強。在結(jié)構(gòu)光檢測系統(tǒng)中，利用CCD相機以及工業(yè)相機攝取用線結(jié)構(gòu)平面激光照射照在物體表面形成的光條紋中心信息，然后根據(jù)光條紋中心偏移量進行三維定標(biāo)，這樣可以得到物體表面的各類信息，比如表面的缺陷以及形變等。有鑒于此，線結(jié)構(gòu)光條中心信息的圖像處理在測量過程中就顯得十分關(guān)鍵。雖然目前結(jié)構(gòu)光中心線的提取方法有許多種，比如：閾值法、極值法、灰度重心法、方向模板法、Hessian矩陣法等，這些方法都有各自的優(yōu)缺點以及一定的應(yīng)用范圍。基于數(shù)字圖像處理的特點是處理的數(shù)據(jù)量非常大，處理非常耗時。所以本文研究了在FPGA上用硬件描述語言實現(xiàn)圖像的中心線提取算法，采用了極值法、閾值法和重心法相結(jié)合的中心線提取方法。通過功能模塊的硬件化，以便高速提取結(jié)構(gòu)光中心線。結(jié)果表明，實驗系統(tǒng)達(dá)到了基于視頻速度的應(yīng)用要求。

1 系統(tǒng)硬件設(shè)計

圖1為光條中心線提取系統(tǒng)的硬件設(shè)計框圖。整個中心線提取系統(tǒng)主要有四個組成部分：

（1）視頻數(shù)據(jù)編碼模塊：編碼器采用ANALOG DEVICES公司的ADV7179芯片，該編碼器能實現(xiàn)ITU-R BT601/BT656 YCrCb（其比例為4：2：2）格式的數(shù)字信號轉(zhuǎn)為NTSC/PAL摸擬視頻輸出信號：

（2）DDR2 SDRAM存儲器控制模塊：選用兩片MICRON公司的MT47H64M16 DDR2存儲器來實現(xiàn)圖像幀數(shù)的交叉緩存，為后面的中心線提取提供像素值以及坐標(biāo)值：

（3）中心線提取模塊：FPGA采用的是Altera公司Cyclone III系列的EP3C40F484C6芯片，該芯片價格低廉、實用性強，能充分發(fā)揮芯片的并行計算能力，實現(xiàn)中心線的快速提取：

（4）視頻數(shù)據(jù)編解碼模塊：解碼器采用TEXAS INSTRUMENT公司的TVP5150芯片，該芯片低功耗，能解決視頻輸入輸出同步問題，而且輸出型號的特性可以通過I2C串行接口進行編程配置。

整個系統(tǒng)從CCD攝像機接收的模擬視頻信號通過視頻解碼芯片解碼后，轉(zhuǎn)換成BT656（4：2∶2）YCbCrSDTV（標(biāo)清）格式的數(shù)字視頻信號，通過一個FIFO來進行行/場消隱、解出同步信息等操作，之后提取圖像信息的Y（亮度值）分量，然后在數(shù)據(jù)上傳輸。對于圖像的傳送采用兩片DDR2來進行奇偶兩場傳送；同時對視頻解碼器輸出的同步信號進行檢測。當(dāng)有效數(shù)據(jù)到來時，F(xiàn)PGA選擇一片DDR2，使用隔行存儲方式，完成一幀圖像的存儲，當(dāng)?shù)诙瑘D像有效數(shù)據(jù)到來時，F(xiàn)PGA選擇另一片DDR2，以相同的方式完成第二幀圖像的存儲，依次交叉存儲，然后經(jīng)內(nèi)部的處理模塊處理后得到圖像光帶中心線坐標(biāo)。將提取的一行中心線坐標(biāo)存儲在RAM里面，再經(jīng)過視頻編碼器將數(shù)字視頻信號轉(zhuǎn)換成模擬視頻信號輸出到顯示終端顯示。

2 算法JFPGA實現(xiàn)

2.1 算法流程

我們首先以列掃描的方式讀出一幀數(shù)據(jù)，并將讀出的亮度值與所設(shè)定的閾值進行比較。濾除不需要的點，然后通過像素值比較得到像素值最大點，之后用最大點周邊的3*3鄰接點來進行灰度重心法計算出光條中心點。具體做法如下：

（1）由于光帶圖像中的亮點太多，所以對讀出的像素值與設(shè)定的閾值進行比較，濾除雜點；

（2）對大于閾值的點進行比較，找到亮度值最大的點I（x1，y1）及其周邊3*3鄰域點：

（3）然后，對分別運用（1）式求得其亞像素坐標(biāo)：

2.2 存儲單元

對于算法的實現(xiàn)，還要考慮圖像數(shù)據(jù)的存儲結(jié)構(gòu)。這其中包括：點存儲器，用來存儲需要運算的單個像素點：行存儲器，用來緩存需要運算的圖像的一行像素點；幀存儲器，用來存儲整幀圖像。一般幀存儲器都需要很大的容量，而FPGA內(nèi)部實現(xiàn)起來比較困難，所以FPGA板都會增加外部存儲器，由外部的DDR2 SDRAM芯片實現(xiàn)：為了使進行運算的領(lǐng)域9個3*3的像素點能在同一時鐘輸出，便于進行之后的流水線算法模塊，因此在3*3的滑動窗的硬件設(shè)計中，本文采用了2個RAM存儲器來進行行存儲。具體操作是：先用兩個RAM存儲器存儲兩行數(shù)據(jù)，等到第三行到來時，再將前兩行的數(shù)據(jù)讀出來，之后用9個寄存器存儲這9個數(shù)據(jù)，以保證數(shù)據(jù)的同時獲取。存儲結(jié)構(gòu)見圖2所示。

這樣，當(dāng)圖像像素點串行輸入時，經(jīng)過這種結(jié)構(gòu)的存儲器系統(tǒng)，即可得到相應(yīng)點進行灰度重心法計算所需的所有鄰域點的并行輸出。

2.3 運算單元

運算單元由乘法器和流水線加法樹兩部分構(gòu)成，乘法器的作用是執(zhí)行運算中的坐標(biāo)值與像素相乘，流水線加法樹的作用是提高運算速度以及減少運算單元占用的硬件資源，該加法數(shù)設(shè)計為4段流水線結(jié)構(gòu)，第一段為6個2輸入的8位乘法器和2個2輸入的8位加法器以及2個延遲單元；第二段為2個2輸入的15位加法器和2個2輸入的9位加法器以及2個延遲單元；第三段為2個2輸入的16位加法器和2個延遲單元：第四段為2個除法器，作用是將運算的像素與像素坐標(biāo)值的乘積累加后除以運算的像素的累加值，輸出的結(jié)果即為中心點的坐標(biāo)值。運算如圖3和圖4所示。

3 FPGA實現(xiàn)的結(jié)果

本文FPGA采用的是Altera公司Cyclone III系列的EP3C40F484C6芯片，并在Altera公司的QUARTUSⅡ軟件平臺上，利用硬件描述語言VerilogHDL表達(dá)實現(xiàn)。對于一幅大小為576行、720列的結(jié)構(gòu)光條紋圖像，以每秒25幀的速率到達(dá)時，利用配置為2.53GHz Intel CPU、3GB內(nèi)存的通用微型計算機通過軟件編程的方式實現(xiàn)對一幀大小為576行、720列的圖像進行提取激光中心線操作，耗時71.5毫秒。而利用以上專用硬件實現(xiàn)的算法經(jīng)過仿真的系統(tǒng)最高頻率達(dá)到100MHz，高出了系統(tǒng)像素點時鐘頻率（50MHz），處理同樣的一幀圖像需耗時4.1毫秒，速度提高將近20倍，且FPGA邏輯資源占用16%。足以在視頻圖像輸入的同時完成計算，達(dá)到了設(shè)計目的。并將系統(tǒng)的采集圖片與處理后的圖片進行比較，處理結(jié)果圖6圖17所示。圖6a、7a為采集圖像，圖6b、7b為MATLAB處理結(jié)果，圖6c.7e為EP3C40F484C6處理結(jié)果。

實驗結(jié)果顯示可以看出：在精度上FPGA相比PC端稍好，體現(xiàn)在線條的細(xì)節(jié)表現(xiàn)及線條提取的平滑度上。而且在運行速度上.FPGA提取速度明顯優(yōu)于PC機提取的速度。但是不足的是由于模板所取的寬度較小，所以對于一些光帶寬度較大，光強橫向分布不均勻的圖像，正如圖7所示，則該方法提取的圖形精度不高，圖像較為不平滑。這些也將是下一步需要研究的內(nèi)容。

4 結(jié)束語

精度和速度是大數(shù)據(jù)量背景下中心線提取方法的核心指標(biāo)，本文利用FPGA硬件電路的并行體系結(jié)構(gòu)，將以FPGA為核心的實時處理系統(tǒng)應(yīng)用結(jié)構(gòu)光三維測量系統(tǒng)當(dāng)中，以硬件形式實現(xiàn)圖像光帶中心線提取的算法，經(jīng)過實驗表明，對于這些寬度不大且分布均勻的結(jié)構(gòu)光，該方法對中心線提取精確、快速。滿足結(jié)構(gòu)光三維測量的要求。