一種基于FPGA的雙目測距系統

2021-10-13 10:25:32姜曉雪陳小菊徐銳屈子昂

電子制作 2021年19期

關鍵詞：設計

姜曉雪，陳小菊，徐銳，屈子昂

（宜賓學院，四川宜賓，644000）

0 概述

利用雙目視覺技術實現測距，現在傳統技術一般采用DSP、ASIC或者單片機完成[1]。一個完整的視覺模塊僅采用DSP還不夠需要結合其他東西來實現，采用ASIC設計開發視覺系統的主要缺點是靈活性較差，成本高，研制開發周期較長，增減功能和升級都很不方便[2]。單片機實現速度很慢，對一些復雜圖像不能處理。而FPGA的并行處理在圖像中既可以做到實時性又可以做到便攜化，更可能提高機器人的集成度。本實用新型為了避開傳統計算機、單片機的速度不夠和體積龐大的缺點，采用FPGA的并行處理技術獲取算法成功應用。

1 雙目測距理論基礎

雙目測距的基本原理是從兩個視場觀察同一物體，在獲取不同視場下的兩幅圖像后，通過幾何成像原理計算圖像特征點之間的視場，進而獲取景物的三維信息[3,4]。這一過程與人類眼睛的視覺感知過程尤為相似，具體的實施方法我們可以用兩個性能參數相同且相隔某一固定距離的攝像頭來模擬人類眼球獲取事物在統一時間點的兩幅圖像，計算兩幅圖像中相同的兩個特征點的視覺差異，進而獲得相同的兩個特征點的深度信息，這里以平行雙目立體視覺成像為例加以說明，如圖1所示。

圖1 雙目測距幾何原理圖

假定左攝像機和右攝像機的焦距及各參數都相等，光軸平行至兩平面的X軸重合。我們所得到的兩個平面會完全重合，是因為光軸與成像的平面相互垂直，Y軸也互相平行。我們所用到的空間任意一點P在左、右攝像機的成像面上的投影點是P1和P2，即可得視差。為了更直觀的表示此原理，現將右攝像機成像面的坐標系平移至左攝像機成像面的坐標系。由于在理想狀態下我們可假設兩攝像機的位置完全一樣，則可由相似三角形的原理求出P點的深度信息Z為：

其中b代表左右兩個攝像機的基線距離，f代表相機的焦距，P1為P點在相機左成像面的坐標，P2為P點在右成像面的特征點在左成像面的等效坐標。因此，只要能夠找到空間中某點在左右兩個相機像面上的對應點，并且知道攝像機的主距、基距等參數，就可以求解這個點的深度信息[5]。

2 硬件介紹

本設計硬件模塊主要包括主控模塊、 COMS攝像頭采集數據模塊以及VGA顯示模塊等；攝像頭采用的是MT9V011, MT9V011 為 30 萬像素，最高 30 幀，感光陣列面積為 1/3"，內部結構如圖2所示。

圖2 MT9V011內部結構圖

APS(Active Pixel Sensor)是最新的 CMOS 圖像傳感器的像素結構設計。APS 的工作過程：

(1)復位晶體管 Mrst 開通；

(2)PD 復位到 Vrst-Vth(Mrs的閾值電壓)；

(3)關閉 Mrst，PD 進入電氣浮動狀態；

(4)光線入射，PD 結電容聚集光生載流子；

(5)在一個積累時間后，選通晶體管 Msf；

(6)打開晶體管 Msel，像素中的輸出信號在垂直輸出線上被讀出；

(7)關閉 Msel，Mrst 再次接通，重復上述過程。

VGA(Video Graphics Array)是IBM公司在1987年推出的一種具有高分辨率、高速顯示速率、顏色豐富的視頻傳輸，在彩色顯示領域應用廣泛。不支持熱插拔，不支持音頻傳輸。本設計采用的是ADV7123 芯片，ADV7123 是一款單芯片、三通道、高速數模轉換器。ADV7123 內置三個高速、10 位、帶互補輸出的視頻數模轉換器、一個標準 TTL 輸入接口以及一個高阻抗、模擬輸出電流源。具體內部框圖如圖3所示。

圖3 ADV7123內部結構

本設計使用的是 640×480@60Hz 的 VGA 時序接口，計算像素時鐘 pclk = 800×525×60 =25200000，這里的 HSYNC(行同步信號)和 VSYNC(場同步信號)都是低電平有效，且 HSYNC在數據行無效區域也要提供。

3 實現步驟

本設計的主要流程分為圖像獲取、圖片預處理、相機標定、目標檢測、立體匹配。其中最關鍵的是目標檢測和立體匹配。最后基于FPGA在Quartus Ⅱ上寫了一個測距離的程序。該程序在背景比較單一的環境中能準確標定對象并測出相機到目標的距離。

3.1 圖像獲取

步驟一：CMOS 驅動：負責 CMOS 圖像采集與裁剪；步驟二：RAW2RGB：負責將原始的 RAW 數據轉換成 RGB656 數據；步驟三：FIFO 寫負責將 RAW2RGB 轉換的的 RGB 數據發送給 SDRAM 控制器；步驟四：FIFO 讀負責將 SDRAM 中的視頻幀數據讀出給 VGA 驅動模塊；VGA 模塊負責將視頻信號發送給 ADV7123，最終 VGA 顯示器顯示。

3.2 圖像預處理

圖像分析中，圖像質量的好壞直接影響識別算法的設計與效果的精度，因此在圖像分析（特征提取、分割、匹配和識別等）前，需要進行預處理。圖像預處理的主要目的是消除圖像中無關的信息，恢復有用的真實信息，增強有關信息的可檢測性、最大限度地簡化數據，從而改進特征提取、圖像分割、匹配和識別的可靠性。本設計采用的是Tophat形態學濾波算法。Tophat變換是原圖像與開運算結果之差，突顯出圖像輪廓周圍更亮的區域。具體的計算公式如下:

Tophat濾波只需要在開運算的基礎上，將原始像素信號同步到開運算,最終結果輸出，只要在開運算模塊中的膨脹模塊中添加一個shift_ ram，實現時鐘延時的同步，實現程序如下：

wire [7:0] taps_1x_old;

shift_ram shift_ram_inst1

{

.clock(coms_pclk),

.clken(coms_href),

.shiftin(cmos_data_old_in),

.shiftout(),

.taps0x(),

.taps1x(taps_1x_old),

.taps2x()

};

reg [7:0] taps_1x_old_r;

always @(posedge cmos_pclk)

taps_1x_old_r<=taps_1x_old;

3.3 相機標定

標定的目的是獲得相機的內參(焦距，圖像中心，畸變系數等)和外參（旋轉矩陣和平移矩陣）。本設計采用的方法為張正友的棋盤格標定方法。步驟為：左攝像頭標定，獲取內外參數；右參數攝像頭標定獲取外參；雙目標定，獲取相機之間的平移旋轉關系。

3.4 目標檢測

本設計介紹了一種基于FPGA的顏色識別經驗算法，在RGB顏色通道提取的基礎上對其他顏色通道進行腐蝕處理，再提取R-G、R-B兩個特征值，再進行線性疊加，得到RR為所檢測的目標。這樣做減法既減少了計算量，又能夠消除干擾背景，使識別更加精確、可靠。

圖4 MATLAB標定工具箱使用

本設計顏色識別模塊中寫有紅、藍、綠三個顏色濾波器，當識別顏色時，濾波器分時工作，即選定一種顏色的濾波器之后，其他顏色的分量都不能夠通過濾波器，而只有這種顏色能夠通過濾波器，該分量通過濾波器之后，則得出要識別顏色中該分量的值。簡單來說就是當紅色濾波器處于工作狀態時，只有藍色光能通過濾波器，而藍色、綠色不通過，這樣就能夠得出紅色分量的值。當入射光通過三個顏色濾波器之后得出三個顏色分量值，這樣，疊加在一起則得出被測物體顏色，識別紅色物體。實現程序如下:

always@(posedge clk or negedge rst_n)

begin

if(!rst_n)

r_data<=8'd0;

else if(href_i) begin

if(r_data>=g_data)

r_data_r1<=r_data-g_data;

else

R_data_r1<=8'd0;

end

else

r_data_r1<=8'd0;

end

3.5 立體匹配

立體匹配是雙目深度估計的核心部分，發展了很多年，也有非常多的算法，主要目的是計算參考圖與目標圖之間像素的相對匹配關系，主要分為局部和非局部的算法。本設計采用的匹配算法為SAD(Sum of absolute differences)，基本思想：差的絕對值之和。此算法常用于圖像塊匹配，將每個像素對應數值之差的絕對值求和，據此評估兩個圖像塊的相似度。具體步驟如下：

(1)輸入：兩幅圖像，一幅Left-Image，一幅Right-Image，對左圖，依次掃描，選定一個錨點。

(2)構造一個小窗口,類似于卷積核。

(3)用窗口覆蓋左邊的圖像,選擇出窗口覆蓋區域內的所有像素點。

(4)同樣用窗口覆蓋右邊的圖像并選擇出覆蓋區域的像素點。

(5)左邊覆蓋區域減去右邊覆蓋區域，并求出所有像素點灰度差的絕對值之和。

(6)移動右邊圖像的窗口，重復（3）-（4）的處理（這里有個搜索范圍,超過這個范圍跳出）。

(7)找到這個范圍內SAD值最小的窗口,即找到了左圖錨點的最佳匹配的像素塊。

4 實驗驗證

如圖5所示，一種基于FPGA的雙目測距系統，包括主控模塊、 COMS攝像頭采集數據模塊、VGA顯示模塊；主控模塊分別連接紅COMS攝像頭采集數據模塊、VGA顯示模塊。

本設計在實施時，通過攝像頭模塊采集信息，控制模塊對采集的數據進行處理，如圖5所示，圖像采集使用MTV9V011攝像頭完成對目標信息的采集，首先將目標的彩色RGB圖像存入SDRAM中，然后用控制端去讀取數據信息，再將獲取的RGB圖像依次進行灰度處理、閾值分割得到二值圖像，對二值數字圖像進行邊界追蹤的基礎上進行顏色識別，將所標定區域顯示在VGA上，再對所標定的對象進行測距，最終距離通過串口傳到上位機上實時顯示出測得的距離。