基于雙DSP立體測距系統的設計與實現

劉麗偉，馬松全，馬麗蓉

(1.長春工業大學計算機科學與工程學院，長春130012;2.空軍航空大學，長春130022)

獲取空間三維場景［1］的距離信息是計算機視覺研究中最基礎的內容，而立體視覺是計算機視覺中測距方法中最重要的距離感知技術，它直接模擬人類視覺處理景物的方式，可在多種條件下靈活的獲取景物的立體信息。雙目立體視覺直接模擬人類雙眼處理景物的方式，可靠簡便，在許多領域均極具應用價值，如微操作系統的檢測與控制、機器人的導航與航測、車載攝像頭、三維測量學和虛擬現實等。

雙目立體視覺是計算機視覺的一個重要分支其思想起源于對人的雙眼視覺的研究，是指由不同位置的兩臺攝像機拍攝同一幅場景，通過計算空間點在兩幅圖像中的視差，獲得該點的三維坐標值。若空間一物點在不同方位所投影得兩個該物點的投影圖像坐標，根據這兩個圖像坐標，即可求得該物點的三維坐標。要實現這種坐標變換過程，必須知道坐標之間的變換關系，這主要由攝像機內外參數描述，確定攝像機內外參數的過程叫做攝像機標定。

此外，還需要得到同一物點在兩幅圖像中的圖像坐標，要根據一物點在一幅圖像中的坐標得到該物點在另外一副圖像中的圖像坐標，這個過程叫圖像匹配。一套完整的雙目立體系統可分為以下主要部分:圖像獲取［2］、攝像機標定、特征提取、立體匹配和深度計算。其中攝像機標定、圖像角點的提取與匹配是雙目立體視覺實現過程中重要步驟。

筆者通過采用雙TMS320DM642數字信號處理器，在硬件平臺上實現了實時數字圖像處理系統的結構和相關算法。

1 雙DSP實時數字圖像處理系統硬件的構成

該系統采用了美國TI公司的高速數字信號處理器，以兩片TMS320DM642為核心，以可編程邏輯陣列CPLD和現場可編程門陣列FPGA以及高速視頻A/D和D/A等器件構成了實時高速數字圖像處理系統。系統的工作原理是:由CCD輸出模擬視頻信號，經過時序產生及圖像預處理后，通過高速視頻A/D將模擬信號轉換為數字信號。分離出來的同步信號由CPLD地址發生器產生數字圖像的存儲地址，在可選擇的任意大小的范圍內，圖像數據依照地址發生器產生的地址依次存入圖像存儲器(雙口RAM)。數字信號處理器DSP1將圖像存儲器(雙口RAM)中的圖像以EDMA方式存在同步動態存儲器 SDRAM中。SDRAM為4M Byts×64 Byts，時鐘主頻為 166 MByt MHz，這樣保證了工作時所需要的存儲容量和實時性要求。由DSP1和SDRAM組成的數字處理單元1將數據通過MCBSP傳遞給數字信號處理器DSP2及其所帶的SDRAM;數據處理單元2在對所傳來的目標圖像數據進行處理后，通過高速D/A轉化成為模擬視頻信號，以用于輸出。

圖1 雙DSP系統硬件原理框圖Fig.1 Dual DSP system hardware block diagram

1.1 雙DSP之間的通信

雙DSP之間的通信是保證數字圖像處理系統性能的關鍵。只有保證了雙DSP通信的正常，才能保證系統的工作狀態和系統的實時性。在系統設計時，采用MCBSP同步串口方式進行雙DSP之間通信。

1.2 A/D和D/A的轉換

模擬全視頻信號，經高速A/D視頻芯片進行數字化轉換后，存入圖像存儲器中，供DSP處理。高速視頻D/A芯片將DSP處理完畢的數字視頻圖像信號轉化為模擬的全視頻信號輸出。A/D的最高采樣頻率為40 MHz，數字輸出格式為YUV，確保了所產生的模擬視頻信號輸出的可用性。

1.3 通訊接口

DSP1是由16C550擴展出的對外通訊串口，采用RS422串口和RS232串口兩種模式，上位控制機通過串口將控制命令傳輸給DSP，保證了系統按照要求進行工作，同時系統又把圖像處理的結果，如目標位置等，通過串口傳輸給上位控制機。

2 雙目立體視覺三維測量原理

雙目視覺模型［3－6］，是指把2個參數相同攝像頭且光心平行放于一條直線上，構成平行雙目立體視覺系統。再通過各個部分的幾何關系分析，從而獲取目標物的距離信息。幾何關系的獲得關鍵在于找出左右圖像中對于同一個物體對應的兩個像素點，然后根據投影中心、焦距、攝像機的幾何位置等，由三角幾何測距原理恢復物體的三維信息。

圖2 雙目視覺成像原理Fig.2 Binocular vision imaging principle

根據照相機成像的線性理論［1］可推導出像素坐標和世界坐標之間的關系

其中G1、G2分別為點P在左右兩個攝像機坐標系中光軸上的坐標;(u1v11)、(u2v21)分別為圖2中P點在左右圖像坐標系下的齊次坐標，N1和N2分別為兩個攝像頭的內參矩陣;和分別為兩個攝像頭之間的旋轉平移矩陣;(XwYwZw1)是圖2中空間點P在世界坐標系下的齊次坐標。

兩幅圖像的投影變換矩陣［4］如下:

將式(3)、式(4)與式(1)、式(2)式聯立可得:

由解析幾何知，三維空間的平面方程為線性方程，兩個平面方程聯立得到空間的直線方程，式(5)和式(6)的幾何意義是圖2中過點P到兩攝像機焦點的直線方程。所以聯立式(5)、(6)可求出空間點P點的三維坐標。由此，通過兩幅圖片便可得到現場的三維信息，其中就是所要求的距離。

3 圖像的角點提取與匹配

根據雙目視覺的原理，系統需要獲取同一物體的2幅圖像。并對2幅圖像進行預處理以提供高質量的圖像，然后進行角點提取。角點通常是圖像中周圍亮度變化劇烈的點或者圖像邊界曲線上具有足夠大曲率的點。角點也是圖像三維信息的控制點，它們描述了物體的輪廓和紋理，計算他們的三維信息也就計算出了物體的三維信息。而且角點的數據量一般是非常少的，可有效的減少信息的數據量，提高運算的速度，然后進行角點匹配。最后綜合攝像機的參數，得出物體的三維深度信息。整個系統的框架如圖3所示。

在整個系統中，角點提取算法與角點匹配算法，是影響整個系統的測量精度和實時性最重要，也是最核心的算法。

圖3 雙目視覺系統Fig.3 Binocu lar vision system

如果用傳統的匹配［2］，模板會從圖像的原點開始，從上到下從左到右遍歷搜索，直到匹配成功。這樣算法的復雜度就非常大，不利于快速處理。但是根據平行光軸的雙目視覺系統的特點，匹配的點在左右2副圖像中，縱向坐標是一致的(即雙目視覺中的Y坐標是相等的)。所以把模板從平面的二維移動，限制在直線的一維運動。模板只需要按自己的縱坐標位置，做水平移動模板，就一定能在這條直線上找到匹配點。

在平行雙目視覺中，兩副圖像是通過固定的位置，是平行的攝像頭采集獲得的，所以同一物點在左右圖像橫坐標都相差一個常數。當然角點也在左右圖像中的橫坐標都相差一個相同的數值，這個條件也可以簡化搜索的策略達到快速定位。設左圖像中的一個角點坐標為I(x，y)，那么該點的橫坐標水平方向平移一定的位移m，就可在右圖像中的T(x+m，y)附近(左右5個像素點)找到其匹配點。位于右圖像中T(x，y)的特征點，可在左圖像中的I(x－m，y)附近找到與之匹配的特征點。根據這個約束條件，就不必每次模板從左到右開始水平移動，可從一個固定值m處附近尋找匹配點，這樣加快了系統的效率。

4 實驗數據及結果

筆者選用兩個規格相同的攝像機。以橫向平行的方式固定在支架上，兩個攝像機之間的基線距離取50 cm，取左攝像機坐標系為世界坐標系，建立雙目立體視覺距離測量模型。選擇張正友標定法［4］，對80×80 cm的棋盤格進行角點提取與標定，圖4、圖5分別是距離為15 m時的角點提取與標定圖片，根據標定結果算出最優的投影變換矩陣M，進而計算出前方目標的距離。

圖4 15 m時的角點提取Fig.4 15 m Corner extraction

圖5 15 m時的圖像標定Fig.5 15 m Image calibration

雙目視覺測量的數據統計如表1所示。

表1 實驗結果數據表Table 1 The experimental results data table

該實驗選取間隔為10 m的5組距離進行實驗，通過所得的數據可知，測得的距離與實際距離相差不大，但隨著距離的增大，圖像的畸變嚴重，誤差也隨之增大。其誤差的主要原因是采集到的圖片模糊導致提取的坐標值不精確，所以圖像的預處理就顯得非常重要。實驗結果表明，該系統能夠滿足實際距離較短的檢測精度及實時性要求。

5 結論

以嵌入式平臺作為實驗平臺，對關鍵算法提出了自己的解決方法。使用筆者的研究方法對實際物體的三維信息進行了測量，測量結果驗證了系統的正確性。但是筆者的雙目視覺三維測量技術現在還處于簡單的針對單一背景，紋理簡單的測量物體，如何針對多樣化，復雜的測量物體，仍然要進行大量的實驗。

［1］趙光興，于春雨.基于雙目視覺三維測量系統平臺的搭建與實現［J］.合肥工業大學學報，2009，26(4): 403－404.

Zhao Guang－xing，Yu Chun－yu.3D measurement system platform based on binocular vision to build and Implementation［J］.Journal of Hefei Technology University，2009，26(4):403－404.

［2］陳利軍.圖像角點檢測和匹配算法的研究［D］.西安:西安電子科技大學通信工程學院，2008.

Chen Li－jun.The image cornermonitoring and matching algorithm［D］.Xi’an:School of Telecommunications Engineering，Xidian University，2008.

［3］Myron Z，Darius B，Gregory D.Advances in computational stereo［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(8):993－1008.

［4］Zhang Zheng－you.A flexible new technique for camera calibration［J］.IEEE Trans on PAMI，2000，22(11): 374－376.

［5］岡薩雷斯.數字圖像處理［M］，北京:電子工業出版社，2010.

［6］劉濤.基于平行雙目視覺的目標距離計算［J］.青島大學學報，2009，23(4):13－17.

Liu Tao.Calculated based on the the parallel binocular visual target distance［J］.Journal of Qingdao University，2009，23(4):13－17.