立體視覺技術的應用與發展

周 星， 高志軍

（上海航天技術研究院第805研究所，上海 201108）

計算機立體視覺是被動式測距方法中最重要的距離感知技術,它直接模擬了人類視覺處理景物的方式，可以在多種條件下靈活地測量景物的立體信息。其作用是其它計算機視覺方法所不能取代的，對它的研究無論從視覺生理的角度還是在工程應用中都具有十分重要的意義。計算機立體視覺的開創性工作是從20世紀60年代中期開始的，美國麻省理工學院的Robert把2維圖像分析推廣到3維景物分析，標志著計算機立體視覺技術的誕生，并在隨后的 20年中迅速發展成一門新的學科。特別是20世紀70年代末，Marr等創立的視覺計算理論[1-2]對立體視覺的發展產生了巨大影響，現已形成了從圖像獲取到最終的景物可視表面重建的比較完整的體系[3]。

本文立足于雙目視覺導航技術，簡要闡述其基本原理，著重論述視覺導航技術的核心——立體匹配技術的研究現狀與進展[4]，最后總結分析目前雙目視覺導航技術研究存在的問題和今后的發展方向。

1 雙目視覺導航技術

1.1 雙目視覺的基本原理[5]

人眼在觀察物體時存在視差和頻差，這一發現奠定了雙目立體視覺的理論基礎。雙目立體視覺是由不同位置的兩臺或者一臺攝像機(CCD)經過移動或旋轉拍攝同一幅場景，通過各種算法匹配出相應像點，從而計算出視差，然后基于三角測量原理恢復深度（距離）信息。80年代美國麻省理工學院人工智能實驗室的 Marr創建了視覺計算理論并應用于雙眼匹配，雙目視覺直接模擬人類雙眼處理景物的方式，可靠簡便，在許多領域均極具應用價值。

雙目立體視覺技術[6]的實現可分為以下步驟：圖像采集、圖像處理、立體匹配、三維重建。

典型的雙目立體視覺系統如圖1所示。

圖1 雙目立體視覺系統原理示意圖

圖1中C1，C2是兩個光軸平行放置的攝像機，它們的x軸重合，y軸平行，I1，I2分別是它們的成像平面，O1，O2分別是它們的光心。兩個攝像機坐標系只相差x軸方向的平移距離b，稱為基線長度。任意物點P在I1，I2上的成像點分別為 P1，P2，通過外極線矯正使它們具有相同的y坐標，它們的圖像坐標之間的差值d，就是視差。

當攝像機焦距f已知，任意物點P的深度信息，即P點在其中一個攝像機坐標系z軸上的坐標可由式（1）計算得到

在得到深度信息后，可以根據攝像機線性成像幾何模型及三角測量原理求得物點 P在攝像機坐標系下的Xc，Yc分量，如式(2)、式(3)所示。

這樣就得到了視差圖里各點在攝像機坐標系下的三維坐標。其中，圖像中心坐標 U0，V0和焦距f都屬于攝像機的內部參數，可以通過攝像機標定獲得。

1.2 立體匹配技術[7]

立體匹配是立體視覺中最困難的一步。客觀景物被投影為二維圖像時，景物的豐富信息(如光照背景，幾何形狀，環境特征，畸變等)最終以像素的灰度值反映，立體匹配是典型的視覺計算“病態”問題，因此對圖像無歧義的匹配是相當困難的。立體匹配方法必須解決3個問題：

（1）正確選擇圖像的匹配特征；

（2）尋找特征間的本質屬性；

（3）建立正確的匹配策略。

目前，立體匹配的研究基本上分為兩個方向：① 從理解人類視覺的立體融合機制出發，試圖建立一種通用的人類雙眼視覺計算模型；②從實際應用和要求出發，建立實用的立體視覺系統。

1.2.1 匹配約束準則

辨認兩幅圖像中的對應位置之所以很難，其原因在于存在假目標問題。這時就需要某些附加的信息，以便用某種方法來得到正確的匹配。這里的附加信息就是匹配約束準則。對于一對立體圖對，首先必須考慮的3條約束準則是：

（1）相容性 兩匹配元素必須由同一物理標記產生；

（2）唯一性 一個特征點最多只能和另一幅圖上的一個特征點相匹配；

（3）連續性 匹配得到的視差值在圖像平面上幾乎處處平滑。

在實際應用中，還會分析特定的應用環境，加入完備的先驗知識，增加約束條件使匹配問題得到簡化，如外極限約束就把一個二維空間搜索問題降為一維搜索問題，大大減小了運算量；又如在立體相機安裝的時候，由安裝基線長度可以估算視差的范圍，從而進一步簡化一維搜索問題。實踐證明，增加必要的約束條件是可行的，而且很多匹配算法的優化也是基于對實際環境約束條件的提取。

1.2.2 匹配算法[8]

在目前的立體視覺研究中，絕大多數都是針對各自的應用目的和要求建立實用的立體視覺系統。根據匹配基元的不同，立體匹配技術可以分為3大類：區域匹配、特征匹配、相位匹配。

（1）區域匹配

區域匹配以基準圖的待匹配點為中心創建一個窗口，用鄰域像素的灰度值分布來表征該像素，然后在對準圖中搜索這么一個像素，以其為中心創建同樣的一個窗口，并將其鄰域像素的灰度值分布來表征它，兩者間的相似性必須滿足一定的閾值條件。

（2）特征匹配[9-10]

特征匹配是為使匹配過程滿足一定抗噪能力且減少歧義性問題而提出。一般地，用于匹配的特征應滿足以下特性：唯一性、再現性、具有物理意義。

基于特征的匹配一般含有特征提取和定位、特征描述、特征匹配三個步驟。作為匹配基元的特征分為局部特征和全局特征兩大類。面向點、線、面和局部能量等局部特征提取的算法很多。全局特征的定義和提取和具體應用有關，如用于人臉匹配的三角形網格結構就是全局特征的一種。

（3）相位匹配

繼區域匹配和特征匹配出現之后，Kuglin和Hines[11]等提出了第三種立體視覺匹配算法——相位匹配。相位匹配基于這么一個假定，即認為像對中對應點的局部相位是相等的。考慮傅立葉變換的空間支撐為無限，一般地，相位匹配方法對帶通濾波信號的相位信息進行處理而得到像對間的視差。最常用的相位匹配方法有相位相關法和相位差―頻率法[12-13]。

1.3 雙目視覺導航技術的技術難點

雖然雙目視覺導航技術隨著計算機科學技術的發展，逐漸成為主流的導航技術，但就其自身而言存在一些目前還未能很好解決的問題，歸納起來有以下幾點：

（1）攝相機對環境的自適應能力

攝像機作為整個導航系統的數據來源，能否獲得高質量的圖像決定了整個導航系統的成敗。

（2）運算量過大

在進行圖像預處理及之后的立體匹配時，如果不對圖像進行壓縮會導致圖像數據量過大而影響實時性要求，目前普遍采用的方法是首先對圖像進行降采樣，但這種做法只是在特定的假設條件下才是可行了，并沒有理論依據，只是在算法精度與實時性之間獲得折中。

（3）立體匹配精度

所謂立體匹配就是在左右攝像機所拍攝的兩幅圖中尋找對應點。通過外極線矯正可以使匹配空間由2維降至1維，大大減少了運算量。但目前的技術瓶頸是如何建立左右匹配對的相似性準則。對于不同的特征，相似性準則的選取決定著匹配精度。

（4）科學視覺模型的建立

目前，雙目視覺模型是建立在 Marr的視覺理論基礎之上的，要能夠完全達到人眼視覺模型還有很長的路要走。也許有一天，通過建立更為科學的雙目視覺模型，以上問題都會迎刃而解。

2 雙目視覺導航技術的應用

2.1 DARPA2005挑戰賽上的應用

DARPA(Defense Advanced Research Projects Agency)由美國國防部主辦，旨在開發出適合在未知地形里行駛的自主車。DARPA2005挑戰賽斯坦福大學的自主車Stanley[14]以6小時53分鐘58秒自主駕駛142英里最終獲得冠軍。

Stanley的成功取決于很多方面，如多傳感器融合，路徑規劃策略，速度選擇等等。而雙目視覺技術也在其中得到應用并發揮著至關重要的作用，Stanley利用雷達進行障礙物檢測，最大檢測距離為22m，由此對它造成的影響是車速最高只能達到25英里/每小時，否則難以保證安全行駛。在 2005挑戰賽中，開發小組估計要想成功的完成比賽，速度必須達到35英里/每小時，而由于受到雷達的局限，開發小組最終采用彩色相機來探測更大范圍內的可行使區域。圖2比較了雷達成像地圖和視覺成像地圖。左圖為雷達地圖，其障礙物檢測距離是22m，右圖是視覺地圖，其障礙物檢測距離是70m。

圖2 雷達地圖與視覺地圖比較

2.2 勇氣號、機遇號火星車上的應用

雙目立體視覺的成功運用典范當屬在美國NASA勇氣號與機遇號火星探測車的應用，火星與地球的距離是5.57～40.13×107km，從地面發射電磁波需要將近 20分鐘才能到達火星，這么大的時延以及火星與地球之間直接通信的局限，很難做到通過遙控操作來控制火星車，這就對火星車的自主能力提出了很高的要求。

路徑規劃和位置檢測需要高精度和高分辨率的地圖做基礎，而衛星地圖不能滿足要求，為了解決上述問題，Athena火星車[15]共裝備有四對立體相機，相機參數如表1所示。

表1 立體相機的技術參數

立體相機獲取圖像，經立體匹配、路徑規劃找到合適的導航路徑，具體流程圖及導航結果如圖3所示[16]。

圖3 自主導航流程及結果

2.3 在研月球車上的應用

我國的嫦娥工程規劃為三期，簡稱為“繞、落、回”三步走。二期工程“落”即發射月球軟著陸器，并攜帶月球巡視勘察器（俗稱月球車），在著陸區附近進行就位探測。

目前，全國高校及各科研單位都對月球車的研制有濃厚的興趣并且投入了相當大的精力。上海航天局805所自1995年成立月球探測小組以來，完成了原理樣機、試驗樣機和攻關樣機的研制，在月球車探測技術領域取得了領先的優勢。這里簡要介紹雙目視覺導航技術在攻關樣機（簡稱MR-3，如圖4所示）上的應用。

圖4 MR-3攻關樣機

2.3.1 立體相機

立體視覺系統采用了符合工業標準的高分辨率(1024*768)1394接口的數字CCD攝像機，采樣率最大為 10幀，兩個攝像機固定安裝在一個緊湊的立方體金屬盒中，如圖5所示。系統外形尺寸為：長157mm，寬47.4mm，高36mm，通過1394圖像采集卡捕捉圖像。鏡頭焦距固定，水平視角為 70°。系統在應用之前經過精確的標定，標定信息包括：圖像原點的位置，基線長度，最大視差范圍和鏡頭徑向失真校正。

圖5 立體視覺系統

經過實測，相機雙目公共區水平視角為55°，垂直視角為40°。

2.3.2 實現算法

由于月球地表在局域范圍內的紋理色彩并不是很豐富，采用基于特征提取的方法來進行立體匹配獲得的正確率不會很高。所以所采用的算法并不致力于特征點、線或面的提取，而是直接采用圖像對進行特征匹配。同時月球表面由各種各樣的礦物質組成，其表面粗糙度比環境光的波長大得多，因此在地表面的反射主要由漫散射組成。當兩個相距不是很遠的攝像機拍攝同一目標時，目標特征的灰度值及其鄰域中各點的灰度值在兩個攝像機中具有一定的相似性。具體的算法流程如圖6所示。

圖6 立體視覺算法流程

2.3.3 測試結果

用開發的“立體分析.exe”軟件可查看左右相機拍攝到的圖像，以及特征點圖和深度信息圖，如圖7所示。

圖7 由立體視覺系統獲得的左右兩幅圖像(a), (b)及由他們重建出的深度圖和特征圖(c)

由圖7可以發現目前該系統已經能夠很可靠的匹配出兩幅圖像中的特征，進而恢復出目標的深度信息，為視覺導航提供了比較可靠的數據源。

2.3.4 存在的問題及初步解決方法

在調試中發現在深度圖右斜側和左下腳區域有時會出現不穩定或錯誤數據，這主要是因為這兩個區域為左右相機公共視野區的兩側邊界，處理起來會有些問題，如圖8所示。目前解決方法是在提取三維數據時，丟棄了這兩塊區域的數據，以消除其影響，當然這對視野大小有一定影響，但這影響很小。

圖8 不穩定區域

目前立體系統對車輪在沙地上留下的齒輪印識別存在一定的問題，有時會識別出錯誤的數據，經過查看錯誤三維數據，發現大部分數據的y（高度）都很大或很小（一般是 1米多，或兩米多），而目前相機安裝傾角和高度使得它最高只能看到離地0.5米，最低約深0.6米的地方，因此可在程序中判斷y高度是否在(-0.6～0.5)米之間，可濾除一部分錯誤數據，經過測試效果有明顯改善。當然還正在努力想從根本上解決誤識別的問題。

3 雙目視覺導航技術的發展方向

綜上所述，要精確模擬人眼立體視覺系統還存在很多困難，但就其今后的發展方向有如下幾個方面：

（1）深入研究人眼視覺機理，建立更有效的雙目視覺模型，更充分地反映立體視覺不確定性的本質屬性，為匹配提供更多的約束信息，降低立體匹配的難度；

（2）利用對人眼選擇性注意機制的研究和主動視覺的方法解決視覺計算病態結構問題，選擇性注意機制將不適定問題轉化為適定問題并在已知攝像機的外部參數情況下，將非線性問題轉化為線性問題；

（3）探索新的適用于立體視覺的計算理論和匹配策略，選擇有效的匹配準則和算法結構，以解決存在灰度失真、幾何畸變、噪聲干擾、特殊結構的匹配問題；

（4）算法向并行化發展，提高速度，減少運算量，增強系統的實時性。

[1]Marr D. Vision [M]. W H Freeman and Company,1982. 25-40.

[2][美]Marr D. 視覺計算理論[M]. 姚國正等譯. 北京:科學出版社, 1998. 65-90.

[3]羅 翔, 席文明, 顏景平. 一種雙目主動立體視覺系統的目標定位算法[J]. 東南大學學報, 2002, 32(1):60-63.

[4]游素亞, 徐光祐. 立體視覺研究的現狀與進展[J].中國圖形圖像學報, 1997, 2(1): 17-21.

[5]賈云德. 機器視覺[M]. 北京: 科學出版社, 2001.243-322.

[6]李 奇, 馮華君. 計算機立體視覺技術綜述[J]. 光學技術, 1999, (5): 71-73.

[7]徐 奕, 周 軍, 周源華. 立體視覺匹配技術[J]. 計算機工程與應用, 2003, (1): 1-6.

[8]潘 華, 郭 戈. 立體視覺研究的進展[J]. 計算機測量與控制, 2004, 12(12): 1121-1124.

[9]Loaiza H, Triboulet J, Lelandais S. Matching segments in stereoscopic vision [J]. IEEE Instrumentation &Measurement Magazine, 2001, (3): 37-42.

[10]Kuijper A, Florack L M J. On the creation of critical points in scale space with application to medical image analysis [R]. UU-CS-2001-25 TR.

[11]Kuglin C D, Hines D C. The phase correlation image alignment method [C]//Proc. of IEEE Int. Conf. on Cybernetics and Scociety, 1975: 163-165.

[12]徐彥君, 杜利民, 侯自強. 基于相位的尺度自適應立體匹配方法[J]. 電子學報, 1999, 27(7): 38-41.

[13]游素亞, 柳 建, 徐光祐. 利用視覺相位鑒別能力求解立體視覺匹配[J]. 電子學報, 1996, 24(10):23-27.

[14]Sebastian Thrun, Mike Montemerlo. Stanley: the robot that won the DARPA grand challenge [J].Journal of Field Robotics, 2006, 23(9): 661-692.

[15]顧 征, 蘇顯渝, 李美菊. “勇氣”號火星車的全景照相系統分析[J]. 激光雜志, 2005, 26(4): 48-50.

[16]Maurette M. Mars rover autonomous navigation [J].Autonomous Robots, 2003, (14): 199-208.