摘要:介紹了視覺導航的概念及其發展歷程,分析了視覺導航系統的基本組成模塊及其優勢。根據視覺信息的基本處理過程,重點對視覺圖像預處理技術、視覺圖像特征提取技術以及視覺定位技術等方面進行了詳細的介紹,并討論了各項技術國內外的研究現狀。最后,指出了視覺導航技術的相關難點以及未來的發展趨勢。
關鍵詞:視覺導航;圖像預處理;圖像特征提取;視覺里程計;地標點匹配
中圖分類號:TP391 文獻標識碼:A 文章編號:1673-5048(2014)05-0003-06
0 引言
視覺是用計算機實現人的視覺功能———對客觀世界的三維場景的感知、識別和理解。視覺是在20世紀50年代從統計模式識別開始的,當時的工作主要集中在二維圖像分析、識別和理解上。60年代,Roberts將環境限制在所謂的“積木世界”,即周圍的物體都是由多面體組成的,需要識別的物體可以用簡單的點、直線、平面的組合表示,并對物體形狀及物體的空間關系進行描述[1]。70年代,已經出現了一些視覺應用系統[2-3]。1973年,英國的Marr教授應邀在麻省理工學院(MIT)組建并領導研究小組從事視覺理論方面的研究。1977年,Marr提出了不同于“積木世界”分析方法的計算視覺理論———Marr視覺理論,該理論在20世紀80年代成為視覺研究領域中的一個十分重要的理論框架[4]。
隨著視覺研究的深入以及半導體和計算機技術的發展,視覺信息正被越來越多地應用到導航的實踐中。其中,視覺導航是一種利用可見光與不可見光成像技術進行導航的方法,它具有隱蔽性好、自主性強、測量快速、準確,以及廉價、可靠等優點。因此,越來越多的研究者投身于視覺導航技術的研究,尤其是最近30年,隨著新概念、新方法、新理論的不斷涌現,視覺導航在飛機、無人飛行器(UAV:UnmannedAirVehicles)、各類巡航導彈、深空探測器以及室內外機器人等方面得到了廣泛的應用[5-10],在國內,隨著月球探測二、三期工程的展開[11]以及多型號UAV的研發,視覺導航技術發展迅速。
本文從分析視覺導航技術的優勢和國內外研究現狀出發,討論了該方法的關鍵技術,重點對視覺圖像預處理技術、視覺圖像特征提取技術以及視覺定位方法等方面的研究進展進行詳細介紹,并指出視覺導航定位技術存在的問題和發展趨勢。
1 視覺導航系統基本組成模塊及特性分析
視覺導航系統一般以計算機為中心,主要由視覺傳感器、高速圖像采集系統及專用圖像處理系統等模塊構成,如圖1所示。
視覺傳感器獲取被測物體表面特征圖像,經高速視覺圖像采集系統轉換為數字信號,由高速視覺圖像專用硬件處理系統完成視覺數字圖像的高速底層處理,并提取出特征信息的圖像坐標,由計算機實現被測物體空間幾何參數和位置姿態等參數的快速計算。
根據理論研究與工程實踐可知,該方法具有以下幾個特點[12-13]:(1)以CCD相機作為圖像傳感器的視覺導航系統,具有體積小、重量輕、能耗低、視場寬、易于搭載等顯著優勢;(2)視覺導航算法能夠通過提取圖像中的信息較為精確地確定相機的位置、速度和姿態信息。由于具有高度優越性以及巨大的應用潛力,視覺導航技術是一種很有前途的導航定位方案。
2 國內外研究現狀
對于視覺導航系統,視覺傳感器為其提供了原始的和直接的視覺信息,一般稱為視覺圖像。對視覺圖像進行處理及特征信息提取是視覺導航系統應用的前提和基礎。
2.1 視覺圖像預處理
視覺圖像常常被強噪聲所污染,需要進行平滑濾波以減弱或消除這種強噪聲的影響。目前常用的圖像平滑濾波有均值濾波、中值濾波、高斯變換和小波變換等。均值濾波易于設計,在信號頻譜和噪聲頻譜具有顯著不同的特征時性能優越,但會使圖像邊緣變得模糊。中值濾波可以克服上述問題,在去除脈沖噪聲的同時能夠保持邊緣不受干擾[14-15],但在面對大面積噪聲污染時,中值濾波平滑噪聲的能力卻不及均值濾波。具有“數字顯微鏡”之稱的小波變換可同時進行時頻域的局部分析,已成為去噪的一個重要發展方向。1992年,Mallat和Hwang[16]提出奇異性檢測理論,根據噪聲和有用信號的小波變換在奇異點處模的極大值不同,通過跟蹤極大值來消除噪聲。1995年,Donoho等人[17]提出了一種非線性小波變換閾值去噪法,保留低頻分量的小波系數,通過設定閾值處理高頻分量中的小波系數。2000年,JamesS.Walker[18]提出自適應樹小波萎縮法,是一種將小波收縮與小波變換的統計特性結合起來的圖像去噪新方法,去噪效果相當好。1998年,F.Abramovich[19]提出了一種基于貝葉斯模型的小波閾值濾波方法,建立了先驗模型的系數與Basov空間參數的關系,而且這一關系使得先驗模型的小波系數中包含了函數的規律特性。1995年,Coifman和Donoho[20]提出了平移不變量小波去噪法,先對圖像進行循環平移,然后對平移后的圖像進行閾值去噪處理,再對去噪結果進行平均,是對閾值法的一種改進。1994年,Geronimo,Hardin和Massopus[21]提出了著名的GHM多小波,將圖像變換成多流數據,然后對多流數據執行多小波變換,對多小波系數閾值化,既克服了單小波的缺陷,又保留了單小波所具有的良好的時域與頻域特性。2000年,S. GraceChang[22]提出了一種基于上下文模型的空間自適應小波去噪方法,小波系數被建模成參數未知服從高斯分布的隨機變量,通過在算法中使用圖像中的局部信息能夠達到較好的去噪效果。2002年,HuaXie[23]提出一種將小波貝葉斯去噪技術與馬爾可夫隨機場模型相結合的圖像去噪方法,小波系數均被建模成獨立的二維高斯混合模型,但它們的空間相關性被描述成馬爾可夫隨機場模型。1999年,Candès[24]在小波變換的基礎上提出了一種脊波變換理論,先對圖像進行radon域變換,然后在radon域中使用小波變換來處理點奇異。2003年,MinhN.Do和MartinVetterli[25]提出了一種有限脊波變換方法,在脊波變換中應用有限radon變換,克服了離散脊波變換不能精確進行信號重組的難題。2000年,Candès和Donoho[26]提出了曲波變換理論,實際上是脊波理論的衍生,其基本尺度呈現出很高的方向敏感度和很高的各向異性。2004年,Candès和Donoho[27]提出了一種新的曲波緊致框架方法,直接從頻域進行多尺度分析,用于尋找分段C2邊緣的最優稀疏呈現問題。2002年,Minh.N.Do和MartinVetterli[28]提出了一種輪廓變換方法,具有多方向特性和有效的邊緣及輪廓捕捉特性,能夠滿足曲線的各向異性尺度關系,可以實現類似于曲波的快速分解。2006年,A.L.Cunha[29]等提出了具備平移不變性的、非抽取的輪廓變換,通過對金字塔分解和方向濾波器均不采取下采樣來實現。
2.2 視覺圖像特征提取
視覺圖像特征提取是對圖像進行識別分類的重要方法,也是實現圖像信息理解、處理與決策的基礎。在一幅視覺圖像中,通常把具有鮮明特征的信息,諸如邊緣、角點、圓或橢圓中心,以及圖像的形狀特征等作為視覺圖像特征信息進行提取。在視覺圖像中,圖像邊緣是視覺圖像的主要特征信息。1965年,Roberts[1]就提出了一種基于灰度梯度的邊緣檢測算子。1975年,Fram和Deutsch[30]聯合撰寫了一篇回顧性的文章,綜述了大量經典的早期邊緣檢測算子,并對它們的效能進行了評價。1992年,R.Nevatia[31]提出了一種模板匹配方法,先進行互相關運算,再進行閾值判決。1998年,德國Steger博士[32]利用Hessian矩陣確定圖像中線條邊緣的法線方向,然后通過求解法線方向上的極值點得到線條邊緣的子像素級位置。2006年,胡坤等[33]在Steger算法的基礎上將大模板高斯卷積的遞歸思想引入線條邊緣檢測中,提出一種基于Hessian矩陣的子像素精度線條邊緣快速提取改進算法。圖像中的角點是指圖像中具有高曲率的點,是一種具有重要意義的幾何特征。1977年,Moravec[34]提出了第一個角點檢測方法,用于控制車輛在復雜的道路上行走。Harris[35-36]給出了探測角點的方法———Harris角點探測器,使得算法的檢測效果和可重復性大大改善。1997年,劍橋大學Smith[37]提出了著名的SUSAN算子,通過計算基于核心點的SUSAN面積大小,并以此作為初始角點響應。X型角點是一種常見靶標特征點,ChenDZ等[38]通過分析X型角點的圖像特征,建立其灰度分布的數學模型,在此基礎上提出一種X型角點子像素級提取方法。柵格型角點是另一種較為常見的用于視覺的靶標特征點,陳大志等[39-40]通過分析柵格型角點的圖像特征,建立其灰度分布的數學模型,在此基礎上提出了一種柵格型角點子像素級提取方法。橢圓或圓在攝像機像平面上所成的像一般仍為橢圓,而橢圓或圓的圖像中心通常是視覺導航中所需要提取的信息。當橢圓或圓為一光斑形狀,所成像比較小時,重心法是一種提取橢圓或圓的圖像中心比較有效的方法。魏新國[41]提出了一些改進的重心法形式。當橢圓圖像足夠大時,橢圓擬合法是圖像中心提取比較適合的方法,魏振忠[42]給出了橢圓擬合法的具體過程。通常,空間橢圓的圖像中心并不是橢圓中心所對應像點,針對這一問題,Heikkil[43]對空間圓的情形進行了研究,并建立了空間圓中心在攝像機像平面上的畸變誤差模型。2011年,曹世翔等[44]提出了一種多分辨率圖像特征提取方法,通過構建邊緣圖像的Gauss金字塔,從中提取穩定的特征點完成圖像匹配,使得誤匹配特征點的個數極大減少。
2.3 視覺定位方法
目前,主要有兩種視覺導航定位方法,分別為:視覺里程計和基于地標點匹配的視覺導航定位方法。
2.3.1 視覺里程計
視覺里程計是一種利用單目或雙目攝像機得到圖像序列,然后通過特征提取、匹配與跟蹤估計載體運動信息的導航定位方法。
1987年,Matthies等人[45]提出了視覺里程計的概念,并設計了從圖像特征提取、匹配與跟蹤到估計載體運動信息的理論框架。2004年,Nistér等人[46]提出了一種實時視覺里程計導航系統,能夠實現機器人室外運動導航,并給出了單目視覺里程計和立體視覺里程計的實現途徑和流程,為非全向視覺里程計的研究奠定了基礎。2004年,Corke等人[47]提出了兩種基于全向視覺系統的視覺里程計方案,一種是基于魯棒的光流法,通過跟蹤顯著的視覺特征獲得每一幀圖像的位移;另一種為完全的由運動到結構的方法,利用擴展卡爾曼濾波器估計相機的運動。2009年,Pretto等人[48]以SIFT描述子描述尺度空間的極值,通過基于熵的方法剔除低區別能力的描述子,跟蹤興趣特征,以完成運動估計。2005年,Sünderhauf等人[49]將稀疏光束法平差(sparsebundleadjustment,SBA)應用于立體視覺里程計中,對左右立體像對中的特征運用滑動窗口SBA方法,結合簡單的運動閾值濾波方法完成載體運動的估計。2007年,Maimone等人[50]提出了一種利用興趣算子進行特征檢測的方法,通過利用廣義歸一化(pseudo-normalized correlation)的方法完成左右圖像對之間的特征匹配,然后在連續立體圖像對中跟蹤特征,完成載體運動的估計。2004年,PCA被成功地應用于SIFT描述子的降維運算中[51],從標準的128維特征空間降到了20維,大大減少了計算量。2011年,Nourani-Vatani等人[52]將線性前向預測濾波用于視覺里程計,能夠限制搜索的區域,增加了計算的效率。
2.3.2 地標點匹配導航
地標點匹配導航是事先將環境中的一些特殊景物作為地標,機器人在知道這些地標點的坐標和形狀等特征的前提下,通過對地標點的探測來確定自身的位置。
根據地標點的不同,可以分為人工地標點匹配導航和自然地標點匹配導航。1987年,Kabuka和Arenas[53]提出了一種基于人工地標點匹配的視覺導航定位方法,這一方法只受相機焦距的影響,不受其他相機內部參數的影響,而且非常簡單與靈活。1997年,Hashima等[54]提出了自然地標點匹配導航定位方法,通過使用相關性跟蹤選定的地標點完成載體位置的計算,并在行進過程中逐步更新地標點。2002年,Olson[55]提出了一種通過選取最佳地標點進行導航定位的方法,這一方法是基于極大似然定位算法來確定機器人的位置,不僅增加了定位精度,而且增強了系統的穩定性。2009年,Sim等人[56]提出了一種SLAM(SimultaneousLocalizationandMapping)視覺導航方法,利用粒子濾波同時解決定位和地圖創建問題,并通過檢測三維地標進行精確定位。2002年,Saripalli等人[57]給出了一種基于視覺導航的微型無人直升機自動降落方法,通過利用Hu不變矩完成降落坪地標圖像特征的自動識別實現無人機的自主降落。美國MER漫游車著陸以后,通過利用著陸器和巡視探測器桅桿上的立體相機獲得至少3個自然地標點后,采用三角測量的方法確定了火星漫游車的位置,定位精度達到±100m[58]。2007年,Mourikis等[59]提出了一種用于著陸器自主導航的地形匹配定位方法,通過提取CCD相機所拍攝的著陸星球表面圖像上的地標點,并與探測星球在軌衛星所形成的數字高程地圖進行地標點匹配,從而估計出著陸器的絕對位置及姿態信息。2007年,侯建[60]提出了一種月球車定位方法,利用局部地形圖中局部高點相互之間的幾何關系與全局地形圖中對應高點存在接近的幾何關系這一特征,通過特征匹配就可以求得月球車的位置信息。
3 視覺導航定位技術發展趨勢
近年來,隨著計算機處理速度的不斷提高、信號處理技術的不斷發展以及各類導航技術的不斷完善,視覺導航技術獲得了越來越廣泛的應用,技術已日趨成熟。但由于載體所處的環境越來越復雜,目前,在視覺導航技術方面仍然有一些關鍵問題亟待解決。主要有以下幾個方面:
(1)圖像去噪技術
視覺圖像在形成、傳輸、接收和處理的過程中均會存在一定程度噪聲的干擾,使圖像質量惡化,甚至淹沒圖像特征,增加了圖像特征提取等工作的難度,因此,圖像去噪技術的研究具有重要的意義。目前,小波去噪技術的一個基礎性問題是如何為不同的模型找到最理想的小波系數模型,以及如何對非高斯噪聲進行建模,可不可以將處理高斯噪聲的去噪方法用于非高斯噪聲的處理。另一方面,隨著脊波、曲波以及輪廓變換等新概念的提出,模型的準確性得到了進一步的提高,并改善了小波的去噪性能,但這些概念的理論基礎還不夠完善,需要進一步的研究。圖像去噪技術的另一發展趨勢是根據具體圖像選擇不同的濾波方法進行結合,能夠取得比單一去噪方法更好的效果。
(2)視覺特征提取技術
研究圖像目標特征提取的最終目的是讓計算機具備人的視覺感知能力與認知能力,代替人完成繁重的圖像信息處理工作。但目前很多對人來說輕而易舉的任務,計算機卻很難做到。在利用多分辨率技術對圖像目標特征進行提取方面,如何讓計算機自動確定相應的尺度來提取特征還有待于進一步的研究。根據圖像的變換系數提取圖像特征是一種新的圖像特征提取方法,其中,如何將變換系數方法與代數方法結合起來提取圖像特征是值得深入研究的方向。另外,由于每一種圖像特征提取方法都具有其各自的優勢,也都存在其不可克服的缺陷,因此,將多種圖像特征提取方法相結合同時應用于同一圖像特征的提取也是未來的研究方向。
(3)視覺定位方法
對于視覺里程計,需要研究如何提高算法的魯棒性、實時性和精確性;如何通過改進硬件和軟件,使得載體的位置和姿態可以得到高精度的實時估計。其中,將精度高但效率低的“批處理”算法與精度相對較低的遞歸方法相結合的“批處理”-遞歸混合系統,具有高效高精度的特點,將是視覺里程計一個可行的發展方向。對于地標點匹配方法,有待于進一步提高定位的精度,尤其是對于遠點地標法。另一方面,視覺導航定位技術與其他導航定位系統進行組合也是一大發展趨勢。
4 結 束 語
以CCD相機作為傳感器的視覺導航定位系統,具有體積小、重量輕、能耗低、視場寬、易于搭載等顯著優勢,在眾多領域得到了廣泛的應用。尤其是進入21世紀以后,隨著視覺導航算法的發展、視覺傳感器的微型化及計算機性能的大幅提高,視覺導航系統幾乎被應用在所有導航環境中,其重要性在組合導航系統中得到日益提升。在國外,視覺導航系統研究較早,現已逐漸被應用在無人機、巡航導彈、星際探測器以及機器人等前沿領域;在國內,關于視覺導航領域的研究起步較晚,但也已取得了一些可喜的成果。隨著視覺導航在精度、實時性與魯棒性等方面的不斷提高與發展,其必將成為未來導航領域中一個重要的發展方向,具有廣闊的應用前景。