基于雙目感知的立體視覺集成

楊陽（四川大學計算機學院，成都　610000）

基于雙目感知的立體視覺集成

楊陽
（四川大學計算機學院，成都610000）

0　引言

計算機視覺技術在近年來得到了飛速發展，廣泛應用于工、農、醫、軍領域，主要包括：軍事沙盤應用，工業非接觸測量檢校，醫學顯微手術設備應用等。而基于其理論和算法的研究也在近年來逐漸深入。計算機視覺是一種實現計算機“看”的綜合學科，涵蓋了生物理論、神經科學、計算機科學、數學理論研究、機器智能等方向。其實現方法大致分為多視圖立體視覺和雙目立體視覺。多視圖立體視覺主要采用圍繞同一場景的多角度拍攝圖像，進而從重復讀較高的多幅圖像中，獲取場景三維信息的方法。而雙目立體視覺，是采用雙目攝像機，模仿生物眼睛工作原理，如圖1所示。

圖1　雙目立體視覺工作原理模型圖

左攝像機模仿左眼，獲取場景偏左的信息，其圖像整體偏右。而右邊的攝像機主要模仿右眼的功能，獲取場景偏右的信息，圖像整體偏左。根據左右圖像中重復場景信息的信息點的位置偏差，求得視差，進而得到視差圖。視差圖是三維重建中的必要信息，是得到三維場景立體信息的重要需求。根據所得視差圖，建立立體信息，進而得到空間三維坐標，即點云。如圖1所示：O1，O2是兩個攝像機工作平面的光心，是攝像機內在參數；其中的P（x，y，z）是空間真實場景中的信息點；而P1，P2分別是物點在兩個攝像機中對應的像點；兩個光心之間的距離稱為基線；兩個對應像點之間的距離稱為視差。有圖可知，物點、像點對、光心之間的連線構成了一個三角形，使得所需要求的視差和基線及攝像機焦距等構成了數學上的三角關系，故而通過攝像機光心距離及攝像機焦距，可計算像點位移差值。具有“看”能力的計算機，因其強大的三維重建能力，得到了廣泛的應用，也在科研領域得到了廣泛的關注，國內外的科學家都在其領域做出很多貢獻。

本文所述的基于雙目感知的立體視覺集成框架，是基于人眼工作原理的雙目視覺的擴充應用。其中包括的模塊主要有：圖像預處理、立體匹配、點云處理及顯示。多模塊的集成處理，使得從空間場景到最后的立體信息顯示成為了可能。本文主要針對在框架設計中使用到的技術和原理進行簡要介紹，為以后的研究提供理論依據和算法基礎。

1　圖像預處理

由雙目攝像機獲取的圖像信息，會因外界環境的不確定因素，受到一定的干擾，故在進行三維重建前，需通過圖像預處理，進行噪聲的前期處理。圖像預處理主要包括：圖像平滑處理、圖像銳化處理及圖像區域分割。所謂平滑處理主要是采用3×3的窗口，使用中值濾波的方法，在原圖像上，處理高頻噪聲，進而使得圖像信息在三維重建前得到垃圾信息的過濾。而圖像銳化處理主要是采用拉普拉斯變換操作，增大圖像信息中的所需要的信息區域的信息強度，使其發揮更大的作用。而與此同時，區域分割主要使用設定的閾值，進行相應條件下的分割，得到預期的有效信息和無效信息的分離。

本文提出的框架中綜合使用了圖像預處理中的兩項預處理技術。

首先采用圖像平滑處理進行圖像信息的高頻噪聲的去除，使得高頻自然光和反光的影響得到改善，減少對立體匹配算法的影響，提高圖像質量；然后使用圖像銳化處理，進行圖像信息中的物體邊緣信息的微銳化，使得在重建中影響度較高的圖像邊緣具備較大的權值，方便之后的立體匹配操作的實施和三維重建的進行，使得框架工作速率得到一定的提升。

2　立體匹配

立體匹配問題是計算機視覺中的瓶頸問題，其算法的選擇和優化，將直接影響計算機視覺整體的處理效果。所謂立體匹配，是通過算法進行左右圖像中的對應像素點的搜索，進而完成視差計算，得到是插圖。其簡單工作原理模型圖如圖2所示：圖中p0為原圖像點，其坐標為（x1，y1），q0為待尋找圖像中的測試點，其坐標為（x2，y2）。

立體匹配算法根據其工作原理可劃分為特征匹配算法，區域匹配算法及相關算法。

其中的特征匹配算法，采用圖像的局部信息特征，進行左圖像和右圖像間的像素點的對應尋找。該類算法的算法原理是基于局部特征，故其運算量較少，使得立體匹配的速度較快，可實現實時匹配。與此同時，特征匹配算法所得到的視差圖，因其局部的特征所以較稀疏，最終重建的三維信息點云也相對較稀疏，所承載的空間三維信息不足，在很多實際應用場景中并不適用。

圖2　局部立體匹配工作原理模型示意圖

區域匹配算法又可進一步根據其搜索區域的大小劃分為局部匹配算法和全局匹配算法。全局匹配算法是一種基于像素的匹配算法。圖像信息隨著其分辨率的增加，其像素信息量也隨著增加，故基于像素級別的全局匹配算法的運算量龐大，但是其獲取的視差圖相對稠密，所承載的空間信息充足，典型的代表算法包括圖割等。局部立體匹配算法根據其匹配區域選擇方法可劃分為自適應窗口匹配算法及自適應權值匹配算法等。其通過特定的窗口選擇，進行區域的匹配，實現精度和速度的折中。

相關算法中較為熟知的算法包括：自相關算法、互相關算法及相位相關算法。

本文所述框架主要采用局部匹配算法中的典型算法基于窗口的相位相關算法。該算法采用圖像信息的頻域特征，進行特征匹配。圖像信息的頻域特征是圖像信息的傅里葉變換后的的結果，以歸一化互功率譜的形式呈現。頻域信息的選擇具有一定的優點，其承載的信息不僅包含圖像的灰度信息，還涉及了圖像的變換梯度信息，從橫向和縱向兩個維度進行信息的考量和比較，具有更強的實際應用價值。而互功率譜中的信息變化，會更貼近于真實圖像中的匹配點的變化，其變化特征主要以峰值形式出現，最大值處即是所要找的匹配點處。

3　點云處理顯示

三維點云的處理顯示可通過特別定制的軟件進行操作，其操作流程簡單，操作類別完善度較高，但缺點是集成能力不足。故本文所述框架選擇近年來提出并流行的PCL（Point Cloud Library）點云庫進行集成化處理，將基于雙目感知的立體視覺系統的處理模塊進行集成。PCL是基于C++進行研發的開源庫，其中提供了關于點云的基礎算法理論是實現，包括：點云預處理、點云濾波、點云融合、點云顯示、點云表面網格形成等。基于PCL的平臺集成研究，可在其基礎理論和基礎算法研究基礎上，進行算法的改進，及根據實際場景的算法的選擇。PCL的優點是開源，可通過其提供代碼減少基礎開發工作量，而將重心放到算法優化的領域。

PCL處理中較為重要的是點云的融合處理，即通過多個點云，進行點云的矯正和配準之后，實現多個同場景不同設備的點云之間的信息互補，去掉多余點云信息，并實現有效信息的交叉和互補。PCL中另外的開發點在于其界面信息處理和點云顯示之間的融合，問題只在于如何多線程高速處理點云顯示及相關操作。

4　基于雙目感知的立體視覺集成

根據算法概述，可知其操作流程圖如圖3所示。

5　結語

基于雙目感知的立體視覺集成，打破了原來的模塊分離模式，實現了從二維圖像獲取到三維點云顯示的一體式操作集成。在其算法和策略選擇上，主要依據速度和質量雙重選擇標準。其集成本身需要數據輸入和輸出的一致性選擇及傳遞，涉及到數據結構設計和點云結構設計，相應的結構轉換需要設定特定的函數，最終實現一體化操作效果。但在基礎算法選擇方面，可在日后進行算法理論的進一步完善和整理，并在此基礎之上進行算法和框架結構的優化開發。針對立體匹配算法的選擇，應在以后的工作中擴充選擇維度，使得在不同應用場景中各有長處的算法得到充分的利用，并提供可操作選擇的參數窗口，使得算法的靈活性和可用性得到提升。

圖3　

[1]朱德海，郭浩，蘇偉等.點云庫PCL學習教程.北京航空航天出版社，2012-10-1

[2]馬婷.點云數據的顯示與配準，2007.

[3]J.Sun，N.Zheng，and H.Shum.Stereo Matching Using Belief Propagation.In ECCV，page II:510 ff.，2002.

[4]郭永彩，魏朋玉，高潮.采用多級動態規劃實現立體匹配[J].光學精密工程，2009，17(7):1745.

[5]Achanta R，Shaji A，Smith K，et al.SLIC Superpixels Compared to State-of-the-Art Superpixel Methods[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2012，34(11):2274-2282.

[6]Thomas H.Cormen and Charles E.Leiserson.算法導論[M].潘金貴，顧鐵成.北京:機械工業出版社出版，2006，324

Binocular Stereo Vision;Depth Map;the Point Cloud Processing;Stereo Matching

Stereo Vision Integration Based on Binocular Views

YANG Yang

(College of Computer Science，Sichuan University,Chengdu 610065)

1007-1423（2016）05-0063-04

10.3969/j.issn.1007-1423.2016.05.014

楊陽（1990-），女，黑龍江海倫人，碩士，研究方向為計算機視覺與圖像處理

2015-12-22

2016-02-05

雖然計算機視覺的應用場景拓寬，關于雙目視覺的算法和理論研究達到一定的深度。雙目立體視覺感知是通過雙目攝像機在接近平行且距離較近的位置上獲取同一場景不同角度的圖像，進而通過二維圖像獲取三維信息。基于雙目視覺工作原理，提出一種綜合的雙目感知立體視覺集成框架，其中主要包括圖像預處理模塊，立體匹配算法模塊、點云融合顯示模塊。在其使用算法方面進行簡要介紹，并達到集成處理效果。

雙目；立體視覺；深度感知；點云處理；立體匹配

As the application of computer vision scene is broad,the theoretical studies algorithms of binocular vision have achieved a certain depth. The binocular stereo vision is to access images in different perspectives on the same scene by binocular cameras at a close range and in parallel,and then obtain 3D information from 2D images.Puts forward a comprehensive binocular stereo vision integration framework based on the binocular visions,which includes image preprocessing module,stereo matching algorithm module,point cloud fusion and display module.Carries out the brief introduction of basic algorithms and achieves the integration.