Pioneer3-AT上基于雙目立體視覺的環 境 識 別 系 統

楊 潔， 閆清東

(1. 西南林業大學 機械與交通學院, 云南 昆明 650224; 2. 北京理工大學 機械與車輛學院， 北京 100081)

?

Pioneer3-AT上基于雙目立體視覺的環 境 識 別 系 統

楊 潔1， 閆清東2

(1. 西南林業大學 機械與交通學院, 云南 昆明 650224; 2. 北京理工大學 機械與車輛學院， 北京 100081)

針對研究用的平臺——Pioneer3-AT的軟硬件環境，結合基于雙目立體視覺的環境識別過程、原理和實際的應用環境設計了一個雙目立體視覺系統。根據經典圖像傳感器的特點、實際需求、要觀測的視野大小、精度要求確定硬件參數，進而選擇了兩個CMOS攝像機，建立了幾個可行的系統方案，并從中選定了一個符合本實驗的方案。然后結合平臺的結構和雙目立體視覺系統實際的硬件技術要求，設計并制作了一個兩層可水平放置兩臺攝像機的雙目立體視覺實驗或應用系統，最后加入了控制器——筆記本電腦構成了一個完整的環境識別系統。實驗表明這個建立的試驗系統比較實用。

平臺； Pioneer3-AT； 雙目立體視覺； 環境識別

0 引 言

在建立一個實驗及應用系統時，首先要確定預期達到的目標、最終的應用要求、具體的應用環境、具體用的研究平臺、所能支配的經費和后續使用的性價比，從而決定所購買的攝像機的配置參數和價格。其次要考慮所建立的這個系統的拓展應用性，因為只用某種單一的傳感器構成的研究平臺無法實現所有的功能和要求，某些條件下可能用激光傳感器更合適，某些環境下用視覺信息更能符合要求，而某些場合用聲納處理更能迅速準確地達到目標。除了考慮視覺系統的可拓展性外，還要考慮到其便利性，即在平臺上建立的這個系統要能方便地放置其他類型的傳感器或者能給研究平臺留出余地去搭建其他的傳感器識別系統。不同要求的應用環境、不同的研究平臺及要達成的目標不同，所建立的雙目立體視覺系統必然不同。本研究平臺采用Mobile Robots Active Media公司生產的Pioneer3-AT智能機器人，它的內部高度集成了智能移動機器人技術，它已經具備了用自帶的服務器和機器人客戶端軟件及自身的12個聲納傳感器完成映像環境、尋找路徑及其它復雜的路徑計劃任務的能力。賦予Pioneer3-AT智能機器人具有類似人類眼耳口鼻的各種功能，代替人去一些人不方便到達或難以到達的環境完成人類需要完成的工作是我們研究的終級目標。基于聲納的環境識別系統是在周圍環境有大障礙有回聲波的情況下識別效果最好，若是在空曠的環境中它就可能無法工作。如今欲在它已經具有較強的聲納探測能力基礎上建立一個雙目立體視覺系統，賦予其視覺探測的智能。本文主要探討這個雙目立體視覺系統的硬件系統的建立。至于如何完成其視覺的各種功能并與其他功能的傳感器如何結合在一起，實現其全面的智能是下一步的工作。

1 Pioneer3-AT智能機器人的構成

1.1 硬 件

Pioneer3-AT智能機器人重約14 kg，主要由頂板、緊急停車按鈕、用戶控制面板、車身、車鼻、附件面板、聲納環、電機、車輪及編碼器、電源、電池等構成。其中頂板由簡單的平板構成，可以方便地在上面搭建由攝像機、激光雷達等構成的傳感器檢測系統。頂板兩側的貫通線槽可以將信號線引出接到側邊的附件接口上。打開機器人中間的塞子，就可對機器人內部進行操作。所有Pioneer 3系列機上的聲納環位置都是固定的：兩側各有1個，另外6個以20°間隔分布在側邊，這種布置可以為機器人提供360°無縫檢測。Pioneer3-AT自帶的聲納環可以用于障礙和距離檢測，進而完成自動避障、定位及導航等功能。Pioneer3-AT的頂板結構見圖1。其物理尺寸及規格如圖2所示。

圖1 Pioneer3的頂板構成

圖2 Pioneer3-AT物理尺寸及規格

1.2 軟 件

Pioneer3 -AT智能機器人的軟件系統包括控制器軟件和客戶端軟件兩大系統。見圖3。控制器軟件是ARCOS(Active Media Robotics Control and Operating System)，客戶端軟件主要包括：MobileSim、MobileEyes、Mapper3、AriaDemo.exe、GuiSever.exe、SavClient、ACTS以及VNC viewer/pcAnywhere。ARIA是MobileRobots公司開發的、面向對象的、用于機器人控制的應用程序接口系統，它基于C++語言為各種智能機器人系統提供優秀的客戶端界面，其中包括控制器和各種軟件，可以利用這些工具自動生成、編輯、使用地圖和平面圖來開發機器人的應用程序，包括定位和導航，其中的ARNetworking提供了MobileRobots和網絡通信的TCP/IP協議層。Pioneer3-AT可利用優秀的ARCOS服務器和機器人客戶端軟件及自身的12個聲納傳感器可以完成映像環境、尋找路徑及其它復雜的路徑計劃任務。

圖3 Pioneer3-AT型機器人各軟件間的關系

2 基于雙目立體視覺的環境識別過程

如何用一個雙目立體視覺系統獲取的環境圖像信息完成對具體環境的識別并指導機器人的行駛，是后續的工作。這里只研究如何在Pioneer3-AT智能機器人上根據用視覺識別環境的流程建立一個可行的雙目立體視覺系統，從而實現它在非結構化道路中行駛的障礙識別的硬件平臺的搭建。

采用圖像信息控制機器人運動的流程見圖4。其中，圖像處理模塊完成對道路路面信息的采集和預處理；特征提取模塊完成對圖像的分割、聚類等；圖像匹配模塊完成對實際行駛環境的圖像信息的匹配，并獲取環境的視差和深度距離信息；障礙檢測模塊中對典型障礙進行建模，再結合Pioneer3-AT 的結構模型求解其能夠跨越這些典型障礙的臨界條件，判定障礙能否跨越，為后面的運動控制模塊提供必要的判斷依據；而運動控制模塊通過獲取的相關環境知識控制小型無人機動平臺的直行和轉向運動控制。

圖4 基于視覺的環境識別系統

在建立這個基于視覺的環境系統時，具體需要考慮以下幾個方面:① 要足以應付道路環境的復雜多樣性；② 要能巧妙地結合利用Pioneer3-AT的結構，又不影響它已有的聲納探測能力；③ 購買的攝像機配置既能滿足要求，還要盡可能地降低成本；④ 如何設計攝像機的擺放位置使得我們既可從硬件上降低后續圖像匹配等環節的計算量，從而在硬件上解決雙目立體視覺系統的技術瓶頸問題——計算量大[5]；⑤ 便于視覺系統的拓展，比如要能較方便地改變2個攝像機之間的水平距離，或調整視覺系統的高度從而調整視野的大小，實現獲取多種視野的視覺信息。或者因為研究或應用的需要，能方便地將這個雙目立體視覺系統拓展為多目視覺系統；⑥ 建立的這個視覺系統或者具有可在其上構建新的雷達探測系統的能力，或者要在平臺上為諸如雷達一類的傳感探測系統留出搭建的余地。同時還要考慮不影響中央處理器(即筆記本電腦)的放置。

3 雙目立體視覺系統中攝像機的選擇及構建

一個雙目立體視覺系統的工作流程是: 用標定模塊對拍攝的多對圖像進行離線標定，得到攝像機和立體視覺系統的標定參數，以文件形式存儲在計算機中。同時打開左右攝像機, 對采集的實時圖像對進行預處理，然后進行匹配得到目標物的像素坐標對。最后利用離線標定得到的立體視覺系統標定參數和匹配模塊得到的目標物像素坐標對，在測距模塊通過深度計算算法得到目標物的三維世界坐標。

3.1 圖像傳感器的選擇

用于環境識別的圖像來源于攝像機。這里用的是工業相機又俗稱工業攝像機，與民用相機相比，它具有更高的圖像穩定性、高傳輸能力和高抗干擾能力等優勢，是機器視覺系統的關鍵組件之一，根據應用環境、攝像機的性價比及經費選擇性能良好的工業相機，對于機器視覺系統的穩定性有著重要影響。

圖像傳感器目前廣泛應用的主要有CMOS和CCD 2種光敏介質，它們各有千秋。

(1) 電荷藕合器件(Charge Coupled Device，CCD)，它使用一種高感光度的半導體材料制成，能把光線轉變成電荷，通過模數轉換器芯片轉換成數字信號。CCD的成像質量好，但在相同分辨率下，價格比CMOS高。

(2) 互補型金屬氧化物半導體(Complementary Metal Oxide Semiconductor, CMOS)。CMOS主要是利用硅和鍺兩種 元素 所做成的半導體，其電源消耗量比CCD低，但非常容易出現雜點[1-7]。

本研究根據應用環境初步確定選擇2臺CMOS的彩色攝像機，最大分辨率為744×480。

3.2 方案分析及選擇

確定完攝像機要用的大種類后，根據中央處理器的結構和性能建立可用的方案，最終確定攝像機具體的配置參數后開始采購相關的設備。具體而言：

首先明確需求， 確定是動態檢測還是靜態檢測，如果用于運動檢測，則要確定檢測物體的運動速度；然后要確定要觀測的視野大小和檢測產品的精度要求。

其次根據客戶需求確定硬件參數。硬件的相關參數會影響其性能，因此要先確定其相關參數后再確定硬件的類型，主要確定：

(1) 確定像素的大小。目前市場上的軟件精度一般沒有誤差，但硬件誤差不可避免。 可以通過如下的公式進行計算：

精度=視野(長或寬)÷像機像素(長或寬)

例如：假設視野為15 mm，精度要求為0.03 mm，那么像機的像素=15÷0.03=500像素，那就只需要30萬(640×480)像素的相機就可以了。

(2) 確定像機的傳輸方式。目前市面上的像機傳輸方式及其應用的優缺點如下：

① 模擬像機(需要連接圖像采集卡進行圖像存儲)，具有穩定、性價比高等優點，但分辨率低、幀率低，一般每分鐘只能達到25～30幀，它在對速度要求不高時適用。

② USB接口像機，系統只用到單個/兩個相機的可先擇此款。具有傳輸、連接方便、不需要占PCI插槽、方便使用、性價比高等優點，但占系統CPU多；

③ 1394接口像機，系統用到多個相機的時候可選擇。具有占用系統CPU少、傳輸較遠的優點，但占PCI插槽，價格相對USB接口的要高。

處理圖像的中央處理器分為采用筆記本和工控機兩大類。從而可以建立如下幾個方案：

(3) 采用筆記本電腦。

方案1：筆記本電腦1臺，2個1394接口的數字攝像機，1394筆記本卡，2個鏡頭，1個直流電源(12 V)。

這個方案里又分為兩種：

① 2個攝像機都通過1個1394接口轉換專用的firewire接入筆記本電腦，firewire需要另外提供一個12 V的直流電源，但因firewire是單通道總線，若兩路同步輸入，帶寬不夠，攝像機的性能只能發揮一半的作用；

3.6 放療/手術切除 放療適用于局灶性EBV-PTLD患者，主要用于縮小腫瘤。最近Murad等用局部放療聯合RI成功治療1例皮膚PTLD患者，隨訪3個月，無復發[26]。手術切除多用于局灶非侵襲性和急癥PTLD患者，包括穿刺失敗以及出現腸穿孔、腸梗阻和胃腸道出血等患者；而復雜性腸道PTLD患者手術切除后早期具有較高的死亡率。研究[27]顯示，EBV-PTLD患者經利妥昔單抗治療聯合化療后，腸穿孔的發病率較高，因此建議對這些患者進行密切隨訪，及早發現腸道并發癥。

② 一個攝像機用1394接口轉換專用的firewire接入電腦，firewire需要另外提供1個12 V的直流電源，另一個攝像機通過筆記本電腦自帶的1394-mini口接入，但需要信號發生器外觸發，而且目前的實驗調試結果出現同1個像機在這兩個口采集的圖像幀數不一樣，即采集的圖像對不能滿足同步實時采集。

方案2：筆記本電腦1臺，2個USB數字攝像機，USB驅動需要的5 V電源，筆記本電腦即可提供，無需外接電源，2個鏡頭，可通過筆記本電腦自帶的兩個USB接口直接接入。

方案3：網絡配置方案

目前國內外比較成熟的采集二維圖像數據的網絡傳輸方案是采用“FPGA(現場可編程門陣列)+DSP(或ARM)”，此方案通過網絡互聯實現多攝像機的協同工作，具有成本低和系統靈活的特點。當高速采集時，由FPGA進行圖像數據的壓縮、編碼等預處理后，通過網絡接口將圖像數據傳輸給計算機，完成對圖像的存儲和處理；當需要實時處理圖像數據時，FPGA直接完成圖像處理中的相應算法，而DSP(或ARM)只作為協處理器完成部分輔助處理算法及實現處理結果的網絡傳輸[1,3]。但是這種方案要求電腦的網線接口至少是千兆網，本研究用的筆記本達不到要求。

(4) 采用工控機。使用的圖像采集設備主要是2個同樣型號CCD攝像機和1個視頻采集卡，但工控機體積太大，裝在本研究用的平臺上會造成操作的不便。

結合圖像傳感器的性能、實際的應用環境、現有的試驗條件及CCD和考慮，決定采用方案2，其中的圖像傳感器選用CMOS傳感器。

4 基于雙目立體視覺系統的環境識別應用

4.1 硬件組成

本實驗的硬件主要由以下幾個部分組成；

② ActiveMedia公司的Pioneer3-AT型移動機器人1臺，最大載重40 kg,車體長50.1 cm，寬49.3 cm，高27.7 cm，車輪直徑220 mm，車輪寬75 mm，齒輪比67∶1，最大轉換角度700 mm/sec,最大穿越階梯89°s，最大穿越間隙127 mm。自帶有聲納測距傳感器。

③ 陜西維視數字圖像技術有限公司的MV-VD036SM/SC型USB2.0接口，數字面陣CMOS逐行掃描攝像機兩臺,標準鏡頭接口(CS及C口)，可控電子快門，全局曝光，無需附加機械快門，快門速度：1/10 000～0.25 s，尺寸(W×H×D)：50.8×50.8×30(mm)，工作溫度：-10～45°C，重量、功率：約140 g、1.25W驅動支持：WDM、VFW、DirectX、OpenCV、Twain、LabView、Halcon、MIL，開發包：VC SDK、ActiveX OCX控件、.NET組件，支持Windows 2000、XP、Vista下程序開發工具及演示程序和源代碼，供電要求5V(USB接口或外接電源供電)，圖像分辨率為640×480、744×480, 幀速率高達 60f/s，像素尺寸為6.0 μm×6.0 μm，傳感器件光學尺寸為8.5 mm。

④ 日本Computar公司的M0814-MP型鏡頭兩個，焦距8 mm，手動可調光圈，光圈的范圍F1.4-F14C，光學尺寸為17 mm(注：鏡頭的靶面尺寸必須大于或等于CCD的，否則會有黑圈)。

4.2 雙目攝像機的安裝

雙目攝像機的安裝方式和尺寸對整個立體視覺系統有重要的影響[8-16]。為了保證攝像機離線標定好的參數不改變，就要保證機器人在顛簸不平的路面上行駛時兩個攝像機各自的位置及它們的相對位置不變，同時又不破壞Pioneer3-AT的原來結構，再考慮到攝像機的視野問題，因此設計并制作1個2層不銹鋼架固定在頂板上。Pioneer3-AT智能機器人的頂板中間是用于操作的引線接口，為便于后續的控制操作不能覆蓋，在較窄的一端有起停按鈕，而且習慣上可以把這端視作尾部。尾部留出放置控制器——筆記本電腦。所以就把這個安裝兩個攝像機的鋼架安裝在較寬的一端，由圖2可見，這個部分有10個用于固定頂板與機器人的螺絲，它們沿中心線對稱。因此這個不銹鋼架的底部兩個固定用的底塊的安裝螺絲的位置就以圖2中的位于中間的尚未到機器人圓弧處的4顆螺絲的位置，每個底塊的2個螺絲固定在頂板兩側的這2個螺絲上，然后在2個底塊的中間焊接2層水平架，其寬度為頂板上的2個螺絲之間的距離。為了降低圖像匹配中的圖像對的視差求取時間，在硬件設計上2個攝像機采用平行配置方式, 即它們的光軸相互平行且在同一水平高度上，這樣就將視差求取從二維降為一維，簡化計算，為視覺的技術瓶頸——實時性首先做到了理論上硬件上的實現。因此攝像機就安裝在鋼架的水平方向上，上面開有固定攝像機的槽，它可放置2個或多個攝像機。如果要改變雙攝像機的基線長度只要在這個平層上移動攝像機即可。本研究中將2個攝像機及裝在上面一層，組成的雙目視覺平臺如圖5所示。

圖5 雙目立體視覺平臺

這個架子的設計具有擴展性，有2層結構，即可以保證2個攝像機的水平放置，可方便地改變2個像機的基線長度，同時還可以調整這個雙目系統的高度從而改變它的視野。如果需要2個以上的多目立體視覺系統，可以在這2個層上多擺放更多的攝像機。它的上層還可以加放其他傳感器，比如激光雷達。

實際安裝中有2個細節：

(1) 因為兩個攝像機光軸之間的距離即基線長度越大,空間點在兩攝像機圖像坐標系中的視差也就越大,由此計算得到的深度信息的精度也就越高；基線越短,因為拍攝到的雙目像機圖像之間的差異越小,匹配過程中的計算量越小。本研究對采集的圖像進行初步處理后結合實際的應用環境, 將基線長度取為76 cm。本研究中2攝像機之間的距離為(76-50.8)=25.2 cm。

(2) 攝像機光軸的下傾角。雙目攝像機光軸的下傾角若太大,則距離機動平臺較遠的場景拍攝不到；下傾角若太小, 距離平臺較近的場景又拍攝不到,本系統中因為機動平臺運動速度不高，基線的距離選擇也不大，將攝像機光軸的下傾角選為0°即水平安裝,機動平臺的高度為27.1 cm，2個攝像機的安裝高度距機動平臺的頂部25.5 cm,此時機動平臺前端能夠拍攝到的最近距離為52.48 cm，對1個邊長為80 mm的正方形目標，從公共視野的盲點處到豎直方向的最小距離為99.755 cm。

5 結 語

雙目立體視覺系統建成后，離線標定各個攝像機和系統的參數，在筆記本電腦上進行軟件編程，將攝像機拍攝的圖像數據傳輸到計算機里進行存儲、圖像處理、圖像匹配，得到環境的深度信息，發出控制指令，將控制指令傳輸給機器人的ARCOS服務器。視頻圖像的采集和處理及機動平臺的運動控制由筆記本電腦實現，實際試驗和應用平臺見圖6。采用這個建立的環境識別系統進行了雙目立體視覺系統的標定和圖像采集、匹配和實時識別工作，結果表明該系統比較實用。

圖6 基于雙目立體視覺的環境識別系統

[1] 王力超，熊 超，王晨毅，等. 基于雙攝像頭的計算機立體視覺開發平臺[J].實驗室研究與探索，2007，26(3)：58-60.

[2] 劉 瀏. 基于立體視覺的二維圖像采集開發平臺研究與實現[D].南京：南京理工大學，2008.

[3] 孫 迅,賈慶軒,孫漢旭,等. 雙目立體視覺系統設計[J].科技信息，2008(34)：1-2.

[4] 張鵬飛, 何克忠, 歐陽正柱，等. 多功能室外智能移動機器人試驗平臺——THMR-V[J]. 機器人, 2002, 24(2): 97-101.

[5] 郭陸峰.雙目視覺系統關鍵技術研究[D].泉州：華僑大學，2007.

[6] 王樹剛,余 新. 淺談光電耦合器CCD和CMOS的區別[J].科技信息，2009, 5(14)：257.

[7] 張 渂.雙目立體視覺在障礙物識別及定位中的應用研究[D].南京：南京航空航天大學，2008.

[8] 崔 巖.基于雙目立體視覺的距離測量[D].長春：長春理工大學，2006.

[9] 白生瑞. 基于雙目立體視覺的自主導航車運行環境識別[D]. 西安：西安理工大學，2008.

[10] 方 恒.基于雙目立體視覺的三維信息獲取技術研究[D].武漢：武漢科技大學,2008.

[11] Lanshen GUO, Minglu ZHANG, Yang WANG, Gengqian LIU. Environmental Perception of Mobile Robot[J], Proceedings of the IEEE International Conference on Information Acquisition August， 2006(8)：20-23,2.

[12] Lanshen GUO, Minglu ZHANG, Yang WANG, Gengqian LIU. Environmental Perception of Mobile Robot[C]∥Proceedings of the 2006 IEEE International Conference on Information Acquisition August 20-23,2006,Weihai, ShanDong, China. P:348-352.

[13] 李 宇.基于雙目視覺的障礙物識別研究[D].武漢：武漢理工大學，2007.

[14] 賈云得 編著. 機器視覺 [M]. 北京：科學出版社, 2000.

[15] 賈云得.視覺測量[M]. 北京: 科學出版社. 2003.

[16] 張廣軍 編著. 機器視覺 [M]. 北京：科學出版社, 2005.

An Environmental Recognition System Based on Binocular Stereo Vision on Pioneer 3-AT

YANGJie1,YANQing-dong2

(1. Faculty of Machinery and Transportation, Southwest Forestry University，Kunming 650224, China;2. School of Mechanical Engineering, Beijing Institute of Technology, Beijing 100081, China)

Focusing on the hardware and software environment of research platform - Pioneer 3-AT, a binocular stereo vision system was designed combining with the environmental recognition process, the principles and practical application environment. The hardware parameters were determined according to the characteristics of the classic image sensor, the actual demands, the field size to be observed and the required accuracy. Two CMOS cameras were selected, several possible system solutions were established. Among these, a solution was selected based on the experiment requirement. Then a horizontally binocular stereo vision test platform which can put two cameras was designed. Finally the controller - laptop constitution was added , and a complete environment recognition system was formed. Experimental results showed that this test system was very applicable.

platform; Pioneer 3-AT; binocular stereo vision; environment recognition

2015-05-21

云南省校專項項目(111201)；留學基金委基金資助項目(2014(3033))

楊 潔(1973-)，女，河南光山人,博士，副教授，主要從事計算機視覺應用及自動化控制與檢測方面的研究，現在德國柏林工業大學的計算機視覺與遠程遙感實驗室訪問。

Tel.：0871-63862648; E-mail: yj030315@aliyun.com

TP 391.4

A

1006-7167(2016)02-0102-05