雙目立體視覺系統的研究

袁觀娜 楊燕 張線媚

摘要 隨著視覺神經學、計算機技術、圖像處理技術以及人工智能技術等的發展，使得機器人模仿人的視覺系統成為可能。為了重建三維場景，研究了基于雙目攝像機的雙目立體視覺系統。融合人的眼睛處理視覺景物的方式，獲取三維場景的深度信息。通過雙目攝像頭獲取了被測物體不同位置的兩幅圖像，通過采集卡將圖像信息傳輸給計算機，計算機通過圖像預處理、選取顏色空間、圖像分割、特征提取、立體匹配、三維重建等圖像處理，真實再現了三維場景的幾何信息。

關鍵詞 三維場景 立體視覺 特征提取 立體匹配

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1674-098X（2016）01（b）-0000-00

0 引 言

人類獲取外界世界的信息70%來源于視覺系統。視覺是人們觀察、認識世界的主要手段。當人分別用左眼和右眼去看同一個東西時，物件的距離和空間感會變得不一樣。這是因為人體的兩只眼睛位置不同，令每只眼睛看出來的影像有所差異。當左右眼睛同時看東西時，所看到的影像傳到腦部時，腦部會將兩個影像合二為一，形成對物體的立體和空間感，即雙目立體視覺。雙目立體視覺系統就是利用視差原理通過成像設備獲取被測物不同位置的兩幅圖像，利用計算機對這兩幅圖像進行圖像處理，計算圖像對應點的位置偏差，恢復和重建被測物三維幾何信息。它融合兩只眼睛獲得的圖像并觀察它們之間的差別，可以獲得明顯的深度感，即可計算出物件的三維幾何信息。

1 雙目立體視覺系統

雙目立體視覺系統由雙目攝像機、圖像采集卡和計算機組成。

雙目攝像機包括兩個攝像頭，可以從不同的位置采集被測物的兩幅圖像。圖像采集卡是雙目攝像機和計算機之間的橋梁，圖像采集卡可以將雙目攝像機采集到的圖像信號轉換成數字信號傳輸給計算機，并保存在計算機的硬盤里。

計算機是圖像處理的中心，主要通過算法完成。通過圖像預處理、圖像分割、特征提取、立體匹配等圖像算法處理，解算出被測圖的三維幾何信息，同時進行三維場景的重建。

2 雙目立體視覺原理

當一個攝像機拍攝圖像時，由于圖像中的像素點坐標相對于真實的世界坐標并不是唯一的，會造成深度信息的丟失。融合兩只眼睛獲得的圖像并觀察它們的差別，可以獲得明顯的深度感。因此，使用雙目攝像機的兩個攝像頭同時拍攝同一場景，可以得到兩幅圖像，通過兩幅圖像的差別就可以獲取三維世界坐標中的深度信息。如圖1所示，真實三維空間中任意一點P（XW，YW，ZW），通過一個攝像機成像以后可以得到P點在成像平面上的投影點A1（X1，Y1），攝像機光心為O1點。但是相反，如果知道攝像機成像平面上的投影點A1（X1，Y1）是無法知道這一點對應空間的位置，因為丟失了深度信息，只能知道空間點在投影點A1和攝像機光心O1連接的直線上。如果通過兩個攝像機，通過光心O1和O2測量P點，會得到P點在平面上的兩個投影點A1（X1，Y1）和A2（X2，Y2），投影點和對應的攝像機光心連接會得到空間的兩條直線，即空間點位于這兩條直線上，則空間點即為兩條之間的交點P點，而且可知這一點是唯一的。

3 雙目立體視覺圖像處理

3.1圖像預處理

雙目攝像機采集被測物的圖像經采集卡傳輸給計算機的過程中會受到各種各樣的干擾，使得圖像質量下降，給圖像識別造成困擾，因此在圖片進行算法之前需經過圖片預處理。圖像預處理的目的是去除傳輸過程中帶來的圖片干擾，增強圖片中被測物。圖片預處理的好，會更有利于圖片中被測物的特征提取及立體匹配。圖像預處理可以在兩個域內進行。一種是空間域，另一種是頻率域，這兩種方法都可以達到降噪的目的。

3.2 顏色空間的選取

圖像處理的目的是從含有復雜背景的圖像中識別出感興趣的部分，并獲取感興趣的部分的特征信息，因此對于不同的圖像信息需要選擇適合的顏色模型，這樣便于分析。顏色模型有很多種，常用的有HSI，Lab，CMY，RGB等，各有各的特點。選擇合適的顏色模型有利于計算機快速識別感興趣的部分的特征信息。

3.3 圖像分割

圖像分割就是將圖片信息根據不同的特征分成多個部分，即圖像元，這樣便于特征匹配。圖像元有自己的特征，使得計算機更容易識別和區分不同的圖像元。因為圖像信息較為復雜，去除噪聲后，圖像信息有計算機感興趣的被測物，還有計算機不感興趣的背景部分，因此首先將被測物與背景進行準確分割。將圖像中感興趣的部分保留，不感興趣的部分去除，減少了計算機的識別工作量，提高了計算機的識別效率。常用的圖像分割方法有基于灰度閾值分割法、基于區域生長的分割、基于邊緣檢測的分割等。

基于灰度閾值分割法是先將圖片進行灰度化處理，灰度化處理可減少多余的信息，只包括需要的亮度信息。根據圖像的亮度值分割的方法有最大值法、平均值法、加權平均值。基于區域生長的分割方法是將圖像按照像素來分割，在圖像中選取一個像素作為基像素，將周圍的像素與基像素對比，若與基像素相同或者相似則合并，最后可得到很多像素相似的區域，完成圖像的提取。基于邊緣檢測的分割方法是根據圖像里輪廓線來分割的。圖像中物體與物體交接的部分包含了大量的信息。可根據圖像的邊緣獲取圖像的邊緣信息，將這些邊緣信息按照一定的方式連接起來，就能將圖像按照其邊緣分割出來。

3.4 圖像特征的提取

圖像分割可以將圖片中感興趣的部分保留，但是兩幅圖像中感興趣的部分需要一一對應。即獲取三維空間中同一點在不同圖像中的兩個坐標。所以需要提取圖像的特征進行比對。圖像中的物體的特征是區別與圖像其它部分的特有屬性。對于計算機而言，圖像識別的關鍵是通過這些特征值來判斷。圖像的特征有局部特征如點、線、面邊緣等，全局特征如多邊形、圖像特征等。常用的圖像特征有顏色特征、紋理特征、形狀特征、空間關系特征等，根據不同的特征選用不同的算法來提取特征。

3.5 立體匹配

雙目攝像機左右兩個攝像頭對同一物體拍攝的兩幅圖像稱為一個立體相對，立體匹配就是找到兩幅圖像中點和點一一對應的關系。要想進行三維重建，必須知道兩幅二維圖像中兩個點的坐標。立體匹配通常用到的匹配算法有基于不變量的局部描述算子、基于統計學習方法。圖像匹配的特征必須是唯一的，可再現的，并且具有物理意義的。

可以將立體匹配找到一一對應的兩個點（u1，v1）和（u2，v2），帶入圖像像素與世界坐標之間的轉換公式，其中Zc為P點攝像機坐標系下的坐標，M矩陣為攝像機投影矩陣。聯立求解即可求的世界坐標系中P（XW，YW，ZW）的坐標。

圖像處理和識別流程如圖2所示。

5、結論

敘述了在windows平臺下，根據視差原理，利用雙目攝像機的兩個攝像頭采集被測物體的兩幅圖像，通過采集卡傳輸給計算機，計算機利用圖形處理算法對兩幅圖像進行圖形預處理、選取顏色空間、圖像分割、特征提取、立體匹配等過程，最后進行三維重建，還原被測物在空間的三維幾何信息。這種方法具有一定的適用性，可以獲取三維場景中物體的形狀、位置、姿態等幾何信息，還能對他們進行描述、識別和理解，對于三維場景的重建具有重要的意義。

參考文獻：

[1]馬肖，舒博倫，李景春. 雙目立體視覺測距技術[J]. 電子設計工程，2016（04）：81-83.

[2]張力，黃影平. 實時雙目立體視覺系統的實現[J]. 電子科技，2016（03）：68-70+74.

[3]孫迅，賈慶軒，孫漢旭，洪磊，陳鋼. 雙目立體視覺系統設計[J]. 科技信息，2008（34）：1-2.

[4]牟雅丹. 雙目立體視覺系統的攝像機標定技術[J]. 科技資訊，2009（33）：213+215.

[5]張力，黃影平. 實時雙目立體視覺系統的實現[J]. 電子科技，2016（03）：68-70+74.