基于雙目相機的光學高度測量系統

王修文　李志偉　李宏偉　田智源　胥震宇　田燕青

摘要：根據雙目立體視覺模型，搭建一個實驗室專用的高度測量系統。首先使用Matlab自帶的工具箱對雙目相機進行多次標定，獲取實驗所需的諸多參數，然后通過立體校正技術建立修正后的世界坐標與像素坐標之間的關系方程。在VS2015結合OpenCV的編程環境下，利用立體匹配算法和視差理論獲取目標表面的三維空間信息。最后通過選定同一目標的2個特征點獲取其空間坐標，達到高度測量的目的。實驗結果顯示，該系統能夠有效實現真實場景下的三維信息測量。

關鍵詞：雙目立體視覺;相機標定;視差圖;高度測量

【Abstract】Accordingtothebinocularstereovisionmodel，thispaperbuildsalaboratory-specificheightmeasurementsystem.ByusingtheMatlabtoolboxtocalibratethebinocularcameratoobtainmanyparametersrequiredbytheexperiment，thepaperestablishestherelationshipequationbetweenthecorrectedworldcoordinatesandthepixelcoordinatesthroughimagecorrectiontechnology.UndertheprogrammingenvironmentofVS2015combinedwithOpenCV，thestereomatchingalgorithmandtheparallaxtheoryareusedtoobtainthethree-dimensionalspatialinformationofthetargetsurface.Finally，thespacecoordinatesofthesametargetareobtainedbyselectingtwocharacteristicpointstoachievethepurposeofheightmeasurement.Theexperimentalresultsshowthatthesystemcanachieve3Dinformationmeasurementofrealsceneswell.

【Keywords】binocularstereovision;cameracalibration;disparitymap;heightmeasurement

作者簡介：王修文（1997-），男，碩士研究生，主要研究方向：圖像識別與處理;李志偉（1982-），男，副教授，碩士生導師，主要研究方向：光電子、圖像處理、機器視覺等。

0引言

從古至今，人類一直在嘗試使用工具描繪看見的任何事物，現代科技不斷向前發展的同時，新的高度測量技術也被不斷提出。對于各所高校而言，在實驗室內更加準確快速地獲得周圍物體的尺寸有助于驗證階段性的實驗成果，相比于費時、費力且效率低下的普通測量方法，雙目視覺測高技術有著多目標同時檢測，非接觸式、高精度、高效率的優勢。

在雙目視覺測量這一領域，國內外許多學者做了大量研究與實踐。1966年，最小二乘法首次被Hallert用于標定觀察數據的處理上，在野外立體坐標測量儀上的應用更是取得突破性的精確結果。周科杰等人[1]推出了一種采用雙目相機結合編碼結構光的三維測量系統，該系統能通過移動測量儀獲得三維點云矩陣，進而完成對大型曲面的測量。雖然目前對立體視覺技術的理論研究已經逐漸趨于完善，但由于在不同的場景下的需求也不相同，這就對整個立體視覺系統的魯棒性和穩定性提出了更高的要求。

為提高獲得的相機相關參數的準確性，主要對雙目視覺的標定方法進行了改良，開創性地使用預標定+單目標定+雙目標定的方式進行立體標定，實驗結果最終也論證了該方法行之有效。

1雙目測高的原理

作為機器視覺的一類重要分支，雙目視覺測量技術采用一對雙目模塊來模擬人眼的視覺機制，從而獲取同一場景2個不同視角下的2幅圖像，再依據視差原理建立相應數學模型來還原該場景下的深度信息，最后利用相似原理，計算出目標物體同一面上最高最低點的空間三維坐標[2]。

雙目立體視覺模型如圖1所示。圖1中，PL與PR分別是點P（x，y，z）在左右相機成像平面上的投影，OR、OL分別為左右相機光心，n為相機主光軸向量，f為相機焦距。若已知空間點P在左右像平面的投影坐標PL和PR以及相機標定參數，即可計算出點P的三維空間坐標[3]。

1.1雙目標定

雙目相機標定要求測定參照物上每個特征點相對于世界坐標系（XW，YW，ZW）的位置，圖像平面坐標與三維空間坐標間的對應關系，這個映射關系主要由雙目相機的內、外參數確定[4-5]。換句話說，雙目相機標定的主要目的就是求取相機內外參數以及相應的畸變系數，因為這會直接影響到雙目測量的結果。

標定方法采用由張正友教授提出的單平面棋盤格法，以下簡稱張氏標定法[6]，標定板如圖2所示。張氏標定法直接將世界坐標系與標定板平面融合，即ZW=0，標定板平面上任意一點P的齊次坐標為（XW，YW，0，1），在圖像像素坐標系下表示為（u，v，1）、圖像物理坐標系（x，y，1）、相機坐標系（XC，YC，ZC），用矩陣形式表示為：

由于諸多參數都是在標定這一階段獲得，因此為了使標定結果更加準確，創造性地使用預標定+單目標定+雙目標定的方式。

預標定如圖3所示。在預標定階段，首先利用Matlab的自動標定工具箱—StereoCameraCalibrator對采集的24組棋盤格圖像來進行篩選標定，再根據MeanErrorPixels指標來剔除標定過程中誤差較大的圖像對。

單目標定如圖4所示。角點選取見圖4（a）。在第二階段，使用calib工具箱分別對篩選后的左/右視圖進行手動標定，這一過程主要包括手動設置角點以及自動提取角點，由此得到2組單目標定的參數，見表1。圖4（b）中則展示了單目鏡頭與標定板之間的相對三維空間圖。

1.2立體校正

想要通過2幅圖像對一個點的深度信息進行估計，就必須嚴格保證能在2幅圖像中匹配到該點。同時，為了提高匹配的效率，左右相機的成像平面應處于同一平面上。但是在實際操作中，僅僅通過平放攝像頭無法保證光心OR與OL保持在一條軸上，參見圖1。此時就需要使用圖像立體校正技術，把2個不同的圖像平面重新投影到同一平面上，使得2幅圖像滿足匹配條件[7-8]。

進行校正后的雙目立體視覺模型如圖6所示。由圖6可以看到，進行立體校正后，圖像畸變消除，2臺相機的X軸重合，左右相機光心OR，OL之間為基線B，光軸與相機成像平面垂直，左右成像面上的每一行都嚴格水平對齊，滿足極線約束條件，匹配點的搜索范圍也從二維降到了一維上，在這種結構下尋找P點在左右成像面上的投影uL，uR之間的匹配關系將會十分便捷[9]。

2實驗與結果分析

2.1實驗平臺搭建

實驗室用雙目立體視覺系統的特點之一是成本低、操作簡單，其核心組成為一個雙目視覺模塊、專用支架和一臺計算機。使用一根USB數據線連接計算機與雙目相機，雙目視覺模塊的實物圖如圖9所示，主要參數見表2。

平臺的搭建也是十分快捷，只需將雙目相機固定在支架上，再將支架固定在實驗桌上，最后使用USB數據線與筆記本連接就完成了。整個雙目測距系統的軟件平臺基于Win10桌面操作系統，相機標定使用Matlab2010b的標定箱工具，立體匹配算法運行環境為MicrosoftVisualStudio2013，整個系統的具體運作流程如圖10所示。

2.2實驗結果

使用半全局匹配算法中的SGBM算法與局部立體匹配算法中的BM（BlockMatching）算法進行對比。

使用BM算法對圖7進行立體匹配后輸出的視差圖如圖11所示。可以從視差圖中看出整個場景的大致輪廓被基本還原，但由于錯誤匹配點較多，信息缺失十分嚴重，視差圖整體識別度比較差，因此不具備參考價值。

使用SGBM算法對圖7進行立體匹配后輸出的視差圖如圖12所示。雖然信息也有缺失，但整體輪廓較為完整，分辨率較高，且與BM算法的結果相比，不正確的匹配點更少。

由于實驗條件有限，暫時只使用了2種匹配算法。誤差結果見表3，本系統測量結果較為準確，誤差控制在1%左右。

3結束語

利用Matlab來研發真實場景圖像對的采集和實驗所用雙目相機的標定，并在雙目標定這一階段結合了多種標定方法，從而保證了所得相機內置與外置參數的精確性。在VS2013編程環境中結合OpenCV，完成對雙目圖像的校正，在雙目匹配階段對BM和SGBM兩種算法生成的視差圖進行比較。最終得到的實驗結果表明該系統可以很好地實現真實場景的三維高度測量。

參考文獻

[1]周科杰，馮常.基于雙目視覺的三維測量技術研究[J].計算機測量與控制，2019，27（1）：22-25，31.

[2]曾勁松，薛文凱，徐博凡，等.雙目視覺引導機器人定位抓取技術的研究[J].組合機床與自動化加工技術，2019（1）：131-133，137.

[3]孔繁淇.基于雙目視覺的無人機測距與避障方法研究[J].科技風，2019（1）：101.

[4]王曉寧，宋曉煒，楊蕾，等.雙目視覺下交通路標的立體匹配算法研究[J].中原工學院學報，2018，29（6）：56-60.

[5]劉銳，陳鳳翔，陳科羽，等.基于雙目視覺的障礙物檢測方法研究[J].計算機測量與控制，2018，26（12）：67-71.

[6]陶凱.基于雙目視覺室內環境的機器人導航和避障算法研究[D].南京：南京郵電大學，2018.

[7]李薇.基于雙目視覺的特定運動目標跟蹤和實時測距方法研究[D].西安：西安理工大學，2018.

[8]朱平，甄子洋，覃海群，等.基于立體視覺和光流的無人機避障算法研究[J].電光與控制，2017，24（12）：31-35.

[9]賈寧.基于雙目視覺的家庭機器人的目標識別與檢測[J].現代電子技術，2017，40（23）：51-54，58.

[10]劉維.基于雙目立體視覺的物體深度信息提取系統研究[D].長沙：中南大學，2009.