車載雙目相機與慣性導航融合下的道路信息采集

杜 毅，楊國仁

（1.長安大學 電子與控制工程學院，陜西 西安 710000；2.浙江浩鑫工程技術有限公司，浙江 杭州 310000）

0 引 言

雙目視覺技術起源于國外，美國麻省理工學院的Marr首先應用了雙目匹配，奠定了雙目視覺理論發展的基礎。至20世紀70年代中期，Marr、Barrow以及Tenenbaum等人提出了雙目視覺的成套理論體系，該理論的核心是利用數字圖像進行物體的三維重構。立體視覺匹配是立體視覺研究的核心問題，不同的工程領域應采用合適的立體匹配方法。

國內對于雙目視覺技術也有許多應用與研究。大部分團隊都將雙目視覺技術應用在了目標追蹤和檢測領域。張競藝將目標追蹤和雙目立體視覺相結合，實現對運動目標的實時測距。郭勝杰把計算機視覺技術與渡槽裂縫檢測相結合，實現了裂縫的測距、三維定位和尺度測量。同時，雙目視覺技術也能應用在道路環境檢測和三維重建領域。陳昆提出了一種基于雙目視覺和激光雷達的道路環境感知方法。顏亞雄提出了一種基于雙目視覺的道路SLAM算法，重點研究圖像特征匹配和場景重建的改進算法。盧亞兵通過對雙目圖像進行特征提取及匹配實現了實時定位，并圍繞特征提取、特征匹配優化、回環檢測等環節進行了改進及論證分析。

在道路設施的管理與維護領域，國內一些研究團隊提出了一些想法。朱吉認為公路養護管理信息系統的應用很好地解決了查詢、統計、歸檔的問題，同時利用智能化的設備，通過信息化手段，可對日常養護作業實現全過程監管。伍朝輝、李青、朱琳等學者提出將BIM（Building Information Modeling, BIM）技術應用到道路設施維護領域，并且國內多個城市已經開始公路試點。

本文提出了以雙目視覺技術為基礎的道路信息采集系統。相比上述研究，本項目利用雙目相機的圖片和慣性導航采集的經緯度、方向角，通過公式計算出目標的矢量信息，對道路設施的管理和維護領域有較大作用。本設備成本低且安裝便捷。激光雷達技術與雙目視覺技術相比雖然更為精確，但在道路設施的日常維護中不需要這么高的精度，本方法的精度完全足夠，而且激光雷達設備昂貴，完整的一套設備和軟件需要幾十萬甚至幾百萬的投入。同時，激光雷達存在數據更新問題，激光雷達的數據體量龐大，數據處理、更新費用昂貴，不適合道路設施管理與維護的應用場景，也不適合道路情況變化較快的城市道路。

雙目視覺技術和慣性導航的結合可以改變道路設施管理與維護領域的傳統模式，甚至在數據處理平臺搭建起來后，GPS定位精度足夠的情況下，可以在出租車、公交車上安裝雙目視覺相機，將圖像數據直接傳輸到平臺的數據庫統一管理，管理人員可以直接在平臺上根據自己的需求處理某一個區域、某一段路程的數據，然后查看處理后的數據結果，是否存在道路設施損壞、偏移等情況。

1 數據采集

1.1 采集設備

移動道路信息采集車的結構如圖1所示，由載體平臺、雙目相機、慣性導航、采集處理軟件、電源構成。

圖1 采集車系統結構

（1）載體平臺：保護、固定相機和慣性導航，具有穩定支撐作用；

（2）雙目相機：采集照片數據以及照片中的深度信息；

（3）慣性導航：采集車輛的經緯度、方向角；

（4）采集處理軟件：對采集的信息進行處理、存儲，及對設備進行監控；

（5）電源：為各分支部分供電，保證硬件正常運行。

1.2 采集流程

采集流程如圖2所示，在對設備進行架設、檢測、安裝、調試之后進行數據采集，采集結束后關閉設備。

圖2 采集流程

采集數據之前觀察天氣情況，盡量選擇晴天或陰天，避免采集的信息誤差較大。然后進行設備的檢查與安裝，設置采集設備的參數。參數設置完畢后，開啟慣性導航以及采集處理軟件，車輛停在原地，觀察經緯度信息直至經緯度信息穩定之后車輛開始行駛，且行駛過程中盡量在一條車道上保持勻速行駛，避免換道、急轉彎等影響采集數據精度的行為。行駛結束后，保持車輛停止直至經緯度信息穩定之后，關閉相機、慣性導航，卸載儀器設備。

2 目標定位原理

2.1 雙目視覺原理

雙目相機采取的深度信息涉及世界坐標系、相機坐標系、圖像坐標系、像素坐標系之間的轉換。雙目視覺原理如圖3所示。

圖3 雙目視覺原理

圖3中，世界坐標系為-，作為參考坐標系，其描述相機和其他物體的實際位置關系；左相機的相機坐標系為-，右相機的相機坐標系為-，其中相機坐標系的原點為相機光心。左相機的圖像坐標系為-，右相機的圖像坐標系為-，其中圖像坐標系的原點為圖像中心點。作為世界坐標系下的目標點，被拍攝到圖像后的像點分別是，。像點在圖像坐標系下的坐標分別是（,），（,），像點在像素坐標系下的坐標分別是（,），（,）。左相機的焦距為f，右相機的焦距為f，左相機到右相機兩者基線的距離為。

通過公式（1）和公式（2）的計算，獲得物體在相機坐標系下的橫向距離和縱向距離，即和。其中，相機焦距為、左右相機基線距離均可通過先驗信息或相機標定得到，核心問題為視差，即-。

2.2 定位原理

已知一點經度、緯度和到另一點的距離和航向，根據公式（3）、公式（4）可以計算出另一點的經度、緯度。

式中：為經度；為緯度；為方位角（從北沿順時針方向旋轉），由慣性導航系統收集并傳入電腦；為角距離；為目標之間的距離，由雙目相機的Z、X計算而得；為地球半徑；為拍照時車輛的經度；為拍照時車輛的緯度。

3 實驗與結果分析

本次實驗路段選自西安市長安區航天大道部分區域，手動選取照片中車道線的部分點，獲取信息計算經緯度，空間坐標系為WGS-84坐標系，之后與無人機獲取的影像進行對比，計算誤差。結果表明，定位誤差約1 m。部分車道線點定位誤差見表1所列。

表1 部分車道線點定位誤差

（,）代表車道線的點，++=0表示車道線的部分表達式。距離計算公式可表示為：

車道線定位點與處理后的無人機影像中的車道線進行比較，效果如圖4所示。

圖4 無人機影像

實驗表明，平緩行駛狀態下采集的道路信息比較準確，但一旦出現換道、超車等駕駛行為就會使得定位誤差增大。

4 結 語

本文基于雙目相機和慣性導航融合下的定位方法在每隔20 m進行拍攝的照片中，車道線的平均誤差約1 m。本系統是處理時間短、采集設備價格低廉、數據處理過程快捷的采集系統，對于以后的智能化交通有著非常重要的作用。本研究僅考慮了兩條車道線的定位，后續將融入深度網絡的目標檢測，形成一體化的道路信息采集、處理系統。