基于三維激光點云與全景圖像的公路沿線設施特征提取技術研究

蔡泉華，嚴守靖，奚晨晨，魏金濤，孫團偉，胡緒泉

（1.浙江交投交通建設管理有限公司，杭州 310014；2.浙江省交通運輸科學研究院，杭州 311305；3.浙江省道橋檢測與養護技術研究重點實驗室，杭州 311305）

公路沿線附屬設施是公路資產的重要組成部分，主要通過人工拍照巡檢的方式開展數據采集與處理，在數據處理過程中無法提取沿線設施的長、寬、高等特征信息，對公路沿線設施資產的管理造成較大的影響。

為提高公路沿線設施資產的數字化管理效率，提取沿線設施的尺寸特征，有研究成果開展了激光點云與影像融合配準技術研究。吳偉坊[1]、顧斌[2]通過三維激光掃描設備與光學相機，提出了一種將數字圖像與激光點云數據進行配準融合的方法。楊長強等[3]研發了基于線陣CCD 相機與激光點云的數據融合方法，查陸九[4]采用三維激光雷達與視頻影像裝備，開展了移動測量的配準方法研究。同時，有大量的研究成果[5-8]聚焦于激光點云與影像的融合算法研究，李斯[9]通過對經典特征匹配方法的不足進行改進，將核Fisher 判別分析融入SIFT 算法中，改進了特征描述子生成的過程，提升了算法的魯棒性，提高了點云與圖像融合的自動化程度。馮志成[10]、黃志成[11]提出了一種基于多注意力機制的Li DAR 點云3D 目標檢測方法，采用基于矩形核膨脹解決了鄰域數據丟失的問題并完成了深度圖像的稠密化，使用ICP 算法疊加相鄰幀補充丟失的部分激光雷達水平掃描線數據。此外，也有研究成果顯示[12-15]，通過融合激光點云與圖像數據，建立目標物的三維模型，開展目標物的分類與識別。但對于目標物尺寸特征提取問題的研究較少。

針對公路沿線設施，從三維激光點云與全景圖像融合原理出發，集成三維激光點云與全景相機，提取公路沿線設施的尺寸特征，并開展了檢測速度對特征提取準確性的影響。

1 三維激光點云與全景圖像融合

1.1 坐標系轉換

三維激光點云與全景圖像裝備在工作時均采用獨立的坐標系，為實現2 類數據的對齊與融合，擬采用WGS-84 大地坐標系為基準坐標系，通過計算全景相機、三維激光點云的相對位置，建立局部坐標系與基準坐標系的轉換關系，并將全景影像的像素逐一映射到以WGS-84 為基準的坐標系上。而激光點云的數據則根據點云的經緯度信息，直接投影到WGS-84 大地坐標系上，從而實現了三維激光點云與全景圖像的坐標系統，坐標系的轉換如圖1 所示。

圖1 4 個坐標系之間的關系

1.2 激光點云與全景圖像坐標融合

激光點云與全景圖像的融合原理如下，假設OWXWYWZW為大地坐標系（WGS-84），OPOS-XPOSYPOSZPOS代表車載的坐標系，OS-XSYSZS表示全景相機坐標系，OLXLYLZL表示三維激光點云掃描坐標系。若激光掃描P點的時刻為tL，P點由激光掃描推算在OW-XWYWZW坐標系下的坐標為

假設全景相機拍攝P點的時刻為ts，設P點在OSXSYSZS坐標系下的坐標為[XSYSZS]T，P點由相機測量推算在OW-XWYWZW坐標系下的坐標為

因此，P點激光點云與全景圖像坐標融合公式為

2 公路沿線設施巡檢裝備集成設計

根據激光點云與全景圖像的坐標融合方法，集成三維激光電源設備、全景相機、高精定位器、距離編碼器與慣導系統。其中，全景相機負責記錄路面及安全設施影像資料，三維激光掃描儀用于掃描路面及沿線安全設施，GPS 定位器可接收GPS 全球衛星導航系統的信號，距離編碼器用于記錄巡檢的里程信息，慣導系統主要記錄巡檢車輛的加速度、方位角、航向角等姿態信息。公路沿線設施巡檢的裝備組成見表1。各個傳感器在同步控制器的控制下協同工作，共同完成公路沿線設施激光點云數據及影像數據的采集，其數據由工業計算機處理與存儲。

表1 公路沿線巡檢裝備組成

各個模塊通過電氣控制系統和同步控制器進行協同工作。公路沿線設施巡檢裝備整體集成設計如圖2 所示。

圖2 公路沿線巡檢裝備集成設計

公路沿線設施巡檢的全景圖像如圖3 所示，全景圖像與激光點云融合的效果如圖4 所示。

圖4 全景圖像與激光點云融合效果

3 車速對特征提取準確性的影響

3.1 低速條件下沿線設施尺寸特征提取

在低速條件下（40 km/h），通過公路沿線巡檢裝備對標志牌、監控箱、信號箱和廣告牌4 類典型的交通安全設施進行掃描，利用三維激光點云和全景圖像提取各類沿線設施的尺寸特征，如圖5 所示，并與人工測量的參考值進行比較。

圖5 低速條件下沿線設施特征提取

由圖5 可以發現，在40 km/h 的低速條件下，標志牌和廣告牌的測量值變化相對較大，而監控箱和信號箱的測量值變化相對較小。這是由于監控箱和信號箱尺寸相對較大，并且沒有遮擋，激光點云和全景圖像掃描相對較為精確。

3.2 高速條件下沿線設施尺寸特征提取

在高速條件下（70 km/h），通過公路沿線巡檢裝備對標志牌、監控箱、信號箱和廣告牌4 類典型的交通安全設施進行掃描，利用三維激光點云和全景圖像提取各類沿線設施的尺寸特征，如圖6 所示，并與人工測量的參考值進行比較。

由圖6 可以發現，在70 km/h 的高速條件下，標志牌、監控箱、信號箱和廣告牌4 類交通安全設施的測量值變化幅度都有明顯增加。這是由于檢測速度增加后，三維激光點云掃描的密度在減小，導致尺寸特征提取的精度下降。

3.3 尺寸特征提取誤差

為評價不同檢測速度條件下沿線設施特征提取的效果，擬采用復現性誤差、平均測量誤差和最大測量誤差3 個指標評價尺寸特性提取的效果。不同速度條件下尺寸特征提取誤差分別見表2 和表3。

表2 40 km/h 條件下尺寸特征提取誤差

表3 70 km/h 條件下尺寸特征提取誤差

從復現性誤差的角度看，40 km/h 和70 km/h 的速度差異對實驗的復現性影響較小，復現性誤差都控制在5%以內，表明公路沿線設施巡檢裝備測量的穩定性較好。就平均測量誤差而言，隨著車速的增加，平均測量誤差呈現增大的趨勢，速度越大，平均測量誤差越大。廣告牌的最大測量誤差最高，這是由于廣告牌容易出現遮擋、傾斜等現象，影響三維激光點云與全景相機的掃描。

4 結論

通過融合激光點云和全景圖像，在不同檢測速度條件下，開展提取公路沿線設施尺寸實驗，分析了檢測車速對尺寸提取準確性的影響，獲得了以下結論。

1）公路沿線設施中，目標物存在遮擋、傾斜現象對尺寸特征提取的準確性影響較大，最大測量誤差達到10 cm 以上。

2）公路沿線設施距離越遠，點云掃描的間隔越大，尺寸特征提取的誤差越大。

3）檢測速度的增大，會導致激光點云的掃描間隔增大，尺寸特征提取的準確性下降。