基于雙目結構光技術的路面坑槽多指標提取方法

王 蔥,潘 均,孫尚宇,宋偉東

(1. 遼寧工程技術大學測繪與地理科學學院,遼寧 阜新 123000; 2. 遼寧工程技術大學地理空間信息服務協同創新學院,遼寧 阜新 123000; 3. 航空遙感技術自然資源部重點實驗室,北京 100039)

路面坑槽是一種典型的路面病害,對居民出行舒適性、公路使用壽命、車輛通行安全均有較大影響[1-2]。坑槽面積、深度、體積等信息決定了其嚴重程度劃分結果,將直接影響路面損壞狀況指數計算,間接影響公路養護計劃的制定和實施[3]。傳統人工檢測方式效率和安全性低,依賴技術人員經驗和病害手冊;基于二維圖像自動化檢測方式精度高,速度快,但無法獲取深度信息[4-5];激光技術適用于弱光環境,簡單直觀,但掃描儀成本高,掃描速度慢,無法獲取高質量紋理數據[6]。

文獻[7]采用代價路徑搜索算法,改善了單目視覺獲取路面影像噪聲多、連續性差、裂縫對比度低等問題,但利用該方法檢測裂縫,易受光線影響;文獻[8—9]均基于立體視覺獲取深度,三維重構后計算坑槽面積和體積,該方法效率較高,可獲取坑槽多維指標,但是同樣不適用于弱光弱紋理環境;文獻[10]提出一種基于三維激光技術的瀝青路面坑槽量化的方法;文獻[11]提出利用超聲波傳感器識別坑槽和波浪擁包,并測量其深度和高度,用于輔助駕駛和避免事故。基于三維激光雷達技術和超聲波雷達技術可直接獲取高精度的路面點云,提取路面破損信息,技術成熟,但成本很高。

為解決弱光、弱紋理環境路面坑槽多維指標計算問題,本文提出的方法如下:①基于雙目結構光三維成像系統的坑槽多維指標提取方法;②針對坑槽不規則形狀,設計坑槽深度、面積、體積多維指標計算方法;③設計對比試驗,對正常光線和弱光、弱紋理兩種環境計算的坑槽多維指標,與人工測量結果對比,并統計誤差指標,驗證該方法是否滿足坑槽檢測精度需求,以及對弱光、弱紋理環境的適用性;④基于兩種環境下多維指標計算結果和規范,對坑槽輕重程度進行評價,并與人工測量相比,驗證評價結果一致性。

1 雙目結構光三維成像系統

1.1 雙目結構光三維成像原理

雙目結構光三維成像系統結構如圖1所示。散斑結構光發射器和雙目相機平行,發射器射出紅外激光散斑,雙目紅外相機獲取目標F的影像,得到帶有散斑的立體像對。系統采用紅外雙目相機和紅外散斑結構光,不易受周圍光線變化的影響,且結構光可增加被測物體表面的紋理特征,因此,雙目結構光三維成像系統和弱光、弱紋理環境更加適配,可在弱光、弱紋理環境下對路面進行有效三維成像,且有更好的測量精度和重建效果。

圖1 雙目結構光三維成像系統結構

研究采用的雙目結構光三維成像系統如圖2所示,由雙目紅外相機、紅外散斑結構光、單目可見光相機、鋁合金支架、車載平臺4部分組成。其中,IR攝像頭精度為0.2%@1 m,深度、紅外、RGB相機均采用640*480@30 FPS;鋁合金支架橫向方向可旋轉,縱向方向可伸縮。將系統架設在車載移動平臺上,縱向高度為300 mm,保證檢測精度。

圖2 雙目結構光三維成像系統

1.2 弱光、弱紋理環境路面圖像獲取

在弱紋理環境下,傳統雙目立體視覺采用相機無人眼的“無特征聚焦”能力,圖3(a)弱光環境會使路面紋理特征減弱,對于局部弱紋理如左部分F處,將無法判別其位于右部分的同名點。雙目結構光三維成像系統的結構光散斑,可對獲取的圖像中的所有點編碼,增加大量同名點,如圖3(b)所示。即使處于弱紋理環境,也可高精度立體匹配,利用視差原理和三角測量原理,得到深度信息,實現對路面的有效三維成像。

圖3 系統適用于弱紋理環境

系統采用紅外雙目相機結合紅外散斑結構光獲取三維信息,結構光可增加路面紋理,雙目紅外相機可在弱光環境下獲取帶有散斑的立體像對,使系統適用于弱光、弱紋理環境。相較于傳統RGB相機易受環境光照影響,系統光照穩健性更強,可在弱光環境對路面進行有效三維成像,如圖4所示。

圖4 系統光照穩健性

基于雙目立體視覺的視差原理和三角測量原理,利用雙目相機內外參數,雙目圖像經過圖像校正和立體匹配獲取視差圖并轉換為具有深度信息的深度圖,進一步可映射為路面點云,實現弱光、弱紋理環境下路面圖像的有效三維成像。雙目結構光三維成像系統數據獲取流程如圖5所示。

圖5 系統數據獲取流程

2 路面坑槽多維指標提取方法

坑槽的深度、面積、體積等信息將直接影響路面破損狀況指數的計算,因此,路面坑槽多維指標提取對于坑槽評價、路面破損程度評定、修補材料估算等具有重要的意義。本文通過雙目三維結構光系統實現對路面有效三維成像,對獲取的點云數據進行預處理、處理、多維指標提取和病害點云曲面重建。路面坑槽多指標提取流程如圖6所示。

圖6 路面坑槽多指標提取流程

2.1 數據預處理

數據預處理主要包括點云姿態標準化和去噪。①姿態標準化:由于路面凹凸不平和系統安裝誤差,難以保證采集坐標系XOY平面完全與路面平行,因此獲取的點云數據需要姿態標準化,將傾斜點云轉換為平行姿態。②去噪:受儀器、周圍環境、被測量目標本身特性的影響,點云噪聲無法避免。本文的采集系統和應用場景決定了去噪[12-15]的主要目標是離群點。采用基于空間分布的去噪算法(statistical outlier removal,SOR)[16]濾除離群點。

2.2 病害點云提取

采集的點云數據包含路面和病害點云,為保證坑槽多維指標計算的精度,剔除路面上如石子等一些微小的凹凸點的影響,需擬合道路平面,設定合適的閾值提取病害點云。

2.2.1 基于RANSAC算法的道路平面擬合

道路平面是分割點云和點云上頂面輪廓識別的重要依據,合理擬合道路平面對于坑槽多維指標計算具有重要的意義。基于RANSAC算法[17]對道路平面進行擬合,使得擬合平面與坑槽上頂面重合,擬合的本質是迭代過程:①選取部分數據點,對擬合平面初始化;②計算所有數據點到擬合平面的距離,若距離小于閾值,則認為當前點是有效數據,加入下一次擬合平面的數據集;③重復步驟①—步驟②,不斷迭代,直到有效數據點少于上一次,當前平面即為路面的最佳擬合平面。擬合平面的過程決定了其用于分割點云是有效的。擬合平面的原理如圖7所示。

圖7 擬合平面原理

2.2.2 路面坑槽頂面輪廓識別與點云分割

路面坑槽上頂面是面積計算的重要依據。如圖8所示。通過2.2.1節擬合的道路平面對點云進行分割:以擬合的平面一定閾值內的點作為內部點,閾值外的點則為平面外部點,內部點集合即為去除坑槽后的路面點云;外部點集合即為坑槽點云。病害點云與擬合平面的交點即為坑槽頂面的輪廓點[18]。通過雙向最近點搜索法,對所有輪廓點遍歷排序,排序后按逆時針方向相連構成多邊形,該多邊形即為坑槽上頂面。

圖8 平面輪廓識別

2.3 路面坑槽多維指標提取

根據《公路技術狀況評定標準》規范[19],可知坑槽深度、面積是評價坑槽的重要依據,體積是計算坑槽修補材料的重要指標。針對坑槽形狀不規則導致多維指標提取困難,設計了坑槽多維指標計算方法。基于深度提取計算坑槽深度,基于雙向最近點搜索對坑槽頂面輪廓點進行排序,逆時針連接成多邊形后,利用輪廓點法計算面積指標,基于微元逼近法對坑槽進行等距切片,計算坑槽體積。

2.3.1 路面坑槽深度

坑槽深度是評價坑槽級別的重要依據,采集的點云數據中的每個數據點同時具有深度和二維信息,每個深度均對應一個像素點,對點云數據預處理和分割后,以坑槽上頂面為基準,以數據中深度最大的點作為坑槽的最低點,提取深度即可獲得兩者的深度,深度之差即為坑槽深度,原理如圖9所示。路面坑槽深度計算公式為

H=Hmax-Hmin

(1)

式中,Hmax為坑槽上頂面的深度;Hmax為坑槽最低點的深度;H為坑槽的深度。

2.3.2 路面坑槽面積

病害點云與擬合平面的交點即為坑槽頂面的輪廓點,去掉深度,映射為二維后,采用2.2.2節的雙向最近點搜索法對上頂面外輪廓的邊界點進行排序,按逆時針方向相連構成多邊形,采用以“矢量外積”為原理的輪廓點法計算上頂面面積。原理如圖10所示。路面坑槽面積計算公式為

圖10 路面坑槽面積計算

(2)

式中,xi、yi為輪廓多邊形第i個頂點的坐標;i為排序后的輪廓多邊形的頂點編號;n為輪廓多邊形的頂點個數;S為坑槽面積。

2.3.3 路面坑槽體積

以計算的坑槽深度為基礎,在點云縱向上以等間距對點云進行切片,形成多個等間距的梯形墩臺微元,計算各個微元的上下底面積,得到微元體積,求和即為坑槽體積。為了保證亞毫米級的精度、計算效率與適用性,本文中的梯形墩臺微元采用正軸0.5 mm切距等距切片,原理如圖11所示。坑槽體積計算公式為

圖11 路面坑槽體積計算

(3)

式中,n為分割個數;h為分割間距。

(4)

式中,K為切片編號,取值范圍為[0,n-1];Vk為梯臺微元的體積;Sk、Sk+1分別為第K個梯臺微元的上、下底面積;V為坑槽體積。

2.4 基于BPA算法的路面坑槽曲面重建

為更好地恢復路面坑槽形貌,可對處理后的病害點云進行曲面重建,給予道路養護更直觀的數據視角。本文采用滾球法(ball pivoting algorithm,BPA)[20-21]進行曲面重建,其算法原理如圖12所示。

圖12 曲面重建原理

3 試驗結果與分析

在采集數據的同時對坑槽多維指標做人工測量,并根據上文中設計的多維指標計算方法,對獲取的正常光線和弱光、弱紋理環境下的坑槽數據,分別進行預處理、處理和多維指標計算。與人工測量結果相比,驗證設備與檢測方法的坑槽檢測精度和評價是否滿足規范需求,是否適用弱光、弱紋理環境。

3.1 路面坑槽數據集與指標人工測量

將硬件系統搭載在車載平臺上,采集坑槽數據,同時對坑槽多維指標進行人工測量:①采用分辨率為0.01 mm的高精度數顯游標卡尺測量坑槽深度;②通過拓印坑槽頂面測量坑槽面積;③采用鋪沙法測量坑槽體積。

人工測量主要誤差來源:①坑槽深度易受所處的路面的平整度影響;②面積易受拓印面積誤差影響;③體積易受鋪沙的密度和高度影響。因此采用多次測量求取平均值作為指標的真值,用于驗證本文方法的準確性和適用程度。指標人工測量如圖13所示。

圖13 多維指標人工測量

樣本集共計14個坑槽,根據指標人工測量結果,以及坑槽評定標準,坑槽深度<25 mm或面積<0.1 m2為輕度;深度≥25 mm或面積≥0.1 m2為重度;可知樣本集中的坑槽有輕度10個、重度4個。坑槽樣本原始數據如圖14所示。

圖14 坑槽樣本原始數據

3.2 試驗結果與誤差分析

3.2.1 路面坑槽多維指標提取

根據對比試驗思路,以及上文確定的坑槽多維指標計算方法,對獲取的正常光線和弱光、弱紋理環境下的坑槽數據,分別進行預處理、處理和多維指標計算。將計算結果與人工測量結果對比,部分結果見表1—表2。

表1 兩種環境下部分計算結果

表2 兩種環境下部分計算結果的相對誤差 (%)

由表1—表2可知,雙目結構光三維成像系統對于弱光、弱紋理環境具有較強的適用性,對于坑槽多維指標檢測精度較高。

多維指標檢測結果可為坑槽評價、坑槽修補材料估算、坑槽養護優先級等提供數據依據。指標計算主要誤差來源:①點云預處理和分割對坑槽深度、面積、體積均有一定的影響;②劃分梯臺微元的單位大小對體積計算有一定的影響。

3.2.2 指標提取誤差統計

對比兩種環境下計算結果與人工測量的指標真值,計算并統計誤差指標,驗證設備和檢測方法對弱光、弱紋理環境的適用性。誤差統計結果見表3。

表3 誤差統計結果

由表3可知,弱光、弱紋理環境和正常光線下對坑槽的檢測和評價精度,均滿足坑槽自動化檢測規范中的精度需求。①弱光、弱紋理環境與正常光線各誤差指標無明顯差異,表明系統和檢測方法適用于弱光弱紋理環境。②根據表3中平均相對誤差指標可知,弱光、弱紋理環境和正常光線檢測深度、面積、體積準確度分別達98.15%、95.03%、92.31%和98.28%、94.85%、91.55%,均滿足路面破損自動化檢測多維指標計算精度需求。③根據誤差指標結果,可以看出,計算的誤差累積:體積>面積>深度,驗證了面積拓印和體積鋪沙方式存在較大的誤差,計算時劃分梯臺微元的單位大小對體積計算也有影響。

3.2.3 路面坑槽評價與人工測量一致性

根據兩種環境多維指標計算結果及評價規范,對坑槽嚴重程度進行評價,與人工測量評價結果對比,結果見表4。

表4 坑槽評價結果

由表4可知,弱光、弱紋理環境和人工測量、正常光線評價一致性較高,滿足坑槽自動化檢測與評價規范精度需求。但不排除樣本中沒有處于嚴重程度劃分指標的界線處的坑槽的因素。

3.2.4 路面坑槽曲面重建

為給予相關應用場景更直觀的數據視角,采用不同的曲面重建算法,分別對兩種環境下的坑槽點云進行曲面重建,重建結果如圖15所示。

圖15 曲面重建結果

由圖15可以看出:①對比弱光、弱紋理與正常光線環境曲面重建結果可知,弱光、弱紋理環境重建效果良好。②對比多個經典算法曲面重建結果可知,BPA算法相對紋理信息更全,重建更細致;Possion算法重建相對更光滑,在邊緣處的銳度更好;Alpha-shape算法對于后續的平滑等處理較差[22]。基于本文的應用場景,選擇BPA算法重建病害點云曲面,為后續的病害修補、路面養護提供更直觀的數據視角。

4 結 論

(1)針對傳統單目圖像識別方法無法獲取深度信息,傳統雙目測量在弱光、弱紋理環境下立體匹配精度無法滿足坑槽多維指標計算需求,激光掃描儀成本太高等問題,提出了一種基于雙目結構光三維成像系統的坑槽多維指標計算的方法。

(2)針對坑槽形狀不規則導致多維指標提取困難,設計了坑槽深度、面積、體積多維指標計算方法。

(3)設計了對比試驗1,利用提出的方法檢測坑槽,計算坑槽的多維指標,與人工測量值相比,在弱光、弱紋理環境下最大相對誤差分別3.40%、9.64%、9.46%;在正常光線下最大相對誤差分別為3.24%、6.50%、9.19%。表明雙目結構光三維成像系統對坑槽多維指標檢測具有較高的精度,對弱光、弱紋理環境具有較好的適用性。

(4)設計了對比試驗2,通過對兩種環境與人工測量對比的誤差指標進行統計,兩種環境下各誤差指標無明顯差異,檢測深度、面積、體積準確度分別達98.15%、95.03%、92.31%和98.28%、94.85%、91.55%,表明系統和檢測方法適用于弱光、弱紋理環境,且均滿足路面破損自動化檢測多維指標計算精度需求。

(5)設計了對比試驗3,利用提出的方法計算坑槽多維指標,按照標準對坑槽評價,與人工測量值相比,在弱光、弱紋理環境和正常光線下,均符合坑槽自動化檢測精度標準,表明其滿足道路養護評價需求。