基于三維點云深度學習的路面異物檢測①

王 孟,李 偉,高 榮,王 颯

(長安大學 信息工程學院,西安 710064)

機場跑道作為飛機起降過程的風險最大的一環,關系到所有乘客、機組人員的安全,是機場安全重點監測區.機場跑道異物又稱FOD (Foreign Object Debris)對飛機的威脅巨大[1].目前FOD 檢測技術主要有紅外線掃描、毫米波雷達探測和光學圖像處理.紅外線掃描主要針對熱輻射目標入侵跑道,對于紅外特征不顯著的異物效果不明顯,毫米波雷達檢測系統是安裝在跑道兩側及周邊,由均勻間隔放置的檢測單元組成,檢測到異物后產生告警,向系統指出異物坐標以及記錄發現目標的時間,彌補局限于紅外特征的檢測方法,對于機場入侵異物檢測效果顯著.圖像處理方法則更專注于跑道路面的檢測,圖像處理傳統方法是采集整潔跑道的背景圖像,再由檢測車在機場休整時快速采集圖像通過場景匹配識別異物,目標檢測效果與目標大小成正比,目前研究界則是利用機器學習方法例如SVM支持向量機、BP 神經網絡、Bagging 分類器[2]等對圖像中物體進行分類識別從而檢測異物.

本文中使用經過過濾的深度圖像和分割的三維點云數據,通過神經網絡對跑道的平整性進行檢測對于非平整的部分在再通過三維網絡進行分類檢測出異物的種類.實驗首先通過結構光照射路面采集到跑道的深度圖像,經圖像濾噪后分割進行檢測,忽略平整的路面,對非平整的路面進行異物點云提取,對目標點云細節不均勻提取再由點云分類網絡進行異物分類,由仿真與實驗測試表明經過對不同道面平整度和反光度適應性調試即可有效對跑道異物進行檢測.

使用Automation Technology 公司的C5-2040-GigE 系列高速3D 相機安裝在智能檢測車前部離地高1 米的位置進行深度數據圖像的采集,安裝示意圖如圖1所示.

圖1 智能檢測車

傳感器根據激光三角測量原理獲取高度輪廓和高度圖像.激光線從一個方向投射到物體上.傳感器從另一個角度接收在物體上掃描反射的激光線過濾其他頻譜的光如圖2可以獲得完整的高度圖像.圖2顯示了相機結構的示意圖.

以下為本實驗中圖像成像分辨率:

(1)?x=0.5 mm (沿激光線橫向的分辨率);

(2)?y=0.5 mm (垂直于激光線的分辨率);

(3)在反射角α下高度分辨率可以近似表示:

?z≈?x/sin(α)=2 mm (高度分辨率).

圖2 相機透鏡穿過特定頻率的激光

1 深度圖像的獲取與預處理

1.1 深度圖像分割與過濾

為提高檢測系統的運行效率,本實驗將2048 pixels ×512 pixels 的圖像分割成16 個 512 pixels ×128 pixels 的16 bit 深度的灰度圖像,通過對圖像灰度的分析可得相對平整路面灰度范圍如圖3,選取深度圖像的灰度值作為過濾與分割的依據,對道面上異常灰度值進行濾除.

圖3 相對平整路面灰度值分布

將掃描路面的灰度值分布看作正態分布則由式(1),式(2)計算,其中,E為數學期望,δ為標準差.

得到掃描路面圖像灰度值落在[36 067,36 225]區間之外的概率小于1%,因此將激光掃描的區域在平面上劃分16 個512 pixels ×128 pixels 的矩形,由于跑道路面的特點是高度變化緩慢,高度集中在同一高度區域內,且為一近似平面,同一區域內灰度值相差不大.區域內的異物的特點是灰度值與路面的相差明顯展示如圖4.依據此特性可對路面異物如圖5進行分離.

圖4 路面灰度值與異物灰度值直方圖

圖5 異物

1.2 點云數據的獲取

路面點云的獲取本文利用OpenCV 計算機視覺庫中的Viz3d 函數庫來處理分割與過濾后的深度圖像,首先由于路面和異物具有非均勻反射率,所以照射在表面上激光線不能百分百接收并反映在圖像上,為了去除點云中出現用于指示無效像素的無效數據值(IDV).無效的像素是值為零的像素,所以需要對孤立的無效像素進行抑制消除.其次將含有深度信息的圖像像素由圖像坐標轉化為世界坐標系下的坐標原理如圖6,深度圖像生成點云數據示例如圖7,過程如下.

圖像上的任意坐標點m,圖像坐標系下坐標為(u,v),(u0,v0)為圖像的中心坐標.xw,yw,zw表示世界坐標系下的坐標點.zc表示相機坐標系的Z 軸,表示目標到相機的距離[3],在不考慮圖像旋轉和平移時由相機標定原理公式有:

本文為了計算方便假設相機坐標系和世界坐標系的坐標原點重合,因此世界坐標下一個物體的深度等于相機坐標下物體的深度,即zc=zw,于是由此式(3)可得到圖像上的點[u,v]T到世界坐標點[xw,yw,zw]T的變換式(4)[4]:

圖6 不同坐標系轉換關系

圖7 由深度圖像生成點云數據

1.3 點云數據標準化

512 pixels ×128 pixels 深度圖像轉化為點云共有65 536 個點數據,其中大部分為道面信息反饋的低信息密度數據,檢測系統為降低異物檢測網絡的參數數量提高檢測效率,需要提取有效反映目標空間信息的點云,剔除冗余的數據.點云的存儲一般使用PLY (Polygon File Format)存儲格式[5],PLY 格式中每一個元素對應一個點的信息,每個點使用3 個單精度浮點數代表點的空間(x,y,z)坐標,使用3 個無符號字符代表點的(R,G,B)顏色[6].

根據點云數據的存儲格式可以按照Z 軸數據對點云所代表的信息進行初步分類,將Z 軸數據分布在路面高度的信息進行裁減,提高剩余點云所含信息量.點云Z 軸高度分布如圖8.

按照Z 軸高度分布采取不均勻降采樣策略,少量采集道面點云數據,盡可能多的保留目標空間信息忽略目標局部細節,生成非均勻降采樣目標點如圖9.

圖9 降采樣的點云數據

2 異物識別

點云數據目標識別的關鍵是從空間分布的數據信息中將體現目標幾何特征的數據點篩選出來進行特征判斷.深度學習技術經近幾年迅速發展,已經在特征提取、語音識別和計算機視覺領域廣泛應用.深度學習通過特征提取[7],并通過多層次的非線性映射學習深層次的目標特征,適用于復雜數據下的特征學習,而卷積神經網絡(Convolutional Neural Networks,CNN)是典型的深度神經網絡之一,它能對數據進行多層卷積、池化等操作,逐步提取從淺層到抽象的特征[8],能夠有效抽取高維數據的隱藏特征.同時其獨特的網絡結構能有效減少參數數量、降低模型的復雜度,便于模型的訓練和應用,本文實驗即采用卷積神經網絡.

2.1 卷積神經網絡的改進

空間上的局部相關性(spatially-local correlation)是各種類型的數據都具有的一種性質,并且與數據的表示方法無關.對于可以表示在圖像等規則域中的數據,卷積算子已經證明在探索這種相關性上十分有效,并且也是CNN 在多種任務上取得成功的關鍵.對于本身維度就比環境空間少的數據(比如3D 空間所有目標分類中的面或2D 空間中的線)而言,如果將這些數據表示為環境空間中的點云(point cloud)而非整個空間的一個密集網格,那么效果還會更好.但是,點云不因其無序性直接使用卷積會使得卷積算子難以利用點云之間的空間相關性[9].

在規則網格中,每個網格單元都與一個特征關聯.在點云中,點是從局部近鄰中采樣得到的,類比于規則網格中的局部塊,每個點關聯了一個特征、一個順序索引以及它的坐標.但是,缺乏規則網格使得這些點難以將按規范順序排列.

假設針對圖10中I–IV 任意維無序特征集合,我們使用同一個的卷積核如式(5).在圖10的I 中,通過規則的網格結構給出的順序,可以得到良好的學習效果,但是在圖10的II、III 和IV 中,這些點是從局部近鄰中采樣得到的,因此可以是任意順序.通過相同的卷積操作,這3 種情況的輸出特征可以按如式(5)計算:

圖10 點云排列

直接進行卷積會導致形狀信息丟失從而使圖10中II 和III 訓練的結果大概率相似,也會因為順序而不同造成圖10中III 和IV 訓練結果大概率不同.所以對于以點云形式表示的不規則無序數據,圖像中常用的卷積算子不適合利用數據中的空間局部相關性.針對這個問題這里引用PointCNN 網絡X卷積,它的原理是從前一層的數據中取K個點,預測一個K×K大小的變換矩陣,用前一層的特征做矩陣變換,然在對其進行卷積[10].圖10中II、III 和IV 的卷積可以描述為式(6):

示例中X是4×4 的矩陣,在圖10中K=4.由于XII和XIII是從不同形狀的點采樣而來,所含空間信息不同,相應的通過X變化后,應該得到fII≠fIII.對于XIII和XIV,所含空間信息相同,如果通過X變化后如果滿足fIII=fIV,相當于將(c,a,b,d)置換為(a,b,c,d),實現,因此解決無序排列問題.

2.2 網絡結構

點云的三維空間中包含了物體所有尺度的點云表達,有利于進一步深入地挖掘物體的空間特征.為了能更好地實現分類分割,將結合尺度空間中不同尺度的點云特征,充分挖掘物體的本質信息,更有效地識別點云.該目標的實現主要分為兩個過程,首先非均勻降采樣提高目標物的結構特征,并對空間中每個點云進行特征學習,從而得到每個方向的特征;然后將這些不同方向局部特征進行結合,得到包含豐富信息的多空間特征,并利用卷積神經網絡進行學習.

實驗中使用的神經網絡首先通過四層空間卷積網絡將輸入點(目標點或道面點)逐漸轉換為較少的特征點,但每個特征點含有的空間信息更豐富,接著通過一層[128×3×128,40]的全連接后在通過一層為[40,4]的4 全連接層將點云數據分為4 類,即螺絲、螺母、一般異物、無異物,一般異物針對圖像截取后被部分分割的異物雖無法有效識別但能和無異物明顯區分,網絡最后通過Softmax 層計算得出各種數據的概率.網絡結構如圖11,圖中N和C表示輸出代表點數和特征維數,K是輸入代表點相鄰點的個數,D是空間卷積膨脹率.

3 實驗驗證

FOD 包含能損傷航空器的所有外來的物質.如金屬零件、防水塑料布、碎石塊、報紙、瓶子、行李牌等,典型的有:金屬器件(螺帽、螺釘、墊圈、釘子、保險絲等)、機械工具、飛行物品(私人物品、鋼筆、鉛筆、紐扣等)、橡膠碎片、塑料制品、混凝土瀝青碎塊(石頭、沙子、冰渣等)、紙制品、動植物等[11].

由于機場環境特殊限制本實驗在實驗室中采用螺帽、螺釘、墊圈,筆,鑰匙等模擬跑道異物采集數據,由于異物種類較多,為正確區分正常路面和異物路面將采集的數據分為4 類,采集數據示例如圖12.

圖11 網絡結構

圖12 數據展示

為驗證三維檢測方法在道路表面異物檢測的效果,我們實驗采集異物和正常跑道路面各1100 張數據做為原始數據集,異物數據采集雖然較少,可通過異物出現的位置及方向不同擴充數據,同時由于采用不均勻隨機降采樣,即使是同一張三維數據源也可以產生無數種數據指向同一空間特征.通過不均勻降采樣得到數據11 000 張點云圖像,其中1000 張作為驗證集,通過第二節的步驟將數據做成目標點云數據進行訓練.

從圖13(a)和圖13(b)看出經過6000 多次batch訓練后訓練的損失率在0.3 上下徘徊,而在驗證集上正確率接近0.90,基本滿足作為在道面異物檢測方面三維補充檢測實驗要求,能夠對實驗采集的圖像數據得到較好的分類結果.本文所提出的3D 點云分類的方法優化對路面點云的采集與處理,消除了冗余的數據帶來的數據量陡增,彌補了現有三維神經網絡來對路面異物數據檢測的研究.

圖13 數據實驗結果

4 結論

本文研究了從三維數據處理方面對模擬機場跑道的異物進行識別,設計了一系列從深度圖像到點云數據再從點云數據優化后的目標分類方法.直接對模擬跑道進行三維掃描后轉化的圖像進行過濾與分割,再通過不均勻降采樣減少數據的冗余降低參數量,最后通過引入空間卷積變化相應解決了點云無序問題,使得卷積算子得以利用數據中的空間局部相關性對物體分類,以較高的分類準確率對不同的目標進行分類,對現有的圖像處理檢測方法和機器學習分類法之外提供了從三維數據處理道面異物檢測的新方法.