面向內河航道建圖的大數據清洗方法和步驟

◎周鵬穎 何卉 張學煒 吳靜媛 中國交通信息科技集團有限公司

1.內河航道測繪數據類型

隨著我國內河航運技術的快速發展，智能駕駛技術等需求，對準確的內河航道三維結構測繪提出重要需求，內河航道三維結構圖測繪是支撐智能航運的重要技術基礎。內河航道三維結構測繪的主要目的是通過水面和水下的測繪技術，繪制出河岸、水面以及水下河道的三維地形，得到航道的三維結構，從而為計算航道通航能力、劃分航道等級、輔助航運調度等提供準確的航道信息基礎。為實現這一目的，現在我國已采用多種內河航道的測繪手段，包括無人機、測繪船、多波束超聲測探、激光雷達、RTK技術等，以及上述技術結合的航道測繪手段。

目前主要的內河航道三維結構測繪手段包括以下四類，這其中（1）（2）類分別是基于無人機和測繪船的河岸和水面三維結構采集方法，第（3）類基于測繪船的水下三維結構采集方法，第（4）類是基于衛星的河岸和水面三維結構采集方法。

（1）無人機+RTK+視覺+雷達的水面、河岸結構采集方法；

（2）測繪船+RTK+視覺+雷達的水面、河岸結構采集方法；

（3）測繪船+激光雷達或單波束超聲、多波束超聲的水下三維結構采集方法；

（4）基于衛星影像的航道和岸邊結構采集方法。

測繪數據主要包括原始數據類型、中間層特征數據類型和結果數據類型。表1總結了內河航道三維結構測繪的主要手段及測繪數據類型。

1.1 航道測繪的原始感知數據

如表1所示，航道測繪的主要手段包括通過無人機、測繪船攜帶多種類型傳感器，進行河岸、水面和水下航道結構的測繪，同時包括基于衛星圖像的河岸和河道的測繪。所以，航道測繪的原始感知數據主要包括無人機和測繪船攜帶的RTK傳感器返回的無人機、測繪船的位置和姿態信息；由圖像傳感器所返回的圖像信息；由雷達采集的雷達點云信息；由單波束或多波束超聲采集的超聲成像信息；由衛星在不同的軌道位置采集的多視角的衛星圖像等信息。

表1 內河航道三維結構圖測繪數據類型

1.2 中間層特征數據

在上述數據采集方法獲得原始數據之后，基于原始數據提取數據特征。基于不同的數據類型，所提取的特征數據也不相同。其中基于圖像數據，提取的圖像特征主要包括不同特征點提取方法所提取的圖像特征點，例如ORB、SIFT特征等提取圖像中的角點為特征點，而目標檢測方法通過深度學習等方法檢測圖像中的目標。對于點云數據，提取的點云特征主要包括點云的目標檢測結果，點云中的平面特征點和點云中的邊界特征點。對于無人機和測繪船的運動特征主要提取無人機的運動軌跡、測繪船的運動軌跡和姿態。對于安裝在無人機和測繪船上的傳感器，主要提取傳感器的位置和姿態等。在基于衛星的航道圖拍攝方法中，中間層特征數據主要是衛星圖處理后獲得的圖像特征點，或圖像目標檢測所獲得的檢測目標的特征。

1.3 結果數據

各種采集方法所產生的結果的數據類型基本是一致的，都包含水面的3D結構、水下的3D結構以及語義航道圖。其中方法（3）由于只進行水下的三維結構建圖，所以只產生水下3D結構，方法（4）通過衛星僅拍攝水面以上的環境，只建立水面3D結構。

2.內河航道測繪數據清洗方法

上述各類內河航道三維結構測繪方法所產生的多種類型的原始數據，在進行建圖計算之前，首先要進行數據處理，解決數據噪聲、數據不完整、數據偏差等問題，即數據清洗。根據數據類型的不同，數據清洗主要方法見表2。

表2 航運測繪數據的數據清洗問題與方法

2.1 位姿數據的清洗

對于無人機、測繪船、檢測傳感器的由RTK設備計算的位置和姿態數據，由于在橋梁或者兩岸的其它障礙物的遮擋環境下，RTK定位的結果可能存在較大的誤差，所以不能完全信任RTK的定位結果。為濾除定位的噪聲減小定位誤差，需要結合視覺、點云的檢測結果，利用SLAM（同步定位和建圖）方法，通過環境地圖中特征點的匹配和計算結果，反過來糾正RTK給出的位置誤差，通過這種方法消除姿態和位置數據的誤差影響。SLAM方法能夠利用感知數據，同步進行環境建圖和對無人機進行位置姿態的計算，所以其計算結果可以反饋修正RTK的定位結果。

2.2 圖像類數據的清洗

對于圖像類型數據，例如無人機、衛星拍攝的圖像數據，常會存在圖像失焦、亮度異常、偏色、曝光過度、鏡頭畸變等問題。為解決這些問題需要首先對圖像數據進行預處理。

①圖像失焦主要表現為畫面模糊，衡量畫面模糊的主要方法是梯度的統計特征，通常梯度值越高，畫面的邊緣信息越豐富，圖像越清晰，所以可以通過圖像梯度檢測的方法檢測失焦。對于檢測失焦的圖像，可以采用去卷積和盲去卷積的方法，將失焦的模糊圖像重新對焦，獲得清晰的圖像。

②色偏檢驗一般將RGB圖像轉換到均勻色空間，即CIE1976L＊a＊b＊色空間，其中L表示光亮度、a是紅綠分量，b是藍黃分量。通常存在色偏的圖像，在a＊和b＊分量上的均值會偏離原點很遠，方差也會偏小，通過這種方法可以檢測色偏。亮度檢測與色偏檢測相似，計算圖片在灰度圖上的均值和方差，當存在亮度異常時，均值會偏離均值點，通過計算灰度圖的均值和方差，就可評估圖像是否存在過曝光或曝光不足。對檢測存在色偏，可以通過將顏色向量的均值調回原點，消除色偏的影響。對檢測存在亮度異常的圖像，可以通過調整圖像整體的灰度值上移或者下移,使圖像整體變亮或者變暗，消除弱爆或者過曝光影響。

③鏡頭的畸變分為徑向畸變和切向畸變兩類，徑向畸變主要包括桶形畸變和枕形畸變兩種，切向畸變是由于透鏡本身與相機傳感器平面（成像平面）或圖像平面不平行而產生的。為解決畸變問題，可以通過學習5個畸變參數，將畸變的圖像矯正為正常的圖像。

2.3 點云數據的清洗

由激光雷達或單波束超聲、多波束超聲采集的航道3D結構的點云數據，具有對光照不敏感、對紋理不敏感、測量更為穩定的特點，但也存在著很大的噪聲問題。例如，對航道的水下結構進行掃描時，受到水中懸浮物質甚至魚的影響，掃描得到的水下激光點云或超聲點云存在很多噪點。這些噪點不能夠反映河床和河底的地形，需要在3D建模過程中進行濾除?，F有點云濾噪的方法較多，主要包括以下幾點。

①直通濾波：直接濾除一些坐標在可行范圍之外的噪聲點或者離群點。適用于所有類型點云數據。

②高斯濾波（標準差去噪）：考慮到離群點的特征，可以定義某處點云小于某個密度，既點云無效。計算每個點到其最近的k個點平均距離來評估點云密度，從而濾除密度低的離群點，適用于較為稠密的雷達點云數據。

③聚類濾噪，例如基于DBSCAN的方法，基于密度進行聚類，將離群點濾除掉，適用于較為稠密的雷達點云和多波束超聲數據。

④體素濾波：將點云柵格化，每個柵格成為一個體素，非空體素越密集的地方信息越多，噪音點及離群點可通過離群的體素網格去除，適用于各種點云數據。

⑤半徑濾波：以某點為中心畫一個圓計算落在該圓中點的數量，當數量大于給定值時，則保留該點，數量小于給定值則剔除該點，此算法運行速度快，依序迭代留下的點一定是最密集的，但是圓的半徑和圓內點的數目都需要人工指定。

⑥KD-Tree：構建KD樹，隨機取點求平均距離d，刪掉所有大于2d的點，適用于無序點云去噪，但這種方法復雜度較高。

3.內河航道測繪數據清洗步驟

基于上述內河航道三維結構測繪的數據類型和清洗方法，我們總結和提出了內河航道大數據的清洗步驟，如圖1所示。圖中，將位姿數據進一步分開姿態數據和位置數據，因為姿態傳感器存在零飄和溫漂等問題，所以對其單獨處理。從而將內河航道測繪的原始數據劃分為四個類別：

圖1 內河航道大數據清洗步驟

（1）由慣性感知單元（IMU）測量的無人機、測繪船的姿態數據；

（2）由RTK數據獲得的無人機和無人船的高精度坐標數據；

（3）河道和河岸的激光雷達數據與河床的超聲測量數據劃分為一類，主要是3D點云和3D超聲數據；

（4）由無人機或無人船車輛的河道和河岸的圖像數據與衛星測量的圖像數據劃分為一類，同為圖像數據。

圖1中給出了各種類型數據的數據清洗方法。其中IMU數據由于存在零飄和溫漂的問題，所以先通過低通濾波濾除高頻噪聲，再通過零飄矯正和溫漂矯正消除噪聲影響。RTK數據一般比較精準，只是在衛星信號被遮擋的時候，會產生定位誤差，可以通過Kalman濾波等方法，減小測量誤差。上述兩者輸入到多傳感器融合的內河航道圖構建的SLAM系統中，根據SLAM系統計算的傳感器的位置姿態，得到反饋和修正。

對于河道、河岸的激光雷達數據，以及水下測量的超聲數據，數據清洗的主要目的是減少離群噪聲點的影響，所以擬經過點云噪聲處理的整個流程，消除離群點，提高數據的可靠性。

對于圖像數據，需要經過失焦矯正、亮度矯正、色偏矯正、畸變矯正步驟，提高圖像的質量。這些數據在經過數據清理之后，進入基于多傳感器融合的內河航道圖構建的SLAM系統進行建圖和運算，SLAM系統提供無人機和測繪船的位置和姿態計算結果，用于修正測繪設備的位置和姿態。

4.結論

本文介紹了內河航道測繪的多種數據類型的采集方法，采集的原始數據，中間層特征數據和結果數據類型。將內河航道測繪的主要數據劃分為采集設備的位姿數據、點云類型數據和圖像類型數據。對不同類型的數據，總結了數據清洗方法，并給出了內河航道測繪大數據清洗步驟。