基于路面分割的高精度地圖創建優化方法研究

錢宇晗， 楊 明，徐漢卿，王春香，賀越生， 梁 熠

(1.上海交通大學機器人研究所, 上海 200240； 2.上海交通大學自動化系，上海 200240； 3.系統控制與信息處理教育部重點實驗室，上海 200240; 4. 軍委裝備發展部某中心， 北京 100034)

0 引言

地面無人平臺無論在軍事領域還是民用領域都有著廣闊的應用前景，越來越多的地面無人平臺如無人駕駛汽車[1-2]、無人配送平臺[3]、救災機器人[4]等正在走進人們的視野。高精度地圖作為地面無人平臺的核心技術，提供豐富的地理位置信息，除了對地面無人平臺的定位匹配、路徑規劃乃至運動控制[5-6]有著至關重要的作用之外，還能在許多惡劣天氣和環境下(如雨天、夜晚)提高無人平臺的行駛安全[7]。

高精一方面是指地圖中包含的數據定位精度高，誤差在10cm以內；另一方面也指地圖中包含的數據粒度細，信息種類豐富。為了獲取高精度地理位置信息，采集時就要求定位精度高。而數據粒度細則需要采集數據全面。

高精度地圖分為視覺高精度地圖[8]與點云高精度地圖[9-10]。視覺高精度地圖與點云高精度地圖相比，由于具有采集速度快、語義信息明顯、數據量更小的優點而廣泛使用。但在地圖采集的過程中，路徑上難免存在其他障礙物遮擋圖像導致信息缺失，當障礙物為動態障礙物且與采集平臺同向等速行駛時遮擋尤為嚴重，會導致后期標注時大范圍的地面信息丟失。同時采集平臺的全球定位系統(Global Positioning System，GPS)容易受到遮擋而產生誤差,這會導致高精度地圖在生成過程中匹配度下降，精度降低。

針對障礙物遮擋問題，可采用車輛識別去除[11]，但會在圖像上留下空白區域，需要進一步補全被遮擋的路面信息。針對GPS誤差問題，目前有兩種主流解決方案。一種基于視覺即時定位與地圖構建(Simultaneous Localization and Mapping，SLAM)的解決方案，在圖像上根據特征點配準來進行相對位姿估計[12-13]。但該方案對采集環境要求較高，若圖像被動態障礙物遮擋嚴重則會導致有效特征點減少，匹配精度降低。且視覺SLAM對采集頻率還有較高要求，大范圍地圖制作會導致采集數據量過大的問題。還有一種解決GPS誤差問題的方案是采用擴展卡爾曼濾波(Extended Kalman Filter，EKF)[14]，在GPS信號差的情況下根據當前狀態進行位姿預測。這種方案在GPS信號短時間內丟失會有效果，但無法處理GPS長時間處于信號弱或抖動造成的定位誤差問題。

基于上述問題，本文在SLAM方法的基礎上提出了一種基于圖像語義分割的高精度地圖優化創建方法。該方法先采用DeepLab v3+深度學習框架[15-16]，語義分割出全景圖像中的路面信息，將全景圖垂直投影獲取俯視圖。然后利用圖像配準方法，將去除了動態障礙物的圖像進行位姿匹配，同時將匹配結果與里程計信息融合到圖像原有的GPS信息中，利用圖像疊加填補遮擋盲區。最后得到精度更高且無動態障礙物干擾的高精度地圖。

1 路面信息的語義分割

目前，視覺高精度地圖大多以車輛采集為主，采集車輛配備相機、高精度GPS、慣性測量單元(Inertial Measurement Unit，IMU)等傳感器，可以采集具有地理信息的圖像數據。在相機的種類選擇上，全景相機由于具有視野范圍廣的優點，是高精度地圖圖片采集的最佳選擇方案。圖1所示為數據采集硬件框架示意圖。

圖1 數據采集硬件框架示意圖Fig.1 Scheme of the integrated navigation system measurement

之所以選用全景相機，是因為單一相機視野固定，如果某幀圖像被遮擋，則其前后幀圖像被遮擋的區域幾乎相同，無法獲知被遮擋的路面信息。全景相機視野廣，可以獲取周圍360°的水平影像，即使某個鏡頭的特定區域被遮擋，當移動平臺移動時，其他鏡頭也可以捕捉到對應位置的圖片。因此，選用全景相機作為地圖采集相機最為合理。

圖像在垂直投影的過程中，圖中許多具有高度的物體會沿著圖像中心方向被拉長，當遮擋物體靠近采集平臺且具有一定高度時，這一現象造成的遮擋會相當大，如圖2所示。

圖2 圖像被動態車輛遮擋嚴重Fig.2 Image occluded by dynamic vehicles seriously

如果在采集過程中遮擋物體與采集平臺以相同方向、速度相近行駛，會造成大量采集圖像的遮擋，在俯視圖疊加之后會產生大區域的遮擋盲區，對后期的地圖標注帶來極大的不便。

而語義分割可以實現像素級的車輛識別，通過語義分割結果在圖像中去除遮擋車輛、行人以及道路以外的圖像。在后期地圖制作時，利用圖像重疊，將其他圖像沒有被動態物體遮擋的區域覆蓋之前剔除的空白區域，即可補全遮擋盲區。如果遮擋物體為靜態障礙物(如停在路邊的車輛)，該方法也能最大程度地補全障礙物周邊區域。

由于全景圖中存在較大的畸變場景，且尚無開源的大型全景數據集，因而全景圖的語義分割有較大挑戰性。本文基于對全景圖成像的理解，先采用DeepLab v3+模型對全景相機的各個原圖進行分別語義分割，再將語義分割好的圖片拼接成具有語義信息的全景圖像。

DeepLab v3+是目前在PASCAL VOC 2012和Cityscapes上表現最為優異的分割網絡之一，其結合了金字塔池化模塊與編碼器-解碼器的優勢，對目標邊界的分割較為精確。同時其進一步探索了Xception模型，將深度可分卷積應用到了金字塔型的空洞池化(Atrous Spatial Pyramid Pooling, ASPP)和編碼器上，使編碼器-解碼器網絡更加強大。如圖3所示，DeepLab v3+模型對圖像中的大畸變、光線變化、復雜場景的語義分割結果較為理想，僅極端環境下(如陽光直射全景相機的水平鏡頭)才會影響檢測結果。

圖3 全景圖語義分割流程圖Fig.3 Flow chart of the panorama semantic segmentation

在獲得了全景圖的語義信息后，同時對原始全景圖與全景語義圖進行垂直投影，獲得具有語義信息的俯視圖，去除動態障礙物以及路沿以外的部分，保留其中的路面部分。其中由于投影造成的鋸齒狀路沿，則采用高斯濾波與二值化進行平整處理。

2 高精度地圖的構建方法

去除了遮擋及路沿以外的信息后，圖像會在該區域留下透明空白。在地圖的制作過程中，通過圖像的疊加可以將路面上由于動態遮擋造成的空白補全。對于靜態物體遮擋，圖像疊加也能利用從不同角度拍攝的圖像補全靜態物體四周的路面，僅靜態物體的正下方無法補全。

全景圖像在采集后需垂直投影，形成俯視圖后才可以進行地圖的制作。全景相機成像模型為球體，其像素位置與球體模型位置的關系如圖4所示。

圖4 全景圖像-球體模型對應圖Fig.4 Panoramic image-spherical model corresponding graph

設球體模型上一點P(xc,yc,zc)，對應到全景圖上的像素坐標(u,v)，則其對應關系為

(1)

從球體坐標投影到地面如圖5所示。球面上的點利用經緯度坐標描述，記球面與地面切于S點，S點在球面中的坐標為(α0,β0)，而在地面坐標系上的坐標為(0,0)。

圖5 球體模型-地面對應圖Fig.5 Spherical model-ground correspondence map

假設地面始終保持水平，成像球面半徑為h，則球面上一點P′經緯度坐標為(α,β)投影到地面(u,v)的變換公式為

(2)

如果GPS采集準確，則可直接通過地圖制作軟件，將之前采集到的地理位置信息融入到俯視圖中即可生成地圖的底圖，后期再通過標注可直接用于無人平臺的高精細語義地圖。整個高精度地圖制作流程如圖6所示。

圖6 地圖制作流程圖Fig.6 Flow chart of HD map making

但在實際過程中，GPS難免存在誤差，導致俯視圖拼接時并不準確。為了獲取更準確的圖像位姿關系，還需要進行圖像配準。

3 俯視圖的圖像配準

去除遮擋之后，俯視圖上原先被遮擋的區域出現空白，此時可以利用臨近圖像沒有被遮擋的部分進行疊加補齊。但相鄰圖像的GPS與航向角信息難免存在誤差，尤其是在道路上方存在樹木、橋梁遮擋的部分比較嚴重。若直接使用采集到的位姿信息做圖像疊加，遮擋空白區域的填補就有不準確的可能性，給后期標注工作帶來不便。

圖像配準得到圖像間的相對位姿結果可以彌補GPS、航向的誤差。同時俯視圖僅提取路面信息，去除了動態障礙物以及高物體不同角度投影的干擾之后，圖像配準的精度可以得到進一步提高。在路面平整條件下，特征點匹配矩陣為旋轉平移的正定陣。

3.1 俯視圖配準

在去除了遮擋車輛以及道路兩側場景之后，在水平面假設成立的情況下，保留的路面圖像之間相似度較高，傳統的圖像匹配算法就可以在極短的時間內得到較好的匹配結果。本文特征點選取采用經典的尺度不變特征變換(Scale-Invariant Feature Transform，SIFT)算法[17]，該方法對旋轉和亮度變化具有較好的適用性，且對視角變化和噪聲也有一定程度的穩定性。首先在全景圖的俯視投影圖上直接進行特征點提??；提取特征點后，根據圖像之間的位姿信息，保留圖像重疊部分的特征點，將不重疊區域的特征點舍掉；隨后，根據之前的語義分割結果，進一步過濾，將動態障礙物等過濾，僅保留道路上的特征點。整體流程如圖7所示。

圖7 俯視圖語義分割及配準流程圖Fig.7 Flow chart of top view semantic segmentation and registration

通過迭代最近點(Iterative Closest Points, ICP)算法[18]可以得到圖像之間匹配上的特征點。通過隨機抽樣一致(Random Sample Consensus, RANSAC)算法[19]尋找一致的樣本點。假設俯視圖A中的特征點為[xiyi]T，俯視圖B為俯視圖A的前一幀采集的圖片，其特征點為[xi-1yi-1]T,在地面水平的情況下其對應關系為

(3)

式中，Δθ為2張圖片的相對旋轉角，Δx、Δy為2張圖片的相對位移，通過求解該方程組的最小二乘法近似解，可以得到2張圖片的旋轉及平移參數。圖像匹配結果如圖8所示，白色框為前一幀圖像在后一幀圖像的預測位置。

圖8 圖像配準示意圖Fig.8 Schematic diagram of image registration

3.2 定位優化

本文認為在大部分場景下，地圖采集平臺的GPS精度較高，僅在被遮擋時可能會產生較大誤差。僅用特征點匹配進行圖像位姿配準會產生累計誤差，產生閉環問題。在采集圖像時可以采集到里程計信息，里程計不受外界干擾，穩定性高。因此，需要融合GPS、里程計以及圖像配準三者來進行圖像定位。

GPS根據采集時的衛星數量判斷其可靠性，ICP匹配的相對位姿關系可靠性一方面根據ICP匹配的可靠點數計算，一方面根據匹配點之間的線性關聯程度計算。在融合過程中，融合定位方程如下

Pi=

(4)

其中，Pi為第i幀圖像的位姿，PGPSi為數據采集時的GPS位姿，ΔPICP為根據圖像配準得到的前后兩幀的相對位姿關系，m為GPS連接的衛星數量,M為GPS可靠時的最少星數，s為ICP匹配點的對數，p為根據ICP匹配點的線性相關程度，Δx為兩幀測量GPS的直線距離與里程計距離的差值，ε為經驗參數。當GPS星數比標準值大且GPS移動距離與里程計數值相符時，直接采用GPS值作為定位值；若GPS星數比標準值少或GPS移動距離與里程計數值不符時，則此幀數據以前一幀的位姿為基礎加上圖像配準的相對位姿。在GPS衛星數目恢復后，將前一段連續的融合定位誤差平均分配到這一段融合的結果中，從而減少閉環誤差。

4 實驗及結果分析

本次實驗選用的相機為PointGrey的Lady-bug5全景相機，該全景相機為球形全景相機，包括5個水平相機以及1個頂部相機。采集平臺使用的是上海交通大學智能車實驗室的CyberTiggo智能車。該平臺配備了雙頻GPS接收機、慣導IMU等告知定位傳感器。全景相機及采集平臺如圖9所示。

圖9 全景相機及CyberTiggo實驗平臺Fig.9 Panoramic camera and CyberTiggo experimental platform

本文方案主要適用于解決兩種問題場景：1)動態遮擋物與采集平臺同向駕駛的大面積遮擋問題； 2)采集平臺上面GPS信號被遮擋導致的定位不準確問題。因此，實驗分為兩部分進行驗證。

4.1 障礙物去除實驗

本次實驗場景選取在高架道路上，實驗車輛在采集的過程中有多輛車以接近采集車輛的速度進行超車，在采集過程中有連續15幀圖像被遮擋，多輛動態障礙物在采集平臺的周圍造成了地面信息的大面積遮擋。根據前文所提到的方法，首先在每個相機單獨的采集圖像中進行語義分割，隨后拼接成一副語義全景圖，將其進行俯視圖投影，利用語義信息去除其中的遮擋車輛，僅保留地面，如圖10所示。

(a)動態障礙物遮擋

(b)動態障礙物去除圖10 單幀圖像的動態障礙物遮擋與動態障礙物去除Fig.10 Dynamic obstacle occlusion and removal in single frame image

利用圖片疊加，可以補全動態車輛遮擋所造成的地面信息缺失。在實際實驗中，每隔6.85m采集一次數據，而圖像在汽車行駛方向上大約有30m的跨度，因此連續兩幀圖像大約有77%的重疊區域，間隔一幀時也有54.3%的重疊區域。因遮擋而被去除的區域可以在臨近的6幀圖像里面尋找補全圖像。疊加后的動態障礙物去除效果如圖11所示。

(a)動態障礙物去除前

(b)動態障礙物去除后圖11 圖像疊加后動態障礙物去除效果圖Fig.11 Removal of dynamic obstacles after image overlay

可以看到,經過路面的語義分割提取之后，動態車輛的遮擋情況得到了解決。地面信息被完全顯示出來。經實驗驗證，在保證安全行駛車距的前提下，在常見的城市道路擁堵環境中該方法都是有效的。

同時對于靜態物體所造成的遮擋，該方法也能將靜態物體四周被遮擋的區域進行補全，如圖12所示。

(a)單幀圖像遮擋區域

(b)疊加后對靜態物體周邊補全圖12 靜態物體遮擋效果圖Fig.12 Occlusion effect of static objects

4.2 GPS干擾實驗

由于遮擋區域難以獲取精確定位，因此該實驗采用在空曠地區采集的定位真值，然后在真值中添加隨機誤差以模擬GPS遮擋情景。采集區域如圖13所示。

圖13 測試區域示意圖Fig.13 Schematic diagram of the test area

采集路徑總長度約為4315m，根據里程計的數據，每隔6.85m進行一次數據采集，共采集圖像630張。其中隨機選取100個點添加誤差，誤差距離小于15m，航向角偏差小于30°。先去除障礙物的干擾，隨后僅采用路面上的特征進行圖像配準，在融和了GPS值與圖像配準結果后得到了優化后的定位結果。對噪聲數據及優化結果分別進行到GPS真值距離誤差的計算，實驗結果如圖14所示。

圖14 優化前后誤差分布對比圖Fig.14 Error distribution comparison chart before and after optimization

從圖14中可以明顯看出，優化后整體誤差較優化前下降不少，部分抖動誤差可以直接被消除。具體數值如表1所示。

表1 優化前后誤差數據對比

由于存在連續誤差，因此圖像配準也有無法糾正的部分定位誤差，但最大誤差仍降低了近41%。同時整個地圖定位誤差均值與均方差降低了68%，極大地改善了地圖的連續性，驗證了所提出的優化算法在遮擋環境下的有效性與可行性。圖15所示為優化前后地圖的局部細節對比。

(a)優化前

(b)優化后圖15 優化前后地圖局部對比圖Fig.15 Local map comparison before and after optimization

5 結論

針對目前高精度地圖制作中的動態障礙物遮擋地面及GPS信號被遮擋問題，本文設計了一種基于路面分割的高精度地圖創建優化方法。該方法利用全景相機視野廣的特點，通過深度學習進行了障礙物識別去除與地面補充，城區擁堵道路實驗結果也顯示出該方法在車輛密集的環境下仍能采集完整的地面信息。同時由于該方法融合了GPS和圖像配準結果，降低了定位抖動誤差，在模擬遮擋環境實驗中證實了該方法能夠提高高精細地圖的整體精度，驗證了該高精細地圖創建方法的可行性與有效性。

根據實驗結果發現，該方案仍存在一些不足之處，下面幾個問題仍需在以后的工作中繼續改進：1)當GPS誤差逐漸且連續長時間增大時，圖像配準算法也無法糾正，如何解決這一問題是以后工作的重點；2)直道上路面平整，特征點較少，圖像匹配較為困難，配準算法需要進一步加強，可以考慮將路沿的直線模型匹配；3)語義分割提取路面時，分割邊緣不精準，造成地圖美觀性不好，還需改進算法，將不連續的小塊路面去除。