基于無人機正射影像的高精地圖車道線自動提取方法的研究

高正躍 李春梅

摘要：車道線作為實現精確導航和自動駕駛的基礎信息，其采集方式自動化程度低、生產周期長，嚴重影響了高精地圖的應用。因此，文章設計了一種利用無人機正射影像，基于U-Net語義分割模型，結合柵矢數據處理的高精地圖車道線自動提取方法。文章利用Lovsz Loss完成20%樣本的U-Net模型訓練，實現了IoU在75%以上的車道線語義分割，且U-Net識別出的柵格車道線經過柵矢結合手段處理后即可得到高質量矢量車道線。文章設計的綜合無人機傾斜攝影、深度學習、GIS數據處理的車道線提取方法可為高精地圖車道線的獲取提供一種新思路、新方法，為無人駕駛提供一種新的數據支持。

關鍵詞：高精地圖；無人機正射影像；車道線提取；U-Net；柵矢結合

中圖分類號：P231.5? 文獻標志碼：A

0 引言

高精地圖［1］（High-Definition Map）是一種可以提供高精細度以及高準確度地理信息的數字化地圖。車道線作為高精地圖一項重要的信息層，通過分析車道線的位置和形狀，使車輛可以識別道路類型、車道數目、交通標志等信息，從而更好地理解道路環境和規劃行駛策略。因此，車道線提取是高精地圖生產的重要環節之一。

高精地圖車道線的提取方式按照數據來源可分為基于衛星遙感影像、基于高分辨率無人機影像以及基于車載影像的車道線提取方法。現有的少量基于遙感影像的車道線提取研究如侯翹楚等［2］利用面向對象結合統計學的方法實現了從遙感影像中提取車道虛線、人行橫道等車道要素；張世強等［3］利用車道線方向與面積因素從二值化道路中提取車道虛線。

基于高分辨率無人機影像的車道線提取研究大多采用深度學習結合圖像處理的方法，現有如王立春等［4］采用Faster R-CNN目標檢測框架從路面中檢測車道線并連通域分析過濾非車道線噪聲。袁鑫［5］利用BiSeNetV2實時語義分割網絡分割出柵格車道線后通過圖像處理算法實現了車道線的細化、實例化、矢量化，經過坐標轉換后車道線精度達到了1.8～3.5 m。

自無人駕駛技術興起以來，車道線提取研究大多基于車載影像展開。近年來，隨著深度學習在圖像處理領域的深入應用，基于卷積神經網絡（Convolutional Neural Networks，CNN）［6］的方法是目前車道線檢測的主流方法，如陳立潮等［7］提出了一種基于雙分支卷積神經網絡的車道線檢測方法，該方法將車道線檢測任務分為左右兩個分支，同時考慮了道路幾何信息和車道線的語義信息，此方法在國內的數據集上取得了較好的效果。此外，還有一些基于循環神經網絡（Recurrent Neural Network， RNN）的車道線檢測方法。例如，劉丹萍等［8］設計了循環神經網絡檢測車道線，該方法可以根據歷史信息和當前信息預測未來的車道線位置。朱威等［9］通過循環神經網絡模塊融合提取多幀特征，并與單幀特征結合成融合模塊，客觀上提升了車道線檢測精度。

上述車道線提取方法存在以下缺陷：（1）基于遙感影像的車道線提取成果皆為柵格格式，且此類車道線成果不具備高程信息，不滿足高精地圖級車道線要求；（2）基于無人機影像的車道提取研究尚顯薄弱，目前針對無人機影像的車道線檢測數據集甚少，且柵格形式的車道線經過多次處理及格式、坐標轉換后，得到的矢量車道線成果存在米級的精度誤差；（3）基于車載影像，采用深度學習提取車道線的方法存在數據集不充分導致模型的泛化能力與穩定性不佳的問題。同時，每次地圖更新都需派遣搭載單源或多源傳感器的數據采集車前往目標路段進行數據采集，使得車道線更新成本極為高昂。

1 技術路線

針對上述問題，本文提出一種基于無人機正射影像，采用U-Net語義分割模型，結合柵格處理與矢量處理的快速構建高精地圖的方法。該方法首先利用無人機技術快速獲取目標路段正射影像，其次在采用U-Net模型的基礎上，引入Lovsz損失函數替換原來的交叉熵損失函數，以加強網絡對車道線特征的學習能力，最后利用柵格處理與矢量處理結合的手段完成柵格車道線的細化、矢量化及矢量車道線的擬合，得到可直接應用于高精地圖構建的車道線成果。本文提出的高精地圖車道線提取方法可提升高精地圖的制作速度與更新效率，大大降低了高精地圖的構建成本。

2 研究區域與數據制備

2.1 研究區域概況

本文以江蘇省徐州市銅山區湘江路西段為研究區，地理位置為東經117°24′、北緯34°12′，道路寬度約為15 m，瀝青路面，共有6～9股車道。研究區域形狀為不規則多邊形，長約1 800 m，寬約250 m，周長約為3.9 km，面積約為0.4 km2。

2.2 正射影像獲取

研究人員使用GNSS-RTK連接千尋CORS進行采集像控點，采用大疆四旋翼無人機御Mavic Air 2，設定無人機相對航高為100 ｍ，航向重疊率為80%，旁向重疊率為70%，共采集研究區影像451幅影像。影像大小為5 472×3 648像素，地面像幅約109×73 m。采用Context Capture軟件將獲取的影像數據處理成空間分辨率為3 cm的正射影像圖（見圖2）。

2.3 車道線語義分割數據集構建

采用ArcGISPro軟件對獲取的湘江路西段正射影像圖上車道線做相應標注，裁剪到大小為256×256車道線圖像及對應標簽圖像各5 960張。將分割后的影像分為訓練集、驗證集和測試集3部分，比例為2∶4∶4。其中，訓練集用于訓練模型，測試集用于驗證模型分辨能力，驗證集用于確定網絡結構。為防止過擬合，本研究對訓練集數據進行數據增廣，增廣方式包括：平移、水平翻轉、隨機裁剪、添加高斯噪聲和90°、180°、270°旋轉。訓練集數據經過數據增廣后被擴充至4 000組。

3 車道線語義分割模型構建

3.1 U-Net

U-Net模型是一種用于圖像語義分割的卷積神經網絡，它由編碼器、中間層和解碼器3部分組成。編碼器用于對輸入圖像進行特征提取和降維，由4個下采樣模塊組成，每個下采樣模塊包含2個卷積層和1個最大池化層，其中，第一個卷積層的卷積核大小為3×3，輸出通道數為64，第二個卷積層與第一個卷積層相同，但輸出通道數翻倍。同理，第三、第四卷積層亦相同，但各自的通道數相較于前一層翻倍。最大池化層的大小為2×2，步長為2，用于將特征圖的大小減半，實現圖像的降維操作。中間層是由2個卷積層組成的，用于在編碼器和解碼器之間進行特征傳遞和融合，中間層由2個卷積層組成，每個卷積層的卷積核大小為3×3，輸出通道數為512。解碼器是由一系列上采樣層和卷積層組成的，用于將編碼器中抽取的特征映射還原為與原始圖像大小相同的分割結果。每個上采樣層通過轉置卷積操作將特征圖的大小擴大一倍，同時與對應的中間層特征圖進行連接和融合，用于提取更多的細節信息和邊緣特征。在上采樣層之后，使用了2個卷積層進行特征融合和輸出，輸出通道數與分割目標的類別數相同。

3.2 Lovsz損失函數

圖像語義分割任務中，傳統的交叉熵損失函數適用于處理中等或大型目標的語義分割任務，但車道線語義分割問題屬于典型的正負樣本不平衡問題，即車道線通常只占圖像的一小部分，導致車道線很難被正確分離出背景。為解決此問題，本文引入Lovsz損失函數替換原U-Net模型中的BCE損失函數。

Lovsz損失函數由匈牙利數學家Lszl Lovsz在1989年提出，旨在用于優化非光滑的、不可微的分類指標。Lovsz損失函數主要用于二分類問題，即每個樣本只有2種可能的標簽：正例或負例。神經網絡模型在訓練中，預測結果與真實標簽之間通常會有一些誤差。Lovsz損失函數的目標是將這些誤差最小化，從而提高模型的性能。

具體而言，Lovsz損失函數度量預測結果與真實標簽之間的差異，計算方式如式（1）：

LLovász（f，y）=∑ni=1（f（xi），yi）（1）

其中，f（xi）是模型對第i個樣本的預測結果，yi是該樣本的真實標簽，是Lovsz函數，n是樣本數。

Lovsz函數的具體形式取決于問題的具體性質。對于二分類問題，通常使用的是二元Lovsz函數，定義如下：

binary（f，y）=maxσ∈sign（y）（σ·（f-y^））（2）

其中，sign（y）是標簽y的符號函數，y^是樣本的平均標簽。符號函數將正例標簽映射到+1，負例標簽映射到-1。

在計算二元Lovsz函數時，首先對預測結果進行排序，然后按照排序后的順序依次計算函數值。具體而言，假設有m個預測結果f（1），f（2），...，f（m），按照從大到小的順序排列，令Sk=∑ki=1f（i），則binary（f，y）的計算方式如下：

binary（f，y）=∑mk=1wkmax（0，σk（Sk-σkwk））（3）

其中，wk是排序后第k個樣本的權重，σk是排序后第k個樣本的符號，即σk=sign（yk）。

使用Lovsz損失函數后，不僅可以有效地解決因正負樣本不均衡導致的IoU評價指標低的問題，同樣也可以使像素分類準確率得到一定程度的提升，提高模型進行車道線語義分割的性能。

3.3 語義分割精度驗證

本文使用像素精度［10］（Pixel Accuracy，PA）、交并比［10］（Intersection over Union，IoU）2個指標來評估車道線語義分割模型的性能，其定義如下所示：

PA=TP+TNTP+TN+FP+FN（4）

IoU=TPTP+TN+FP（5）

式中，TP表示正確識別的車道線區域像素點的數量，FP表示非車道線區域像素而被識別為車道線區域像素點的數量，TN表示正確識別的非車道線區域像素點的數量，FN表示車道線區域像素被識別為非車道線區域像素點的數量。

4 柵矢結合

車道線語義分割模型僅獲得以像素點集形式表達的面狀車道線掩膜圖像，由于其格式是柵格并非矢量，因此無法直接提取高精地圖格式的車道線。對此，本文采用柵格處理與矢量處理結合的手段來提取車道線，首先通過圖像細化算法將面狀柵格車道線細化至單像素寬度，其次將單像素寬的柵格車道線轉換為矢量車道線并進行擬合。

4.1 柵格車道線細化

4.1.1 相關定義

為介紹圖像細化算法，首先給出一些重要的相關定義。

（1）像素八鄰域。

像素八鄰域指一個像素點P1周圍的8個相鄰像素點（P2，P3，P4，P5，P6，P7，P8，P9）。

（2）像素連通數。

像素連通數是指一個像素周圍相鄰像素中與其相連通（像素值相同）的像素數量。

4.1.2 Hilditch圖像細化算法

Hilditch圖像細化算法［11］是一種基于像素點的圖像處理算法，用于將二值圖像中的粗線條細化為單像素的線條。Hilditch算法的核心思想是在保持原始形狀的前提下，刪除盡可能少的像素點，以確保細化后的線條仍然可以準確地代表原始形狀。其原理是通過對圖像中的像素點進行判斷和刪除來實現細化，具體細化步驟如下：

（1）輸入一幅二值圖像，算法首先會將所有像素值為1的像素點設為前景像素點，所有像素值為0的像素點設為背景像素點。遍歷圖像中的所有像素點，對于每一個像素點P1，若是背景像素點，則跳過；若是前景像素點，則執行下一步驟。

（2）對于每個前景像素點P1，檢查它是否滿足式（5）中的4個條件，若滿足，則將P1記為待刪除點；

（a）2≤N（P1）≤6

（b）S（P1）=1（5）

（c）P2×P4×P6=0orS（P4）≠1

（d）P2×P4×P8=0orS（P2）≠1

式（5）中，N（P1）為像素點P1的8連通數；在像素點P1八鄰域中按順時針方向檢索像素點，統計由0跨越至1的次數作為S（P1）的值。同理，S（P2）和S（P4）的值為分別在像素點P2、P4八鄰域中順時針方向像素值由0跨越至1的次數。

（3）刪除所有記的待刪除點，并更新圖像，然后進入下一次迭代，直到圖像沒有需要刪除的像素，算法結束。

4.2 矢量車道線提取擬合

車道線在經過細化處理后，首先采用ArcGIS工具箱中的柵格轉折線工具完成柵格車道線至矢量車道線的轉換，此時得到的矢量車道線并非平滑的直線? 或曲線，而是帶有噪聲結點的折線段，故最后需采用ArcGIS的PAEK平滑線工具去除車道線噪聲結點，以達到擬合車道線的目的。

5 實驗結果與分析

5.1 U-Net模型訓練及車道線識別

實驗基于Pytorch深度學習框架，使用NVIDIA GTX 1660 GPU進行計算，同時采用cuDnn11.0庫進行加速。在語義分割模型訓練過程中采用數據增廣策略，將訓練集、驗證集分別放入采用BCE Loss與Lovsz Loss的U-Net模型中進行訓練、驗證，設置批大小為2，迭代周期設置為200次，初始學習率設為0.001，選擇Adam作為優化器。不同損失函數精度對比結果如表1所示，車道線語義分割效果如圖4所示。

表1中，Lovsz函數兩項精度評價指標均優于BCE函數，相較于BCE損失函數，Lovsz損失函數在IoU上提升了0.189 8，在PA上提升了0.012 6。因此采用Lovsz函數的U-Net模型的車道線分割效果應明顯優于BCE函數。

5.2 柵矢結合提取車道線

以語義分割模型識別出的柵格車道線為數據源，利用Hilditch細化算法進行實驗測試，實驗結果如圖4（c）和（d）所示。

柵格車道線在經過細化處理后，利用ArcGIS工具箱中的柵格轉折線工具完成柵格車道線至矢量車道線的轉換，此時得到的矢量車道線并非平滑的直線或曲線，而是帶有噪聲結點的折線段，如圖5（a）和（b）所示。最后采用ArcGIS的PAEK平滑線工具對細化后柵格車道線進行擬合，圖5為同方向直車道線與曲車道線擬合前后的結果對比，由圖5可知，該方法可有效去除車道線噪聲結點，使車道線平滑性更好、延展性更佳。

5.3 基于車道線提取成果的高精地圖構建

將所有的柵格車道線經過細化后轉為矢量并擬合，最后得到矢量車道線。基于本文方法提取的矢量車道線成果，使用MPC高精地圖繪制軟件進行車道線圖層制作。本文自動提取的車道線主要為長線與短線兩種基本車道線圖層，如圖6所示，部分車道線雖不完整，但精度滿足要求，編輯時可直接吸附對應車道位置，大大提高了高精地圖的生產效率。

通過對長線與短線進行簡單的復制、平移、拓撲關系修正、編輯屬性等處理之后，可得到車道邊界線、車道中心線、路邊線以及路面線（見圖7）。以上圖層往往需要以人工方式逐個提取，而本文自動提取的結果在經過簡單編輯后可直接生產出高精地圖車道線相關圖層。

6 結語

本文以輔助無人駕駛技術、推動數字測繪向智能測繪的轉型為主要目的，開展面向高精地圖的無人機正射影像車道線自動提取研究，主要取得了以下研究成果：針對無人機正射影像車道線自動提取的需求，以江蘇省徐州市銅山區湘江路西段為實驗區，基于無人機傾斜攝影技術獲得目標路段3 cm分辨率正射影像，據此構建了車道線語義分割數據集，以用于車道線語義分割模型的訓練、測試及驗證；基于Lovsz損失函數的小樣本車道線語義分割。基于卷積神經網絡及語義分割理論，對BCE及Lovsz兩種損失函數U-Net模型車道線語義分割精度進行實驗對比，Lovsz函數在IoU與PA兩項精度評價指標精度均高于BCE函數，可改善車道線語義分割的效果；柵矢結合提取高精度車道線。為實現車道線識別結果轉為高精地圖格式，通過圖像細化算法對面狀柵格車道線進行處理得到單像素寬的柵格車道線，最后采用ArcGIS工具箱中的柵格轉折線工具與PAEK平滑線工具完成車道線的提取擬合。利用本文方法自動提取的車道線成果可直接用于生產高精地圖車道線相關圖層，提高了車道線數據的采集與更新效率，從而降低高精地圖的構建成本。

參考文獻

［1］吳喜慶，吳征，周怡博.我國高精地圖產業發展現狀及政策建議［J］.汽車文摘，2022（7）：1-4.

［2］侯翹楚，李必軍，蔡毅.高分辨率遙感影像的車道級高精地圖要素提取［J］.測繪通報，2021（3）：38-43.

［3］張世強，王貴山.基于高分辨率遙感影像的車道線提取［J］.測繪通報，2019（12）：22-25.

［4］王立春.基于無人機航拍的公路標線提取與破損檢測的研究與實現［D］.南京：南京航空航天大學，2018.

［5］袁鑫.具備自主進化能力的無人機視角車道標線識別算法［D］.武漢：武漢大學，2022.

［6］KIM D H， HA J E. Lane detection using a fusion of two different CNN architectures［J］. Journal of Institute of Control，Robotics and Systems， 2019（9）：753-759.

［7］陳立潮，徐秀芝，曹建芳，等.引入輔助損失的多場景車道線檢測［J］.中國圖象圖形學報，2020（9）：1882-1893.

［8］劉丹萍，汪珺，葛文祥.面向園區場景的車道線局部定位檢測方法研究［J］.重慶工商大學學報（自然科學版），2022（4）：19-25.

［9］朱威，歐全林，洪力棟，等.基于圖像序列的車道線并行檢測網絡［J］.模式識別與人工智能，2021（5）：434-445.

［10］于營，王春平，付強，等.語義分割評價指標和評價方法綜述［J］.計算機工程與應用，2023（6）：57-69.

［11］NACCACHE N J， SHINGHAL R. An investigation into the skeletonization approach of hilditch［J］. Pattern Recognition， 1984（3）：279-284.

（編輯 王雪芬）

Research on automatic extraction of lane lines in high-definition map

based on UAV orthophoto

Gao? Zhengyue， Li? Chunmei*

（School of Geography，? Geomatics and Planning，? Jiangsu Normal University， Xuzhou 221116， China）

Abstract：? Lane lines as the basic information to realize accurate navigation and autonomous driving， the current acquisition method has low automation and long production cycle， which seriously affects the application of high-definition maps. Therefore， this paper designs an automatic lane line extraction method for high-definition maps using UAV orthophoto， based on U-Net semantic segmentation model， combined with raster vector data processing. In the experiment， the U-Net model is trained with 20% of the samples using Lovsz Loss， and the semantic segmentation of lane lines with IoU above 75% is achieved， and the raster lane lines identified by U-Net can be processed by combining raster and vector means to obtain high quality vector lane lines. The lane line extraction method designed in this paper， which integrates UAV tilt photography， deep learning and GIS data processing， can provide a new idea and method for acquiring lane lines in high-definition maps and provide a new data support for autonomous driving.

Key words： high-definition map; UAV orthphoto; lane line extraction; U-Net; raster vector combination