遙感圖像在自動駕駛領域的應用研究

張晟劍 莫澤文

1. 廣州汽車集團股份有限公司汽車工程研究院，廣東廣州 511434；2. 中山大學，廣東深圳 518107

0 引言

近年來，自動駕駛技術作為具有潛力的前沿科技，受到廣泛關注和研究。為實現更高安全性、效率和可靠性，自動駕駛汽車需準確獲取、處理和理解環境信息。遙感圖像可以為其提供豐富的環境信息，具有廣泛應用價值。

本文綜述了遙感圖像技術在自動駕駛應用中的道路檢測、障礙物檢測、環境感知、地圖創建和車輛定位與導航等方面的作用，分析了其面臨的挑戰與限制，并提出了未來研究方向。

1 遙感圖像技術

1.1 遙感圖像的類型

遙感圖像主要包括光學遙感（可見光、紅外、多光譜等）和雷達遙感（如合成孔徑雷達[Synthetic Aperture Radar，SAR]、激光雷達[Light Detection and Ranging，LiDAR]）2 類。光學遙感圖像具有高分辨率和信息豐富的優點，但易受光照和天氣影響。雷達遙感圖像在惡劣天氣和低光照下表現穩定，具有較好的穿透力和魯棒性，但分辨率相對較低。

1.2 遙感圖像數據源和獲取方法

遙感圖像數據源主要有衛星、航空和地面平臺。衛星遙感具備全球覆蓋和周期更新優勢，但分辨率和實時性受限；航空遙感分辨率較高，實時性更好，但受飛行條件和成本制約；地面遙感分辨率最高，實時性最佳，但覆蓋范圍有限。遙感技術分為主動（如雷達遙感）和被動（如光學遙感），前者通過發射和接收信號獲取信息，后者通過接收目標自然散射或反射光線來獲取圖像。

1.3 遙感圖像的預處理和校正

遙感圖像預處理與校正對圖像質量和準確性具有重要影響。預處理主要包括去噪、輻射校正、大氣校正和幾何校正等[1]。輻射校正旨在將圖像數字數值轉換為地面反射率，消除傳感器和光照條件影響，包括絕對輻射校正和相對輻射歸一化2 種方法。絕對輻射校正利用衛星同步觀測數據，將像元值轉換為地物輻射亮度或反射率，實際應用受限；相對輻射校正通過調整目標影像像元值實現影像與參考影像近似匹配，計算簡便，應用廣泛。大氣校正消除大氣散射和吸收影響，提高圖像準確性。幾何校正消除影像幾何畸變，使圖像與地面坐標系一致。

遙感圖像預處理與校正對自動駕駛領域的有效應用具有重要意義。經過預處理和校正，圖像質量和準確性得以提高，為自動駕駛汽車提供可靠的環境感知和車輛定位信息。

2 遙感圖像在自動駕駛中的應用

2.1 道路檢測

道路檢測是自動駕駛的關鍵任務之一，而遙感圖像則提供了實現此目標所需的豐富地表信息。遙感影像道路檢測方法可以分為基于像素和基于對象2 類。

基于像素的方法直接對每個像素進行分類，通過光譜、紋理和形狀等特征來判斷它是否為道路，然后通過后處理技術提高道路的連通性和完整性。趙文智等人[2]提出了一種基于道路邊緣特征檢測的方法來解決光譜特征混淆的問題。

基于對象的方法則先將圖像分割為具有一致性特征的區域，然后對每個區域進行分類，通過幾何、拓撲和語義等特征來判斷它是否為道路，最后將屬于道路的區域組合成道路網絡。蔡紅玥等人[3]提出了一種改進的分水嶺圖像分割算法，解決了過度分割的問題，但未充分利用路網上下文信息。譚紅春等人[4]結合條件隨機場和目標級圖像分析方法，建立相鄰像素間的目標關系，但該方法無法排除多余的目標，而且相鄰道路之間存在斷連情況。

近年來，隨著深度學習技術的發展，基于深度神經網絡的遙感影像道路檢測方法得到了廣泛的研究和應用。深度神經網絡可以自動學習圖像中復雜和抽象的特征，提高道路檢測的精度和魯棒性。深度神經網絡可以分為基于編碼器-解碼器結構和基于圖結構2 類。前者利用卷積神經網絡（Convolutional Neural Network，CNN）作為編碼器，將輸入圖像編碼成低維度的特征向量，然后利用反卷積神經網絡（Deconvolution Neural Network，DNN）或上采樣神經網絡（Up-sampling Neural Network，UNN）作為解碼器，將特征向量解碼成與輸入圖像相同大小的輸出圖像，輸出像素表示其屬于道路的概率。U-Net 模型由OLAF RONNEBERGER 等人[5]提出，因模型結構呈“U”形狀而得名，如圖1 所示。在此基礎上，胡宏宇等人[6]提出了一種基于VGGU-Net 框架的VGGUNet++遙感影像路網檢測方法。基于圖結構的網絡則利用圖神經網絡（Graph Neural Network，GNN）或變換器（Transformer）來建模圖像中的道路拓撲結構，將輸入圖像轉換成由節點和邊組成的圖，節點表示道路上的關鍵點，邊表示道路上的連接關系，然后利用GNN 或變換器來學習節點和邊的特征和關系，最后輸出一個與輸入圖像對應的道路網絡圖。

隨著深度學習技術的發展，基于深度神經網絡的方法逐漸成為主流，它們能夠自動學習圖像中的復雜和抽象特征，從而提高道路檢測的精度和魯棒性。在自動駕駛領域，遙感圖像的道路檢測技術將繼續發揮重要作用，為自動駕駛汽車提供更可靠的道路信息。

2.2 障礙物檢測

障礙物檢測對于自動駕駛汽車的安全行駛至關重要。在遙感圖像中，道路障礙物檢測旨在提取道路區域和障礙物區域，從而獲取障礙物的位置、形狀、大小等信息。道路障礙物檢測方法主要可分為兩類：基于圖像的方法和基于激光雷達的方法。

基于圖像的方法利用遙感圖像中道路和障礙物的顏色、紋理、邊緣等特征進行分類、分割或檢測，常用技術包括機器學習、深度學習和圖像處理等；基于激光雷達的方法則使用激光雷達獲取的距離信息進行障礙物檢測，常用技術包括點云處理、聚類和分割等[7]。

這2 類方法各有優缺點，因此，一些研究提出了將圖像和激光雷達數據進行融合的方法，以提高檢測的準確性和魯棒性。唐祥燕[8]提出了一種圖像和激光雷達數據融合的方法，實現對道路和障礙物的有效檢測，如圖2 所示。首先，利用支持向量機對圖像進行道路區域分類，結合激光雷達數據提取路面直線，實現自主學習和分類；接下來，分別使用圖像和激光雷達數據進行障礙物檢測，并將2 種結果相互驗證，降低漏檢率。

總之，通過結合圖像和激光雷達數據，可以更有效地檢測遙感圖像中的道路障礙物，為自動駕駛汽車提供更準確和魯棒的環境感知信息。

2.3 環境感知和地圖創建

環境感知對于自動駕駛汽車來說是理解周圍環境的關鍵要素。遙感圖像提供了豐富的地表信息，對于環境感知和地圖創建具有重要意義。環境感知是指利用遙感圖像來識別和分析地表要素（如道路、建筑物、植被、水體等）和環境屬性（如溫度、濕度、污染程度等），以及其變化情況。環境感知可以采用傳統的機器學習方法（如支持向量機、隨機森林、神經網絡等）或深度學習方法（如卷積神經網絡、對抗神經網絡、循環神經網絡等），結合多源多時相的遙感圖像，實現對環境的精細化和動態化的感知。

地圖創建則是指利用遙感圖像生成二維或三維地圖產品，包括數字高程模型（Digital Elevation Model，DEM）、數字表面模型（Digital Surface Model，DSM）、文檔對象模型（Document Object Model，DOM）、數字線劃圖（Digital Line Graph，DLG）等。例如，圖3 展示了高德地圖提供的中山大學南校園的二維地圖。地圖創建可以采用傳統的攝影測量方法（如空三法、空間后方交會法等）或新興的傾斜攝影測量方法（如結構光法、雙目視覺法等），結合多視角多分辨率的遙感圖像，實現地形地貌和地物特征的真實和立體表達[9]。

綜上所述，遙感圖像是一種重要的環境感知和地圖創建數據源，具有廣闊的應用前景。隨著遙感技術和人工智能技術的發展，未來將出現更高效、更智能、更精準的環境感知和地圖創建方法。

2.4 車輛定位與導航

遙感圖像在車輛定位與導航領域的應用是一個熱門研究方向，主要利用地物信息和道路紋理信息輔助車輛確定位置和航向。定位與導航方法可分為基于特征點匹配和基于語義信息的方法。

基于特征點匹配的方法通過特征點（如角點、邊緣點等）尋找模板圖像與源圖像的對應關系，計算模板圖像在源圖像中的位置和方向[10]，其優點是簡單直觀且能實現精確配準，但計算量大，誤匹配多且對遙感圖像質量要求高。基于語義信息的方法利用地物類別和道路網絡等信息輔助定位與導航[11]，其優點是克服特征點匹配方法的局限性，如異源、異時相圖像定位以及復雜環境下的魯棒性，但需解決語義分割、相似度衡量和精確配準等難題。目前，基于語義信息的方法已取得一定進展。例如，一種基于語義信息的兩步式遙感圖像定位算法[12]，先利用深度學習進行語義分割，再根據道路紋理圖進行預定位，最后通過特征點匹配進行精確配準。該算法有效提高了定位與導航的效率和精度。

遙感圖像在車輛定位與導航中的應用仍有巨大的發展空間和潛力，需進一步對語義理解、相似度計算和融合策略等方面進行研究，以提高性能和可靠性。

3 遙感圖像在自動駕駛中的挑戰和限制

3.1 數據量和實時性要求

在自動駕駛中，遙感圖像面臨著一些挑戰和限制，其中一個主要挑戰是數據量和實時性要求。遙感圖像通常具有較大的數據量，這對于自動駕駛汽車的數據處理和傳輸提出了挑戰。處理大規模的遙感圖像需要高效的算法和硬件資源來保證處理速度和實時性，該實時性是自動駕駛汽車的關鍵要求，自動駕駛系統需要能夠及時地感知和理解周圍環境，從而做出準確的決策和控制動作。因此，遙感圖像的處理和傳輸需要具備高效率和低延遲的特點，以滿足自動駕駛汽車的實時性要求。此外，遙感圖像獲取的周期性限制了其在自動駕駛中的實時應用，傳統的遙感圖像獲取通常是周期性進行的，這種周期性獲取使得遙感圖像在實時應用中的更新速度受到限制，因此需要探索更快速的遙感圖像獲取方法，以提高自動駕駛系統對環境變化的感知和響應能力。

3.2 遙感圖像質量和分辨率的限制

在自動駕駛中，遙感圖像的質量和分辨率是另一個重要的挑戰和限制。遙感圖像的質量和分辨率直接影響其在自動駕駛中的應用效果。光學遙感圖像容易受到光照和天氣條件的影響，導致圖像質量下降或無法獲取清晰的圖像信息；而雷達遙感圖像的分辨率相對較低，無法提供足夠詳細的環境信息，特別是對于小尺寸的障礙物或細節。解決這些問題的關鍵集中在提高遙感圖像的質量和分辨率上。通過使用多模態傳感器融合的方法，將光學圖像與其他傳感器的數據相結合，提高環境感知的準確性和魯棒性。

綜上所述，遙感圖像的質量和分辨率限制了其在自動駕駛中的應用效果。通過研究和應用新的技術和方法，可提高遙感圖像的質量和分辨率，以實現更精確的環境感知和車輛定位。

3.3 光照和天氣條件的影響

在自動駕駛中，光照和天氣條件對遙感圖像質量和可用性具有重要影響，特別是光學遙感圖像在低光照或惡劣天氣條件下的性能較差。這些因素可能導致圖像質量下降，細節丟失或難以提取有效信息。光照和天氣條件的變化對于自動駕駛系統的環境感知和決策制定具有挑戰性。在強烈的陽光照射下，圖像可能出現過曝或陰影問題，使得障礙物檢測和車道識別變得困難。在惡劣天氣條件下，圖像可能被雨滴、雪花或霧氣等遮擋，導致環境信息不完整或失真。為克服這些影響，可采用多傳感器融合的方法，將光學遙感圖像與其他傳感器數據相結合。通過融合多個傳感器的信息，增強環境感知的魯棒性和可靠性，從而提高自動駕駛汽車在復雜光照和天氣條件下的性能。研究遙感圖像處理方法也是解決光照和天氣條件影響的關鍵，使用圖像增強算法來改善低光照條件下的圖像質量。

綜上所述，光照和天氣條件對遙感圖像在自動駕駛汽車中的應用會產生重要影響，可通過多傳感器融合和魯棒的圖像處理方法來克服光照和天氣條件帶來的挑戰，從而提高在復雜環境中自動駕駛汽車應用的性能。

3.4 數據融合和決策融合方法的研究

在自動駕駛中，遙感圖像與其他傳感器數據的融合是一個重要的挑戰。自動駕駛汽車通常需要多種傳感器數據，如雷達、LiDAR、攝像頭等來獲取周圍環境信息，進行環境感知和車輛定位。需要將這些不同傳感器數據進行融合，提高環境感知的準確性和魯棒性。數據融合的目標是將不同傳感器的信息整合起來，形成一個更完整、更準確的環境模型。遙感圖像在其中扮演著重要角色，通過將遙感圖像與其他傳感器數據相融合，來彌補各種傳感器之間的局限性，從而提供更全面的環境感知能力。在自動駕駛中，系統需要根據環境感知結果做出決策，而通過融合遙感圖像和其他傳感器數據，可提供更準確可靠的決策依據，從而增強自動駕駛系統的安全性和性能。

4 結束語

本文綜述了遙感圖像在自動駕駛應用中的道路檢測、障礙物檢測、環境感知、地圖創建和車輛定位與導航等方面的應用，分析了其技術原理、方法及應用潛力，并討論了其面對的挑戰和限制，如數據量、實時性、圖像質量、光照、天氣條件影響及數據融合與決策融合方法研究等。

本文旨在為自動駕駛領域的研究者和工程師提供遙感圖像在自動駕駛應用的全面概述，期望推動技術發展及遙感圖像在該領域的廣泛應用。對于遙感圖像在自動駕駛領域的未來研究方向為：

（1）高效處理數據量，提高實時性：隨著自動駕駛技術的發展，遙感圖像的數據量將會不斷增加，同時對實時性的要求也越來越高。未來的研究將集中在如何有效地處理大規模遙感圖像數據量，并且實現實時的分析和決策；

（2）增強遙感圖像質量，提高分辨率：遙感圖像的質量和分辨率對于自動駕駛系統的準確性和可靠性至關重要。未來的研究將致力于增強遙感圖像的質量，提高分辨率，通過使用更先進的傳感器技術來改善圖像質量；

（3）利用先進的技術來應對光照和天氣條件的變化：光照和天氣條件對遙感圖像的獲取和解析都會產生影響，尤其是在復雜的道路環境下。未來的研究將探索如何利用先進的技術來應對光照和天氣條件的變化，以提高自動駕駛系統的魯棒性和適應性；

（4）增強數據融合效果，開發有效的決策融合方法：自動駕駛需要綜合多種傳感器數據進行決策。未來的研究將著重于增強數據融合效果，開發更有效的決策融合方法，以提高自動駕駛系統的感知能力和決策準確性。