無人機航拍影像目標檢測與語義分割的深度學習方法研究進展

羅旭東，吳一全，陳金林

南京航空航天大學 電子信息工程學院，南京 211106

無人機（Unmanned Aerial Vehicle，UAV）操作簡單、靈活機動、性能優良，使用時受場地和環境限制小，適合在復雜的場景中執行任務［1-2］。由于無人機拍攝時飛行高度和視角的不同，與水平角度拍攝的自然影像相比，無人機航拍影像包含更加豐富的小目標，且圖像內物體排列無序、方向隨機、背景復雜。無人機系統便于攜帶多種類型的傳感器進行日常巡檢，具有數據采集強度高、運營成本低和便于運輸等優點。無人機系統與先進的深度學習方法相結合，使其更加智能、便捷、高效，現已廣泛應用于農作物監測［3-5］、交通監管［6］、城市規劃［7］、市政管理［8-9］、輸電線路巡檢［10-11］、搜索與救援［12-13］和國防軍事［14-15］等領域：①無人機在農業信息化建設中表現出巨大的發展和應用前景，利用無人機傳輸的影像信息可以獲取農田的相關數據，通過掛載的不同設備可以輕松實現噴灑農藥、作物播種、定量施肥等；②無人機的應用豐富了交通管理部門的管理方式，提高了工作效率；利用圖像識別技術，可以幫助無人機在飛行過程中捕獲非法停車和占道，監測早晚高峰擁堵情況等，便于相關部門及時取證和快速恢復道路暢通；③無人機在電力線巡檢、應急響應和輸電線路鐵塔建設等方面的應用逐步增多；相關工作經目標檢測方法的賦能，可以實時檢測出存在故障的絕緣子、防振錘和螺釘等目標，幫助工作人員快速了解故障情況；④無人機在現代戰爭中具有極其重要的作用；自阿富汗戰爭中無人機的首次使用，到近期俄烏沖突中的突出表現，察打一體無人機在復雜多變的戰場上所起的作用不容小覷，其偵查、監測、目標捕獲和實時打擊的能力，極大地縮短了從發現到摧毀目標的時間，能夠應用于多種戰爭場景。

圖像目標檢測的方法可以劃分為基于傳統特征與基于深度學習網絡兩大類。傳統目標檢測方法包括特征檢測和分割檢測2 個方向［16-20］。其中特征的設計與選擇極大地依賴先驗條件，其準確性、客觀性、魯棒性和泛化性都受到了不同程度的制約。同時，傳統的目標檢測方法大多采用滑動窗口策略，導致計算時間長、效率低、處理復雜且準確度低。語義分割不同于目標檢測，它對圖像中的每一個像素點進行分類，確定其所屬的類別，實現區域劃分，轉換為具有突出顯示的感興趣區域掩膜。傳統的語義分割方法包括閾值 分割［21］、區域分割［22］和邊緣分割［23］等。這些方法常采用硬編碼的規則，難以準確表示復雜類別，存在效率和準確性低的問題。隨著計算機算力的提升和數據集規模的發展，傳統方法已無法滿足人們的需求。從2014年開始，以R-CNN［24］為代表的深度學習目標檢測方法憑借其優秀的檢測效果受到了眾多研究人員的關注，在2015 年，Long 等［25］提出了第一個深度學習語義分割模型，即全卷積網絡（Fully Convolutional Networks，FCN）?；谏疃葘W習的目標檢測和語義分割方法具有良好的特征表達能力，與傳統方法相比能夠更好地處理模糊、復雜和非線性的數據，提取出更多具有辨識性的抽象特征。此外，在擁有良好檢測精度的同時大大縮短了時間開銷。受無人機飛行高度的影響，無人機航拍影像相比于地面自然影像包含了更多的小目標，它們往往方向隨機、分布不均并且目標之間經常排列密集和相互遮擋［26-27］。無人機飛行途中，不同的位置信息使得獲取的圖像背景各異，包含了不同的光照變化、天氣條件和地形地勢。由于拍攝時機載相機的抖動可能會降低圖像的清晰度，捕獲的圖像中存在大量噪聲干擾，使得目標模糊不清。拍攝時視角的改變，使得同一物體也會存在不同的表現形式、尺寸大小和紋理信息。以上特點使得當前目標檢測方法在無人機航拍影像上表現欠佳，原有的基于深度學習的目標檢測方法仍存在很大的改進空間。為了提高原有檢測器在無人機航拍影像上的檢測性能，已提出了大量的改進方法，基于無人機航拍影像的目標檢測與語義分割現已成為研究熱點之一。

隨著無人機和深度學習技術的快速發展，其結合愈發緊密。針對無人機航拍影像中目標的特點和實時性的需求，已提出了眾多有針對性的改進方法。近些年，基于無人機航拍影像目標檢測與語義分割的相關綜述有：Mittal 等［28］分析了現有的兩階段檢測器和單階段檢測器在低空無人機航拍影像數據集上的表現，列出了其目標檢測任務中面臨的挑戰，但文中所提方法僅限于2020 年之前且各類中列舉的方法數量有待擴充。Diez 等［29］總結了基于無人機航拍影像中樹木檢測、樹種分類和森林異常等方面的深度學習方法，但囿于單一的林業方向且缺少對方法局限性的討論。江波等［1］按照無人機航拍影像的特點將總結方法所針對的問題分為復雜背景問題、小目標問題、大視場問題和旋轉問題4 類，但未包含針對上述組合問題的綜合改進方法，且遷移學習部分的論述仍需完善；更應注意的是，在此之后尚有大量相關論文發表，該綜述內容有待補充和更新。Zhu 等［30］回顧了ECCV2018 和ICCV2019 會議中，基于Vis-Drone 無人機數據集所提交的目標檢測方法，分別從圖像目標檢測、視頻目標檢測、單目標跟蹤和多目標跟蹤4 個方面進行了總結。程擎等［31］從無人機航拍影像的特點出發，介紹了相關的語義分割方法，包括小目標檢測分割、模型實時性和多尺度特征融合等方面，概括了無人機航拍影像語義分割的相關應用，包括線檢測、農業和建筑物提取。

本文概述了無人機航拍影像目標檢測與語義分割方法的發展歷程，綜述了不同場景下基于各種網絡模型的無人機航拍影像目標檢測與語義分割方法，歸納了無人機航拍影像數據集和目標檢測與語義分割模型的評價指標，最后從模型和數據集2 個維度闡述了本領域當前存在的有關問題，并對下一步的工作進行了展望。

1 無人機航拍影像目標檢測與語義分割方法發展概況

在2012 年之前，局部或全局特征常用來描述圖像中的內容。紋理因具有良好的區分性，被廣泛應用于無人機航拍影像分類中，有效實現了彩色、多光譜和高光譜圖像的特征提取。在此基礎上，通過對特征數據的后處理操作進一步提高了分類精度，可以更有效地對圖像內容進行語義建模。盡管基于特征的方法性能良好，但忽略了高階局部特征和它們之間復雜的空間相關性。2014 年，R-CNN 的出現克服了上述缺點，多層卷積模塊的疊加，更有利于從訓練數據中學習深層的抽象特征，取得更好的檢測效果。因此在無人機航拍影像中基于深度神經網絡的檢測方法日益受到普遍的認可［32-35］。

傳統的目標檢測方法由區域選擇、特征提取和分類器組成。首先，在給定的圖像上尋找候選區域，然后在這些區域中提取特征，最后，使用訓練好的分類器進行分類。由于目標可能出現在圖像中的任意位置，并且目標的大小和長寬比例等事先無法確定，所以需要設置不同尺度的滑動窗口對整幅圖像進行遍歷。這種窮舉的策略雖然包含了目標可能出現的位置，但是存在時間復雜度高、冗余窗口多和區域匹配差等問題，嚴重影響后續特征提取的速度和效果。實際上，由于受到時間復雜度問題的限制，滑動窗口的尺寸一般是幾個固定的預設值，對于長寬比浮動較大的目標，即便是遍歷整幅圖像也很難獲取相匹配的特征區域。在特征提取階段，常采用局部二值模式（Local Binary Pattern，LBP）［36］、尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）［16］和方向梯度直方圖（Histogram of Oriented Gradient，HOG）［17］等特征。由于目標形態多樣、光照變化不確定、目標背景復雜，使得設計具有魯棒性的特征非常困難。然而，提取特征的質量將直接影響分類的準確性。綜上，傳統檢測方法的效果不穩定，容易受到多種因素的影響，難以投入實際使用。自深度學習技術出現之后，基于卷積神經網絡的目標檢測方法取得了巨大的突破。其中最受關注的2 個方向有：①以RCNN 為代表的基于區域建議的深度學習目標檢測方 法，例 如R-CNN、Fast R-CNN［37］、Faster RCNN［38］和Cascade R-CNN［39］等。它們是兩階段檢測器，需要先使用啟發式方法或卷積神經網絡（Convolutional Neural Networks，CNN）產生區域建議，然后在該區域內進行分類與回歸操作。②以YOLO（You Only Look Once）［40］為代表的基于回歸思想的深度學習目標檢測方法，例如SSD（Single Shot MultiBox Detector）［41］、YOLO、RetinaNet［42］、EfficientDet［43］、CenterNet［44］和FCOS（Fully Convolutional One Stage）［45］等。它們是單階段檢測器，僅使用一個CNN 網絡就直接預測不同目標的類別與位置信息。在語義分割方面，FCN 在抽象的特征信息中恢復出每個像素的所屬類別，即從圖像級的分類進一步延伸至像素級。盡管與傳統的語義分割方法相比性能有所提升，但仍存在分類結果不夠準確，對圖像中細節信息不敏感，像素之間相關性考慮不足等問題。在后續的研究中，已提出了多種更加優秀的網絡結構，其中常見的語義分割模型包括U-Net［46］、Seg-Net［47］和Mask R-CNN［48］等。目標檢測與語義分割方法的發展歷程如圖1所示，2008年及以前為傳統目標檢測方法；2014 年及以后為深度學習方法，時間軸的上方為兩階段目標檢測與語義分割方法，下方為單階段目標檢測方法。本文將依據不同的網絡模型進行歸類，闡述它們在無人機航拍影像中的對比、改進和應用。

圖1 目標檢測與語義分割方法的發展歷程Fig.1 Development history of object detection and semantic segmentation methods

2 無人機航拍影像目標檢測的深度學習方法

2.1 無人機航拍影像目標檢測的兩階段方法

最早的兩階段檢測方法是R-CNN，它由候選區域建議和CNN 組成，奠定了以后的目標檢測方法的基礎。R-CNN 采用選擇性搜索算法對輸入圖像進行分割，獲取了大量的目標候選區域。由于需要對所有的候選區域進行特征提取，因此計算復雜且非常耗時。網絡中的全連接層需要保證輸入的大小統一，圖像經過裁剪和縮放等處理會導致畸變，影響檢測效果。He等［49］提出了SPP-Net 網絡，在R-CNN 的末端添加了空間金字塔池化（Spatial Pyramid Pooling，SPP）模塊，避免了對輸入大小的限制，使得網絡可以輸入任意尺寸的圖像。該網絡通過對整幅圖像的處理，獲取了固定長度的特征向量，檢測速度明顯提升。Fast R-CNN 借鑒了SPPNet 中金字塔池化的思想，提出了感興趣區域（Region of Interest，RoI）池化層，并且使用Softmax 層替換了SVM 用于分類。但是，該算法仍采用選擇性搜索策略提取候選區域，過程復雜耗時。Faster R-CNN 提出了創新的區域建議網絡（Region Proposal Network，RPN），利用與Fast R-CNN 共享的卷積層直接獲取候選區域，大幅降低了計算成本，提高了檢測速度。Cascade R-CNN 針對檢測過程中交并比（Intersection over Union，IoU）閾值的選取問題進行了改進。它由3 個級聯的檢測頭組成，每個檢測頭在訓練和測試時設置了不同大小的IoU 閾值，邊界框回歸在經過3 次修正之后，得到了良好的預測效果。

無人機航拍影像目標檢測方法的相關研究中，常使用的兩階段檢測器有Faster R-CNN 和Cascade R-CNN。

2.1.1 無人機航拍影像目標檢測的改進Faster R-CNN 算法

奚祥書等［50］研究了基于多光譜數據的不同降維方法處理對無人機航拍影像中樹木冠層檢測效果的影響。在實驗過程中，通過特征波段選擇、特征提取和波段組合的方法生成5 種不同的數據集，用于FPN-Faster-R-CNN、YOLOv3 和Faster R-CNN 檢測器的訓練。結果表明，若降維后影像中目標物體顏色與背景差異明顯且輪廓清晰，會更有利于深度學習網絡提取樹木冠層的特征，獲得更好的預測結果。

為了準確快速地確定害蟲在葉片上的啃食區域，以便做出及時的防治。Du 等［51］在Faster R-CNN 的基礎上提出了Pest R-CNN 檢測模型。Pest R-CNN 由特征提取模塊、區域建議網絡和預測頭組成。特征提取模塊中，增加了輸出特征圖的數量，增強了多尺度特征融合，擴張了感受野，提高了泛化性。在區域建議網絡中，添加了通道注意力模塊（Channel Attention Module，CAM）和空間注意力模塊（Spatial Attention Module，SAM），用于向害蟲啃食位置提供更高的權重，突出該位置的語義信息。

為了提高無人機圖像中絕緣子缺陷識別的檢測精度，Tang 等［52］提出了一種改進的基于Faster R-CNN 的檢測方法。進行了如下3 處改進：①使用ResNet-50 網絡作為模型主干；②使用FPN 網絡融合多層特征；③使用RoIAlign 方法對RoI 池化層進行替換。這些改進有利于緩解梯度消失或梯度爆炸的問題，使淺層網絡中的位置信息和深層網絡中的語義信息更好地融合，解決了RoI 池化層兩次量化所引入的誤差。

由于無人機圖像中車輛等目標尺寸普遍較小，在經過多層的卷積神經網絡之后容易導致細節信息嚴重丟失。針對上述問題，Wang 等［53］改進了Faster R-CNN 網絡結構，使其能夠更好地提取小目標的詳細信息。首先，增加了主干輸出特征圖的數量，補充了小目標的紋理特征，然后，根據訓練圖像中待檢測目標的直方圖分布，增加了錨框數量，調整了錨框參數。

在分析無人機航拍影像時，由于無人機飛行時相機會抖動，影響影像的質量。常見的解決方案是在不同尺度上分析輸入圖像，以獲得盡可能多的信息來正確地檢測和跟蹤視頻序列中的目標。Avola 等［54］提出了MS-Faster R-CNN 網絡，這是一種多數據流（Multi-Stream，MS）結構。首先，利用MS 卷積神經網絡從給定的某幀畫面中獲取目標的多尺度特征，然后，通過Faster R-CNN 提取特征映射，預測目標的邊界框，最后，使用Deep Sort跟蹤算法實現整個視頻中目標的跟蹤。

Ding 等［55］提出了一種在無人機航拍影像中針對倒塌建筑物的目標檢測方法。通常情況下倒塌建筑物分布在邊界模糊且沒有特定幾何形狀的大范圍內，導致標記數據的主觀性影響很大。盡管非極大值抑制（Non-Maximum Suppression，NMS）方法在后處理過程中消除了大多數檢測到的重疊預測框，但是不規則的目標形狀會造成預測框之間相互嵌套。此外，以倒塌的建筑物為目標的檢測結果難以評價，可能出現一個真實框對應多個預測框，或者多個真實框對應一個預測框的問題。因此在Faster R-CNN 的基礎框架上引入了可形變卷積（Deformable Convolution，DConv），用于學習不規則幾何特征的相關信息，提高對任意形狀倒塌建筑物的適應性。提出了目標相交比（Intersected Proportion of Objects，IPO）替代傳統的IoU 指標，用于衡量預測框之間的重合程度，并作為NMS 的判斷依據。

大型起重機設備表面的金屬結構復雜，并且不同位置之間可能存在較大的光照差異。為了實現對這類設備表面裂紋的準確檢測，Zhou 等［56］提出了一種適用于無人機航拍影像的檢測方法。該方法采用Faster R-CNN 對裂紋區域進行檢測，通過最大熵閾值分割、Canny 邊緣檢測算子和投影特征提取等方法識別裂紋的長度、寬度、面積和縱橫比等參數。

表1 總結了上述不同場景下改進的Faster R-CNN 無人機航拍影像目標檢測方法。

表1 不同場景下改進的Faster R-CNN 無人機航拍影像目標檢測方法Table 1 Improved Faster R-CNN object detection method for UAV aerial images in different scenarios

2.1.2 無人機航拍影像目標檢測的改進Cascade R-CNN 算法

無人機航拍影像中的目標小而密集，場景復雜，這些一直都是目標檢測的難點。Huang 等［57］針對上述問題，提出了一種基于Cascade R-CNN的目標檢測方法。該方法針對不同的目標類別對檢測頭進行了細分，使其可以更好地提取邊緣幀并對邊緣幀進行精確地調整，提供更準確的感興趣區域，提高檢測結果的可靠性。

為了準確定位和識別高壓輸電線路中防振錘等部件的缺陷，Bao 等［58］提出了一種基于Cascade R-CNN 的防振錘缺陷檢測方法。首先，通過對數據集進行預處理，提高網絡的泛化性，然后，使用ResNeXt-101 網絡作為主干，加入FPN模塊進行多尺度特征融合，最后，使用Focal Loss損失函數改善RPN 模塊的分類損失，解決正負樣本不平衡的問題。

由于無人機飛行高度和姿態的變化，無人機圖像中目標尺度存在較大的差異，這給目標檢測帶來了很大的挑戰。針對上述問題Lin 等［59］提出了ECascade-RCNN 目標檢測網絡。該網絡由Trident-FPN 主干、RPN 和級聯雙頭檢測器組成。依據無人機航拍影像中目標尺寸的分布特點，重新聚類RPN 中的錨框，獲得更精細化的參數。

李鑫等［60］提出了一種改進的Cascade RCNN 多目標檢測方法，用于解決無人機航拍影像中小目標、物體遮擋和正負樣本不平衡的問題。以ResNet-101 網絡為主干，設計了一種新的特征金字塔網絡。在后處理過程中使用Soft-NMS方法抑制冗余預測框，緩解了目標遮擋的問題。在計算目標回歸的損失時，利用Focal Loss 思想，提升了模型的泛化性。針對無人機航拍影像中目標尺度變化大、分布差異明顯、背景復雜和存在大量遮擋等特點，張瑞倩等［61］在Cascade RCNN 和Faster R-CNN 算法的基礎上，添加了多尺度空洞卷積，用于擴大模型的感受野，提升在復雜背景下的檢測精度。

表2 總結了上述不同場景下改進的Cascade R-CNN 無人機航拍影像目標檢測方法。

表2 不同場景下改進的Cascade R-CNN 無人機航拍影像目標檢測方法Table 2 Improved Cascade R-CNN object detection method for UAV aerial images in different scenarios

本節主要介紹了基于Faster R-CNN 和Cascade R-CNN 的無人機航拍影像目標檢測方法。這些方法的改進策略大多集中在模型的主干和頸部，其中也包括一些針對激活函數和損失函數的改進。改進的目的是為了加快模型的運算速度，同時保持良好的檢測精度。經過優化后的檢測器，在無人機航拍影像上有著更加優秀的表現。

2.2 無人機航拍影像目標檢測的單階段方法

隨著目標檢測技術在工業中的應用越來越多，效率與實時性的需求不斷提高。SSD 在一定程度上克服了之前YOLO 算法難以檢測小目標和定位不準確的問題。它使用卷積層在不同尺度的特征圖中獲得運算結果，受Faster R-CNN中錨框的啟發，預設了不同長寬比的先驗框，降低了訓練難度。需要注意的是，SSD 的一些參數無法在訓練過程中學習得到，必須人工設置。此外，SSD 雖然采用了特征金字塔的層次結構，但仍難以處理大尺度的變化，在檢測小物體時尤其明顯。YOLOv2［62］與YOLO 相比，使用了新的分類網絡，借鑒了Network in Network［63］的思路，3×3 與1×1 的卷積操作交替進行，以壓縮特征圖的通道數，使用批歸一化策略加快了模型的收斂速度，保留了跳躍連接路徑用于存儲淺層的網絡信息。與YOLO 相比，YOLOv2 的檢測精度雖然提升了許多，但是難以投入實際使用。He 等提出了Focal Loss 損失函數，通過控制正負樣本和難易分類樣本之間的權重來解決單階段目標檢測器中的樣本不平衡問題。設計了RetinaNet檢測器驗證有效性，它的結構簡單，但生成預測框數量非常多，通常需要額外的階段來完成圖像分類任務。YOLOv3［64］的主干為DarkNet53，使用的殘差結構有效地增加了網絡深度并緩解了梯度消失的問題，在頸部融合了不同尺度的特征圖，它們分別位于主干中間層、中下層和底層，這有利于更好地捕獲目標的淺層位置信息和深層語義信息，提高檢測精度。YOLOv3 使用Leaky-ReLU 激活函數，解決了Dead ReLU 問題，但是該激活函數在深層網絡中性能容易下降。EfficientDet 采用EfficientNet 為主干，加權雙向特征金字塔網絡（Bidirectional Feature Pyramid Network，BiFPN）為頸部，按照模型尺寸從小到大劃分為D0～D7，共計8 個版本。模型通過增加輸入圖片的分辨率和深層的網絡結構獲取了更抽象的特征信息，但是在訓練和預測時，需要花費更多的時間來完成圖像的推理工作。基于錨框的檢測器的性能非常容易受到錨框大小、縱橫比和數量等因素的影響。在處理小目標時，錨框往往還需要依據對象的特征而重新設定，這會阻礙模型的泛化能力。并且，錨框也會涉及一些復雜的計算，例如計算真實框與預測框之間的IoU 值等。針對上述問題，提出了CenterNet 和FCOS 檢測模型。CenterNet 采用關鍵點估計來尋找物體的中心點，并通過回歸的方法獲取物體的其他屬性。FCOS 采用特征金字塔網絡處理多尺度目標的邊界框，使用中心度分支彌補預測像素點與對應邊界框中心點的誤差。此外，FCOS 可以被拓展應用到兩階段檢測方法中，例如作為Faste R-CNN的區域建議網絡取得了良好的性能提升。YOLOv4［65］、YOLOv5 和YOLOX［66］是YOLOv3 的后續版本，改進主要分布在模型的主干、頸部和頭部，整體在運算速度與檢測精度方面均有所提升，并且對同一模型按照總參數量的大小進行了細分，使其可以更好地應用于不同的需求場景。

在無人機航拍影像目標檢測方法的研究中，常使用的單階段檢測器有SSD、YOLOv2、RetinaNet、YOLOv3、EfficientDet、CenterNet、FCOS、YOLOv4、YOLOv5 和YOLOX 等。

2.2.1 無人機航拍影像目標檢測的改進SSD算法

Rampriya 等［67］利用無人機航拍影像制作了鐵路障礙物檢測數據集，包含了6 種鐵路上常見的障礙物類別。利用該數據集對CenterNet、SSD、Faster R-CNN 和YOLOv3 檢測器進行了評估。此外，對比了EfficientNet、MobileNet V2 和ResNet-50 3 種不同主干SSD 模型的檢測效果。實驗結果表明，基于MobileNet V2 的SSD 模型在檢測精度和召回率等方面表現最佳。

為了提高無人機航拍影像中小目標檢測的準確性，Liu 等［68］提出了CBSSD 目標檢測方法。CBSSD 在VGG-16 的基礎上，增加了ResNet-50 網絡作為輔助主干，提高了特征提取能力，有利于保留更加豐富的語義信息。CBSSD 模型擁有更高的識別率和更低的誤檢率，在低光照的條件下仍能保持良好的檢測效果。裴偉等［69］為提高模型對小目標的檢測精度，減少漏檢與重復檢測，提出了R-SSD 和CI-SSD 目標檢測方法。R-SSD 使用ResNet-50 替換了原先的VGG-16 網絡，提高了特征提取能力，降低了訓練難度。CI-SSD 利用空洞卷積和反卷積操作擴大了模型的感受野，融合了不同層間的特征信息，增強了模型的泛化性。無人機捕獲的航拍影像分辨率高，其中車輛等小尺寸目標特征點分布較為稀疏。針對該問題，李旭等［70］提出了一種基于目標空間分布特征的無人機航拍影像車輛檢測網絡DF-Net。DF-Net 由E-SSD 檢測器和航拍車輛密度估計網絡組成。E-SSD 以SSD 為基礎，調整了錨框參數，使用深度可分離卷積替換了原先的3×3 卷積，并且在特征圖下采樣操作前添加了抗混疊低通濾波器。航拍車輛密度估計網絡基于條件生成對抗網絡的思想，用于獲取車輛準確的分布特征，便于后續的圖像切分處理。

無人機視頻車輛檢測容易受到視頻質量、天氣環境等客觀因素的影響，導致檢測結果較差。針對該問題，Wang 等［71］提出了一種基于深度學習的無人機航拍影像車輛檢測方法。首先，對原始采集到的圖像進行HSV（Hue、Saturation、Value）空間亮度平移，以增強對不同光照條件和樣本多樣性的適應能力，然后，以SSD 檢測器為基礎，引入焦點損失進行優化，用于提高模型的檢測精度。

表3 總結了上述不同場景下改進的SSD 無人機航拍影像目標檢測方法。

表3 不同場景下改進的SSD 無人機航拍影像目標檢測方法Table 3 Improved SSD object detection method for UAV aerial images in different scenarios

2.2.2 無人機航拍影像目標檢測的改進YOLOv2 算法

Jawaharlalnehru 等［72］針對無人機航拍影像目標檢測中多尺度目標定位精度低、檢測速度慢和目標漏檢等問題，提出了一種改進的YOLOv2算法。為了使錨框參數適應具體的檢測任務，重新對自制的航拍檢測數據集進行了聚類。在網絡的訓練過程中，每間隔10 個輪次改變模型輸入的大小，提高了對不同尺度圖像的魯棒性。

Javed 等［73］利用通道剪枝和深度可分離卷積等壓縮技術改進了Tiny-YOLOv2 檢測器，提出了QuantYOLO 目標檢測方法，適用于資源和功率受限的無人機部署平臺。QuantYOLO 很好地平衡了吞吐量和檢測精度之間的關系，實現了低功耗和實時的目標檢測。

表4 總結了上述不同場景下改進的YOLOv2 無人機航拍影像目標檢測方法。

表4 不同場景下改進的YOLOv2 無人機航拍影像目標檢測方法Table 4 Improved YOLOv2 object detection method for UAV aerial images in different scenarios

2.2.3 無人機航拍影像目標檢測的改進RetinaNet 算法

Liu 等［74］提出了一種基于RetinaNet 的目標檢測模型，用于無人機電力線巡檢中相關目標的檢測。該模型采用K-Means++算法在目標數據集上重新聚類，獲取了更加匹配的錨框。使用DenseNet-121 網絡作為模型的主干，有助于提高檢測精度，使得模型更加輕量化。

Purcell 等［75］研究了RetinaNet 算法在無人機視頻片段中檢測鯊魚種類的能力。分別使用了ResNet-50 和MobileNet V1 網絡作為模型主干。其中，MobileNet V1 網絡在處理小目標時性能會下降，因此在部署前需要仔細對其參數進行調整。為確保檢測結果可靠，建議最佳的無人機飛行高度應保持在25～50 m。Takaya 等［76］研究了使用RetinaNet 網絡檢測海灘上海洋廢棄物的可行性。首先，使用無人機在目標區域按照指定高度采集航拍影像，然后，對采集到的圖片進行標注，劃分為人為海洋碎片和自然物體，最后，評估RetinaNet 在其上的表現。實驗結果證實了方法的可行性，但是難以檢測塑料制品碎片這樣的小目標，并且模型靈敏度低，存在過多的假陰性。

李洪瑤等［77］提出了一種多無人協同的目標檢測方法。該方法在單架無人機上利用改進的RetinaNet 網絡檢測特定目標，然后對多架無人機的預測結果進行拼接以完成大規模巡查任務。改進包括如下3 點：①增加了錨框數量并調整了寬高比；②優化了正負樣本的閾值區間和損失函數；③利用遷移學習的策略，擴充了用于訓練的圖片數量。

表5 總結了上述不同場景下改進的RetinaNet 無人機航拍影像目標檢測方法。

表5 不同場景下改進的RetinaNet 無人機航拍影像目標檢測方法Table 5 Improved RetinaNet object detection method for UAV aerial images in different scenarios

2.2.4 無人機航拍影像目標檢測的改進YOLOv3 算法

Cheng 等［78］基于無人機航拍影像，對Faster R-CNN 和YOLOv3 目標檢測算法進行了對比，在相同的數據集和硬件環境下，根據比較平均準確率和檢測時間來幫助選擇符合實際需求的算法。如果用戶需要更高的檢測精度，Faster RCNN 更加適合；如果對檢測速度的要求更加緊迫，那么在保證一定準確率的前提下，YOLOv3是更好的選擇。

Junos 等［79］以無人機航拍影像中棕櫚果為目標提出了YOLO-P 檢測模型。為了提高模型的魯棒性，使用亮度調整、旋轉形變和模糊處理等方法對訓練圖片進行了數據增強，用于模擬實際的自然環境情況。YOLO-P 在YOLOv3-Tiny的基礎上，在主干中使用了密集卷積網絡、Swish激活函數、增加了小目標檢測層并且依據目標數據集利用K-Means 算法重新確定錨框的大小。

針對無人機電力線巡檢過程中絕緣子缺陷檢測準確率低的問題，Yang 等［80］提出了一種改進的YOLOv3 網絡。為了提高對小目標的識別精度，將YOLOv3 中原先單向信息流的特征金字塔結構改進為雙向融合網絡。為了使預測框更加逼近真實框，引入了高效交并比（Efficient Intersection over Union，EIOU）損失。針對檢測精度、運行時間和存儲空間之間的平衡問題，Liu等［11］提出了MTI-YOLO 目標檢測方法。該方法針對無人機電力線巡檢中絕緣子等目標，在YOLOv3-Tiny 的基礎上添加了多尺度特征檢測頭、多尺度特征融合結構和SPP 模塊。以上改進，有助于獲取關于絕緣子等目標更加有針對性的語義信息，提高了對不同尺寸絕緣子的檢測精度，改善了特征的表達效果。

Zhu 等［81］提出了利用無人機進行路面破損的檢測方法，搭建了圖像采集平臺，并對無人機的飛行設置進行了研究。針對6 種道路病害問題，采集了相關的航拍影像，制作了路面航拍圖像數據集，對比了Faster R-CNN、YOLOv3 和YOLOv4 等目標檢測算法對路面破損的分類和定位效果。實驗結果表明，YOLOv3 對陰影、樹木和路面標記等不同環境下的裂縫檢測具有較強的魯棒性。

Sahin 等［82］研究了YOLO 網絡架構的改變對無人機航拍影像中小目標檢測效果的影響，并在YOLOv3 的基礎上進行了改進，提出了YOLODrone 目標檢測方法。該方法將原先3 個不同尺度的輸出層進行了擴充，增加至5 個。這有助于獲取更多的位置信息，提高對小目標的定位效果，加強模型多尺度特征融合的能力。

劉芳等［83］提出了一種基于YOLOv3 的無人機航拍影像目標檢測方法，用于解決無人機航拍影像中小目標檢測困難的問題。首先，利用多尺度卷積（Mutil-Scale Convolution，MSConv）替換標準卷積，構建了自適應特征提取網絡MSDark-Net-53，然后，在主干的殘差結構中添加了卷積塊注意力模塊（Convolutional Block Attention Module，CBAM）來獲取空間和通道維度中的特征權重，最后，擴展了主干的輸出，并將所有的特征圖調整至相同大小，用于對小目標的精細檢測。針對無人機航拍影像中小目標漏檢率和誤檢率高的問題，蒲良等［84］提出了一種基于YOLOv3-Tiny 的目標檢測方法。該方法在主干中的不同位置添加了1×1 和3×3 的卷積層，增加了主干輸出特征圖的數量，并對K-Means 聚類算法進行了優化。

表6 總結了上述不同場景下改進的YOLOv3無人機航拍影像目標檢測方法。

表6 不同場景下改進的YOLOv3 無人機航拍影像目標檢測方法Table 6 Improved YOLOv3 object detection method for UAV aerial images in different scenarios

2.2.5 無人機航拍影像目標檢測的改進EfficientDet 算法

無人機航拍影像的小目標檢測在實際應用中是一項具有挑戰性的任務，檢測結果容易受復雜背景、高密度區域和隨機紋理等因素的干擾。Tseng 等［85］對比了HOG-SVM、EfficientDet 和Faster R-CNN 在無人機航拍影像中水稻幼苗的檢測效果。實驗結果表明，使用支持向量機分類的模型，它的計算復雜度會隨樣本數量的大小呈指數增長，在實際應用中存在一定的缺陷。基于卷積神經網絡的模型具有更好的泛化性和良好的實時性，在不同成像條件的測試集上，EfficientDet 擁有最佳的檢測精度。

Aldahoul 等［86］建立了一個基于EfficientDet-D7 用于人體檢測和人體活動識別的系統。首先，對比了EfficientDet、YOLO 和Faster R-CNN 在COCO 數據集上訓練用于人體檢測的效果，然后，對比了不同版本的EfficientDet，如D0、D4 和D7，在UCF-ARG 無人機航拍影像數據集中對揮手、行走和奔跑等行為的識別能力，最后，通過添加水平翻轉、模糊處理、高斯噪聲和明暗變化等數據增強方法，驗證了EfficientDet-D7 的魯棒性。由于無人機高空成像的原因，在航拍影像中可能僅有0.1%～0.2%的部分為待檢測的目標。Dousai 等［87］針對感興趣區域覆蓋率低的問題，提出了一種基于EfficientDet 結構的目標檢測模型。該模型的頸部由BiFPN 和全連接特征金字塔網絡（Fully Connected Feature Pyramid Network，FC-FPN）級聯組成，取得了在HERIDAL數據集上以人類為目標的最高準確率結果。

表7 總結了上述不同場景下改進的Efficient-Det 無人機航拍影像目標檢測方法。

表7 不同場景下改進的EfficientDet 無人機航拍影像目標檢測方法Table 7 Improved EfficientDet object detection method for UAV aerial images in different scenarios

2.2.6 無人機航拍影像目標檢測的改進CenterNet 算法

Xia等［88］提出了一種基于MobileNet-CenterNet的絕緣子檢測模型，用于解決無人機電力線巡檢過程中絕緣子等目標檢測精度低、實時性差等問題。該模型使用MobileNet V1 輕量化網絡作為主干，在不同位置添加了CBAM 注意力模塊，利用DIOU-NMS（Distance-Intersection over Union-NMS，DIOU-NMS）抑制冗余預測框，并增加了3 個基于轉置卷積的上采樣層。

與自然影像相比，無人機航拍影像中目標類型分布不均，并且物體的方向、形狀和比例差異更大。針對上述問題，Albaba 等［89］提出了SyNet目標檢測網絡。SyNet 利用圖像增強技術處理樣本類別不均衡的問題，通過單階段與多階段檢測方法相互協同的策略，結合CenterNet 和Cascade R-CNN 檢測器，提升了對小目標的預測效果。劉鑫等［90］針對在復雜背景下小目標特征信息學習困難的問題，提出了MSA-CenterNet 檢測方法。MSA-CenterNet 在CenterNet 的基礎上添加了自適應（Modified Self-Adaptive，MSA）基礎模塊和升維全局上下文注意力模塊（Global Context-Block，GC-Block），并在模型的頭部使用了深度可分離卷積和Mish 激活函數。這些改進有助于抑制冗余的特征表達，強化關鍵點的語義信息。由于高分辨率的無人機航拍影像在輸入網絡時，圖像壓縮造成了小目標的遺失，不利于目標特征的提取。針對上述問題，王勝科等［91］提出了一種基于CenterNet 的檢測模型。該方法通過剪裁對圖像進行預處理，用于獲取合適的輸入尺寸。在主干中引入了雙重注意力機制，以提高對小目標的特征表達能力。使用GIOU（Generalized Intersection over Union）作為NMS 的判定依據，加強了模型后處理的能力。

表8 總結了上述不同場景下改進的Center-Net 無人機航拍影像目標檢測方法。

表8 不同場景下改進的CenterNet 無人機航拍影像目標檢測方法Table 8 Improved CenterNet object detection method for UAV aerial images in different scenarios

2.2.7 無人機航拍影像目標檢測的改進FCOS算法

利用無人機進行交通監控具有視野廣闊、機動性強、不影響交通等優點，但是飛行高度、拍攝角度和復雜背景等給目標的檢測帶來了不小的挑戰。Akshatha 等［92］對比了FCOS 和YOLOv3在無人機航拍影像中對車輛的檢測效果?；谄骄鹊脑u價指標分析表明，FCOS 的表現比YOLOv3 更好。Wang 等［93］利用無人機采集電力線圖像，建立了絕緣子缺陷檢測數據集。該數據集由14 074 幅高分辨率圖像和19 113 個注釋組成。基于該數據集，對比了FCOS、Faster R-CNN和YOLOv4 在缺陷檢測任務中的性能。此外，給出了一些有助于提高檢測效果的建議：①可以利用數據增強的方法彌補訓練樣本不足的問題；②通過對原始圖像的剪裁來提高小目標的檢測效果；③根據數據集中目標的特點對錨框參數進行微調。

由于無人機特殊的高空視角，使得圖像中包含了大量的小目標。Gao 等［94］提出了一種針對無人機圖像的單級檢測器。它采用了FOCS 中無錨框的思想，使得正負樣本的判定更加合理；使用匹配分數圖策略，有助于充分利用特征圖中的相似信息；通過Soft-NMS 方法緩解密集排列造成的漏檢問題，有利于傾斜目標的檢測。

針對無人機輸電線路巡檢中目標尺度差異大、背景復雜等特點，Zhao 等［95］提出了一種基于FCOS 的目標檢測方法。該方法由特征提取網絡、特征金字塔網絡和每個特征層對應的檢測頭組成。在特征金字塔網絡中，改變了自上而下結構中的部分卷積連接，增加了自下而上的分支結構，有利于充分利用語義信息和位置信息，提高小目標的檢測性能。在檢測頭通過高斯分布計算符合目標分布的中心權重，對預測結果進行修正，實現了正負樣本標簽的自適應分配，減小了復雜背景對檢測精度的影響。

針對無人機航拍影像噪聲干擾強、目標密集排列的特點，張智等［96］提出了一種結合多幀檢測的車輛檢測方法。該方法對FCOS 網絡中后處理的操作進行了改進，使用Soft-NMS 抑制相互重疊的預測框。設計了多幀目標回歸模塊，用于結合當前幀畫面和鄰近幀中同一物體的特征表示，突出了目標信息，削弱了背景噪聲干擾。

表9 總結了上述不同場景下改進的FCOS 無人機航拍影像目標檢測方法。

表9 不同場景下改進的FCOS 無人機航拍影像目標檢測方法Table 9 Improved FCOS object detection method for UAV aerial images in different scenarios

2.2.8 無人機航拍影像目標檢測的改進YOLOv4 算法

針對無人機航拍影像背景復雜、目標小并且存在相互遮擋等情況，Tan 等［97］對YOLOv4 進行了改進，提出了YOLOv4_DRONE 檢測模型。首先，在主干中添加了感受野模塊（Receptive Field Block，RFB），擴張了模型的感受野，然后，在特征金字塔結構中加入了超輕量級子空間注意力機制（Ultra-Lightweight Subspace Attention Mechanism，ULSAM），最 后，使 用Soft-NMS 方法緩解因遮擋而造成的目標漏檢問題。

Cheng 等［98］針對無人機航拍過程中因相機抖動造成的影像模糊問題、光照不均導致的曝光問題以及傳輸過程中產生的噪聲問題，提出了一種改進的YOLO 模型。該方法采用了仿射變換、高斯模糊處理和灰度變換等多種數據增強方法，加強了YOLOv4 模型的數據預處理能力，有效地緩解了因數據量較少而造成的訓練困難問題。

Guo 等［10］提出了一種基于改進的YOLOv4模型用于輸電線路中防振錘故障的檢測。由于無人機航拍影像中防振錘這類的小目標，在經過YOLOv4 主干網絡的多次下采樣之后，容易造成小目標特征被遺漏的問題。因此擴展了主干輸出的特征層，并添加了RFB 模塊用于加強網絡的特征提取能力。在模型的頸部，融合了多種尺度大小的特征信息，檢測精度有了明顯提升。Bao 等［99］建立了基于無人機航拍影像的輸電線路異常減震器數據集，其中含了4 種不同類型的減震器，存在生銹、破損和正常等不同情況。針對數據集中小目標和復雜背景的特點，設計了PAM-YOLO 檢測網絡。PAM-YOLO 以YOLOv4 為基礎，在模型的頸部添加了平行混合注意力（Parallel Mixed Attention，PMA）模塊，并使用K-Means 聚類算法重新求取了更加適合的錨框。

在無人機拍攝的果樹冠層圖像中，由于存在相互粘連和遮擋等情況，影響了檢測器的準確性。為了提高現實場景中果樹冠層的識別精度，Zhu 等［100］提出了一種改進的YOLOv4 檢測方法。使用MobileNet V3 網絡作為主干，在模型的不同位置添加了CBAM 注意力模塊，在頸部的末尾添加了自適應空間特征融合（Adaptively Spatial Feature Fusion，ASFF）模塊，并且在訓練期間使用余弦退火衰減策略調整學習率的大小。針對YOLOv4 算法在無人機航拍影像中對松材線蟲病變樹木識別效率低的問題，黃麗明等［101］對YOLOv4 的主干和頸部進行了改進。在主干使用了MobleNet V2 網絡用于減少參數數量，在頸部使用深度可分離卷積替換部分標準卷積并且簡化了PANet 的結構，提高了識別速度。

為了實現無人機對橋梁裂縫的實時檢測，Yu等［102］在YOLOv4 的基礎上提出了YOLOv4-FPM 檢測模型。YOLOv4-FPM 利用Focal Loss 的思想對損失函數進行了優化，采用剪枝算法簡化了網絡結構，使用多尺度數據集訓練網絡擴展了可預測范圍。實驗結果表明，改進后的方法在檢測精度和模型尺寸方面均取得了提升，可以有效檢測不同大小圖片中的裂縫目標。

表10 總結了上述不同場景下改進的YOLOv4 無人機航拍影像目標檢測方法。

表10 不同場景下改進的YOLOv4 無人機航拍影像目標檢測方法Table 10 Improved YOLOv4 object detection method for UAV aerial images in different scenarios

2.2.9 無人機航拍影像目標檢測的改進YOLOv5 算法

Wu 等［103］針對無人機航拍影像中小目標比例高和背景干擾多等問題，對YOLOv5 算法進行改進與優化，提出了PWR-YOLOv5，用于檢測防振錘和絕緣子等部件的腐蝕情況。PWR-YOLOv5引入了加權自適應路徑聚合網絡（Weight Adaptive Path Aggregation Network，WA-PANet）、金字塔分裂注意力（Pyramid Split Attention，PSA）模塊和感受性特征增強網絡（Receptive Feature Enhancement Network，RFENet）。此 外，采 用EIOU 損失函數計算邊界框回歸的損失，用于提高網絡的定位精度和收斂速度。在以往的模型中，常采用特征金字塔結構來改善無人機航拍影像中小目標的漏檢問題，但是關于小目標的信息可能已經在特征圖中因下采樣處理而丟失。針對上述問題，Zhu 等［104］基于YOLOv5 提出了UavTinyDet 檢測網絡。UavTinyDet 的頸部為擴展特征金字塔（Expanded Feature Pyramid，EFP）模塊，增加了針對小目標的檢測層，保留了充分的位置信息，對小目標的檢測更加友好。劉樹東等［105］提出了一種基于倒置殘差注意力的無人機航拍影像小目標檢測方法。該方法使用倒置殘差C3（Inverted Residuals，IRC3）模塊和倒置殘差注意力C3（Inverted Residuals Attention，IRAC3）模塊替換了原先的殘差結構，并且添加了多尺度特征融合（Multi-scale Feature Fusion，MFF）模塊。以上改進有利于獲取豐富的小目標位置信息和深層語義信息，提高了模型的定位效果。無人機航拍影像中小目標實例多、背景復雜等特點導致檢測模型特征提取困難，冒國韜等［106］提出了一種基于多尺度分割注意力的目標檢測方法MSA-YOLO（Multi-scale Split Attention-YOLO）。其在YOLOv5 的基礎上引入了多尺度分割注意力單元（Multi-scale Split Attention Unit，MSAU）和自適應加權特征融合方法（Adaptive Weighted-feature Fusion，AWF），使得模型可以更具指向性地提取目標區域的關鍵信息，動態調節各個特征層之間的權重大小。

目前，許多檢測方法雖然擁有較高的檢測精度，但是其參數多、復雜度高，難以達到實時處理要求。針對上述問題，Li 等［107］設計了一種滿足無人機實時檢測需求的輕量級方法。以YOLOv5s為基礎，添加了擠壓和激發（Squeeze-and-Excitation，SE）模塊來提高網絡的表達能力，刪除了部分主干中冗余的1×1 卷積來減少模型的參數數量，在SPP 模塊中增加了一個3×3 的最大池化層來提高模型的接收范圍。

針對風力機葉片表面缺陷檢測中存在的檢測能力不足、模型推理時間長、對小目標和長條形狀缺陷識別準確率低的問題，Zhang 等［108］提出了一種基于YOLOv5 的無人機航拍影像目標檢測方法SOD-YOLO。首先，對風力機葉片圖像進行前景分割和霍夫變換，建立缺陷檢測數據集，然后，主干增加了小目標檢測層，利用KMeans 算法對錨框重新聚類，并添加CBAM 注意力模塊，最后，采用通道剪枝算法降低模型尺寸，提高模型的運算速度。在無人機對風力發電機進行巡檢過程中，精準定位其槳葉前端是一項具有挑戰性的任務，與此同時，受機載模塊有限的算力制約，常見方法的檢測效率低下。白健鵬等［109］提出了一種基于輕量級的YOLOv5 風力發電機槳葉檢測與定位方法。該方法使用ShuffleNet V2 輕量化網絡作為主干，減少了參數數量。設計了槳葉葉尖空間定位方法，利用檢測所得的像素坐標、無人機位置與姿態信息和空間平面的幾何關系，對槳葉進行精準定位。

針對路面修復區域檢測難度大、效率低的問題，Liu 等［7］提出了M-YOLO 目標檢測算法。MYOLO 使用MobileNet V3 網絡替換了YOLOv5s的主干，降低了模型尺寸，提高了目標的檢測速度。為了防止圖像失真和小目標檢測精度不足的問題，在模型頭部添加了SPP-Net網絡結構。

針對枯死樹木目標小、細節信息不明顯的特點，Wang 等［110］在YOLOv5 框架的基礎上提出了一種新的輕量級檢測網絡LDS-YOLO。LDSYOLO 的特征提取模塊重復利用了之前層的特征信息，在小樣本數據集上表現出非常好的抗過擬合性。使用了深度可分離卷積減少模型參數，使其便于在智能終端上進行部署。使用了SoftPool 池化操作對SPP 模塊進行優化，以確保小目標在檢測過程中不會被遺漏。Liu 等［111］分析了基于無人機航拍影像中的玉米雄穗檢測面臨的挑戰，針對玉米雄穗目標小，形態變化大、相互重疊等情況，提出了YOLOv5-Tassel 目標檢測方法。該方法采用YOLOv5 主干提取雄穗特征，然后使用BiFPN 特征金字塔結構進行多尺度特征融合。在模型的頸部添加了SimAM 注意力模塊，并且增加了檢測頭的數量，增強了模型的檢測能力。無人機航拍影像中麥穗分布稠密、重疊嚴重、尺寸小、背景信息復雜，容易導致誤檢和漏檢等情況，從而降低了麥穗的檢測精度，無法對其進行準確計數。針對上述問題，鮑文霞等［112］提出了一種基于TPH-YOLO 檢測器的麥穗計數方法。TPH-YOLO 以YOLOv5為基礎，添加了協調注意力（Coordinate Attention，CA）模塊，使用了Transformer 預測頭。在訓練過程中，采用Retinex 算法進行圖像增強處理，通過遷移學習策略先后在不同數據集上進行訓練，提高了模型的泛化能力和檢測精度。

表11 總結了上述不同場景下改進的YOLOv5 無人機航拍影像目標檢測方法。

表11 不同場景下改進的YOLOv5 無人機航拍影像目標檢測方法Table 11 Improved YOLOv5 object detection method for UAV aerial images in different scenarios

2.2.10 無人機航拍影像目標檢測的改進YOLOX 算法

Ru 等［113］提出了一種適用于無人機航拍影像的輕量化電力線絕緣子檢測模型ECAYOLOX-Tiny。該檢測模型在YOLOX-Tiny 的主干中添加了高效通道注意力（Efficient Channel Attention，ECA）模塊調整了輸入圖像的分辨率大小，在訓練階段采用了余弦退火算法調整學習率參數。上述改進有利于獲取關于小目標更多的特征信息，加快了模型的收斂速度。

無人機航拍影像中的麥穗具有目標小、易遮擋、分布密集和背景復雜等特點，為了快速且準確地對其進行識別，Yao 等［114］對YOLOX-m 進行了優化，設計了一種改進的Mosaic 數據增強策略。所提方法使用BiFPN 網絡作為模型的頸部，添加了SE 模塊，使用可以學習的權重來調整不同輸入特征的重要性，實現更有效的多尺度特征融合。

Hou 等［115］提出了一種基于YOLOX 的無人機航拍影像山體滑坡檢測方法YOLOX-Pro，提高了針對不同地貌環境下的檢測精度。YOLOX-Pro使用Focal Loss 損失函數，用于解決大小樣本分布不均的問題。對比了SE 模塊、CBAM 模塊和CA 模塊在模型中的改善效果。實驗結果表明，CA 模塊更有助于提高模型的檢測精度，加強了特定區域的識別能力。

利用無人機獲取的航拍影像檢測煙霧目標可以有效地監測早期森林火災，Zhan 等［116］以YOLOX-l 為基礎，提出了PDAM-STPNet 檢 測網絡。該網絡使用并行空間域注意力機制（Parallel Spatial Domain Attention Mechanism，PDAM），利用局部和全局注意力子模塊，捕獲了圖像中的位置和語義信息，使得預測結果更加可靠。在預處理過程中，設計了組件拼接（Component Stitching）數組增強技術，增加了小目標樣本的數量，提高了模型的泛化性。

表12 總結了上述不同場景下改進的YOLOX無人機航拍影像目標檢測方法。

表12 不同場景下改進的YOLOX 無人機航拍影像目標檢測方法Table 12 Improved YOLOX object detection method for UAV aerial images in different scenarios

本節介紹了基于SSD、YOLOv2、RetinaNet、YOLOv3、EfficientDet、CenterNet、FCOS、YOLOv4、YOLOv5 和YOLOX 的無人機航拍影像目標檢測方法。因為單階段檢測器擁有良好的檢測速度，所以相比于兩階段方法更適合應用于無人機航拍影像。上述檢測方法經過改進升級后，更加適用于無人機航拍影像中目標的檢測，勝任于多種多樣的無人機應用場景。

3 無人機航拍影像語義分割的深度學習算法

針對FCN 結果不夠準確、圖像細節信息不敏感的問題，Badrinarayanan 等［47］提出了SegNet 語義分割模型。它的編碼和解碼部分分別由13 個卷積層和5 個上采樣層組成，并且使用池化索引（Pooling Indices）對特征圖進行上采樣處理，這有利于保留更多的物體輪廓信息，幫助圖像重建。但是，對低分辨率的特征圖進行去池化處理時，容易忽略鄰近像素間的相關性。Ronneberger 等［46］提出了U-Net 語義分割模型，可以劃分為特征提取網絡與特征融合網絡，分別對應為編碼器與解碼器。編碼器用于獲取圖像中物體對應的語義信息，然后解碼器將特征恢復至輸入尺寸，得到最終的預測結果。U-Net 采用完全對稱的U 型結構，有助于特征間的相互融合，但是在實際分割中，大物體的邊緣信息和小物體本身很容易在深層網絡中因下采樣操作而丟失。He 等［48］提出了Mask R-CNN 算法，其在Faster R-CNN 的基礎上增加了全卷積神經網絡以生成對應的掩膜分支，使用了RoIAlign 層，很好地保留了特征點準確的空間位置，有助于提升掩膜的精度。

在處理無人機航拍影像中，語義分割得到了廣泛的應用，其中常見的包括SegNet、U-Net 和Mask R-CNN 算法。

3.1 無人機航拍影像語義分割的改進SegNet算法

Zhong 等［117］提出了一種基于多尺度特征融合的網絡結構——W-SegNet，用于像素級路面破損檢測。建立了多場景、多類型的無人機瀝青路面破損數據集。W-SegNet 網絡由2 個對稱的編解碼器組成，并且在編碼器和解碼器之間添加了由一系列上采樣、級聯和卷積操作組成的特征融合模塊。這有助于更好地利用淺層位置信息和深層語義信息，提高特征圖的分辨率，有利于檢測出裂縫、坑洞和補丁等不同大小的多尺度路面問題。

Qi 等［118］提出了一種基于SegNet 網絡的果樹冠層圖像分割方法，用于從無人機航拍影像中快速提取冠層信息。所提方法使用了Elu 激活函數和Adam 優化器，通過批歸一化處理、隨機化數據集序列輸入和Dropout 層提高了模型的抗過擬合性。與SegNet 相比，訓練過程更穩定、收斂速度更快、魯棒性更強、在不同光照條件下識別目標輪廓更精細。Li 等［119］針對幾種波段的組合，研究了基于無人機三通道彩色圖像的多光譜波段信息對向日葵倒伏狀態特征提取的影響。改進了SegNet 網絡的輸入，使其適用于多波段圖像的處理。實驗結果表明，添加近紅外波段有助于提高分類精度，而加入紅外波段則會造成精度的負增長。Li 等［120］提出了CD-SegNet 網絡模型，用于無人機航拍影像中棉花的像素分割。CDSegNet 減少了SegNet 網絡中編碼塊和解碼塊的卷積數量，降低了模型復雜度，提高了分割效率。引入了空洞卷積，在保持特征空間分辨率的同時擴大了模型的感受野，減少了因上采樣而造成的信息丟失。

表13 總結了上述不同場景下改進的SegNet無人機航拍影像語義分割方法。

表13 不同場景下改進的SegNet 無人機航拍影像語義分割方法Table 13 Improved SegNet semantic segmentation method for UAV aerial images in different scenarios

3.2 無人機航拍影像語義分割的改進U-Net 算法

Jeon 等［121］評估了利用無人機航拍影像和深度學習技術來檢測海洋生態系統中海草分布情況的可行性。在U-Net 模型中添加了Z-Score 和Min-Max 歸一化方法，以驗證不同歸一化策略對模型的影響。實驗結果表明，Z-Score 和Min-Max 分別在黑白圖像和光學圖像上表現出優異的性能。對比了U-Net、SegNet、PSPNet 和Deeplab V3+網絡在無人機航拍影像上的檢測效果。其中，結構相對簡單、參數較少的U-Net 模型表現最佳。

Huang 等［122］針對高原山區煙葉種植分散、分布不均等特點，提出了一種基于深層語義分割模型的無人機航拍影像煙草種植區域提取方法。首先，利用無人機捕獲圖片，制作了煙草語義分割數據集，然后，使用MobileNet 系列輕量級網絡替換DeeplabV3+、PSPNet、SegNet 和U-Net 模型的編碼器部分，用于加快模型訓練。實驗結果表明，U-Net 在小樣本數據集下的煙草語義分割性能優于其他模型，并且對硬件要求不高，便于在實際應用中廣泛推廣。Narvaria 等［123］應用UNet 卷積神經網絡結構為小麥、棉花、玉米、草和土壤等不同作物分類尋找最佳的輸入光譜波段組合。分析了增強植被指數（Enhanced Vegetation Index，EVI）和標準化植被指數（Normalized Difference Vegetation Index，NDVI）在作物分類中的作用。研究了各紋理參數，例如角二階矩（Angular Second Moment，ASM）、逆差距（Inverse Difference Moment，IDM）、熵（Entropy，ENT）和對比度（Contrast，CON），在語義分割中起到的效果。通過對光譜植被指數和紋理特征的各種組合進行測試與對比，最大限度地提高了模型的精度。Zhai 等［124］提出了一種基于無人機航拍影像和語義分割算法的棉花田地殘留種植地膜檢測方法。該方法優化了U-Net 的網絡結構，減少了其中的卷積運算，加快了模型的運行時間。在下采樣層中，使用Inception 模塊替換了普通的3×3 卷積，在增加網絡深度和寬度的同時，還解決了參數過多的問題，減少了模型的計算量。準確提取小麥倒伏面積可以為災后產量損失評估和抗倒伏小麥育種提供重要的技術支持。目前，小麥倒伏評估方法面臨著實時性和準確性之間的矛盾，同時也缺乏有效的倒伏特征提取方法。針對上述問題Yu 等［125］基于U-Net 網絡提出了一種改進的分割模型。為了獲得更大的感受野，保留更多的語義信息，在保持網絡結構的基礎上，使用對合算子代替主干中的卷積運算。在編碼階段，加入了密集連接模塊，有利于減少參數，節省內存開銷，緩解了梯度消失的問題。

表14 總結了上述不同場景下改進的U-Net無人機航拍影像語義分割方法。

表14 不同場景下改進的U-Net 無人機航拍影像語義分割方法Table 14 Improved U-Net semantic segmentation method for UAV aerial images in different scenarios

3.3 無人機航拍影像語義分割的改進Mask R-CNN 算法

Pi 等［126］為了從無人機航拍影像中生成像素級分割用于災害發生后的損害評估，創建了一個名為Volan2019 的數據集。該數據集包含875 張帶注釋的圖片，共計9 個相關類別。提出了一種采用遷移學習訓練、驗證和測試Mask R-CNN 和PSPNet 網絡的方法，分析了預測置信度和精度之間的相關性，設計并實現了一種基于數據均衡的有針對性的數據增強方法。

Zheng 等［127］以超高分辨率可見光、近紅外和數字地表模型（Digital Surface Model，DSM）圖像為研究對象，提出了基于深度卷積神經網絡的草莓冠層自動提取和生物量預測方法。利用Mask R-CNN 語義分割算法，分別使用VGG-16和ResNet-50 網絡作為主干，用于特征提取。實驗結果表明，2 種主干均取得了良好的效果，驗證了所提方法的可行性。Li 等［128］提出了一種改進的Mask R-CNN 實例分割算法——ACE RCNN，通過結合無人機航拍影像和激光雷達（Light Detection and Ranging，LiDAR）數據進行個體樹種識別。ACE R-CNN 的主干網絡為ACNet，它通過注意力互補模塊（Attention Complementary Module，ACM）有選擇性地強調目標特征。引入了邊緣損失函數和邊緣濾波器來計算邊緣損失，提高個體樹種的識別準確率，加快了模型的收斂速度。

由于軌道環境復雜、道砟遮擋以及無人機拍攝視點的變化，軌枕分割是一項充滿挑戰性的工作。Singh 等［129］利 用Mask R-CNN 方法對無人機拍攝的低空圖像中混凝土軌道軌枕進行實例分割，重點解決了小目標、復雜背景和噪聲干擾等問題。

人工進行建筑外墻裂縫檢測風險大、效率低，針對該問題，Chen 等［130］提出了一種基于無人機航拍影像的建筑外墻裂縫檢測方法。首先，利用無人機采集了不同光照條件下住宅樓外墻圖像，建立了裂縫數據集，然后，比較了YOLOv3、YOLOv4、Faster R-CNN 和Mask R-CNN 等 方法的檢測效果，其中Mask R-CNN 的表現最佳，最后，基于裂紋在圖像中的特點，對Mask RCNN 進行了有針對性的改進。由于裂紋在圖像中所占比例較小，當圖像大小被壓縮時，目標容易因其細長且不明顯的特征而丟失。因此改進后的方法使用DenseNet 結構替換了原先的殘差網絡。DenseNet 中的批歸一化操作不僅防止了梯度消失，還有利于增強網絡的泛化性，加快網絡的訓練速度。為解決傳統人工橋梁檢測危險性高、影響交通、費用昂貴等問題，余加勇等［131］制作了關于橋梁裂縫、銹蝕和脫落病害的數據集，提出了基于無人機和Mask R-CNN 檢測網絡的橋梁結構裂縫識別方法。該方法利用圖像二值化、連通域去噪、邊緣檢測、裂縫骨架化和裂縫寬度計算等策略加強了模型的后處理能力，提高了對裂縫的檢測精度和召回率，實現了裂縫形態及寬度信息的自動獲取。

表15 總結了上述不同場景下改進的Mask R-CNN 無人機航拍影像語義分割方法。

表15 不同場景下改進的Mask R-CNN 無人機航拍影像語義分割方法Table 15 Improved Mask R-CNN semantic segmentation method for UAV aerial images in different scenarios

本節主要介紹了基于SegNet、U-Net 和Mask R-CNN 的無人機航拍影像語義分割方法。通過優化主干網絡、增強特征融合、數據集預處理和修改損失函數等方法，加強了目標的檢測效果，使其更加適用于多種場景下目標的分割。

4 無人機航拍影像數據集

基于深度學習的機器視覺方向經典的數據集包括MNIST 手寫數字數據集、Fashion MNIST數據集、CIFAR-10 和CIFAR-100 數據集、ILSVRC 競賽的ImageNet 數據集、用于檢測和分割的PASCAL VOC 和COCO 數據集等。在訓練模型時，數據集常分為訓練集、驗證集和測試集。其中，訓練集是模型擬合的數據樣本，用于調試卷積神經網絡；驗證集是模型訓練過程中單獨劃分出的樣本集，用于調整模型的超參數和初步評估模型的訓練效果；測試集則用來評估模型最終的泛化能力。近年來，基于無人機航拍影像的目標檢測與語義分割已成為研究熱點，相關的數據集也在快速地更新之中。本節將對近期基于無人機航拍影像建立的數據集進行收集梳理。

Puertas 等［132］制作了一個環形交叉路口的無人機圖像數據集。該數據由61 896 幅大小為1 920 像素×1 080 像素的彩色圖像組成，拍攝時飛行高度為100～120 m。標注的格式為Pascal VOC 格式，劃分有6 個目標類別。

Gasienica-Józkowy 等［133］建立了無人機漂浮物（Aerial-drone Floating Objects，AFO）數 據集，用于海上救援等工作。AFO 數據集包含了3 647 幅圖片和39 991 個標注的對象，共計6 個類別。其中圖片的分辨率大小在1 280 像素×720 像素～3 840 像素×2 160 像素之間，拍攝時無人機飛行高度為30～80 m。

Behera 等［134］制作了基于高分辨率無人機航拍影像的數據集——NITRDrone，用于道路分割任務。數據集由16 個大小為8 GB 的視頻序列和1 000 幅圖像組成，劃分為6 個目標類別，拍攝時無人機的飛行高度為5～80 m 不等，圖片分辨率為1 280 像素×720 像素～3 000 像素×4 000 像素不等。

Du 等［135］建立了一個基于無人機航拍影像的檢測與跟蹤（UAV Detection and Tracking，UAVDT）數據集，用于目標檢測、單目標跟蹤和多目標跟蹤等任務。UAVDT 數據集由100 個視頻序列組成，包含了多種常見的場景和不同的目標類別。

Bozic-Stulic 等［13］建立了HERIDAL 數據集，用于搜索與救援工作。該數據集包含了盡可能多的真實場景，涵蓋了實際搜救過程中可能遇到的多種情況。數據集的拍攝高度為30～40 m，由68 750 張大小為4 000 像素×3 000 像素的圖片組成。

Nigam 等［136］建立了AeroScapes 語義分割數據集，從141 個無人機拍攝的戶外場景序列中抽取了3 269 幅圖片，并劃分為12 個不同類別。拍攝時，無人機的飛行高度為5～50 m 之間，圖片的大小為1 280 像素×720 像素。

Robicquet 等［137-138］建立了Campus 數據集，用于目標檢測、多目標跟蹤和大規模軌跡預測。該數據集通過無人機在戶外環境中拍攝，包含100 多個不同的俯視場景，20 000 個參與各種類型交互的目標。數據集中目標分為6 類，拍攝時飛行高度約為80 m，圖片分辨率為1 400 像素×1 904 像素。

Hsieh 等［139］建立了一個大規模停車場（Car Parking Lot，CARPK）數據集，用于目標檢測和計數。CARPK 數據集包含來自4個不同停車場拍攝的無人機圖像，所有目標均標記出左上角和右下角的坐標，共計89 777 輛汽車。拍攝時，無人機的飛行高度約為40 m，圖片的大小為1 000 像素×600 像素。該數據集是第一個基于無人機視圖的停車場數據集。

Barekatain 等［140］建立了一個人體動作檢測數據集Okutama-Action。該數據集由時長43 min的帶有完整注釋的視頻序列做成，包含12 個典型的戶外動作類別。拍攝時，無人機的飛行高度為10～45 m，相機傾斜角為45°或90°，圖片分辨率為3 840 像 素×2 160 像素。

Sambolek 等［12］建立了SARD 數據集，用于無人機圖像中復雜環境下的搜索和救援任務。該數據集由1 981 幅圖片組成，包含了典型的運動類型，并且模擬了不同年齡段和不同身體素質所帶來的行為差異。拍攝時，無人機的飛行高度為5～50 m，拍攝角度為45°～90°。

Mueller 等［141］建立了UAV123 數據集，用于無人機圖像中目標的檢測與跟蹤。該數據集包含123 個視頻序列，分為3 個子集，涵蓋了多種戶外場景和目標類別，擁有常見的視覺跟蹤任務挑戰，例如長期的完全或部分遮擋、明暗變化和雜亂背景等。拍攝時，無人機飛行高度為5～25 m，圖片大小為1 280 像素×720 像素。

Du 等［142-143］組織了基于無人機圖像的目標檢測挑戰比賽，發布了VisDrone-DET 數據集，共計8 599 張圖片和10 個不同的目標類別。該數據集具有豐富的注釋、遮擋情況和真實場景，并且一些極具相似性的類別使得基于該數據集的目標檢測任務更具挑戰性。

表16 對上述的無人機航拍影像數據集進行了總結與歸納。

表16 常見的無人機航拍影像數據集Table 16 Common UAV aerial image datasets

5 目標檢測與語義分割模型的評價指標

混淆矩陣可以用來對分類器的結果進行可視化處理，對于常見的二分類問題來說，它的混淆矩陣規模為2×2。如表17 所示，其中TP（True Positive）、FP（False Positive）、FN（False Negative）和TN（True Negative）分別表示真陽性、假陽性、假陰性和真陰性。目標檢測模型的評價指標主要包括：精確率（Precision，P）、召回率（Recall，R）、F1 分數（F1 Score）、平均精度（Average Precision，AP）和平均精度均值（Mean Average Precision，mAP）等，它們的意義與計算公式如表18 所示。語義分割模型的評價指標主要包括：像素精度（Pixel Accuracy，PA）、平均像素精度（Mean Pixel Accuracy，MPA）和平均交并比（Mean Intersection over Union，MIoU）等，它們的意義與計算公式如表19 所示。此外，使用總參數量（Total Parameters）和浮點運算次數（Floating Point Operations，FLOPs）來衡量模型的大小和計算復雜度，當網絡層數加深時，模型愈發復雜，相關參數的數值和對硬件的需求也會隨之上升。使用每秒幀率（Frame Per Second，FPS）來衡量模型的檢測速度，當處理一幅圖像的時間縮短時，模型的FPS 值會增大，表示速度得到了提升。

表17 混淆矩陣Table 17 Confusion matrix

表18 目標檢測模型的評價指標Table 18 Evaluation metrics for object detection models

表19 語義分割模型的評價指標Table 19 Evaluation metrics for semantic segmentation models

式中：C為目標檢測數據集中的類別數；APi為第i類的平均精度；K+1 為語義分割數據集中的類別數（包含K個目標類加1 個背景類）；pii為本屬于第i類預測為第i類的像素點數量；pij為本屬于第i類預測為第j類的像素點數量；pji為本屬于第j類預測為i類的像素點數量。

6 主要問題與展望

無人機與深度學習技術相結合，在多個領域中表現出了一加一大于二的實際效果，使得無人機系統更加智能、高效、便捷。但在以往的研究與實際應用中，仍存在諸多問題與挑戰。

1）模型的輕量化問題。在大多數針對現有模型的改進過程中，通過增加主干的輸出、添加其余模塊和擴充特征融合結構等方法提高模型的檢測精度，會導致模型更加復雜，參數激增，增加了模型的訓練難度，延長了模型的檢測時間。

2）小目標檢測效果不理想。由于無人機飛行高度的影響，捕獲的影像中目標往往尺寸極小，所占的像素比例極低。圖像在模型中，經過多次的下采樣處理，會導致模型遺漏小目標的特征，進而降低了其檢測精度。

3）復雜背景干擾。無人機的起降基本不依賴所處的環境，在任意平坦的場地均可實現，因此無人機常常在各種環境下飛行，拍攝的影像包含了不同的地理位置。與自然影像相比，無人機航拍影像的背景更加復雜，帶來的干擾問題會更加棘手。

4）影像視場大的問題。無人機航拍影像往往視場較大，并且分辨率較高，這對檢測方法的實時性提出了不小的挑戰。大視場會導致圖像在導入模型時花費更多的時間，高分辨率會導致處理圖像時更加復雜困難。

5）目標分布不均。無人機拍攝的影像中包含的目標往往會存在2 種極端的分布情況。例如，牧場中的牛羊等分布稀疏，極大的場地上可能僅存在單個目標；港口、停車場等環境下，船舶和汽車大多以較為密集的方式排列，相互之間距離非常近。上述極端分布情況會降低算法的召回率，錯誤地抑制掉真實樣本。

6）目標旋轉的問題。無人機航拍影像中包含的物體大多不是水平分布排列，而是以隨機的角度分散在圖像各處。帶有傾斜角的物體在檢測時更容易受到背景的干擾，預測框將會包含更多的無關信息，這對目標特征的提取帶來了不小的困難。

7）數據集中樣本類別不平衡。在多目標無人機航拍影像數據集中容易出現該問題，即有些樣本類型的數量遠大于其他樣本數，影響模型的訓練效果，導致模型可能無法學習到數據集中某些類別的抽象特征，降低了模型的平均精度均值。

針對上述問題，對未來無人機航拍影像目標檢測與語義分割方法的研究趨勢進行如下展望：

1）模型的優化升級中，需要更多地關注計算復雜度和檢測速度等因素。一個高性能的模型需要在檢測精度和運算速度之間做到良好的平衡。如何在保持甚至降低模型復雜度的同時提升檢測精度是一個充滿挑戰的研究。

2）模型的特征提取部分，大多使用的是多層堆疊的殘差網絡。殘差網絡有助于緩解梯度問題，可以通過增加深度的方法來改善模型的檢測性能。如何對傳統的殘差結構進行優化，以加強它針對小目標的特征提取能力有待深入研究。

3）在圖像處理中經常使用注意力模塊來排除復雜背景的干擾，提升模型的檢測性能。通過以往的研究，注意力機制已有多種多樣的實現形式，主要分為通道注意力與空間注意力模塊等。如何設計更加有效且輕量化的注意力模塊非常有意義。

4）對于處理大視場影像中的多尺度目標問題，采用特征金字塔結構是一種常見的解決方案。已經提出了如FPN、PANet、NAS-FPN［144］和BiFPN 等金字塔結構。如何加強不同尺度特征的融合，加強特征重用和特征提取仍需進一步研究。

5）在目標檢測算法中，使用邊界框回歸（Bounding Box Regression，BBR）來定位目標，這是決定目標定位性能的關鍵一步，良好的損失函數對于邊界框回歸至關重要。現已經提出了多種基于交并比的損失函數，例如IOU 損失、GIOU 損失、DIOU 損失、CIOU 損失和EIOU 損失等。一個設計良好的損失函數有利于更好地衡量預測值和真實值之間的差異，指導下一步訓練向正確的方向進行。

6）在模型優化器的選擇上還存在進一步改進的空間。之前的研究中，優化器選擇表現的過于單一，僅為帶動量的SGD 優化器或Adam 優化器等。后續可以嘗試自適應與非自適應方法相結合的策略來優化網絡模型參數，使其更好地逼近或達到最優值。

7）在數據集的制作方面，應使用多種不同來源的綜合數據驗證模型，避免單一類別和單一背景下收集而來的圖像。此外，包含圖片數量的多少也是衡量數據集的一個重要指標。在后續數據集的制作中，需要注意多類別、多背景和圖片數量等問題。

7 結語

基于無人機航拍影像的目標檢測與語義分割方法研究越來越受到眾多科研人員的關注，相關方法的改進策略也在快速迭代與優化之中。本文綜述了近些年關于無人機航拍影像中目標檢測與語義分割方向的研究，按照不同的深度學習方法將其分類，這樣更有利于進行方法之間橫向與縱向的相互比較，有助于快速了解同一種方法在無人機航拍影像目標檢測與語義分割方面的研究進展。最后，對現有研究存在的問題進行了討論，分析了問題產生的原因以及對模型本身的影響，并且對未來該研究的發展方向進行了展望，以期提供有價值的參考。