基于深度學習網絡的星表非結構化巖石目標辨識方法研究

黃 璐，毛曉艷，杜 航，謝心如，胡海東

北京控制工程研究所，北京 100094

0 引 言

作為計算機視覺領域的重要研究方向，目標檢測技術廣泛應用于視頻監控、虛擬現實、人機交互、行星探測和行為理解等領域[1].然而,在實際應用場景中，目標檢測與跟蹤系統面對的情況往往復雜多變，如背景復雜、目標遮擋及目標尺度和外觀變化等，上述情況直接或間接影響目標檢測的精度和魯棒性.

地外行星表面環境復雜未知，具有形貌原始自然、紋理相似度高、巡視搜索跟蹤區域廣等特點，屬于典型的復雜場景；同時，地外星表包括凸起石塊、巖石等對象，探測任務需要獲取星表的地形信息.地外星表的安全高效通行、目標探測等任務，需要探測器具備對未知目標的快速精準識別的能力.

因此針對地外環境中面臨的行星地表地形目標尺度多等瓶頸問題，研究地外復雜非結構化巖石目標的快速精準檢測與識別方法，實現地外行星表面復雜場景下小對象快速精準的檢測識別.目前，人工智能在地外星表上的探測應用在我國尚缺乏相關研究，因此有必要開展行星表面目標辨識方法研究，結合人工智能領域的研究成果，研究行星表面石塊目標識別方法.

針對地外天體復雜場景下形狀多樣等特點，面向巖石等典型地表目標，構建標注目標區域與屬性的檢測與識別樣本集，分析非結構化石塊目標對象，設計面向目標分類方法，提出多尺度目標的快速精確檢測識別方法，突破目標自主檢測與識別等技術，實現多尺度多目標的快速檢測與精準識別.

目前的目標識別算法一般分為傳統目標識別算法和深度學習目標識別算法.傳統目標識別算法一般由預處理、特征提取和分類識別[2]3個步驟組成.圖像的特征提取一般從顏色、梯度和紋理等計算.目前模式識別上最常用且有效的特征有：Haar特征[3]、SIFT特征、LBP特征和HOG特征[4]等.

深度學習目標識別算法在計算機視覺中常用的分類器主要有羅杰斯特回歸(logistic regression)、Softmax分類器、樸素貝葉斯分類器(naive bayes)、決策樹(decision trees)、KNN分類器(k-nearest neighbor)和支持向量機(SVM)[5]等.深度學習的2個方向包括以RCNN[6]為代表的基于區域生成的深度學習目標檢測算法(RCNN、SPP-NET、fast-RCNN[7]和faster-RCNN[8]等)，需要先使用CNN網絡產生區域生成，然后再在區域上做分類與回歸.還有以YOLO為代表的基于回歸方法的深度學習目標檢測算法(SSD[9]和YOLO[10]等)，其僅用一個CNN網絡就可以直接預測目標的位置和類別.深度學習的目標檢測算法如SSD、RCNN等網絡復雜度很高，速度慢，而YOLO系列方法在滿足實時性要求的同時，解決了網絡復雜度高的問題.

基于上述分析，本文主要面向復雜條件下的目標檢測，提出了一種新的地外環境下非結構化目標智能辨識方法，通過優化深度學習的YOLO方法，采用正負樣本標注訓練，改進神經網絡模型結構，采用馬賽克數據增強和非極大值抑制參數調節的方式，實現對地外非結構化地形中的小目標的智能化識別與檢測，進一步增強了小目標特征提取和快速識別能力，將其應用于地外天體地形的小目標識別檢測問題.

1 YOLOv5神經網絡模型

YOLO目標檢測算法是Redmon等[10]在2016年提出的一種新的端到端的目標檢測算法.與Fast R-CNN、Faster R-CNN等使用區域網絡預測目標可能位置的算法不同，YOLO直接通過一次回歸得到所有的目標可能位置.算法的時間效率大大提高，獲得了一種實時性較好的目標檢測方法.經過近幾年的創新與發展進步，REDMON等[11-12]在YOLO的基礎上又提出了YOLO9000、YOLOv3和YOLOv4等目標檢測算法，在保持高精度的同時，速度也比其他算法高出好幾倍.YOLOv5能實現快速檢測，其中YOLOv5s網絡是YOLOv5系列中深度最小，特征圖的寬度最小的網絡.后面的3種YOLOv5模型m、l、x都是在此基礎上不斷加深加寬，AP精度也不斷提升，但速度的消耗也不斷增加.

Yolov5的網絡結構如圖1所示，分為輸入端、Backbone、Neck和Head 4個部分[12].其中Backbone為在不同圖像細粒度上聚合并形成圖像特征的卷積神經網絡；Neck為一系列混合和組合圖像特征的網絡層，并將圖像特征傳遞到預測層；Head為對圖像特征進行預測，生成邊界框和并預測類別.

圖1 YOLOv5網絡結構Fig.1 Yolov5 network structure

輸入端包括馬賽克數據增強、自適應錨框計算和自適應圖片縮放.馬賽克數據增強的作用是豐富數據集，基本原理是對圖片進行隨機縮放，再隨機分布進行拼接，大大豐富了檢測數據集，特別是隨機縮放增加了許多小目標，加強了對小目標的提取能力，讓網絡的魯棒性更好.同時可以減少資源占用，一個GPU可以同時計算4張圖片.在自適應錨框計算中，YOLO算法會針對輸入的數據集類型選擇不同的錨框，基于錨框輸出預測框.而YOLOv5每次訓練時自適應的計算不同訓練集中的最佳錨框值，自動匹配最佳錨框.在自適應圖片縮放中，進行自適應縮放填充，提升了推理速度.

Backbone的作用是進行特征提取，整體結構包括Focus、CSP結構和SPP結構.其中，Focus結構的作用是減少計算量、加快速度.該模塊在圖片進入backbone前對圖片進行切片操作，在一張圖片中每隔一個像素取一個值，最終獲得4張圖片互補，這樣就將寬度和高度的信息集中到通道空間，即拼接起來的圖片相對于原先的RGB 3通道擴充為12個通道，進行有效特征融合，最后將新生成的圖片經過卷積操作，得到沒有信息丟失的2倍下采樣特征圖，結構如圖2所示，其中CBL結構由卷積層、歸一化和激活函數組成.SPP結構主要進行了空間金字塔池化，把輸入的特征地圖劃分為多個尺度，對每個小拼圖進行最大池化，生成數字，把所有數字拼接起來成為一維向量，輸入SPP層獲取分類.

圖2 Focus結構圖Fig.2 Focus structure diagram

Neck結構如圖3所示，其作用是一系列混合和組合圖像特征的網絡層，并將圖像特征傳遞到預測層[13].FPN網絡解決目標檢測中的多尺度問題，通過不同層的連接實現，不增加原有模型計算量，大幅提升小物體檢測的性能，通過高層特征進行上采樣和底層特征進行自頂向下的連接.自底向上的PAN網絡用來融合多級特征，作用目的和FPN網絡類似.

圖3 Neck結構框架圖Fig.3 Frame diagram of Neck structure

Head作用是對最終輸入特征進行預測輸出，進行IOU和非極大值抑制NMS，輸出包圍框.調整非最大值抑制閾值參數對比性能，選擇最優閾值，優化檢測效果.

(1)

每次優化更新時對每個樣本進行梯度更新，對于很大的數據集來說，可能會有相似的樣本，在計算梯度時會出現冗余[14]，而SGD每次只進行一次更新，沒有冗余且速度比較快，并且可以新增樣本.Adam(adaptive moment estimation是一種自適應學習率的方法，利用梯度的一階矩估計和二階矩估計動態調整每個參數的學習率)集成了SGD的一階動量和RMSProp的二階動量.但是Adam可能不收斂和錯過全局最優解.YOLOv5默認優化函數Adam，Adam的學習率通常比SGD低.但是對于小樣本、小目標檢測的數據集，考慮使用SGD優化，提高算法效果.因此根據數據集比較選擇SGD優化模型.

2 基于改進YOLOv5的星表非結構化巖石目標辨識方法

在當前各類目標檢測任務中YOLOv5已取得了非常優越的效果，但算法仍需改進，特別是在樣本準備、識別精度和處理速度方面.在實際的星表非結構化地形小目標數據中，使用YOLOv5直接訓練數據，最終得到的模型有很好的召回率，但準確率不高，存在誤檢測和檢測框重復的問題.為了獲得目標的實時檢測精度和虛警率都比較好的算法模型，以YOLOv5s為基礎網絡模型，結合背景添加空標簽作為負樣本、改進網絡優化方式和非極大抑制參數調節來提升深度網絡的準確率和速度.

1)由于有效圖像數量較少，對Yolov5進行在線數據增強，也就是對每個Epoch中的數據，都經過數據增強后提高泛化能力.通過數據加載器傳遞每一批訓練數據，并同時增強訓練數據.數據加載器進行3種數據增強：縮放、色彩空間調整和馬賽克增強.馬賽克數據增強確實能有效解決模型訓練中的“小對象問題”，即小對象不如大對象那樣準確地被檢測到.

由于訓練過程中發現有誤檢測現象出現，通常是背景環境較暗，被誤檢測為石塊.分析原因可能是YOLO只有正樣本進行標注訓練，網絡沒有充分學習哪些是非石塊目標，因此考慮增加負樣本，把容易被誤檢測的背景在標注時作為空標簽，將正樣本和負樣本同時作為數據集進行網絡模型訓練.使用空標簽會帶來一些泛化，那么可以使用大量的實際場景背景做空標簽，使用空標簽訓練作為小樣本數據增強.增強后數據規模擴充了1.5倍，主要增加了負樣本和更有效的正樣本數量進行神經網絡的訓練.

2)最終模型的性能與模型優化算法的選擇有關.有時效果不好可能是優化算法的問題.YOLOv5默認優化函數Adam，并預設了與之匹配的訓練超參數.Adam的學習率通常比SGD低.但是對于小樣本、小目標檢測的數據集，可能對于YOLOv5網絡模型來說SGD效果比Adam好.因此考慮使用SGD優化，提高算法效果.

3)在實驗驗證階段發現，有檢測框重復檢測的現象存在，因此分析認為非極大值抑制模塊效果不好，考慮調整參數對比性能，選擇最優閾值，優化檢測效果.

3 實驗仿真結果及分析

3.1 數據收集與處理

實驗使用kinectv2相機在1 m左右的高度拍攝了17 597張地外試驗場的模擬火星地形圖像，包括6 745張RGB圖像，大小為1 920×1 080的PNG圖片，具體拍攝了有巖石和石塊的地形場景.與原來的Kinect類似，該傳感器能夠以高速率(30幀/s)獲取準確的深度圖像.與Kinect采用結構化光技術相比，Kinect v2基于飛行時間測量原理，因此也可以在室外陽光下使用(效果受限).

數據集中的場景包含為巖石、沙丘和沙地，背景環境較為復雜,如圖4所示.數據集圖像中目標有大有小，形態各異，使用LabelImg進行圖像目標的標注，設定類別為石塊，標簽標為stone，存為txt和xml文件.

圖4 采集的部分地形圖像Fig.4 Collected partial terrain images

對石塊進行標注來制作數據集，為提升目標檢測泛化性，對受遮擋的石塊目標也進行標注，希望最終模型能識別遮擋目標.

由于背景環境較暗，容易被誤檢測為石塊.YOLO網絡只有正樣本進行標注訓練，網絡沒有充分學習哪些是非石塊目標，因此考慮增加負樣本，把容易被誤檢測的背景在標注時作為空標簽，將正樣本和負樣本同時作為數據集進行網絡模型訓練.使用空標簽會帶來一些泛化，那么可以使用大量的實際場景背景做空標簽，使用空標簽訓練作為小樣本數據增強.使用LabelImg將背景(顏色較暗，與石塊顏色紋理較相似)標注為空標簽類txt文件，作為負樣本；石塊為正樣本，stone類別.

3.2 模型訓練

實驗平臺使用ubuntu 18.04系統，CPU i7，GPU為GeForce GTX TITAN X，16G內存，python3.8和pytorch 1.7.1環境.訓練模型使用已在大數據集訓練好的預訓練模型權重文件，在自制數據集上繼續訓練模型.以YOLO原作者在COCO上訓練好的YOLOv5s模型為基礎模型，對地外試驗場采集的6 745張圖像進行預處理之后選取自采集的數據集中的RGB圖像進行訓練和測試.在測試過程中，初始NMS閾值為0.6.對YOLOv5的原始網絡和改進后的網絡進行了訓練和測試.

3.3 實驗結果分析

以召回率(recall)和準確率(precision)作為模型的評價標準.準確率是真實目標占網絡預測目標總數的比例，表示該網絡的分類準確率.召回率是網絡成功預測的真目標數與實際真目標數的比值.目標的交集/并集比IOU(intersection over union,如式(1)所示)大于0.5作為真目標，IOU為預測目標包圍框和真值矩形重疊區域面積占二者并集面積的比值.

(2)

(3)

(4)

式(2)～(4)中，tp(true positives)為網絡預測真目標數，fn(false negatives)為未能成功預測真目標數，n為預測總數.用測試集驗證訓練好的模型，分析準確率、召回率和mAP等曲線.YOLOv5原網絡和改進網絡的P-R曲線對比如圖5所示，準確率提高至81.84%，召回率提高至79.04%.

圖5 原網絡和改進網絡準確率和召回率曲線對比Fig.5 Comparison of accuracy and recall curves between original network and improved network

目標檢測中衡量識別精度的指標是mAP.多個類別物體檢測中，每一個類別都可以根據R和P繪制一條曲線，AP是計算某一類P-R曲線下的面積，mAP則是計算所有類別P-R曲線下面積的平均值(由于本實驗只檢測一類目標，因此mAP與AP相等).YOLOv5原網絡和改進網絡的mAP曲線對比如圖6所示，發現mAP值有明顯提升，達到了86.17%.FPS是指畫面每秒傳輸幀數，即1 s能進行檢測的圖片數量.FPS也是測量用于保存、顯示動態視頻的信息數量.通過在檢測一定數量的測試圖之前和之后使用計時函數time()，計算得到時間差Δt，再與這之間進行識別測試的圖片數量相除，即得到FPS(幀/s).在運行Tesla P100的YOLOv5 Colab筆記本中，每個圖像的推理時間快至0.007 s，意味著也達到了140 FPS.

圖6 原網絡和改進網絡mAP曲線對比Fig.6 Comparison of mAP curves between original network and improved network

與其他方法對比，由表1可知，基于改進YOLOv5的星表非結構化巖石目標辨識方法在提高了AP精度的基礎上，還達到了140FPS，快速又準確地識別出了目標石塊.

表1 算法性能對比Tab.1 Algorithm performance comparison

測試圖像中網絡模型的檢測效果如圖7所示.可以看出，在地形圖像中可以檢測到巖石和石頭目標，部分遮擋的目標也能識別出來.最明顯的效果是去除了重復檢測框，漏識別的石塊也在改進的網絡中識別了出來，同時檢測框的錨點也更加準確.由圖5可知改進網絡在兩項主要指標上都比原網絡更好，由于引入了易誤識別的背景負樣本，增強了優化部分對分類結果的影響，抑制了置信度低的檢測框，增強網絡的識別能力，提升了網絡的召回率和準確率.

圖7 原網絡和改進網絡識別檢測效果對比Fig.7 Comparison of identification and detection effects between original network and improved network

使用該改進網絡模型對NASA毅力號火星車采集的火星地表圖像進行訓練和測試后，目標石塊檢測效果如圖8所示。

圖8 對毅力號采集的火星圖像進行目標檢測的效果Fig.8 Effect of target detection using Mars images collected by perseverance

在該運行環境下，70 輪迭代后的 YOLOv5網絡計算耗時0.051 h，改進后的YOLOv5網絡計算耗時0.057 h，SGD模型優化的額外計算時間比較少，優化效果較明顯.

4 結 論

本文利用當前研究熱點的深度學習目標探測算法，以YOLOv5網絡為基礎，學習了傳統機器學習訓練分類器的思路，將容易被誤識別的背景部分作為負樣本進行標注引入到了YOLOv5的網絡中，能夠有效改進小樣本識別檢測的問題，得到保持了實時性，而且更高召回率和精度的優化網絡[15].對實際采集的復雜行星地表非結構化巖石目標圖像進行試驗，實驗結果表明，該網絡能夠有效地檢測復雜行星地形下的小目標.在自制數據集上證實了該方法的準確性和有效性，為未來深空探測任務中探測車識別地表目標障礙物奠定人工智能方法基礎.