基于卷積神經網絡的無人機循跡方法

陳思銳，劉智，耿振野

（長春理工大學 電子信息工程學院，長春 130022）

對于智能移動機器人的核心研究問題是定位與避障的研究[1］。而避障功能是衡量移動機器人智能化不可或缺的關鍵指標之一。若要實現移動機器人行走過程中完成自主避障，所要解決的問題是：一方面需要機器人所處的外部環境信息，另一方面要求能夠將所獲取的環境信息，通過適當的處理轉變為控制信息[2］。

無人機循跡控制系統如圖1所示。無人機上的相機會采集無人機前方的圖像，然后基于卷積神經網絡的圖像識別模塊會對此圖像進行識別并發出控制指令，進而幫助無人機保持在正確的路徑上，實現無人機在樓道里的自主循跡飛行。

1 基于卷積神經網絡的循跡算法

1.1 卷積神經網絡

近幾年，卷積神經網絡在圖像和語音識別方面取得了很大的突破，它已經成為當前語音分析和圖像識別領域的研究熱點。CNN作為一個深度學習架構被提出是為了最小化數據的預處理要求。在CNN中，圖像的一小部分（局部感受區域）作為層級結構的最低層輸入，再依次傳輸到不同的層，每層通過一個數字濾波器去獲得觀測數據的最顯著的特征。它的局部連接、權值共享的網絡結構使之更類似于生物神經網絡，降低了網絡模型的復雜度，減少了權值的數量。卷積網絡是為識別二維形狀而特殊設計的一個多層感知器，避免了傳統識別算法中復雜的特征提取和數據重建過程，這種網絡結構對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性[3］。

圖1 系統總體框圖

1.1.1 卷積層

卷積層與傳統的特征提取作用一樣，每個卷積層中包含多個特征圖，每個特征圖中都包含有多個神經元。同一特征圖中神經元的權值和偏置是共享的，因此同一特征圖是提取前一層中不同位置神經元的同一特征得到的。同一卷積層中的不同特征圖是采用不同的權值和偏置，所以能夠提取不同的特征。每個特征圖就只有一個卷積核與之對應并與之進行卷積運算[4］。前一層特征圖通過一個可訓練卷積核進行卷積，其結果再通過一個激活函數形成下一層特征圖。其過程如下式：

其中，f(?)代表激活函數，l代表層數，*表示卷積操作，k是卷積核，Mj代表輸入特征圖的一個選擇，b是一個偏置。

1.1.2 下采樣層

下采樣層是對卷積層進行特征選擇，執行的是局部平均操作，是緊跟在每個卷積層之后的。它能夠降低每個特征圖的空間分辨率，從而為后層網絡減少輸入參數的數量來降低計算復雜度，通過降低分辨率能夠取得一定程度的位移、縮放、旋轉和其他形式的扭曲不變性。下采樣層中的每個特征圖都分別和卷積層中的特征圖一一對應，下采樣層通過感受對卷積層進行抽樣。下采樣區域是按照采樣區域的步長跳躍式掃描的，且輸入層的大小必須能夠整除采樣區域的大小[5］。下采樣層的抽樣形式如下式：

其中，down(?)表示一個下采樣函數，一般為矩形區域的平均值或者最大值。

圖2 CNN的卷積和采樣過程

1.2 改進的卷積神經網絡

基于上述卷積神經網絡在圖像識別方面的優點，本文提出一種方法，其將無人機前方的攝像頭采集的圖像作為輸入，通過卷積神經網絡對此輸入進行識別，并給出避障策略。

考慮到復雜的網絡結構不僅會增加訓練難度，并且對機載硬件設備的要求極高，這會直接影響到系統的實時性，因此本文的卷積神經網絡是在LeNet-5的基礎上修改而來，改進后的LeNet-5結構如圖3所示。其中包括一個輸入層、兩個卷積層、兩個下采樣層、一個全連接層、一個輸出層。輸入數據為160×120分辨率的灰度圖像，第一個卷積層（C1）包含6個特征圖，采用的卷積窗口的大小為5×5，輸出的特征圖的大小為156×116。第二個下采樣層（S2）是用來對（C1）層進行下采樣，同樣得到6個特征圖，特征圖的大小為78×58。第三個卷積層（C3）包括12個特征圖，卷積核的大小為5×5，特征圖的大小為74×54；第四個下采樣層（S4）包括12個，特征圖的大小為37×27；第五層共有11988個單元，分別與第四層的對應單元相連；輸出層是一個全連接層，共有三個單元。其中第一層到第五層使用的激活函數為雙曲正切函數。

圖3 改進的LeNet-5模型

另外，本文在卷積神經網絡最后的輸出層采用的分類器是Softmax回歸模型，在Softmax回歸模型中，對于給定的測試輸入x，假設函數p(y=j|x)是x屬于類別j的概率值。

1.3 數據采集及處理

為了對上述卷積神經網絡進行訓練，需要采集無人機飛行路徑周圍的圖像，并對圖像進行預處理和標定。設d→為無人機應該行進的正確方向，向此方向飛行可以使無人機保持在正確的路徑上，v→為無人機當前的飛行方向，也就是攝像機的指向，并認為v→平行于水平面。設α為向量d→和向量v→之間的夾角，如圖4所示。

圖4 圖像標記示意圖

當15°＜α＜90°，也就是相機的視軸方向位于圖中右側陰影部分時，無人機應該左轉才能保持在正確的路徑上，這時相機采集的圖像標記為TL，如圖5所示。

圖5 標記為TL的圖像

當-15°≤α≤15°，也就是相機的視軸方向位于圖中兩個陰影中間時，無人機可以前進，這時相機采集的圖像標記為GS，如圖6所示。

圖6 標記為GS的圖像

當-90°＜α＜-15°，也就是相機的視軸方向位于圖中左側陰影部分時，無人機應該右轉才能保持在正確的路徑上，這時相機采集的圖像標記為TR，如圖7所示。

圖7 標記為TR的圖像

為了獲得訓練數據集，需要由操作人員通過遙控器控制無人機在樓道走廊里飛行，飛行的過程中，每向前飛行0.2米取一次圖像，共取得500張標記為TL的圖像、500張標記為GS的圖像、500張標記為TR的圖像。另外為了擴大訓練數據集，通過對上述圖像進行鏡像翻轉的方式，使訓練集擴大到3000幅圖像。鏡像翻轉后，原來標記為GS的圖像，現在還標記為GS，原來標記為TL、TR的圖像現在標記為TR、TL。

1.4 卷積神經網絡的訓練

CNN在本質上是一種輸入到輸出的映射，它能夠學習大量的輸入與輸出之間的映射關系，而不需要任何輸入和輸出之間的精確的數學表達式，只要用已知的模式對卷積網絡加以訓練，網絡就具有輸入輸出對之間的映射能力。卷積神經網絡的訓練流程如圖8所示。

圖8 卷積神經網絡訓練過程

由于卷積神經網絡比較復雜，訓練過程需要很大的計算量，所以建立的用于圖像識別的卷積神經網絡的訓練是在工作站上進行的，訓練完成之后再移植到機載設備上。訓練過程中的誤差曲線如圖9所示。

圖9 訓練時的誤差曲線

2 無人機飛行試驗及結果分析

神經網絡最后的輸出層的三個神經元所使用的激活函數為Softmax，其輸出值可以認為就是當前輸入圖像屬于每一類（TL、TR、GS）的概率，因此需要將輸出值轉換為控制無人機飛行的控制信號，其中無人機的航向角與p(TL)-p(TR)成比例關系[6］，其值為正時無人機向左轉向，其值為負時無人機向右轉向，無人機向前飛行的距離D和P（GS）成比例關系，D/P（GS）=0.2，也就是當P（GS）為1時無人機向前飛行0.2米。

圖10 三種不同圖像的識別結果

3 結語

為了解決無人機自主循跡飛行的問題，提出了一種基于卷積神經網絡的無人機循跡飛行方法，從一個全新的角度實現了無人機的循跡飛行。首先通過機載相機采集無人機前方的圖像，然后將采集到的圖像送入到改進的卷積神經網絡模型進行分類，并給出飛行指令，進而使無人機實現循跡的功能。經過現場試驗證明此方法具有良好的性能。

[1]邴麗媛，劉智，蔣余成.基于模糊神經網絡的電力巡線無人機避障技術研究[J］.長春理工大學學報：自然科學版，2017，40（3）：98-102.

[2]鄧星宇.基于單目視覺的輪式小車避障方法研究[D］.揚州：揚州大學，2014.

[3]Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[C］.International Conference on Neural Information Processing Systems.Curran Associates Inc.2012：1097-1105.

[4]丁新立.基于卷積神經網絡的車輛前方障礙物識別[D］.大連：大連理工大學，2015.

[5]吳正文.卷積神經網絡在圖像分類中的應用研究[D］.成都：電子科技大學，2015.

[6]Giusti A，Guzzi J，Dan C C，et al.A machine learning approach to visual perception of forest trails for mobile robots[J］.IEEE Robotics&Automation Letters，2017，1（2）：661-667.