基于神經網絡深度學習的無人駕駛小車設計與制作

徐中林，范俊宇，高暢

（滄州師范學院，河北滄州，061001）

1 系統硬件方案

系統硬件由主控板、PWM轉換板、電機、舵機、電池、輪胎。從上到下依次為控制層、電機驅動層。控制層以樹莓派微處理器為主控電路，PWM芯片選型PCA9685，電機驅動層主要以電機驅動電路、電源組成，為四輪車提供動力，在小車主控板的選擇上，可以選擇arduino，STM32，樹莓派以及英偉達的jepson 系列，樹莓派與嵌入式微控制器（STM32）和arduino相比，除了相同的IO引腳控制之外，還可以運行相應的操作系統，完成更復雜的任務管理與調度，能夠支持更上層應用的開發，開發語言可選用Python、C語言，對于視覺處理、復雜數據處理有很大的優勢。

如果有條件可以選用Jetson Xavier NX，相比樹莓派4B 系列采用的VideoCore VI是經典的雙重Shader架構（性能只有數+G Flops而英偉達的基于Volta架構，Jepson Xavier NX有48個Tensor內核，提供了6.8T Flops的FP16算力。內包含 兩 個 DLA（Deep Learning Accelerator），支 持FP16和INT8，總計有21T Flops，性能相差數百倍，但是價格也很昂貴。

本文采用的是市場成熟廉價的樹莓派4B。文中提及兩套方案，可依據不同的處理器選用不同的算法。

小車在行駛過程中，需要大量視覺信息，故采用廣角視覺傳感器。拍攝角度為130°。

馬達以及舵機控制模塊，采用16路PWM控制模塊PAC9685模塊，該模塊可以通過I2C通信模式，實現對多路電機舵機控制，能耗低，調節方便。

由于下位機采用樹莓派微處理器進行設計，對于PAC9685多路PWM控制模塊擁有集成庫，開發較為容易，且能耗低，在使用時僅需要讀取I2C地址，即可調用庫實現對電機驅動模塊，舵機的控制。

2 端到端控制系統及算法設計

本章內容是全文的核心，先介紹小車系統的設計，再介紹端到端控制系統算法的設計與實現過程，并從理論上闡述設計算法設計要素。神經網絡采用RNN對轉向角預測，以及網絡結構、提升網絡訓練能力和過擬合方法。

■2.1 小車系統設計

設計實現小車屬于微縮模型小車，便于攜帶、數據采集、調試方便，主要用于數據采集和模型測試，受于DAVE智能車啟發，小車保持有左轉、右轉、直行功能[12]。

小車為四輪驅動方式，裝有一臺直流電機和一臺舵機，前輪具有轉向功能，后輪負責速度，無人小車運動坐標系如圖1所示。其中，xoy是世界坐標系，XOY是智能車坐標系，θ是無人小車坐標系和世界坐標系之間的夾角，φ為驅動輪之間的夾角，為φ=90°，L為無人小車中心到車輪的水平距離。

圖1 智能車坐標系和世界坐標系

■2.2 神經網絡選擇

方案一：采用3DCNN[13]網絡，卷積核設置為3D卷積核，處理數據通常為(3,d,h,w)樣式，一般用于3D圖像數據，在無人駕駛項目中通常結合高性能GPU使用。

方案二：采用RNN-LSTM，卷積核為2D卷積核，處理數據通常為(1,h,w)樣式，常用于計算機視覺、圖像處理領域。在無人駕駛項目中應用時對高性能GPU要求較低。

考慮到樹莓派微處理器算力較低，使用視覺傳感器，搭載3DCNN網絡時性能較弱，而RNN-LSTM網絡對處理器算力要求較低，故采用方案二，故神經網絡采用RNNLSTM網絡。

■2.3 圖像處理技術選擇

方案一：使用圖像處理庫PIL，在深度學習技術中通常用于PC機中，它可以存儲、顯示和批量處理所有圖片格式。

方案二：使用圖像處理庫OpenCV[14]，它可以跨平臺開發，主要用于圖像處理、計算機視覺、物體識別、運動跟蹤等方面。

總結：考慮到任務設計的系統分為上位機與下位機部分，而OpenCV圖像處理技術主要與傳感器結合使用，故將方案一與方案二結合使用，上位機圖像處理時，采用圖像處理庫PIL，下位機使用圖像處理庫OpenCV。

■2.4 算法概述

本文設計的算法采用深度學習的方式，將系統當作整體進行研究的。學習系統利用循環神經網絡進行設計的，下位機網絡輸入利用視覺傳感器獲取信息，輸出為一浮點數，代表行駛決策。算法整體流程圖如圖所示。端到端控制算法結構圖如圖2所示。

圖2 端到端控制算法結構圖

■2.5 神經網絡具體設計與實現

神經網絡輸入為無人小車前方視覺傳感器獲取的，輸出為預測行駛路線和轉向角度。主要設計要素為網絡結構、卷積層、LSTM層、激活函數等元素。神經網絡是深度學習技術中最為至關重要的技術，本節將分別進行闡述。

2.5.1 循環神經網絡介紹與設計

循環神經網(RNN)[2]是專門用于處理序列數據的神經網絡，在設計時掌握過去發生的事情對現在事情的影響，即網絡將前t時刻狀態保存下來，并作為t-1時刻狀態反饋給隱藏層，最終將數據用于當前輸出的計算中。因為RNN存在梯度消失和梯度爆炸的問題，導致無法長期訓練問題。本文通過引入LSTM網絡，即RNN-LSTM網絡，解決了傳統循環神經網絡梯度消失和梯度爆炸的問題。即輸入為無人小車前方廣角攝像頭拍攝的圖像，輸出為一近似實數，代表預測行駛路線及行駛角度。RNN訓練完成后，通過模型部署，無人小車在前進行駛過程中，利用廣角相機拍攝獲得第一時間圖像，經過RNN會映射為預測行駛路線。網絡共有13層，包含4個時間分布卷積層、2個LSTM層、1個池化層、1個Flatten層和5個Dense層，輸入圖片大小為160×120，通過4個3×3大小的卷積核，對特征提取，通過兩個3×3大小的卷積核，對特征提取，經過池化、對特征信息降維，再通過LSTM層，解決訓練的依賴問題，最終在全鏈接層輸出為一點，代表行駛策略與角度。RNN-LSTM算法表如表1所示。

表1 RNN-LSTM算法表

2.5.2 損失函數

損失函數是指網絡生成模型的真實值和預測值之間的誤差[12]，本文中神經網絡輸出的行駛角度為連續值，故在計算網絡損失時，采用平方差來估算損失。記a為部分訓練數據集，b為特征的個數，d為類的個數，損失為L。故部分訓練數據集a構成的特征矩陣 X ∈ (a, b)，權重矩陣 W ∈ (b, d)，樣本標簽 y ∈ (a, d)，損失函數表達式如式(1)所示。

2.5.3 網絡結構

RNN網絡結構，包含輸入層、卷積層、全連接層、輸出層。輸入處理數據經卷積層卷積后，對特征進一步提取，再后進入Dense層，最終輸出為一個節點。但RNN存在梯度消失和梯度爆炸狀況，故在RNN網絡中添加遺忘門，其LSTM結構示意圖如圖3所示。

圖3 LSTM網絡結構示意圖

2.5.4 激活函數

激活函數采用RELU[15]函數。可以使網絡訓練速度加快，擁有非線性，回歸訓練中使網絡具有稀疏性，防止梯度消失。通過給神經元引入非線性元素，實現逼近任何非線性函數，提高網絡建立非線性模型能力，從而應用到更多的非線性模型中。RELU函數表達式如式2所示，RELU函數圖像如圖4所示。

圖4 激活函數圖像

2.5.5 防止過擬合

在深度學習中，過擬合是指如果訓練模型過于針局部特征訓練錯過了整體要點。本文中無人小車的數據模型是從數據集中通過特征提取獲得的，數據集中樣本的特征又分為兩部分，即局部特征和全局特征。如果數據模型過于專注局部數據訓練，會造成全局特征丟失，反之數據模型過于專注全局訓練，則會丟失局部特征。在數據模型中，有些與特征數據無關的，對最終模型生成造成影響，可視為噪聲數據。如本文中無人駕駛場景為限定場景，全局特征分為：直行標識線和轉彎標識線，若小車行駛過快發生沖出跑道現象，則會丟失轉彎標識線，在數據模型訓練時會造成局部特征丟失，導致學習駕駛場景中局部特征過高，發生過擬合現象。

一般過擬合緣由通常有三種：（1）訓練樣本數據差距過大。（2）模型容量小，訓練數據不足。（3）訓練模型較大，模型復雜。在合理的數據采集中，一般情況下，可以避免第一種和第二種情況發生。而實際訓練數據集時，通常由于數據集過大，即局部特征學習數據較大，對局部特征學習較多，從而造成全局特征丟失，故過擬合現象通常由第三種情況觸發。本文設計的無人駕駛小車，由于采用限定場景，采集數據集局部特征數據含有量較高，故過發生過擬合情況可能性較大。

2.5.5 .1利用更多數據訓練

利用更多數據集訓練是一種最為直接的辦法，通過比對過去采集數據集，人工比對數據集具體內容，即針對丟失全局特征進行增添。

2.5.5 .2正則化和隨機失活

正則化在深度學習技術中，通常用于降低模型復雜程度的。本文采用隨機失活(Dropout)[16]方法，在訓練數據集中，經過隨機刪除神經網絡單元，訓練一個模型，即可完成多個模型集成的成果。

由于本文數據集采集存在大量局部特征數據，故算法經過隨機刪除網絡中神經元，在輸入時添加概率為p=0.3的Dropout。從而實現限制數據模型容量，減少過擬合的現象發生。

圖5 普通神經網絡連接示意圖

圖6 添加Dropout神經元連接示意圖

2.5.5 .3提前結束數據集訓練

任務設計的無人駕駛場景，由于采用限定場景設計的，無人小車行駛時的角度記為r。根據實際經驗，小車行駛時，記錄數據集大多數處于直線行駛狀態，即r=0°，在轉彎與非直線行駛時，記r≠0°。數據集在上位機中訓練時，由于r=0°的樣本較多，r≠0°的樣本較少，即數據集樣本分布不均勻，隨著模型訓練次數增加，致使損失函數降低十分緩慢。

設計算法采用回調函數中EarlyStopping，在模型訓練時，訓練數據集每通過一次迭代，損失率下降，若5次迭代之后，模型損失率相差保持在0.005以內，則提前停止訓練或訓練損失率下降到0.005時自動停止訓練。

3 預先訓練

從收集數據集中本篩選1000張照片，圖片語義明確。例如，選擇光線充足或特征清晰圖片。手動選擇的圖像用于網絡預訓練，通過訓練生成一個容量大、網絡的損失值極低的模型。通過加載預先訓練好模型，并經過對訓練集的訓練模型調整權值，從而加快網絡收斂速度。

經過測試，預訓練可以成功的解決由于初始化的不當造成的梯度爆炸與梯度消失，致使模型訓練速度緩慢等問題，同時使用一些經過處理后的數據圖片輸入至網絡進行預訓練，可以加快網絡訓練速度。

本文從理論角度闡述了整個系統神經網絡設計與實現方法，設計網絡結構、卷積層、LSTM層、激活函數等元素，通過采用網絡預訓練的方法，解決了訓練速度緩慢的問題。針對過擬合采用了增加更多數據、正則化和隨機失活、提前截止訓練的方法增加了模型可信任程度。在輸入網絡數據時，通過將人為干預控制采集的數據傳輸于上位機中，利用離線深度學習生成跑道模型，經過下位機部署，無人小車使用廣角相機采集數據信息，進行行駛路線預測，即可實現限定場景中的無人駕駛。