自適應均衡學習的端到端類人駕駛控制決策網絡

李少青，朱洪林，黃海波，王海英，丁渭平

（1.西南交通大學，成都 610031；2.通標標準技術服務（天津）有限公司，天津 300457）

隨著深度學習的不斷發展，利用深度神經網絡構建基于端到端自動駕駛預測的方法得到越來越廣泛的關注和研究應用［1］。2016年，BOJARSKI等［2-3］提出了PiloNet端到端網絡架構，根據前方道路圖像直接映射出轉向角度，能夠實現在標準和非標準路面，以及高速公路等場景下的車道保持；CHOWDHURI等［4］根據跟車、換道、轉彎、停車等不同場景設計了不同的CNN網絡，通過切換不同場景下的網絡，使自動駕駛在多場景下的方向盤轉角和車速均能得到較好的控制決策。Codevilla等［5］將CNN層與不同的全連接網絡分支結合，可以實現導航功能。但是上述CNN網絡的輸入為單幀圖片，未考慮到實際駕駛中前后圖像之間的時序關系。XU等［6］考慮到車輛運動的連續性，在全卷積神經網絡（Fully Convolutional Networks，FCN）的基礎上引入具有記憶效應的LSTM網絡，同時加入語義分割作為輔助任務來提高算法性能增強了網絡對場景的理解能力，然而控制決策過程是將卷積層提取到的空間特征輸入給LSTM提取時序依賴特征，即提取到的僅僅是空間特征的時序依賴特征，對類人思維特征考慮欠缺。YANG等［6-8］受多模態學習及多任務學習的啟發，提出一種多模態多任務的自動駕駛控制決策網絡，將歷史駕駛速度作為網絡的反饋輸入，與卷積網絡所提取到的空間特征進行融合，實現對方向盤轉角及車速的決策控制，但是僅將速度作為反饋輸入不足以對速度和轉向角進行很好的控制決策。趙祥模等［9］提出MM-STConv網絡，該網絡基于時空卷積構建多模態特征融合，提高了自動駕駛行為控制決策的準確率和穩定性，但是其縱橫向權重系數是通過手動調節，所以該權重系數會伴隨整個網絡訓練過程，無法做到與各任務學習速度的匹配，存在任務偏移的風險，無法實現縱橫向控制參數都達到較好的學習效果。

以上研究均屬于基于行為克隆［10］的自動駕駛方法，即克隆人類駕駛行為，而人類駕駛行為應當屬于一種“瞻前顧后”的行為，而上述研究對類人駕駛行為與思維特征模擬不足。因此，為充分模擬類人駕駛特征，從以下兩方面開展研究：

（1）從人類駕駛行為和思維特征出發，將前方道路視覺感知圖像時間序列，以及車輛歷史連續運動狀態序列作為網絡輸入，進行縱橫向控制決策，將預測車輛連續未來狀態序列作為輔助任務，從損失函數角度對預測當前時刻方向盤轉角和車速的主任務進行干預和監督，以提高主任務的控制決策精度。

（2）為使縱橫向控制參數能均衡學習，引入動態加權平均方法［11］，并加以改進，使縱橫向控制參數的Loss權重可根據各個任務的收斂速度以及學習難易程度進行動態調整，從而實現縱橫向控制參數的均衡學習。此外，提出一種綜合衡量縱橫向控制決策準確性與學習均衡性的評價指標，并依此評價指標指導網絡正確進化學習，以提高網絡的綜合性能。

1 控制決策網絡架構

自適應均衡學習的端到端類人駕駛控制決策網絡架構分為3個功能互補的子網絡，分別是時空特征提取子網絡、歷史狀態特征提取子網絡和縱橫向控制決策子網絡，整體網絡架構如圖1所示。時空特征對序列圖像進行時間和空間特征的綜合提取；歷史狀態特征提取子網絡對車輛的歷史狀態序列信息提取時間上的上下文特征；縱橫向控制決策子網絡通過融合時空特征及歷史狀態特征進行車輛的方向盤轉角與速度的控制決策，利用增加輔助任務的手段，將預測未來序列任務學習到的特征作為未來特征，通過監督主任務學習的方式提高主任務的學習效率。

圖1 自適應均衡學習的端到端類人駕駛控制決策網絡架構

1.1 關鍵特征定義

特征指的是一個或一組客體所擁有的特性抽象出來的一種概念，神經網絡的參數是在損失函數的監督下進行更新的，與損失函數直接相關的數據特性或關系便是神經網絡提取到的特征。

人類駕駛車輛時首要考慮現在和過去的道路情況，具體表現在包含當前和過去道路圖像的空間特征與時序依賴特征，這種新的特征變為時空特征，這種特征不是簡單地將空間特征和時序依賴特征相加或者級聯，而是通過特別設計的模塊使網絡在提取空間特征的同時提取連續數據之間的時序依賴特征。

人類駕駛車輛，不僅考慮了當前及過去的道路情況，還綜合考慮了車輛的歷史狀態變化情況來控制決策，而歷史狀態特征指的是能夠影響端到端駕駛的車輛自車歷史狀態趨勢變化的特征。

人類駕駛車輛時，影響控制決策的因素不僅有當前時刻與過去時刻的道路情況，還有對前方道路情況的一種預判，而未來特征便指的是智能車端到端駕駛中的一種包含能夠對未來的控制決策量進行預判的特征。

1.2 時空特征提取子網絡

現有端到端網絡多采用單幀圖像作為輸入，利用深度卷積神經網絡進行特征提取，此做法一方面缺乏圖像前后時間的時序關聯信息，不符合人類駕駛車輛時需要考慮前后圖像之間關聯的習慣，所以需要采用序列圖像輸入，利用Conv-LSTM［12］進行時空特征綜合提取；另一方面，采用深度神經網絡，可以提取出高層的語義信息，但是隨著網絡深度的增加，不可避免地會丟失掉淺層的空間信息。因此，為補充高層語義特征對空間特征的丟失，需要采用多尺度的結構，融合低層的空間信息以及豐富的高層語義信息。

時空特征提取子網絡的具體參數見表1。

表1 時空特征提取子網絡參數

1.2.1 編碼器

編碼器為整個網絡當中的主干網絡，主要負責輸入圖像的特征提取及壓縮。編碼器部分總共包含5個子層，除第1層外，每個子層包含降采樣層或若干個改進后的殘差單元，各子層的組成見表2。

表2 編碼器結構

降采樣單元。此單元的目的在于減少特征圖尺寸，同時提高通道數，從而擴大感受野。降采樣單元是將特征圖分為兩個分支，一個分支為卷積核為3×3，步長為2的卷積操作，另一個分支為卷積核大小2×2，步長為2的池化操作，最后將這兩個分支進行級聯。

改進的殘差單元。假設卷積過程中，輸入特征圖的尺寸為Nin×hin×win，卷積核尺寸為Nout×Nin×kh×kw，輸出特征圖尺寸為Nout×hout×wout，則對于正常卷積而言，其計算量為：

而對于深度可分離卷積［13］而言，分組卷積計算量為Nin×kh×kw×hout×wout，逐點卷積運算量為Nout×Nin×hout×wout，總計算量為：

所以深度可分離卷積與正常卷積的計算量之比為：

由此可知，利用深度可分離卷積，可以減少卷積網絡的計算量。由式（1）～（3）可知，如果要進一步減少卷積網絡運算量，需減少通道數和卷積核尺寸，因此，改進的殘差單元如圖2所示。

圖2 改進的殘差單元

首先將輸入進行通道拆分，分為左右兩個分支，將原有殘差模塊中的兩個3×3卷積分別改為3×3深度可分離卷積［13］，以及3×3的深度可分離空洞卷積［14］，用于擴大網絡感受野。最后將兩路卷積進行級聯，為保證通道間的交流，最后再進行通道重組。假設輸入和輸出尺寸及通道相同，改進前的殘差模塊計算量為：

而改進后的殘差模塊計算量為：

改進后將減少網絡參數量，可接受更大尺度的輸入，從而提高網絡精度。

1.2.2 時空特征提取模塊

受深度瓶頸結構［15］的啟發，為減少網絡參數量及加速神經網絡訓練，采用3層卷積加1層Conv-LSTM組合的方式進行，即提取到的空間特征序列，首先經過1×1的卷積進行降維，而后經過Conv-LSTM進行時空特征提取，提取到的特征后接3×3的卷積層進行尺度縮小，最后經過1×1的卷積進行降維。

1.3 歷史狀態特征提取子網絡

直接從圖像映射到方向盤轉角的成功證明了直接從前視攝像頭生成車輛直接控制指令的可行性，但其映射過程并不完全符合人類駕駛車輛的整個過程，即人類駕駛車輛的過程中不僅要根據前向視角觀察情況，做出駕駛意圖判斷，也需要考慮自車的歷史狀態情況。因此，需要提取自車歷史狀態特征對前文多提取到的時空特征做補充。

為捕捉車輛歷史狀態在時間序列上的變化特征，需引入LSTM網絡，其具有強大的時序信息挖掘能力和深度表征能力，適用于處理時間序列數據［16］。

因此，對方向盤轉角及車速序列，先利用兩層一維卷積進行特征提取，后接LSTM作時序特征提取，將提取到的歷史狀態特征與時空特征向量進行融合。

1.4 縱橫向控制決策子網絡

1.4.1 縱橫向控制決策機理與具體架構設計

在端到端自動駕駛控制決策方法中，方向盤及車速控制決策屬于多任務學習。多任務學習屬于推薦任務的思想，是指通過在相關任務間共享表示信息，使網絡更好地概括初始任務，改進泛化能力［8］。受多任務學習思想的啟發，又根據人類駕駛車輛的過程，提出的縱橫向控制決策子網絡中，橫向轉角及縱向車速既跟通過序列圖像所提取出來的時空特征相關，又跟車輛歷史特征以及未來特征緊密相關。

因此使用參數共享的方式進行多駕駛任務學習，將時空特征與歷史狀態特征相融合，作為駕駛控制決策共享層，從而輸出各自的駕駛任務。提出的縱橫向控制決策子網絡如圖3所示。.

圖3 縱橫向控制決策子網絡

1.4.2 未來特征提取方法

人類駕駛車輛過程中不僅要考慮前向視角觀察情況、自車的歷史狀態情況，還需要對未來車輛動作做出預期判斷。因此，需增加對未來序列的控制決策任務作為輔助任務，從損失函數角度對網絡訓練進行合理監督，迫使網絡學習到有用的特征。

對未來序列的方向盤轉角及車速學習過程中隱含的特征即為未來特征，具體實現如下。

單獨的子任務損失函數定義為：

式中：采用均方誤差MSE作為Loss表達式。

則總的網絡訓練損失函數為：

2 網絡訓練

2.1 數據集

2.1.1 數據集描述

2019年，Comma.ai發布了Comma2k19數據集［17］，該數據集包含在加利福尼亞州180高速路上駕駛覆蓋白天及黑夜各種天氣下的超過33 h的駕駛數據。Comma2k19數據集中部分攝像頭采集到的圖像示例如圖4所示。

圖4 Comma2k19部分數據集展示

2.1.2 數據集整理與預處理

Comma2k19數據集分為2 019個駕駛片段，每段駕駛時長約為1 min，共選取100個片段數據，其中，白天和夜晚駕駛數據各為50段，按照8∶1∶1的劃分原則，總共獲得包含95 951組訓練集，11 998組驗證集，以及12 012組測試集。

Comma2k19數據集所采集的原始駕駛圖像尺寸為1 164 pt×874 pt，為減少輸入圖像上非必要的干擾像素，選擇將圖像中的天空以及車輛發動機蓋部分進行裁剪，最終獲得800 pt×300 pt的駕駛圖像，裁剪后的圖像更接近人類駕駛所觀察到的有效視角，裁剪過程如圖5所示。

圖5 圖像裁剪示例

原始數據集中相機的采樣頻率為20 Hz，而通過CAN總線保存的方向盤轉角和車速信息采樣頻率為80 Hz，為確保圖像數據與車輛控制參數在時間戳上一一對應，故采用三次樣條算法對方向盤轉角與車速做插值處理。同時，為將數據去量綱化，避免數值問題，采取最大最小法將方向盤轉角和車速進行歸一化前處理。

2.2 自適應縱橫向控制參數耦合權重設計

在多任務損失函數中損失函數的一般形式為：

在傳統的端到端自動駕駛網絡中ωi的取值通常采用的是試湊法，通過試驗獲得使網絡擬合效果較好的值作為ωi，但是該權重系數會以定值的形式伴隨整個訓練過程，而在訓練中梯度小的Loss在訓練過程中被梯度大的Loss所影響，這個現象稱為梯度主宰。尤其在各個任務難易程度不同的情況下，簡單的任務出現過擬合，復雜的任務還是欠擬合狀態，為了減緩這種現象的影響，引入動態加權平均方法［11］，使縱橫向控制參數學習的Loss權重可根據各個任務的收斂速度以及學習難易程度進行動態調整，從而實現縱橫向控制參數的均衡學習。其具體表達式為：

式中：ri(t-1)為第i個任務的學習速度；N為任務數量。直觀來看，Loss縮小快的任務，則權重會變小，反之權重會變大。

但是，動態加權平均方法僅僅從學習速度上進行考慮，沒有考慮到不同任務的Loss量級，而在實際研究當中，縱橫向控制參數Loss量級關系對于神經網絡學習至關重要。因此，提出一種平衡Loss量級和學習速度的方法。其具體表達式為：

式中：表達式左邊為平衡不同任務Loss量級的關系式，即縱橫向控制參數自適應學習中，Loss小的任務就需要大的權重，Loss大的任務需要分配小的權重；表達式右邊為平衡學習速度，即學習速度快的任務，權重會變小，學習速度慢的任務，權重會變大。此方法在下文將給出具體對比試驗結果。

2.3 訓練環境與參數設置

網絡訓練在NVIDIA GeForce RTX2080Ti GPU上進行，使用Pytorch深度學習框架構建網絡訓練。顯存位寬352 bit，顯存容量為11 GB，運行內存16 GB。操作系統為Ubuntu 16.04.7。

采用Poly優化策略［18］對學習率進行優化調整。當前時刻的學習率可表示為：

式中：lr為當前學習率；lr0為初始學習率；iter為當前訓練步長；itermax為設置的訓練迭代周期；p為衰減系數，用于控制衰減曲線形狀。

在全連接層添加隨機丟棄（Dropout）以提高網絡泛化能力，連同其他超參數，具體設置見表3。

表3 網絡訓練超參數設置

3 效果驗證

3.1 網絡性能評價指標

3.1.1 準確率Acc

為評判端到端自動駕駛控制決策網絡所預測的方向盤轉角和車速的精確性，引入準確率這一標準進行衡量，與深度學習中的分類問題不同，利用深度神經網絡進行實際數值預測學習屬于回歸問題，當預測值與真實值的誤差在一定的范圍之內即可視為預測準確。

因此，引入容差閾值［19］（Steering_threhold、Speend_threhold），單個方向盤轉角和車速的預測準確性可表示為：

網絡控制決策準確率的計算公式為：

式中：n為控制決策值與真實值的誤差小于容差閾值的測試樣本數量；N為測試樣本總數量。

為確定方向盤和車速的準確率容差閾值［20］。在網絡只有RGB圖像輸入的情況下，采用NVIDIA PiloNet網絡［2］作為基準網絡，將其單控制決策改為縱橫向控制決策，并且任務權重使用3.2小節提出的動態權重法，分別對轉角和車速進行控制決策。選取不同的容差閾值對網絡進行8 000次步長的訓練，得到網絡控制決策值準確率相對于容差閾值的變化趨勢，如圖6所示。

圖6 PiloNet網絡控制決策精確度與容差閾值變化趨勢

由圖可知，當方向盤轉角容差閾值大于1.93°，車速容差閾值大于1.55 m/s時，網絡控制決策的準確率已達到0.6左右。為將PiloNet作為后續試驗的對比基礎網絡，選擇Steeringthrehold=1.93°，Speedthrehold=1.55 m/s，作為評價網絡準確率的容差閾值。

3.1.2 網絡精確度綜合評價指標Score

在3.1.1節中已經定義了方向盤轉角與車速控制決策準確率的評價方法，但在縱橫向控制參數學習中，為全面評判網絡性能，須定義一個評價指標來衡量網絡控制決策的綜合性能，該指標一方面必須能代表縱橫向控制決策的準確性，另一方面也應能代表縱橫向控制決策的均衡性。因此，提出一個新的評價指標，將其命名為Score，具體表達式為：

Score的大小范圍為［0，1］，值越大，表明網絡效果控制決策越佳，并將Score作為評判最佳網絡的指標。

3.2 自適應均衡學習的端到端類人駕駛控制決策網絡效果驗證

采用自適應均衡學習的端到端類人駕駛控制決策網絡對數據集進行訓練，得到最佳網絡，測試集表現如圖7所示。

圖7 自適應均衡學習的端到端類人駕駛控制決策網絡在Comma2k19數據集中連續4 000幀圖像上的方向盤轉角及車速預測曲線

由圖可知，自適應均衡學習的端到端類人駕駛控制決策網絡所預測的方向盤轉角及車速與各自的真實值曲線基本吻合，且預測曲線較為平穩，可保證車輛行駛的安全性和舒適性。

圖8為自適應均衡學習的端到端類人駕駛控制決策網絡在部分Commai2k19測試集的預測可視化效果圖。其中：藍色標線為真實的方向盤轉角線，紅色為預測的方向盤轉角線；車速的真實值與預測值以文字形式展示在圖例下方。由圖8可知，網絡預測的方向盤轉角及車速基本接近真實值，且預測值與真實值的誤差均在方向盤轉角和車速的容差閾值范圍之內，可保證行車過程中的安全性和舒適性。

圖8 自適應均衡學習的端到端類人駕駛控制決策網絡在Comma2k19數據集預測可視化效果

表4為所構建的控制決策網絡分別在訓練集、驗證集及測試集上的測試結果，在訓練集的測試結果稍高，而驗證集和測試集的結果相差不大，表明所構建的網絡具有良好的泛化性。

表4 訓練集、驗證集、測試集對比結果

3.3 同類網絡對比與分析

為驗證對比自適應均衡學習的端到端類人駕駛控制決策網絡與其他同類型網絡的性能，選擇3種網絡進行對比，分別為PiloNet［2］、CgNet［21］和STLSTM Network［22］，測試對比結果見表5，加粗為各項指標的最佳結果。

由表5可知，自適應均衡學習的端到端類人駕駛控制決策網絡，相較于PiloNet、CgNet和STLSTM Network，綜合性能分別提升45%、42%、28%，可較好地提升端到端自動駕駛縱橫向控制決策精度，提高駕駛安全性。

表5 同類網絡對比結果

此外，網絡在NVIDIA GeForce RTX2080Ti GPU上的控制決策速度為43 fps，文獻［23］指出，人類開車反應時間為0.5 s左右，可滿足無人駕駛系統運行過程中的實時性要求，在更高算力的GPU下實時性會更佳。

3.4 縱橫向控制參數Loss權重試驗對比結果

為加速試驗進行，利用PiloNet網絡進行試驗，采用不同的任務損失函數權重，利用3.1.2提出的評價指標選擇最佳網絡，在測試集上試驗結果見表6，加粗字體為各項指標最佳結果。

表6中，1～10組為手動調節權重取得的試驗結果，只有第2組取得了較好的訓練精度；11組為3.2節提出的縱橫向控制參數自適應權重取得的試驗結果，其綜合性能優于以上所有結果。由此可知，在縱橫向控制參數學習當中，動態優化算法是優于手動調節權重參數的，不僅整體訓練效果優秀，且省去了多次試驗的成本。

表6 縱橫向控制參數Loss權重試驗結果

3.5 網絡性能驗證與分析

為驗證自適應均衡學習的端到端類人駕駛控制決策網絡各部分模塊對于整體網絡的性能影響，分別設計7種不同網絡，在Comma2k19數據集上進行訓練及測試，測試結果見表7，加粗字體為各項指標的最佳結果。

表7 消融試驗結果

表7中，（1）1、2組對照試驗表明在相同網絡輸入下，更深層次的網絡的性能更佳、表現更優，較PiloNet性能提升2.6%；（2）2、3對照組試驗結果表明，序列圖像輸入相較于單幀圖像輸入有著更好的性能，第3組較PiloNet性能提升10.1%，且其控制決策方式也更加符合人類駕駛經驗，符合預期效果；（3）3、4組對照試驗結果表明，利用多尺度網絡結構可在一定程度上補充到可利用的淺層信息，提高網絡性能，第4組網絡較PiloNet性能提升12%；（4）4、5組對照試驗結果表明，將控制決策未來時序的駕駛動作作為輔助任務，可以促進網絡學習到更有用的特征信息，從而提高網絡上限，第5組網絡較PiloNet性能提升16.8%；（5）5、6組對照試驗結果表明，與人類駕駛經驗相類似，神經網絡在考慮到歷史狀態信息之后，所控制決策到的駕駛動作更加準確，第6組網絡較PiloNet性能提升25.3%；（6）6、7組對照試驗為驗證所改進的殘差結構在更大尺寸的輸入下，是否對網絡性能有提升效果，結果表明，更大尺寸圖像，意味著更豐富的信息輸入，在輕量級網絡的加持下，可以表現出較好的性能，較PiloNet性能提升45.2%。

通過以上7組對照試驗，表明本文所構建的控制決策網絡各模塊對于整體網絡性能有著更好的提升，同時在一定程度上增加了網絡的可解釋性。

為驗證所提關鍵特征的參數對于網絡的整體效果影響情況，分別設計7組試驗進行對比，試驗結果見表8，加粗字體為最佳結果。

表8 關鍵特征調參試驗結果

1、2、3、4組試驗表明，輸入步長越長時，網絡實時性會變差，且當輸入步長為5時網絡整體性能最佳，因此，選擇步長5作為網絡的輸入步長；3、5、6、7組試驗表明，輸出步長的大小幾乎不影響網絡的實時性，且當輸出步長為5時，網絡整體性能最佳，因此，選擇步長5作為網絡的輸出步長。

4 結論

以研究智能駕駛端到端控制決策技術為目的，從類人駕駛行為特征出發，設計了一種包含時空特征、歷史狀態特征、未來特征的端到端自動駕駛控制決策網絡，通過設計合理的神經網絡結構，得到方向盤轉角及車速的控制決策量。考慮到縱橫向控制參數學習中的損失函數難以確定問題，引入動態優化權重的方法并加以改進，使網絡訓練可以同時兼顧縱橫向控制參數損失的量級與學習速度之間的協調關系。提出一種量化評價縱橫向控制參數控制決策準確率及學習均衡性的指標，經試驗驗證，得出以下主要結論：

（1）從類人駕駛行為和思維特征出發構建的控制決策網絡，較現有其他圖像輸入的端到端控制決策方法，在控制決策精度上有所提升，增加了網絡的可解釋性，保證了行車過程中的安全性和舒適性。

（2）所構建的縱橫向耦合學習權重方法優于手動調節損失函數權重的方法，且能夠實現縱橫向控制參數的自適應均衡學習，保證學習過程兼顧縱橫向耦合關系，增加網絡均衡耦合學習的可解釋性，從而確保安全性和舒適性。