基于多任務神經網絡的智能網聯汽車環境自動感知研究

劉慶

安徽汽車職業技術學院，安徽合肥 230601

0 引言

隨著科學技術的發展與人民生活水平的提高，汽車成為人們的主要出行工具[1]。汽車使用量的增加，導致交通擁堵現象日益嚴重,交通事故頻發，駕駛員的生命和財產安全受到威脅[2]。為此，智能化管理成為汽車行業的發展趨勢，一種充分利用電動、智能、網聯及共享優勢的智能網聯技術逐漸應用到汽車上[3]。智能化是智能網聯汽車開發過程的關鍵，而環境自動感知與檢測技術是實現智能化的關鍵，在汽車智能化中發揮著重要作用[4]。

近年來，諸多學者對智能網聯汽車環境自動感知方法進行了大量研究。尹慧琳等[5]提出了基于層次因子圖的智能網聯汽車環境感知方法，隗寒冰等[6]提出了基于融合歷史軌跡的智能網聯汽車環境感知方法。這些方法能自動感知汽車環境，在一定程度上減少了交通事故的發生，增強了駕車體驗舒適感，但在進行汽車環境感知時，每執行1個任務就需要執行網絡更換操作，過程復雜、成本較高，獲取的環境信息有限，難以滿足深層次的汽車環境感知需求[7]。

多任務神經網絡由編碼器和解碼器組成，可以在同1個網絡中完成不同的任務[8]。本文采用基于多任務神經網絡的智能網聯汽車環境自動感知方法，在執行環境感知任務時，無需更換網絡就可實現語義分割及對目標的跟蹤檢測，且網絡性能與目標檢測效果較好，更好地實現交通環境自動感知，降低交通事故發生的概率，滿足實際智能網聯汽車的環境自動感知需求。

1 智能網聯汽車環境自動感知多任務神經網絡

1.1 卷積神經網絡原理

卷積神經網絡是1類包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表算法之一，除了具有傳統神經網絡的良好容錯性、自適應性和較強的自學習能力等特點，還具有自動提取特征、權值共享及輸入圖像與網絡結構結合良好等優點，包括卷積層、池化層、批量歸一化(batch normalization，BN)層及激活函數層[9]。

1.1.1 卷積層

卷積層主要負責提取采集的智能網聯汽車環境圖像特征信息，通過卷積核對特征圖像執行滑動操作實現[10]。卷積計算過程為：

式中：ai，j為卷積計算結果；wm，n為第m行第n列卷積核的權重；xk+m，l+n為汽車環境圖像中第k行第l列的元素；wb為常數偏置項，一般狀況下滿足wb=0；f(·)為激活函數。

卷積運算過程可歸結為：1)對采集到的汽車環境圖像執行圖像輸入操作，圖像的分辨率設置為5×5；2)將卷積核的大小、步長及wb分別設置為3×3、2與0，將激活函數設置為ReLU；3)在輸入的汽車環境圖像上通過卷積核執行滑動操作，在汽車環境圖像對應位置的像素執行乘法與加法操作；4)對經過執行步驟1)～3)操作的汽車環境圖像執行輸出操作，將輸出圖像的分辨率設置為2×2。

1.1.2 池化層

池化層主要包括最大池化操作與平均池化操作2種，與卷積層相比，池化層在執行池化操作時不需要學習參數[11-13]。池化操作過程如圖1所示。

圖1 池化操作過程

在池化層中，將輸入汽車環境圖像的分辨率、池化層及步長分別設置為4×4、2×2與2；在輸出汽車環境圖像的左上角放置輸入汽車環境圖像左上角的4個像素位置的最大像素；在輸出汽車環境圖像的右上角，通過執行滑動操作，放置輸入汽車環境圖像右上角的4個像素位置的最大像素；重復執行滑動操作，得到汽車環境感知結果圖像。

1.1.3 BN層與激活函數層

BN層主要負責執行對卷積層的規范操作，提高網絡收斂速度，避免過度擬合現象發生[14-15]。激活函數層[16]的工作原理是對數據執行非線性映射操作，達到提高網絡表達能力的目的。ReLU激活函數用公式表示為：

ReLU(x)=max(0,x)，

式中x為激活函數的自變量。

1.2 多任務神經網絡

1.2.1 多任務神經網絡構建

多任務神經網絡包括編碼器與解碼器2部分[17-18]。編碼器執行提取特征操作，是整個網絡構建過程最重要的部分；解碼器包括語義分割解碼器與目標檢測解碼器，執行處理特征操作[19]。

根據卷積神經網絡的原理，將縮放因子為5的雙線性插值層增添到卷積神經網絡的底層[20]，對卷積神經網絡的均值池化層執行修改操作。H與W分別為均值池化層輸入的智能網聯汽車環境感知特征圖像的高與寬，kh與sh分別為均值池化層池化窗口的高與步長，kw與sw分別為池化窗口的寬與步長，得到的修改結果為：第1層滿足kh=H、kw=W、sh=H、sw=W；第2層滿足kh=H/2、kw=W/2、sh=H/2、sw=W/2；第3層滿足kh=H/3、kw=W/3、sh=H/3、sw=W/3；第4層滿足kh=H/6、kw=W/6、sh=H/6、sw=W/6。

將修改后的卷積神經網絡用于智能網聯汽車環境感知多任務神經網絡中，多任務卷積神經網絡結構如圖2所示。

圖2 多任務卷積神經網絡結構

在構建的智能網聯汽車環境自動感知多任務卷積神經網絡中，定義池化層為環境自動感知網絡的編碼器；在解碼器中輸入智能網聯汽車環境感知圖像特征，語義分割解碼器執行語義分割操作，結合分割結果利用解碼器感知圖像特征，根據圖像特征感知結果得到智能網聯汽車環境感知結果。

1.2.2 多任務神經網絡訓練

進行多任務網絡訓練時，為更好地執行向前傳播操作，需要計算網絡的多任務損失，通過計算語義分割損失及目標檢測損失實現[21]。

語義分割損失計算以共享編碼器特征圖為媒介，通過求解交叉熵損失函數得到語義分割網絡損失

式中：N為各訓練批次樣本數量，bi為隸屬于類別i的數據，I為類別數量，c為多任務網絡語義分割的類別數據，C為最大類別數據。

目標檢測損失計算通過執行對目標網絡的邊界坐標損失與求解置信度交叉熵損失函數實現[22-24]，求解過程為：

Oobj=O1(p,q)+Oobj-con，

式中：O1(p,q)為目標檢測網絡邊界框坐標損失，其中p為預測值，q為標簽；δqi為邊界坐標損失；xpi、ypi分別為目標網絡節點pi的橫、縱坐標；xqi、yqi分別為目標網絡節點qi的橫、縱坐標；wpi、wqi分別為pi、qi的權重；hpi、hqi分別為pi、qi的深度；Oobj-con為多任務網絡的置信度；zi(c)、ki(c)分別為pi、qi的信息熵函數；Oobj為多任務網絡的目標損失。

智能網聯汽車環境自動感知多任務神經網絡的總損失

O=λ1Oobj+λ2Oseg，

式中λ1、λ2分別為Oobj、Oseg的損失權重。

在執行智能網聯汽車環境自動感知多任務神經網絡反向傳播操作時[25-26]，通過Adam優化函數執行網絡權重參數更新操作，網絡權重參數更新過程用公式表示為：

mt=umt-1+(1-u)gt，

采用小批量訓練方法進行智能網聯汽車環境自動感知多任務神經網絡訓練時，分別滿足η=0.000 1，ε=0.000 01，u=0.9，v=0.999，在此基礎上將網絡第二層正規化操作加入到智能網聯汽車環境自動感知多任務神經網絡訓練過程中，避免過度擬合現象的發生，神經網絡第二層正規化系數一般為0.000 5。

2 試驗與分析

以A市4種不同環境的道路為試驗對象，借助Husky-200移動平臺搭建多任務神經網絡，驗證本文方法在智能網聯汽車環境自動感知的性能。

采集到的4種道路圖像如圖3所示。圖3a)中道路1全長1200 m，路面平坦，車輛與行人較多；圖3b)中道路2全長860 m，路面陡峭、彎曲，道路兩旁為茂密的森林；圖3c)中道路3全長460 m，路面布滿石子；圖3d)中道路4全長560 m，路面為土路，不平坦，但路面質量高于道路3。

a)道路1 b)道路2 c)道路3 d)道路4 圖3 智能網聯汽車道路環境圖像

應用本文方法的智能網聯汽車在4種不同道路的行駛狀態如表1所示。

表1 智能網聯汽車行駛狀態

由表1可知：智能網聯汽車在道路1和道路2行駛時，白天和夜間均能實現道路環境的自動感知，行駛過程中可自行避障，人工干預的次數為0，夜間的平均行駛速度與圖像處理速度稍有下降；智能網聯汽車在道路3和道路4行駛時，白天和夜間的平均行駛速度與圖像處理速度有所下降，行駛過程中出現少數人工干預狀況。說明本文方法可有效感知不同道路環境：路況較好時，可實現自動避障；路況較差時，可通過人工與自動相結合的方式實現避障。

應用本文方法的智能網聯汽車在不同光照強度下的目標檢測效果如圖4所示。

a)光線較強 b)光線較暗 圖4 智能網聯汽車在不同光照強度時的目標檢測效果

由圖4可知：智能網聯汽車在光線較強和光線較暗時均能實現對前方行駛車輛的目標檢測，能有效降低交通事故的發生概率，滿足智能網聯汽車環境自動感知需要。

在實際的智能網聯汽車環境自動感知過程中，網絡性能直接影響環境感知效果。實時性與網絡語義分割精度是衡量智能網聯汽車環境自動感知網絡性能的重要指標，實時性指每秒處理的汽車環境感知圖像幀數，網絡語義分割精度指通過真實值與預測值交集與并集比值的平均值，不同噪聲下的網絡性能如圖5所示。

圖5 不同噪聲下的網絡性能

由圖5可知：隨著噪聲干擾增強，智能網聯汽車環境感知網絡實時性與網絡語義分割精度逐漸降低，但曲線下降趨勢緩慢，說明采用本文方法的智能網聯汽車即使環境自動感知網絡中噪聲干擾較強，仍具有良好的環境自動感知網絡性能，且自動感知精度較高。

3 結語

為提升智能網聯汽車的駕駛體驗感，設計了基于多任務神經網絡的智能網聯汽車環境自動感知方法，在不同道路環境、不同光線強度和不同噪聲水平下可實現環境自動感知與目標檢測，滿足實際智能網聯汽車環境自動感知需求。應用多任務網絡使環境感知效率提高、成本降低，但環境感知的實時性還有待進一步提高。