基于長短期記憶網絡的載荷譜外推方法研究

向華榮，曾 敬，鄭國峰，秦致遠

(1.重慶西部汽車試驗場管理有限公司， 重慶 408300；2.中國汽車工程研究院股份有限公司， 重慶 401122)

在汽車或零部件的開發過程中，可靠性均需要通過道路試驗進行檢驗。根據疲勞理論的損傷等效原理，在已知用戶使用環境及汽車載荷輸入的情況下，理論上可通過在試驗場里按照一定比例混合各種強化路面，復現出用戶工況下的載荷輸入。通過試驗場的強化路面，可以在較短的時間內完成可靠性驗證試驗，達到減少試驗時間、縮短研發周期的目的。出于降低研發成本和時間的考慮，一般用戶使用環境的汽車載荷輸入不會以目標里程為基準進行載荷譜采集，而是根據用戶道路比例分布情況，按類型進行采集，在樣本量足夠的前提下進行載荷譜外推，實現目標里程下的載荷譜獲取。

目前較為典型的外推方法包含參數外推法、按里程分位點外推法、峰值(peak over threshold，POT)外推法、雨流矩陣外推法[1-3]等。其中參數外推法的原理是獲取載荷譜均值、幅值的二維概率分布函數，基于概率密度分布函數以及外推目標里程，將相應的累積頻次進行外推。POT外推法認為載荷譜時間序列中超過閾值的峰值服從一定的分布，通過對超過閾值的峰值的概率密度函數的擬合，基于概率密度函數對峰值進行外推。雨流矩陣外推法先將載荷譜通過雨流計數得到雨流矩陣，從雨流矩陣中選擇外推的閾值計算穿越等級密度，然后通過累積雨流矩陣獲取極限進行雨流矩陣估計外推。也有學者[4]對通過雨流計數后的分布進行核密度統計，得到非參數雨流外推模型后運用蒙特卡洛方法隨機放置載荷循環進行外推。上述方法可根據載荷譜的特點或應用目的來進行選擇，但往往在用分布函數進行擬合或設置閾值時引入了人為因素，外推結果需要再轉化為時域程序譜作為下一步的輸入。

本文基于長短期記憶網絡(long-short term memory，LSTM)算法，對采集到的載荷譜進行外推[5-6]。該方法基于已有的采集樣本，對目標里程下的剩余樣本進行預測，直接得到目標里程下時域譜結果，在主要步驟上可減少外推中主觀因素的影響。對不同外推方法進行對比，結果表明：所提出的方法能夠實現對載荷譜的外推，且基于LSTM的外推方法能很好地復現原始雨流圖分布特征。

1 基于長短期記憶網絡算法的載荷譜外推理論

長短期記憶網絡是一種基于循環神經網絡的改進機器學習神經網絡，LSTM可以識別并記憶時間序列中長期信息的特征，并對當前的輸出產生影響。LSTM直接利用計算機“學習”原數據的特征，故該方法能在主要步驟上減少人的主觀因素。目前該方法已成功運用在語音識別、機器翻譯、交通流量預測、經濟模型的擬合及預測上。黃婷婷等[7]通過LSTM神經網絡的長期依賴特性來提高金融時間序列的預測精度，楊甲甲等[8]成功將其運用到工業負荷短期預測上，楊國田等[9]將其運用到火電廠NOx排放預測上，取得較好效果。本文使用LSTM對載荷譜時間序列進行學習后，通過得到的模型對原載荷譜進行長期預測，以達到“外推”的目的。基于長短期記憶網絡算法的載荷譜外推基本流程見圖1。

圖1 LSTM外推基本流程

根據圖1，基于長短期記憶網絡算法的載荷譜外推方法的主要步驟如下：

步驟1 將載荷譜輸入到基于長短期記憶網絡算法中。

步驟2 將輸入的載荷譜數據進行正則化，并劃分訓練集和測試集。劃分訓練集的目的在于獲取適應輸入樣本的數學模型；劃分測試集的目的在于通過訓練得到數學模型，之后對樣本進行載荷譜外推。

步驟3 基于LSTM算法，對輸入載荷譜進行訓練，獲取適應輸入樣本的數學模型。LSTM算法由輸入層xt、輸出層ht、遺忘層ft、狀態更新層Ct組成。對于標準循環神經網絡，每個時刻的隱層狀態由當前時刻的輸入與之前的隱層狀態相結合組成，即LSTM 具有“記憶”功能。

LSTM的一個單位的基本結構如圖2所示，其中xt序列為輸入時間序列，ht為輸出時間序列。LSTM的最大特點就是輸入xt不僅會影響到輸出ht，還會將Ct-1改變為Ct,Ct和ht將輸入到下一個基本單元甚至傳遞到更遠的基本單元并影響其狀態。

圖2 LSTM單元結構

(1)

遺忘層ft由式(2)給出，它決定了過去記憶單元對當前記憶單元的重要程度，其由一個sigmoid函數控制輸出。

ft=σ(Wf·[ht-1,xt]+bf)

(2)

輸入層由式(3)給出，其與遺忘層類似，也是通過一個sigmoid函數來控制輸出，得到一個在[0,1]范圍的值，控制被加入的新信息。

it=σ(Wi·[ht-1,xt]+bi)

(3)

綜合以上各層，最新記憶由式(4)給出，在整個學習過程中，其狀態會不斷更新。

(4)

輸出層由式(5)(6)給出，輸出門的作用是篩選出記憶單元和隱層單元中存在的冗余信息，輸出時如果已達到閾值，就將輸出與當前層的計算結果相乘，并把得到的結果作為下一層的輸入；如果未達到閾值，則“遺忘”輸出結果。

ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=ot*tanh(Ct)

(6)

采用交叉熵損失作為代價函數能更好地解決參數更新效率下降問題，其損失C可通過式(7)進行計算，其中n表示樣本總數，zl表示實際值。

(1-z)ln(1-f(∑lwlxl+bl))

(7)

將訓練的輸出數據與測試數據進行對比，計算兩組數據的交叉熵代價函數。每一次訓練中，經過前向計算得到當前訓練階段的代價函數，通過誤差反向傳播進行網絡參數的更新，直至n次訓練后代價函數收斂為止。

4) 對輸入載荷譜進行外推計算。通過得到的模型對原載荷譜進行長期預測，以達到“外推”的目的。

2 基于LSTM的載荷譜外推算法應用

2.1 載荷譜采集

本次試驗在樣車各輪輪心處及減震器上安裝加速度傳感器，彈簧及部分連桿部位安裝應變片，在某汽車試驗場的幾條主要特征強化路上進行采集，見圖3。需要多次采集強化路面的載荷譜，最后取有效的載荷譜進行剔除奇異點、消除趨勢項、濾波等預處理。各種試驗路況信息見表1。

2.2 基于LSTM的載荷譜外推

基于谷歌發布的人工智能開源工具TensorFlow[10]建立LSTM外推模型。TensorFlow的特點是使用圖來表示計算任務，圖中的一個操作節點獲得0個或多個張量來執行計算,生成 0個或多個張量，每個張量是一個類型化的多維數組。TensorFlow在會話的上下文中執行圖，使用張量表示數據，通過變量維護狀態。

圖3 傳感器安裝及道路情況

路面類型路面長度/m試驗車速/(km·h-1)卵石路15030比利時路15040變波矩長波路22045搓板路40035共振路18840碎石路20050

本文首先通過python環境導入TensorFlow、pandas、numpy模塊，將利用csv格式進行保存的時域譜數據通過pandas.read_csv函數讀入程序，用data-numpy.mean(data))/numpy.std(data)函數進行標準化處理。在TensorFlow中已將LSTM模型封裝為LSTMCell模塊。本文定義神經元數量為100個，時間步長為20 ms，批處理大小為60，學習步長為0.000 1，在初始化輸入與輸出接口直接調用該模塊，利用圖1的流程進行訓練。本文通過NVIDIA提供的CUDA作為硬件支撐，在整個機器學習過程中，通過tensorboard可以看到整個學習過程中loss的變化，見圖4。當學習準確率達到98%時，繼續學習的收益變小，可停止訓練。

圖4 訓練過程中輸入層偏置b、權重W的變化

利用訓練得到的超參數模型即可進行外推，部分道路垂向加速度10倍外推結果如圖5所示。

2.3 基于LSTM的外推前后載荷譜對比

將LSTM方法外推數據與原始數據頻譜曲線進行對比，部分道路頻譜曲線如圖6所示。

在頻譜圖上，外推前后數據頻譜在總的形態上有很好的一致性，利用Pearson相關系數法對一致性進行檢驗。Pearson相關系數ρX,Y衡量數組X和Y線性關聯性的程度，系數的取值總是在-1.0～1.0范圍，接近0的變量被成為無相關性，接近1或者-1被稱為具有強相關性。外推前后的頻譜曲線，經Pearson相關系數法檢驗后的結果如表2所示。經LSTM方法外推前后數據的頻譜曲線有強相關性，說明該方法能對原始數據的頻譜特征有很高的學習率。

圖5 部分道路垂向加速度10倍外推結果

圖6 LSTM方法外推后與原始數據頻譜圖對比

表2 外推前后數據頻譜曲線的相關性

3 幾種外推方法的對比

對載荷譜的外推，普遍采用的幾種外推方法的特點見表3。

本文基于LSTM外推方法以及非參數核密度外推方法中分別采用expanechekov核函數、Circle核函數、均值核函數、幅值核函數對在卵石路上采集到的載荷譜進行外推，幾種方法的雨流圖對比見圖7。

表3 幾種外推方法對比

圖7 卵石路載荷譜雨流圖對比

從雨流圖可以看出，非參數核密度外推法的分布趨于“單核”特征，LSTM方法外推分布具有“多核”特征，后者的分布情況及對各向的疏遠點的復現效果更好，在實際工程運用中可選擇LSTM方法進行外推。

4 結束語

本文嘗試利用LSTM方法對汽車載荷譜進行外推。LSTM外推方法引入人為因素較少，外推數據平穩，且可直接表示為時域數據，便于轉化為臺架試驗或加速壽命試驗的輸入。對一段載荷譜采用LSTM方法進行外推，并對外推前后的雨流圖進行對比，結果表明：通過LSTM外推后的載荷譜能較好地復現原始雨流圖分布特征，該方法有很大的工程應用潛力，同時也展現了機器學習在工程研發領域的應用前景。

LSTM外推方法雖比較“智能”，但機器學習生成的模型不直觀，對原數據特征依賴度較大，所以對原數據的選擇與處理要求更高。未來有如下研究方向：① 進一步探討更多種特征的原始載荷譜數據在外推前后的差異，建立載荷譜數據集；② 嘗試在臺架試驗中進行外推時域譜測試，并安排實車道路耐久測試，將真實部件損傷情況與仿真情況進行對比。