基于卷積長短時記憶網絡的國際平整度指標預測?

黃凱楓 劉慶華

（江蘇科技大學電子信息學院 鎮江 212100）

1 引言

中國公路發展非常迅速，在運營和養護過程中很多問題都會影響司機或乘客的體感舒適性。比如路面施工過程中產生的破損和裂紋，或者是較低的平整度（路面的顛簸），更重要的是可能會出現生命安全問題［1～3］，因而路面平整度的檢測是路面質量評價必不可少的內容。

在對路面平整度進行評價時，一般采用國際平整度指標（IRI）作為指標［4～5］。國際平整度指標的采集需要依靠激光雷達來完成，激光雷達采集到的距離數據不是離散的也不是獨立的，是連續的數據序列，所以在處理的過程中需要考慮時間的特性。Mason 等［6］使用循環神經網絡RNN 對CPU 利用率進行預測；孫帆等［7］利用長短期記憶網絡LSTM 對短期電力負荷進行預測，結果優于傳統的預測方法。

針對以上研究內容，本文將卷積神經網絡和LSTM 結合起來對國際平整度指標進行預測，利用卷積神經網絡的權值共享優點對雷達距離數據進行特征的提取，突出數據空間上的特征，利用長短期記憶網絡提取數據的序列特征，將兩者提取出的特征當成一個新的特征輸入全連接層一次來獲得預測結果，通過將CNN-LSTM 網絡與LSTM 網絡對國際平整度指標的預測結果對比，得出前者具有更好的預測精度。

2 相關模型理論

2.1 LSTM長短期記憶網絡

在數據預測領域，基礎的神經網絡為RNN 神經網絡［8］，它能夠將前一時刻從網絡層獲得的信息傳遞到下一時刻的網絡層，但當輸入數據的維度過大時，每次迭代都會在訓練過程中輸入與前一時刻相關的數據，造成輸入數據越發的復雜。隨著迭代次數的增加，反向傳播過程更加復雜誤差項的值會迅速增大或減小，梯度爆炸或消失的情況可能會出現，使得梯度無法完成長時間的傳遞。LSTM 網絡是RNN 網絡的優化，成功解決了RNN 在面對維度過高的數據時產生的梯度問題［9～10］，它主要由三個門組成，分別為遺忘門、輸入門和輸出門。三個門都可控制每個單元的單元狀態，而LSTM 的核心部分就是單元狀態，網絡中的數據信息可以通過單元狀態在網絡中進行循環，LSTM 的結構圖如圖1 所示。

圖1 LSTM結構圖

在圖1 中，ft代表遺忘門，由上一時刻的記憶狀態Ct-1和t時刻依舊保留的信息Ct共同決定；it代表輸入門，t時刻的輸入xt由輸入門的激活函數共同決定；ot代表輸出門，需要確定可以輸出的值ht。LSTM網絡的計算過程如下：

1）對歷史輸入信息進行管理，對無用信息選擇遺忘，計算公式如式（1）所示。

式（1）中，Wf代表輸入門的權重，σ為sigmoid激勵函數，bf為遺忘門的偏置項。

2）使用sigmoid函數對輸入xt做權重計算獲得輸入門的值，使用tanh 函數對輸入xt做權重計算獲得下一時刻需要更新的信息，計算公式如式（2）、（3）所示。

其中，輸入門和單元狀態的權重用Wi和Wc表示，偏置項分別為bi和bc，C?t為中間向量。

3）生成新的單元狀態。這個過程主要分為兩步，第一步為去除舊信息，第二步為使用中間向量添加新信息，計算公式如式（4）所示。

4）計算輸出門的值以及為下一時刻的單元狀態更新做準備，將激活過的ot值與使用tanh 函數壓縮的單元狀態相乘得到最終的結果，計算公式如式（5）、（6）所示。

2.2 CNN模型

卷積神經網絡是深度學習算法中的一種基礎算法，它不對任務進行拆分，直接對損失函數進行優化。卷積神經網絡具有局部感知域、權值共享和多卷積核的特點，局部感知域在很大程度上減少了參數的數量，加速網絡的訓練；權值共享在提高網絡學習效率的同時能夠減輕數據的過擬合程度；多卷積核的存在能夠將不同卷積核得到的特征圖進行拼接來獲取圖像所有的特征信息［11］。

卷積層是卷積神經網絡中完成數據特征提取的關鍵部分。卷積核數量的增多能夠帶來更加豐富的特征，也可能帶來網絡更高的復雜度、更長的網絡收斂時間和過擬合的風險［12］。池化層能夠降低特征信息的維度，保留圖像的有效特征，減少參數和網絡的計算量，有效避免過擬合。

3 CNN-LSTM模型結構

卷積神經網絡與LSTM 網絡的混合模型CNN-LSTM 結 構 如 圖2 所 示。CNN-LSTM 模 型 的第一部分為CNN 卷積神經網絡，用于提取數據的特征，在卷積層后添加池化層防止過擬合和提高運行效率，第一部分包括卷積層和池化層，卷積層采用3×3卷積核，池化層采用3×3平均池化，對于雷達數據，平均池化更能保存數據的特征信息。模型的第二部分是LSTM 網絡，通過輸入CNN 卷積神經網絡提取到的特征來對國際平整度指標進行預測。

圖2 CNN-LSTM模型結構框架

4 實驗與分析

4.1 數據來源及描述

實驗采用的數據集為激光測距雷達采集的10組距離數據，由于在測量過程中不可避免地產生數據缺失的現象，對數據集中進行缺失值處理，在本文中采用K 最近距離鄰法（K-means clustering）對缺失值進行填補，其本質是通過找相似來對數據進行填補［13］，缺失值處理后的數據集總共包含4167條距離數據，對數據集作歸一化處理來提升泛化能力和訓練速度［14］。在數據集中隨機選取500 條數據作為測試集，其余部分作為訓練集使用。

4.2 評價指標

選定評估指標對預測方法的準確度或精度進行評價。本文使用平均絕對百分比誤差（Mean Absolute Percentage Error，MAPE）作為誤差指標，計算公式如式（7）所示。它可以消除序列數據中水平單元和計量單元的影響，準確反映誤差的相對值［15］，其他常用的評價指標在評價時容易受到序列取值范圍的影響，在某些特定條件下不能真正對模型做出評價。

式中，yi為實際值，y?i為預測值，n為值的個數。

在對模型進行實際測試時，還需要考慮模型的準確度和召回率［12］，準確度和召回率的計算公式如式（8）和式（9）所示。

式中，N表示預測類別數，Pi是某類預測類別正確的數量，反之，Ni是某類預測類別錯誤的數量，Wj是被識別錯類別的數量。

4.3 模型參數設置及訓練

搭建模型的整體框架，對模型參數進行配置，進行訓練和測試。在配置參數時，初始學習率為0.001，隨著迭代次數的增加，學習率逐漸減小5%，損失函數使用MSE 函數，批處理數量為400，迭代次數為10000，使用Adam 優化算法，在網絡各層之間設置dropout層，神經元失活比例為0.4，避免了訓練過程中過多的參數量和模型過擬合的問題［13］。在本文中，路面平整度一共分為五級，等級由國際平整度指標IRI表示。

4.4 結果分析

本節首先驗證CNN-LSTM 模型的有效性，然后將CNN-LSTM 模型與LSTM 模型的預測結果進行對比分析。訓練后得到的模型損失值如圖3 所示。由于在實際訓練時，模型收斂速度較快，所以圖中只顯示前500 次迭代數據。由圖可知，在經過30 次左右迭代后，模型開始收斂，到100 次左右迭代時，模型已經完全收斂，說明該模型在預測路面平整度時有效。

圖3 CNN-LSTM模型損失值圖

在對準確率和召回率進行測試時，本文使用了混淆矩陣進行表示，結果如圖4 所示，圖中的橫縱坐標分別代表路面原等級和預測路面等級，從圖中可以得到，預測模型的準確率為90.61%，召回率為87.89%，滿足路面平整度的預測需求。

圖4 CNN-LSTM模型預測混淆矩陣圖

表1 對比了LSTM 網絡、CNN-LSTM 網絡的精度，從表格可以看到，CNN-LSTM 網絡的平均絕對百分比誤差為0.3488，小于LSTM 模型，說明CNN-LSTM 網絡對路面國際平整度指標具有更好的預測能力。

表1 模型預測結果評價指標對比

在觀察模型對于路面國際平整度指標的預測結果時，分別選取了50個樣本數據和500個樣本數據來對真實值和預測值進行對比，將LSTM 網絡和CNN-LSTM網絡的預測結果進行對比。LSTM網絡的預測結果如圖5 所示，CNN-LSTM 網絡的預測結果如圖6 所示。從圖中可以觀察到，CNN-LSTM 模型對于平整度指標的預測的準確度更高，預測結果的曲線圖更加平滑，預測值和真實值的擬合程度更高，說明對于路面平整度指標來說，CNN-LSTM 網絡具有更好的預測效果，能夠更加充分地考慮數據之間的相關性。

圖5 LSTM模型預測結果圖

圖6 LSTM模型預測結果圖

5 結語

國際平整度的預測對路面質量的評級具有較大的意義，能夠為公路養護部門提供智能化決策方向。本文使用激光雷達采集的距離數據，將卷積神經網絡與長短時記憶網絡相結合，完成了對國際平整度指標的預測，卷積神經網絡提取數據的空間維度特征，LSTM網絡提取數據的時間維度特征，通過對比LSTM 模型與本文提出的CNN-LSTM 模型，證明了CNN-LSTM 模型的有效性和較好的預測結果。