基于深度學習的橋梁車輛荷載監測技術研究

聶華偉 應江虹 鄧捷

收稿日期：2023-11-13

作者簡介：聶華偉（1984—），男，博士，教授，研究方向：科研管理、智能制造。

基金項目：貴州省科技計劃項目“基于人工智能的在役中小跨徑混凝土橋梁健康監測與預警系統研究”（黔科合基礎[2020]1Y280）；貴州省科技計劃項目“貴州省山區橋梁智能檢測與維護科技創新人才團隊建設”（黔科合平臺人才-CXTD[2021]008）。

摘要 為輕量化、低成本地獲得橋梁車輛荷載，文章提出了基于深度學習的橋梁車輛荷載監測技術。通過Faster R-CNN對視頻數據進行檢測和圖像處理，獲取橋上通行車輛參數，包括車輛類型、車軸數等。同時，利用Deep Sort多目標跟蹤算法，獲取通行車輛的速度。結合車輛檢測參數和橋梁結構響應信號，建立FED former模型的車輛軸重和車重識別模型。采用分類評價指標AUC對車輛和軸數檢測進行評價，采用回歸評價指標對軸重和車重進行評價，試驗結果表明該方法具有較好的精度。

關鍵詞 橋梁結構監測；車輛荷載；深度學習

中圖分類號 U446.3文獻標識碼 A文章編號 2096-8949（2024）01-0023-03

0 引言

橋梁結構監測是保障橋梁安全運營的重要手段，《公路橋梁結構監測技術規范》（JT/T 1037—2022）中規定了運行環境、荷載作用、結構響應和結構變化等橋梁結構健康狀態監測指標。目前采用靜態稱重和動態稱重獲取車輛荷載[1]。靜態稱重系統存在需要車輛低速通過和專門稱重站等缺點；動態稱重通過埋設在路面的稱重傳感器實現車輛的軸重、軸距、軸數等信息獲取，存在壽命短、穩定性差、造價昂貴等缺點[2]。

隨著深度學習技術的發展，學者采用監控攝像頭的數據，利用CNN算法對車輛進行識別，獲取行進路徑、速度及軸數等屬性。Zhang等人采用Mask R-CNN和SORT相結合，實現對車輛類型和車軸數的獲取[3]；Zhu等人使用深度卷積神經網絡獲取車輛類型[4]。上述研究主要在于獲取車輛的類型和車輛位置分布，對車輛軸重獲取研究較少。因此，該文提出一種基于深度學習的橋梁車輛荷載監測方法，該方法通過圖像識別技術和跟蹤技術實現對速度、軸數以及車輛位置的識別，并利用結構監測傳感器數據與上述數據相結合，對車輛荷載進行推算。該方法實現橋梁健康監測稱重系統的輕量化，深度挖掘分析車輛荷載和結構響應的關系：通過車輛荷載與結構響應關系是否異常判定橋梁健康狀態，同時產生預警，并利用鄰近橋梁開展比較驗證；及時發現超載車輛，并產生預警，便于橋梁運行安全管理；利用結構響應程度與車輛荷載的關系推算輪胎重量的作用點；通過車輛荷載下的結構響應形成擬合關系進行軸重推算。輕量化的監測手段和監測數據的深度挖掘為橋梁健康監測的推廣奠定基礎。

1 車輛荷載監測方案

利用深度學習技術獲取車輛荷載數據技術方案由以下3個部分構成。

1.1 車輛檢測

利用安裝在橋梁上的雙目攝像頭，采集橋梁通過車輛視頻數據，通過深度學習檢測車輛的軸數等信息。

1.2 車速識別

通過深度學習獲得的參數，從視頻數據中識別車輛的通過速度和軸距。

1.3 軸重推算

通過深度學習，獲取結構響應與位置分布、車輛類型、車速、軸重的特征關系，實現對軸重和車重的推算。

2 車輛檢測和識別模型原理

2.1 車輛檢測

在軸數、軸距及輪距檢測方面，都是采用基于深度學習的目標檢測算法，從視頻的每一幀提取對應的特征值并進行分類，在該文的研究中，采用了Faster R-CNN模型進行車輛檢測獲取車輛類型、軸數、軸距和輪距[5]。Faster R-CNN算法流程分為3個步驟：

（1）將圖像輸入網絡得到相應的特征圖。

（2）使用RPN結構生成候選框，獲得相應的特征矩陣。

（3）將每個特征矩陣縮放到特征圖，通過全連接層得到結果。

2.2 車速識別

車輛速度獲取，需要采用車輛跟蹤模型來實現[6]，其具體的過程由以下4個步驟構成：

（1）獲取車輛的車身形狀和車軸的輪廓。

（2）通過虛擬坐標判定車身和車軸所屬的車道。

（3）利用Deep Sort目標跟蹤算法跟蹤車身的運動方向。

（4）跟蹤車軸計算正確的速度。

該模型的優勢在于采用了車軸的運動來計算速度，從而提高識別精度。由于存在數據丟失的現象，需要構建一種能夠檢測數據丟失狀態下的速度檢測算法，利用車軸的預測位置和實際位置的方差最小化，來判定速度的取值。

3 軸重推算模型原理

3.1 時間配準方法

在視頻采集設備和橋梁結構監測傳感器之間，由于采樣起始時間、采樣頻率、傳輸延遲的不同，導致傳感器數據間的時間不同步[7]，從而使后續的數據融合性能變差，該文通過卡爾曼濾波實現多傳感器時間配準。流程的執行過程如下：

（1）確定系統的狀態轉移矩陣與量測矩陣。

（2）確定協方差矩陣初值與狀態量初值。

（3）更新卡爾曼增益。

（4）態估計值。

（5）更新協方差矩陣。

（6）根據狀態轉移矩陣，遞推狀態方程，預測下一周期狀態量。

（7）根據狀態轉移矩陣，遞推協方差矩陣，預測下一周期協方差矩陣。

卡爾曼濾波包含兩個步驟：預測和更新，分別通過狀態更新方程和測量更新方程來實現，由五大核心公式構成，公式如下：

（1）狀態更新方程：

（1）

（2）

（3）

（2）測量更新方程

（4）

（5）

式中，FK——狀態轉移矩陣；BK——狀態的控制矩陣；uK——模型的修正向量；QK——過程噪聲；PK——協方差矩陣；PK′——經過修正的協方差矩陣；——經過量測方程修正的狀態量估計值；K——卡爾曼增益；ZK——觀測量；HK——量測矩陣；RK——量測噪聲陣。

3.2 時序預測模型

軸重推算是通過深度學習神經網絡自學習能力，獲取軸數、軸距、車速、輪距與橋梁結構響應之間的關聯，建立起對應的特征關系。荷載數據和響應數據屬于時間序列數據，因此采用時間序列預測模型來進行推算，雖然長期時間序列預測的通用模型RNN在工程應用中已經很成熟，但仍存在梯度消失和梯度爆炸的問題。該文采用頻率增強分解變壓器（FED former），該模型不僅具有最先進的性能，而且具有線性計算復雜度和存儲成本[8]，FED former算法流程圖，如圖1所示。

4 實例驗證

4.1 評價指標

車輛檢測和軸數檢測采用分類的評價指標，該文采用ROC曲線下與坐標軸圍成的面積（Area Under Curve，AUC）進行評價，如式（6）所示。

（6）

式中，M——正樣本數；N——負樣本數；——正樣本的序號之和。

車輛軸重采用回歸的評價指標進行評價，采用的平均絕對誤差（Mean Absolute Error，MAE），均方根誤差（Root Mean Square Error，RMSE）和決定系數（R2），分別如式（7）（8）（9）所示。

（7）

（8）

（9）

式中，yi——實際值；——預測值；——實際值平均值。

4.2 數據來源

該文驗證數據采用的是西部地區一座混凝土梁橋的監測數據，該橋的監測內容如表1所示，健康監測點總體布置圖如圖2所示。該文采用的數據源是2023年10月9日—10月22日采集的監測數據，通過車輛檢測分析技術對獲取的視頻數據進行處理，得到89 571輛通過車輛的數據。

4.3 驗證評價

采用交叉驗證法進行模型評估，將訓練數據的20%作為測試數據，利用80%數據進行訓練以獲取精度最佳的模型，將獲得的模型用測試數據進行評估驗證。統計結果得到，車輛檢測精度AUC為0.95。在軸數檢測中得到，車輛軸數檢測精度AUC為0.93。在速度監測中得到，檢測值和真實值的平均絕對誤差（MAE）為0.072、均方根誤差（RMSE）為0.146、決定系數（R2）為0.985。在車重的推算中得到，推算值和真實值的平均絕對誤差（MAE）為0.067、均方根誤差（RMSE）為0.153、決定系數（R2）為0.988。

5 結論

該文提出了一種基于深度學習的橋梁車輛荷載監測技術，該技術獲取橋梁健康監測需要的速度、軸數、軸重和輪距等數據，與檢測的結構響應數據進行深度挖掘分析，獲取有效的車輛荷載數據。該方法具有以下優點：

（1）采用Faster R-CNN和Deep Sort相結合，用于識別車輛類型和軸數、軸距和輪距，跟蹤車輛輪胎并識別車輛軌跡，獲得車輛輪胎的時空位置，計算出速度。

（2）采用FED former模型進行長期時間序列數據預測，解決了梯度爆炸和梯度消失的問題，利用車輛監測數據與結構響應數據作為輸入，將車重和軸重作為輸出，通過預測模型自主獲取車載與響應之間的關系，得到車重和軸重的推算模型。

參考文獻

[1]耿少波， 石雪飛， 阮欣. 基于橋梁結構的動態稱重系統算法研究[J]. 石家莊鐵道大學學報（自然科學版）， 2011（4）： 40-44.

[2] Jacob B， Feypell-de La Beaumelle V. Improving truck safety： Potential of weigh-in-motiontechnology[J]. IATSS research， 2010（1）： 9-15.

[3] Zhang B， Zhou L， Zhang J. A methodology for obtaining spatiotemporal information of the vehicles on bridges based on computer vision[J]. Computer‐Aided Civil and Infrastructure Engineering， 2019（6）： 471-487.

[4] Zhu J， Li X， Zhang C， et al. An accurate approach for obtaining spatiotemporal information of vehicle loads on bridges based on 3D bounding box reconstruction with computer vision[J]. Measurement， 2021（2）： 109657.

[5]張昭， 姚國愉， 李雪純， 等. 基于改進faster R-CNN算法的小目標車輛檢測[J]. 科技創新與應用， 2021（4）： 28-32.

[6]趙建光， 范晶晶， 韓澤山. 基于改進YOLOv5與Deep SORT的行人多目標跟蹤算法研究[J]. 長江信息通信， 2023（6）： 29-31+36.

[7]陳靜， 王虹， 袁冠杰， 等. 基于卡爾曼濾波的多傳感器時間配準方法[J]. 微波學報， 2021（S1）： 237-240.

[8]孫亦皓， 劉浩， 胡天宇， 等. 基于時空關聯特征與GCN-FEDformer的風速短期預測方法[J/OL]. 2023-08-18/2023-12-26.