基于多傳感器融合的隧道智能巡檢系統

朱鵬浩， 張世義， 李軍

(1.重慶交通大學機電與車輛工程學院， 重慶 400074； 2.重慶交通大學航運與船舶工程學院， 重慶 400074)

近年來隨著隧道建設技術的不斷突破，中國已成為世界上隧道數量最多、建設發展速度最快、規模長度最大的國家。截至2020年底， 中國公路隧道數量已達21 316座、總長可達2 199.9萬延米，特長隧道1 394座、623.55萬延米，長隧道5 541座、963.32萬延米[1]。無論是已建或在建公路隧道都呈現出填埋深度大、隧道斷面廣、隧道規模長等特點;如四川錦屏山隧道最大埋深可達2 375 m、陜西秦嶺終南山隧道長度可達18.02 km，最大填埋深度1 640 m，在建的新疆天山勝利隧道長度可達22.035 km、重慶城開隧道最大填埋深度為1 337 m[2]。由于公路隧道特殊的結構特點，一旦隧道內部發生火災、水災等險情時，災險規模將會迅速擴大，若隧道內行駛人員不能及時撤離，不僅將嚴重威脅其內部人員的生命財產安全，而且極大可能造成二次災險事故。如晉城巖后隧道“3.1”特大事故[3]、鄭州快速路京廣隧道事故等。大規模公路隧道的緊急救援是中國公路安全可持續發展戰略的重中之重。

當前，運用多傳感器數據檢測技術及基于深度學習的智能圖像識別技術對隧道內環境實時監測已成為主流研究方向，如鄧實強等[4]利用Vibe算法模型檢測圖像的火焰運動區域，然后在YUV(Luminance，Chrominance，Chroma)色彩空間中提取出疑似煙霧區域，最后利用提取的顏色矩、均勻局部二進制模式(uniform local binary patterns，ULBP)和灰度共生矩陣(gray-level co-occurrence matrix，GLCM)特征，通過BP神經網絡分類器算法識別火災煙霧。王偉峰等[5]在光照分布不均勻的情況下，將采集的火焰圖像通過結合改進后的K-means算法與暗通道圖像去霧算法進行去霧處理，采用幀差法與混合高斯模型融合算法提取動態演化的火焰圖像特征，并將提取的體征輸入YOLOv5算法模型中進行火焰識別，但由于受光照強度影響及內部特殊煙霧的影響，不能及時發現火情。Sekkas[6]設計了一種基于多級方案數據融合的火災檢測方法，第一級通過使用D-S證據理論融合各傳感器數據，并賦予每個傳感器數據火災發生概率；第二級結合上級各傳感器數據火災發生概率，添加圖像技術進一步確認。Fogue等[7]提出一種基于大數據及知識推理技術的事故檢測智能報警系統，通過采集車速和安全氣囊狀態等特征確定事故的嚴重程度。Liang[8]提出一種基于物聯網和支持向量機的交通事故檢測方法，利用蟻群算法優化的支持向量機模型對物聯網平臺上的數據進行分析，從而有效的檢測交通事故。Chaturvedi[9]提出一種基于全球移動通信系統(global system for mobile communications，GSM)和全球定位系統(global positioning system，GPS)的車輛事故自動檢測報警系統，通過振動傳感器及微機電系統(microe-lectro mechanical systems，MEMS)傳感器檢測車輛行駛狀態信息，從而判斷是否發生交通事故，并利用GSM發送報警信號。

因上述研究內容主要針對隧道內某一特定災險檢測，各災險檢測系統相對獨立、融合性不強、誤報率高且報警不及時等問題，極易造成二次交通事故。因此，現提出一種基于多傳感器融合的隧道智能巡檢系統，該系統將基于粒子群優化前饋神經網絡(particle swarm optimization，back propagation， PSO-BP)的多傳感器融合火災檢測技術及幀差法交通事故圖像識別技術集成在隧道掛軌運行的智能巡檢小車上，以解決隧道災險信息獲取不及時等問題。通過巡檢小車在隧道內的循環運動，實時對隧道內的環境進行檢測，可及時察覺隧道內火災及交通事故等異常情況，為隧道災險處理及預防二次事故的發生提供及時有效的技術支持。

1 系統總體設計

隧道智能巡檢系統框架如圖1所示，主要由主控模塊、在軌運行模塊、環境感知與模擬數字轉換模塊、通信及信息處理模塊及災險報警模塊構成。其中，在軌運行模塊負責使巡檢系統在隧道上方循

環移動，并利用其環境感知模塊對隧道內的信息進行采集，通過信息處理模塊對接收的信息進行處理后，由通信模塊將數據傳遞給主控模塊實現對隧道內情況的識別判斷，及時通過災險報警模塊將隧道內發生的災險信息傳遞給相關人員。因針對公路交通隧道，為避免系統運行過程中影響隧道內行車安全，特在隧道頂部設置系統運行軌道。

1.1 火災數據采集

因火災早期多表現為煙霧較多的暗燃狀態，為及時檢測到隧道內早期火災險情，故對隧道內煙霧及有害氣體的檢測選用性能優良的MQ-2煙霧及MQ-7一氧化碳(CO)傳感器。該類傳感器在與煙霧接觸后，隨著煙霧濃度升高，使半導體表面的氧負離子數量變少，導電率將會變大，輸出電阻變小，從而導致輸出的模擬信號變大。其檢測濃度范圍在125～12 500 mg/m3，具有較高的靈敏性和長期的穩定性等特點，原理圖如圖2所示。

對隧道內火災的明火檢測利用火焰本身向外發射特定波長范圍的光線這一特征，通過運用五路器的探測范圍較窄，采用此傳感器可以將探測范圍提升到120°以上，能夠有效地檢測到波段范圍為700～1 100 nm的短波近紅外光線，其原理圖如圖3所示。

1～6為引腳標號圖2 煙霧傳感器原理圖Fig.2 Schematic diagram of smoke sensor

VRI為可變電阻1；DO為數字量輸出；AO為模擬量輸出圖3 近紅外火焰傳感器原理圖Fig.3 Schematic diagram of the near-infrared flame sensor

1.2 交通事故數據采集

對隧道內車輛狀態信息的采集，采用搭載在云臺上的無線遠程攝像頭(圖4)。利用巡檢機器人移動實時對隧道內的車輛行駛狀態進行監控，并將視頻圖像通過通信系統傳遞給圖像處理識別模塊，實現對隧道內交通事故的識別報警。

圖4 云臺及無線遠程攝像頭Fig.4 PTZ and wireless remote camera

1.3 隧道巡檢模塊

為實現巡檢過程不影響隧道內車輛正常行駛，通過在隧道上方搭設軌道，并設計將小車運動機構倒置，使巡檢小車倒掛在軌道上，實現小車在隧道頂部靈活移動，從而實時準確地采集隧道內的環境信息，巡檢小車樣機如圖5所示。巡檢模塊主要包括日常在軌巡視、異常檢測定位及遠程救援指導三大功能。其中，日常在軌巡視功能主要實現使巡檢小車自動在軌道上循環往復運行，使其搭載的信息采集模塊可以有效地采集隧道內的環境信息。異常檢測定位功能主要實現通過信息采集模塊及災險檢測模塊迅速確定災險發生位置，并將巡檢小車?？吭诤线m信息采集位置，發送災險位置信息。遠程救援指導功能主要實現將災險現場圖像及CO、煙霧濃度等實時信息傳遞給救援指揮部，使救援人員可以指定合適的救援計劃，快速有效地完成救援任務。

圖5 巡檢機器人Fig.5 Inspection robot

2 算法設計

2.1 火災檢測的融合算法

隧道火災的及時有效檢測報警對事故后續救援工作的開展具有重要意義。將火焰、煙霧及CO傳感器節點采集的信息數據濾波去噪后進行歸一化處理，并作為輸入層數據輸入到BP神經網絡中，通過對火災檢測數據進行特征提取識別[10]，從而及時精準地判斷隧道內是否發生火災。該神經網絡由隱含神經元層、輸入神經元層及輸出神經元層3層網絡構成[11]，其結構原理圖如圖6所示。

2.1.1 BP神經網絡融合算法

(1)輸入層。圖5中CO傳感器、火焰傳感器及煙霧傳感器所采集的數據作為輸入參數輸入到網絡模型中，因此，BP神經網絡的輸入層為3個神經元。為提高模型的識別效率及精度，需將所采集數據進行濾波去噪和歸一化處理[12]，即

(1)

式(1)中：Xi為CO、煙霧及火焰傳感器所采集的第i位數據；Yi為第i位數據歸一化的值；Xmax、Xmin為所采集數據的最大和最小輸入值。

圖6 BP神經網絡結構原理圖Fig.6 Schematic diagram of BP neural network structure

(2)輸出層?；馂臋z測模型的輸出參數為明火概率、暗燃概率及無火概率，故輸出層神經元個數為3個，用于確定隧道內是否發生火災。在模型正向傳播的過程中，輸出層第j個輸入節點的輸出zj計算公式為

(2)

式(2)中：ωjo、ωjb為隱含層和輸出層、隱含層和輸入層之間的權值；φjb、φjo為隱含層和輸入層、隱含層和輸出層之間的閾值[13]；xj為第j個特征，j取值為1～3。

(3)隱含層。隱含層神經元的設計對整個模型的性能起著至關重要的作用，通過各神經元的權值在訓練樣本中精準確定輸入與輸出之間的潛在規則。本文隱含層的傳遞函數采用Sigmoid函數[14]，其神經元個數一般根據經驗公式確定大致范圍，再通過試測法確定具體數值。其經驗公式為

(3)

式(3)中：n為隱含層神經元個數；a、b為輸入和輸出層神經元個數；c為[0，10]的整數。則n的取值范圍為[3，13]，結合模型的測試結果確定隱含層神經元個數為8[15]。

(4)權值和閾值。在輸出層通過將模型的期望輸出和實際輸出作差，計算得到各節點的輸出誤差，隨后通過梯度下降的方法將輸出誤差反向傳遞調節閾值和權值[16]。其平均絕對誤差Em計算公式如式(4)所示。利用梯度下降的方法反向傳播對權值和閾值進行調整，其調整公式如式(5)所示。

(4)

式(4)中：tmj、zmj分別為第j節點的期望輸出、實際輸出。

(5)

式(5)中：μ為BP神經網絡的學習率，當誤差滿足設定要求時，訓練模型停止對閾值和權值進行更新。

2.1.2 粒子群優化算法

隨機設定的BP神經網絡的初始權值和閾值，容易使網絡模型陷入局部最優解，從而影響模型的檢測精度。因此利用PSO(particle swarm optimization)算法對BP神經網絡的權值和閾值進行粒子尋優賦值，可以消除隨機閾值和權值對模型帶來的缺陷[16]。其PSO-BP優化算法步驟如下，其流程圖如圖7所示。

(1)將BP神經網絡及PSO優化算法的參數進行初始化。設定PSO算法的學習因子、最大迭代次數及種群規模等。確定BP神經網絡權值和閾值與粒子群算法中粒子維數的關系，設定粒子群解碼方案。

(2)當實際輸出與期望輸出近似相等時，算法模型達到最優。則適應度函數為網絡的實際輸出與期望輸出均方誤差的平方和[17]，計算適應度F(x)，其公式為

(6)

式(6)中：tmj、zmj分別為第j節點的期望輸出、實際輸出。

(3)利用適應度函數將粒子與上個適應度相比較，更新個體和全局極值。并根據粒子群算法的設計更新粒子位置和速度。

(4)當PSO算法達到初始設定最大迭代次數或誤差小于設定誤差時，將最優解賦值給BP神經網絡的權值和閾值[18-19]。如未達到，返回第(2)步。

圖7 PSO-BP優化算法流程圖Fig.7 Flow chart of PSO-BP optimization algorithm

(5)根據PSO算法優化的權值和閾值，利用數據集訓練火災檢測模型，從而準確檢測隧道內火災情況。

2.2 交通事故檢測算法

采用圖像分類與目標檢測算法相結合的方法，以縮短交通事故檢測推理時間，提高檢測效率。首先用圖像分類模型判斷所采集圖像中是否包含行駛車輛，再利用目標檢測模型對篩選出的圖像進行事故檢測與定位。其算法流程圖如圖8所示。

當隧道內車流量較小時，視頻圖像中會有較多沒有車輛的空白區域。如果將這些空白圖像輸入目標檢測模型中，將會嚴重影響模型的識別效率，且圖像分類模型的推理時間遠小于目標檢測模型的推理時間，因此，在將圖像輸入到目標檢測模型前，先通過Resnet50[20]圖像分類模型對視頻圖片進行篩選，再將含有車輛的圖像輸入到目標檢測模型中進行事故甄別，這樣可以極大地提高檢測系統整體效率，對隧道內的交通事故及時報警處理。

ResNet50作為由多個殘差塊構建而成的殘差卷積神經網絡，其重要的殘差塊結構如圖9所示。圖9中F(X)為將X輸入權重層后的實際輸出，通過跳轉將X連接到權重層輸出結果F(X)中，使卷積層的輸出轉換為F(X)+X。通過跳轉連接X，使網絡進行反向傳播時，緩解網絡層加深所導致的梯度消失問題，實現對目標車輛圖像及無車輛圖像的準確有效區分。通過將ResNet50神經網絡模型篩選得到的待檢測視頻圖像輸入基于幀差法及模式匹配算法的事故檢測模型中。首先利用幀差法將待檢測視頻圖像進行預處理，獲取理想背景圖片，通過將視頻圖像中當前檢測圖像與背景圖像進行差分運算，求得差分圖像[21]。

圖8 交通事故檢測流程圖Fig.8 Flow chart of traffic accident detection

圖9 殘差塊結構Fig.9 Residual block structure

差分圖像各坐標灰度值的運算公式為

Dt(x，y)=|It(x，y)-Bt(x，y)|

(7)

式(7)中：B(x，y)為背景圖像灰度值；I(x，y)為當前圖像的灰度值。

其檢測模型灰度閾值α計算公式為

(8)

式(8)中：Ai為交通事故現場圖像灰度值集合；s為交通事故現場圖像面積；n為環境干擾因素；t為車禍事件。

通過將當前檢測幀圖像的灰度值與設定閾值進行對比。如果小于設定的閾值，則說明當前幀圖像中檢測車輛在運動，當大于等于閾值時，則表示檢測車輛當前是靜止狀態，判斷發生事故。

3 樣機及實驗仿真分析

為驗證該系統的可靠性，根據隧道結構建立了一套隧道測試模型及檢測樣機(圖10)，其測試模型截面結構圖如圖11所示。搭載檢測系統的巡檢機器人通過隧道頂部軌道往返運動，從而實現對隧道內異常情況的檢測。

通過對隧道火災明火、暗燃及無火情況的模擬與實驗，共收集傳感器樣本數據500組，選取70%為訓練數據，15%為測試數據，15%為驗證數據。歸一化后的部分數據如表1所示。將PSO-BP神經網絡火災檢測模型進行MATLAB實驗仿真，設定目標誤差為0.01，最大迭代次數1 000，學習率為0.01。將歸一化后樣本數據輸入到模型中，對BP神經網絡模型與改進后的PSO-BP神經網絡火災檢測模型訓練結果的均方誤差對比。其均方誤差曲線對比如圖12所示。

圖10 隧道測試模型圖Fig.10 Tunnel test model diagram

圖11 測試模型截面結構圖Fig.11 Cross-sectional structure diagram of the test model

表1 部分樣本數據Table 1 Part of sample data

根據兩類神經網絡均方誤差圖(圖2)對比分析得出，BP神經網絡在迭代24次左右時均方誤差不再降低，所能達到的最小均方誤差為0.027。PSO-BP神經網絡在迭代8次時均方誤差不再降低，所達到的最小均方誤差為0.019，其收斂速度和檢測效果均優于BP神經網絡模型。

通過對PSO-BP神經網絡火災檢測模型仿真驗證后，為進一步證明該系統在實際應用中的可靠性，特設計火災模擬實驗。經10次火災模擬測試，對比單類傳感器對早期火災誤報或漏報的情況，該系統均精準檢測到隧道內火災險情，并及時通過通信系統進行報警(圖13)。

圖12 神經網絡均方誤差對比Fig.12 Neural network mean square error comparison

事故檢測模型的驗證通過從UA-DETRAC數據集中選取100個視頻片段，另外收集400張隧道內火災圖像數據，組成共計500張隧道交通事故數據集。使用編程語言python，在PyCharm上完成神經網絡模型程序的編寫搭建，并進行測試實驗。根據檢測任務要求，本文選擇識別精度和每秒傳輸幀數(frame per second，FPS)作為模型的評價指標，其檢測結果為：交通事故檢測系統的檢測精度可達92%，并且FPS可以達到112。證明事故檢測網絡能夠實時有效的檢測隧道內交通事故火災，可以實現對隧道內的事故進行及時報警定位，避免二次事故的發生。

為驗證該系統在實際隧道環境中的運行可靠性，在某未通車隧道進行實驗測試，自動巡檢小車倒掛在隧道頂部軌道上運行，其自身重量增加了小車輪胎的摩擦力，使其在軌道上往復運動更加可靠，搭載的環境感知等模塊均可正常運作，自動巡檢功能配合隧道固定環境感知模塊可以及時有效地對隧道內事故進行自主檢測，其實際隧道環境車輛火災事故檢測結果如圖14所示。從圖14可知，在實際場景中該系統可以準確的識別車輛火災事故，與其他檢測模型相比，不存在將車輛本身的燈光識別為火災，其誤檢率得到的大幅度的降低。

圖13 隧道火災模擬實驗Fig.13 Tunnel fire simulation experiment

圖14 車輛火災事故檢測結果Fig.14 Vehicle fire accident detection results

4 結論

為解決當前交通隧道內各災險檢測系統相對獨立、融合性不強及災險報警處理不及時容易造成二次交通事故等問題，設計了一種基于多傳感器融合的隧道智能巡檢系統。該系統利用設計的多傳感器信息融合火災檢測模塊及幀差法交通事故圖像識別模塊對隧道內的火災及交通事故進行檢測，得出以下結論。

(1)通過將火災檢測及事故檢測模塊集成在同一個系統中，降低了隧道安全檢測復雜度及前后期調試和維護成本。

(2)將火焰傳感器及CO、煙霧傳感器信息融合，提高了隧道內火災檢測的精度，尤其對隧道內早期暗燃火災的識別準確率可達93%，能夠及時進行報警，為火災的及時救援提供強大的技術支持。

(3)通過卷積神經網絡及幀差法圖像處理識別技術對隧道內交通事故進行檢測，其交通事故識別精度可達92%，FPS可達112，能夠及時有效地對隧道內的事故進行檢測預警，避免隧道內二次交通事故的發生，極大的降低人員和財產損失。