基于網絡攝像機的橋梁撓度非接觸識別

朱前坤，崔德鵬，杜永峰

(1. 蘭州理工大學防震減災研究所，甘肅，蘭州 730050；2. 蘭州理工大學甘肅省減震隔震國際合作研究基地，甘肅，蘭州 730050)

在近20 年來，結構健康檢測已經成為土木工程領域熱門的研究方向，在研究和實踐中獲得了高度關注[1-2]。橋梁撓度是結構健康監測的重要內容之一，其反應了橋梁的受力和安全狀態[3]。目前，橋梁撓度識別大致分為兩類：一類為接觸式測量系統；另一類為非接觸式測量系統[3]。隨著計算機技術及計算機視覺的快速發展，新興的計算機視覺測量技術因其非接觸、遠距離和低成本的巨大優勢而受到國內外廣大研究人員的關注。Khuc 等[4]基于常規攝像機和計算機視覺技術新開發的完全非接觸式結構健康監測系統框架，通過利用成像關鍵點作為虛擬目標和使用改進的檢測和匹配關鍵點算法來獲取結構的撓度和振動。Shrestha 等[5]研究開發了一種基于智能設備的橋梁撓度監測系統，通過圖像傳感器捕獲圖像，經實時處理以獲得橋梁的特征響應撓度。Hoskere 等[6]以無人機作為拍攝設備，提出一種新的基于視覺的數據提取通道，通過分治策略以無人機一次勘測結構的一部分獲得結構振動的視頻，從而得到全尺寸結構的模態特性。Artese 等[7]利用數碼相機和激光指示器，通過分析高清視頻中投射在平面目標上的激光束印記的來獲得橋梁任意點的位移。Lydon 等[8]借助改進的運動相機和變焦鏡配合特征匹配算法得到荷載下結構的精度位移變化。

以上研究成果已經推動了計算機視覺在土木鄰域的發展，但計算機視覺在健康監測中的應用效率和可靠性仍然處于落后位置，對發展實時監測的研究還尚不完善。國內外研究實時監測的采集設備主要以工業相機和便攜式相機為主，多數僅做了短期的實時在線監測，過程繁瑣、成本高昂，而網絡攝像機可解決傳統系統的缺點，作為一種普及應用已久的設備，有利于讓監測數據與云端相連，加快結構健康事業的發展和向社會普及結構健康監測。國內外以網絡攝像機作為采集設備的系統研究還尚未有人涉足[9-10]。

橋梁撓度識別的算法隨著計算機的發展而不斷改進，其主要有可以全局搜索的基于數字圖像相關的模板匹配[11]和適用于無人工標志物的特征點匹配[12]，以及適用于高分辨率監測結構全場位移的稀疏光流[13]等?？蓾M足網絡攝像機監測條件的算法以模板匹配和幾何匹配為主，但達到的精度無法進行工程實踐[9,10,14]。

目前常用的模板匹配核心算法是匹配歸一化互相關法(NCC)，通過預先在圖像中截取含有追蹤目標的子圖像，即模板，然后再在序列幀中做全局搜索，尋找每一個可能的位置。另外，土木工程領域的幾何匹配是基于幾何形狀特征的模板完成目標識別和追蹤。幾何匹配的基本原理是對每幀圖像進行邊緣處理或者定位點提取，找出幾何形心，通過對比各幀中幾何形心的位置變化完成追蹤[15]。這兩種傳統算法的不足是計算時間較長，環境適應差，精度低，并不適用于全天候實時計算[10,14]。

針對以上存在的問題，本文建立了一種基于網絡攝像機的橋梁撓度識別系統。系統針對網絡攝像機的特點搭載了兩種識別算法。兩種算法通過改進模板匹配和幾何匹配算法克服了網絡攝像機像素差、易被干擾的缺點，提高了系統監測的魯棒性。系統通過精準安裝識別在橋梁表面可以主動發光的LED 光源實現對目標的跟蹤識別，實時獲取橋梁的撓度時程信息。

1 系統組成

系統由LED 標志物、網絡攝像機、計算機及系統識別算法組成，系統識別算法由通過改進的模板匹配即基于HSV 的快速模板匹配和改進的幾何匹配即基于顏色追蹤的幾何匹配組成，通過在橋梁表面安裝LED 光源作為標志物，利用網絡攝像機實時無線傳輸畫面進入計算機，進而利用系統識別算法獲取分析橋梁撓度時程信息，系統示意圖如圖1 所示。

圖1 系統示意圖Fig. 1 System diagram

1.1 標志物

目前，常見的計算機視覺識別標志物類型有平面板帶規則圖案[16]、平面板帶不規則圖案[17]、自然標志[18]、人工光源等[19-20]，其中人工光源表現出來的抗干擾能力顯著優于其它標志物，適合長期實時監測。故本文采用了主動發光的LED 圓形紅色光源，其具備較長的波長，空氣穿透能力明顯，能消除光線變化帶來的部分影響，配合本文系統識別算法可達到最優的監測效果。

1.2 網絡攝像機

網絡攝像機是集成了音視頻采集、網絡傳輸、移動偵測報警等多功能于一體的數字監控產品，其網絡連接方式有兩種：一種為有線網絡連接，通過網線或交換機與計算機連接；另一種為無線網絡連接，通過無線點對點或無線交換機與計算機連接。為簡化系統，本文采用無線網絡連接的方式。目前，常見的是民用網絡攝像機，像素普遍較低，支持低倍光學變焦和自動對焦，最大可視距離集中在30 m 內，少數可搭載變焦鏡頭。為應對復雜工況，本文系統所用網絡攝像機采用了可搭載高倍變焦鏡頭的網絡攝像機。

1.3 系統識別算法

本文針對網絡攝像機開發了兩種系統識別算法，分別是基于HSV 的快速模板匹配(HSV—色調(Hue)、飽和度(Saturation)、亮度值(Value)和基于顏色追蹤的幾何匹配，配合LED 光源可進行長期實時監測。兩種算法的優勢不同，前者適合遠程識別監測，后者更擅長近距離識別監測，系統可根據實際監測需求選擇合適的算法。

系統為應對室外不可避免的風振和空氣擾流，可通過機械穩定、光學穩定、數字穩定的方式減小影響，其中前兩種為外在可控因素，系統通過數字穩定對采集視頻進行預處理，包括運動估計、濾波平滑以及圖像合成。利用特征點匹配和亞像素互相關技術消除攝像機的隨機抖動帶來的運動噪聲[21]。

1.3.1 基于HSV 的快速模板匹配

系統基于HSV 的快速模板匹配不僅能夠實現快速精準匹配并達到亞像素級，而且對圖像灰度依賴較小，有較強的環境抗干擾能力，其算法流程如圖2 所示，采用基于頻域的相位相關匹配算法，將圖像預處理后在離線閾值顏色表中查出對應HSV 閾值，再進行圖像二值化，分離出追蹤目標。在截取到追蹤目標后定為模板，在頻域里得到模板和序列幀的互功率譜，再對互功率譜做IFFT 變換得到一個狄拉克函數(脈沖函數)，然后尋找該狄拉克函數的峰值坐標，即可得到偏移量[22-23]，主要理論如下：

圖2 基于HSV 的快速模板匹配算法流程Fig. 2 Fast template matching algorithm flow based on HSV

將f(x,y)和g(x,y)分別設定為序列幀和模板的圖像信號，其中g(x,y) 是由f(x,y) 平移得到，平移距離為 (dx,dy)，即：

為將精度提高到亞像素級，還需要做進一步的優化，系統采用相關系數曲線擬合的方式提高計算效率和精度，取出 δ函數峰值區域局部離散相關系數矩陣(通常為 (2m+1)×(2m+1)個離散點的正方形窗口，系統采用 3×3的矩陣)，利用最小二乘法擬合相關曲線逼近真實值[24-25]，如圖3 所示，其原理如下：

圖3 擬合流程Fig. 3 Fitting process

1.3.2 基于顏色追蹤的幾何匹配

本文改進的基于顏色追蹤的幾何匹配，其算法流程如圖4 所示，不僅能夠縮小搜索范圍，實現快速精準識別目標，且對尺度變換、非均勻光照變化、邊緣軟化都不敏感，可以有效應對遮擋，具備一定的抗干擾能力。其采用離線HSV 圖像獲取在不同工況下的目標顏色閾值分割顏色表，將序列幀按梯度信息進行灰度處理，對起始圖像四個邊角各取4 個點計算灰度平均值，在離線閾值分割顏色表中查出對應的HSV 的閾值后將圖像二值化處理。在二值圖像中將目標顏色設定為cvCamShift 追蹤的目標，并通過ROI 畫出目標區域。將識別出的目標區域進行閾值處理、開運算(腐蝕、膨脹)后進行邊緣檢測出需要匹配的形狀，即把檢測出的形狀作為模板匹配序列幀，輸出模板的中心坐標，此時輸出的是整數像素，需與基于HSV 的模板匹配精度優化方式相同，進行曲線擬合、尺度轉換后才可得到物理撓度大小。主要理論[28-29]如下：

圖4 基于顏色追蹤的幾何匹配算法流程Fig. 4 The geometric matching algorithm flow based on color tracing

采用Canny 函數進行對ROI 區域進行邊緣檢測，即：

然后，可以得到濾波圖像后的梯度，即：

式中，U為匹配目標質心A與B距離的最大值。除了考慮距離外，圖形大小、圖像形狀相似度亦是重要指標。

1.4 系統操作步驟

在系統操作過程中，根據實際工程概況選擇合適的監測方式，本文系統根據網絡攝像機的功能和各系統識別算法的優勢將目標監測距離大于30 m 的項目流入通道一，小于30 m 的項目流入通道二。系統利用計算機實時顯示和保存數據，根據各橋梁設計規范和使用要求設定橋梁撓度閾值，一旦監測數據超過閾值會觸發系統報警與網絡攝像機預報警信號，系統操作步驟如圖5所示。

圖5 系統操作步驟Fig. 5 System operation steps

2 模型試驗與數據分析

2.1 試驗設計

試驗所用的模型是一座長10 m，寬1.6 m 的人行橋[30]。試驗器材有激光位移傳感器(HGC1030)、激振器(APS400 電子激振器)、網絡攝像機(JM-W5022Q)、計算機、LED 光源。網絡攝像機的幀率為30 Hz，實際幀率受到網絡傳輸速度的制約，目前采用的是4 G 網，現場實時傳輸速度在每秒5 M 左右，已經滿足需求。網絡攝像機錄制的視頻為 2560×1960像素，由于實驗室距離較近無需配備變焦鏡頭。LED 光源的功率為10 W，直徑為50 mm。人行橋的第一階自振頻率為4.0 Hz，為能夠達到較好的試驗效果，激振器輸入頻率為4.0 Hz，幅值為6VPP。激光位移傳感器的量程為30 mm，精度為0.03 mm，采樣頻率與網絡攝像機同步。整個試驗平臺如圖6 所示。

圖6 試驗平臺Fig. 6 Test platform

整個試驗為了更好的模擬全天候復雜情況，設定在四種工況下進行了模型試驗如表1 所示。圖7 加霧模擬展示了白天加霧以及夜間加霧的工況。

表1 試驗工況Table 1 Test conditions

圖7 加霧模擬Fig. 7 Add the fog simulation

由于在實驗室相機擺放位置與標志物位置處于同一水平線上，無需對相機進行標定。本文兩種算法識別得到的每種工況下的撓度與HGC1030 作對比求出誤差。實驗誤差均以歸一化均方根誤差計算算法來衡量，具體公式如下：

2.2 數據分析

試驗過程計算是在Intel Core i7-10710，CPU1.6 GHz 和內存為16 GB 的計算機上。實時計算撓度的速度不僅與算法、圖像大小有關也與計算機的性能有很大的聯系，試驗采集視頻都經系統預處理過濾。圖8 展示了兩種系統算法二值化后在計算機中呈現的圖像，可有效的過濾背景，實現復雜環境下的橋梁撓度識別。

圖8 系統算法二值圖像Fig. 8 Binary image of system algorithm

基于網絡攝像機的兩種系統識別算法識別結果與HG-C1030 的測量結果在四種不同的工況下形狀、趨勢和峰值點基本一致，由于篇幅有限僅展示了工況1 和工況2 的識別結果，如圖9 所示。通過位移相應計算得到人行橋跨中自振頻率，如圖9 中頻譜分析結果所示。試驗結果對比可以看出，本文提出的兩種非接觸式識別算法在橋梁撓度識別上的精度較高，特別在夜間環境下，處于環境條件較好的情況，主動發光的LED圓形紅色光源提高了標志物的識別度，能讓攝像機機迅速捕捉目標，由此兩種算法在夜間的識別精度最高。當環境加入霧氣干擾后，識別精度有所下降，出現部分峰值不吻合的情況，基于顏色追蹤的幾何匹配，由于算法對顏色敏感，識別顏色的能力較強，受到霧氣的干擾較小，但是兩種算法誤差都未超過0.7%，滿足工程實際要求。

圖9 工況1 與工況2 下的撓度時程和頻譜Fig. 9 Deflection time history and spectrum under working conditions 1 and 2

從圖9 可以得出基于網絡攝像機系統識別算法與HG-C1030 對比的撓度測量誤差，如表2 所示。基于HSV 的快速模板匹配在工況3 下的識別誤差最小僅有0.53%，在工況2 下的識別誤差為0.62%?；陬伾粉櫟膸缀纹ヅ湓诠r3 和工況4 下的識別誤差都小于0.60%，在工況2 下的識別誤差也僅有0.58%。從圖9 可以得出兩種算法的結構自振頻率識別結果與結構一階自振頻率4.00 Hz高度吻合，如表3 所示，識別準確率都可達98%以上。

表2 撓度測量誤差對比Table 2 Deflection measurement error comparison

表3 頻譜分析結果Table 3 Spectrum analysis results

在保證算法精度的前提下，為了評價本文兩種系統識別算法的實時性，與傳統的模板匹配和幾何匹配作對比，表4 展示了本文兩種系統識別算法于其它算法基于同臺計算機的幀間平均匹配時間，可以看出兩種算法匹配速度都優于傳統算法且完全滿足網絡攝像機的實時要求。

表4 平均匹配時間對比Table 4 Mean matching time comparison

3 實橋測試與數據分析

3.1 實橋測試

為驗證基于網絡攝像機的橋梁撓度識別系統在實際情況下的有效性，將其在蘭州市金城公園玻璃人行橋進行了實橋應用，該橋是桅桿式懸索橋，橋面采用鋼-玻璃組合結構，主梁與次梁為國產輕型工字鋼，主次梁之間采用焊接，組成鋼框架，橋面采用透明玻璃鋪設，均為雙層夾膠鋼化玻璃，全長218 m，寬2.4 m。在橋側面跨中位置安裝目標標志物(LED 圓形紅色光源)，距離標志物111.83 m，向下傾斜 12.89°的地方穩固架設了網絡攝像機和橋梁撓度儀(BJQN-V，檢測距離500 m內的精度為±1 mm)如圖10 所示。通過本文系統識別跟蹤標志物的實時動態撓度，實現了對該橋的實時撓度動態監測。

圖10 現場監測Fig. 10 Field monitoring

測試系統算法采用行人隨機行走的方式激勵橋梁振動，使用網絡攝像機像素大小為2560×1960配合騰龍200 mm 的長焦鏡頭進行結構振動視頻的錄制，相機架設在橋梁的邊測，同時也架設了橋梁撓度儀與相機進行同步監測結構振動響應，兩邊幀率設定一致，架設位置空間間隔小，具有較高的匹配度，以此驗證系統兩種算法。

3.2 數據分析

本文系統與BJQN-V 是兩套相互獨立的系統，且現場條件下難以滿足用一個觸發器同時啟動兩套系統，因此測試過程中不好控制橋梁撓度儀與相機獲取數據的同步性，視頻中所獲取數據僅為監測段內的一部分，導致視頻識別得到的振動時程曲線與橋梁撓度儀的時程曲線之間存在一定的差異，由此增加了視覺識別的難度。在現場測試時相機和長焦鏡頭會不可避免的受到環境氣流的干擾，頻譜分析中亦有強風振動和熱浪為代表的噪聲頻率，但考慮到風致相機振動頻率相對橋梁振動頻率較低，兩者頻率并不在同一頻段，且本文算法圖像預處理中已對視頻進行了數字穩定，因此互相干擾的影響已被降低?；诒疚膬煞N系統識別算法對金城公園玻璃橋跨中豎向撓度的監測部分結果(時域曲線、頻譜分析結果)如圖11所示，基于HSV 的快速模板匹配與橋梁撓度儀對比的數據誤差為1.78%，基于顏色追蹤的幾何匹配與橋梁撓度儀對比的數據誤差為1.87%。由于現場環境復雜，具有很多不確定性因素，且監測距離較遠，系統誤差相比于實驗室對比的誤差有了明顯的下滑，但兩種算法的識別結果在時域和頻域上與橋梁撓度儀基本保持一致。由時域曲線圖可以看出在測試時間段內，結構豎向撓度最大幅值在9.43 mm 左右，由頻譜分析結果可得出結構一階頻率為0.50 Hz，二階頻率為1.08 Hz。本文兩種系統識別算法識別的一階頻率與橋梁撓度儀對比誤差都小于0.5%，二階頻率與橋梁撓度儀對比誤差都小于1.7%。由此說明利用本文兩種系統識別算法進行橋梁撓度實時監測具有較高的識別精度，滿足工程實際需求。

圖11 實橋測量結果Fig. 11 Measurement results of real bridge

值得關注的是，不管是本文系統還是BJQN-V都僅對橋梁低階頻率有較高的識別精度，由于環境擾流、風振等因素導致高階頻率在頻譜圖中的幅值較低、能量較小。因此，不能明確高階頻率的階次和大小。這個問題將是未來研究結構健康監測的難點和重點。

4 結論

本文基于網絡攝像機建立了一種橋梁撓度非接觸識別系統，其系統操作簡單，計算機與識別目標、計算機與網絡攝像機之間都無需布線，具有非接觸識別的特點，總結如下：

(1)通過模型試驗和實橋測試驗證了本文系統進行橋梁撓度識別的可行性，識別精度的可靠性，環境干擾的高抗性。在未來的監測過程中，應考慮兩種系統識別算法的特點和監測距離，選擇合適的算法。

(2)系統以LED 光源作為標志物，配合提出的兩種系統識別算法，對圖像進行二值處理，其中基于HSV 的快速模板匹配，引入了HSV 顏色分割LED 光源，基于顏色追蹤的幾何匹配，引入顏色追蹤(cvCamShift)，并對圖像目標區域進行鎖定，縮小搜索范圍，可以有效提高抗噪性和計算實時運算速度，基于HSV 的快速模板匹配最快匹配速度可達70.77 fps，基于顏色追蹤的幾何匹配計算速度為51.49 fps，都滿足網絡攝像機的監測要求。

(3)通過模型試驗和實橋測試得出基于HSV的快速模板匹配在計算速度和遠距離識別方面優于基于顏色追蹤的幾何匹配；而在識別精度和抗噪性能上，基于顏色追蹤的幾何匹配優于基于HSV的快速模板匹配。兩種算法在模型試驗中的識別誤差都小于0.70%，實橋測試下的識別誤差也小于1.90%。