基于計算機視覺人行橋撓度影響線非接觸式識別

朱前坤，陳建邦，張 瓊，杜永峰

(蘭州理工大學防震減災研究所，蘭州730050)

人行橋因其輕質高強及視覺效果優美等特點，常被建造于城市交通網絡和各大景區，保持人行橋的安全運行對避免人、車流相交沖突和維持正常交通具有重要意義。在日常使用和其他外部因素的影響下，橋梁結構不斷發生變化、退化和損傷，損傷識別是結構健康監測的重要組成部分[1?2]及核心技術。

為了全面、充分地評價結構性能，估計結構損傷狀態、結構安全性和預測結構剩余使用壽命，需要對結構的荷載輸入和響應輸出進行監測?；谟绊懢€的損傷檢測方法一經發明便迅速發展[3?6]。周建庭等[7]采用遞推迭代法實測橋梁影響線，通過多工況的靜載試驗，達到實際荷載檢測橋梁的目的。靜載試驗需要長時間中斷交通，測試成本高，且獲取的數據量有限，在實際應用中具有局限性。徐文濤等[8]通過虛擬激勵法計算橋梁在行駛車輛和橋面不平度共同作用下的隨機響應，獲得了橋梁跨中撓度的動態影響線值。通過結構輸入輸出反算得到的影響線實質上是單位荷載下的動力響應，未充分體現影響線準靜態特性，故需對計算影響線進行處理[9]。Ieng[10]提出了影響線識別的最大似然估計方法。Sun 等[11]采用有限元模型修正實測橋梁影響線。Wang 等[12]采用分段多項式擬合實測橋梁影響線進而得到具有準靜態特性的影響線。上述研究使用傳統傳感器進行結構輸入輸出監測，使用傳統傳感器的缺點是封閉交通、安裝時間長和布線工作需要大量勞動力。

集成多學科的優勢，國內外學者研究了各種先進的傳感技術，如用于動態監測的無線傳感器[13]和基于視覺識別技術的全橋梁監測[14]等已被應用于當前的研究和實踐中。在這些技術中，基于視覺的方法越來越受到結構健康監測領域的關注。Tian 等[15]在實驗室對簡支梁進行沖擊試驗，使用相機捕捉人體輸入得到人致沖擊力，使用加速度傳感器收集響應輸出，以此識別橋梁更多模態參數，并對人行天橋進行了沖擊試驗驗證，提取了頻率、振型和比例因子等模態參數。隨后Tian 等[16]通過移動單個相機測量結構的多點位移直接獲得大型結構的結構屬性，提高橋梁結構的測試效率，并從移動沖擊測試數據中識別出更多的結構特性。上述文獻將研究重心集中在結構輸入輸出數據和結構動力特性上，通過相機和傳統傳感器相結合進行。Zaurin 和Catbas[17―18]將視覺識別技術和傳統傳感器(如應變計)結合起來，通過確定的額定荷載提取應變單位影響線，并統計數據異常值檢測識別損傷。Khuc和Catbas[19]集成了計算機視覺和位移傳感器，以獲得位移單元影響面，并提出了一種檢測橋梁損傷的統計方法。上述研究提取了靜態結構特性作為損傷特征，并使用視覺識別技術進行結構輸入估計，使用傳統傳感器進行結構輸出監測，未能克服傳統傳感器的不足。

本文將便攜式相機與無線傳感器相結合，開發了一種完全非接觸式影響線識別系統，克服了使用傳統傳感器的不足。將便攜式相機獲得行人位置信息與無線傳感器測得的行人豎向加速度相結合作為結構輸入。將便攜式相機與視覺識別技術得到的結構位移響應作為結構輸出。根據結構輸入輸出數據反算人行荷載作用下橋梁撓度影響線。然后利用多項式分段擬合初始實測人行橋撓度影響線，進而得到具有準靜態特性的撓度影響線，可為結構工程師準確高效地提供橋梁損傷檢測依據。

1 撓度影響線數學模型

橋梁在正常使用過程中受溫度、濕度及風荷載等可變荷載引起的響應不會發生突變，因此相較于人群荷載，可以忽略短時間內溫度、濕度及風速等變化對人行橋變形的影響。為了計算方便，將橋上人群荷載簡化為對應人體質心處的豎向力，則橋梁受人行荷載引起的位移響應可視為一個豎向力引起的響應。單個行人隨順橋向位置變化所引起測量位置的位移響應可表示為[17]：

式中：d為包含由行人荷載在選定位置引起的響應向量；w為包含與行人移動位移相關的荷載矩陣；u為撓度影響線向量。式(1)可以改寫為：

式中：n為行人沿橋移動步驟的離散系數數量；m為位移響應的測量樣本數量；w(t)為不同時刻單個行人的豎向人行荷載，可用式(3)計算[20?22]：

即可通過已知的荷載輸入和響應輸出求解影響線。從試驗出發，基于行人荷載位置和人行荷載數據結合結構位移響應數據進行影響線識別。

2 撓度影響線視覺提取方法

本文通過對便攜式相機獲取的圖像進行行人檢測跟蹤，并估計出行人的位置，結合無線傳感器確定人行荷載組成結構輸入數據。將視覺測量的橋梁位移響應視為結構輸出數據，利用結構輸入輸出數據反算撓度影響線，流程圖如圖1所示。下面分別介紹了基于視覺的行人位置估計方法和基于視覺的結構位移測量方法。

圖1 計算撓度影響線流程圖Fig.1 Flow chart for calculating deflection influence line

2.1 基于計算機視覺的行人位置估計

2.1.1一般步驟

采用視覺方法估計行人位置可分為4個步驟，如圖2所示。首先，對相機進行標定，校正由魚眼鏡頭引起的徑向畸變。然后利用添加遮擋模型改進的YOLOv3算法[24]檢測行人并確定行人數目，給出被檢測行人的識別結果，并將其作為跟蹤目標。隨后通過視覺跟蹤算法來跟蹤檢測到的行人，將行人檢測框中心點視為行人位置，并估計視頻每一幀中的行人位置。最后，將圖像坐標系中的行人位置轉換到真實坐標系，實現對橋上行人位置的估計。

圖2 行人位置估計一般步驟Fig.2 General steps of pedestrian position estimation

2.1.2相機標定

一個點從世界坐標系轉換到像素坐標系的過程可以用式(5)表示[25]：

2.1.3行人檢測

YOLOv3采用特征融合以及多尺度檢測的方法，使得目標的檢測精度和速度得到有效提升[24]，其可分為4個步驟。首先通過訓練好的模型將圖像劃分為若干個單元格，預測候選框及其相對位置、置信度以及所屬類別的后驗概率P。然后映射變換預測的相對位置以及置信度，得到檢測框。隨后通過設定閾值T，如果檢測框的置信度大于閾值T，則保留該檢測框。最后對每個類別分別進行非極大值抑制處理，去除冗余窗口，輸出留下的檢測框的類別、位置、置信度。

在行人檢測中，行人與結構、行人之間很容易出現遮擋情況，從而影響了行人檢測系統的精度。行人周邊相互遮擋的目標會影響預測框的位置，從而導致最終的預測框偏離真實目標，被環境部分遮擋的行人也很容易造成漏檢情況的發生，最終導致行人檢測系統性能的下降。為了能夠準確預測在遮擋情況發生時預測框的位置，使用CityPersons訓練集[27]中包含行人遮擋相互及被環境遮擋的2975張圖片作為整個試驗的訓練集，按照7∶3的比例，使用自建的1275張圖片作為整個試驗的測試集。加入遮擋行人的數據集可以有效地提升存在遮擋情況的行人檢測能力。圖3為改進的YOLO算法在復雜環境下的行人檢測結果。由圖3可知經過改進的模型能夠更容易檢測出相互遮擋和被環境遮擋的行人。

圖3 行人檢測結果Fig.3 Pedestrian detection results

2.1.4 視覺跟蹤

一旦在視頻或圖像序列的第一幀中檢測到或選擇了行人，就需要視覺跟蹤來跟蹤行人在連續圖像中的位置。由于相機角度，即使相機靜止，行人視圖比例從開始到結束一直在變化。此外，由于行人之間以及行人與環境之間存在遮擋。所以視覺跟蹤算法必須滿足尺度不變性和視圖魯棒性的要求，并能在遮擋發生時預測目標位置。

本文使用卡爾曼濾波算法[28]實現行人目標跟蹤，可以分為6個步驟，首先在YOLOv3檢測到行人目標后，檢查第一幀，獲取矩形框的中心位置等信息。然后定義狀態向量，根據前一幀的目標跟蹤結果，利用卡爾曼濾波算法預測目標在當前幀的位置，將檢測結果與預測結果進行最優相似度匹配。對于匹配成功的檢測目標，用當前幀的預測及檢測結果得到目標位置的最優估計值。最后顯示跟蹤結果并進行下一幀的預測。

2.1.5坐標變換

對圖像中的行人位置(像素坐標)進行估計后，需要將其轉換為真實世界坐標。在本研究中，假設橋面是一個平面，因此問題是將行人從圖像平面轉換為橋面平面。如圖4所示，橋側相機圖像用于投影行人縱橋向位置，橋端相機圖像用于投影行人橫橋向位置。結合兩臺相機投影結果，真實世界對象(橋梁和行人)被投影到圖像平面。最后，將行人的位置從圖像坐標轉換為現實世界的坐標，即橋面位置。在本文中，由于規定試驗者以直線通過橋梁，則不需考慮橫橋向位移，僅需一臺相機即可確定人行所在橋面位置。

2.2 基于計算機視覺的結構位移測量

2.2.1一般步驟

基于視覺的方法從結構振動視頻中測量位移一般分為4個步驟，如圖5所示。首先對相機進行標定，計算出圖像坐標系與真實坐標系間的幾何轉換關系。其次，從圖像中選取測量目標作為圖像子區域，提取子區域特征。第三，采用視覺跟蹤算法結合選定的圖像特征進行目標跟蹤，并在視頻每幀圖像中更新目標區域的位置。最后，通過比較每幀圖像中測量目標的位置變化，計算出圖像坐標系中的位移，并結合相機標定結果和圖像坐標系中的位移，得到實際坐標系中的最終位移。

圖5 視覺測量一般步驟Fig.5 General steps of visual measurement

2.2.2 視覺測量的相機標定實用方法

對于基于視覺的位移測量，相機標定與第2.1.2節中介紹的標定方法相同。但如果測量對象是無平面內運動或平面內運動可忽略的結構，即主要位移方向是為豎向，且使用的鏡頭是無畸變鏡頭時，可以采用一種更實用和簡化的標度比法。當光軸垂直于位移方向時，比例因子s表示為式(7)[29]：

式中：D為選定對象的實際物理尺寸，單位為mm；d為該對象在圖像中的像素尺寸，單位為像素。當目標運動平面與光軸之間存在角度時，比例因子必須通過以下來修正：

利用尺度比，可以很容易地將像素位移轉換為真實位移。

2.2.3 LK 光流法目標跟蹤

與行人跟蹤不同，基于視覺的位移測量的跟蹤目標更為簡單，且視圖比例變化不大。雖然位移測量目標的跟蹤比行人跟蹤要容易得多，但它需要更高的精度。一般來說，跟蹤結果應該是亞像素級的。LK 光流法[30]運動目標跟蹤的步驟為：首先在圖像序列中利用Shi-Tomasi角點算法來檢測當前幀的所有角點，然后利用這些角點作為特征點，計算當前幀的光流。通過對前一步驟算出的光流矢量進行閾值化處理，選擇合理的閾值，除去超過閾值范圍的所有光流矢量。最后生成各角點運動軌跡，并記錄相應的位置坐標。圖6為LK 光流法目標跟蹤結果，圓點為檢測到的角點位置，線條描述角點運動軌跡。

圖6 LK 光流法目標跟蹤結果Fig.6 Target tracking results of LK optical flow method

2.2.4位移計算與轉換

檢測當前幀中的特征點，將目標特征點作為跟蹤點，其在圖像中的像素坐標為(x1,y1)。通過灰度對比當前幀和下一幀，估計目標特征點在下一幀中的位置(x2,y2)，比例因子為s，則所選目標在豎直方向上的位移為s·(y2?y1)。

3 基于多項式分段擬合實測撓度影響線

影響線是結構在不同位置處受靜態荷載作用引起的響應。然而在實際工程中，結構健康監測系統采集到的影響線是由橋上移動荷載引起的結構響應，不能忽略橋梁振動信息及其受行人動載效應的影響。且與靜態荷載不同的是，行人本身是一個具有自適應能力的動力系統，結構發生振動或遇到障礙物時，行人會根據結構振動幅度大小以及障礙物形狀及位置調節自身的步頻、步長等來保持身體平衡，行人的本能調節過程會影響人行荷載的大小，進而影響結構響應。因此結合結構動力響應和行人參數的反演計算初始撓度影響線，對初始結果進行了多項式分段擬合，提取了具有準靜態特性的橋梁位移變影響線，消除了橋梁振動干擾，提高影響線測試精度。從數值分析和現場試驗的角度，驗證了本文多項式分段擬合方法的準確度。對于簡支梁，無損傷狀態下橋梁跨中截面測點撓度影響線表達式為[31]：

式中：EI為橋梁抗彎剛度；Fp為單位荷載；x為荷載作用位置；L為橋梁計算跨度。可以看出，對于理想簡支梁，撓度影響線由三次曲線分段函數表示。據此對實測試撓度影響線采用三次多項式進行擬合可得到更加準確的準靜態影響線。

4 試驗驗證

4.1 試驗步驟

試驗在單跨簡支人行橋模型上得到了驗證。該橋是中型實際結構的縮小模型，橋面總質量1580 kg，橋面長10 m、寬1.6 m，計算跨度為9.8 m。

為避免測試者因不規范行走姿勢造成的不可靠數據，本試驗將兩個維特智能BWT61CL 無線傳感器分別固定在每個測試者質心位置前后，取兩無線傳感器獲得的連續荷載時程平均值作為一次試驗數據。每位測試者被要求穿著硬質鞋底的運動鞋，在人行橋上以慢速1.05 Hz、中速1.6 Hz、快速2.1 Hz 的固定步頻行走完成3次步行試驗。

為了跟蹤行人通過橋面的整個過程，在距橋跨中4 m 處的三腳架上安裝了一臺帶有魚眼廣角鏡頭的大疆靈眸Action 運動相機。相機可與智能手機連接，進行遠程非接觸控制，避免了由于接觸操控使得相機抖動而造成的誤差。設置視頻分辨率為4K(3840像素×2160像素)，幀數為50 fps。使用魚眼廣角鏡頭可為相機提供了一個大角度，以確保整個橋梁在相機拍攝視野中。如圖7所示，魚眼鏡頭拍攝的圖像存在嚴重的徑向畸變，且圖像中的直線橋變為曲線橋，故必須對相機進行校正。校正后圖像如圖8所示。

圖7 帶畸變圖像Fig.7 Image with distortion

圖8 畸變校準后圖像Fig.8 Distortion correction image

將一臺佳能5D4相機安裝在橋梁跨中1.5 m 處的三腳架上，用于測量橋梁位移。選用加裝24 mm～105 mm 變焦鏡頭的佳能相機，相機可通過佳能官方應用程序與智能手機連接，設置視頻分辨率為1080P(1920像素×1080像素)，幀數為50 fps。同時在橋下安裝一個激光位移計，以驗證視覺測量的準確性，激光位移計型號為Banner 250U，采樣頻率為200 Hz。試驗過程中，行人從橋的一側移動到另一側，相機和激光位移計同步記錄橋梁跨中位移。

現場試驗情況如圖9所示。在試驗開始時測試者發出“開始”的指令隨即開始行走并通過橋梁，在結束時發出“停止”指令隨即停止行走。在此過程中，兩臺相機在分別從始至終記錄行人、結構行為的同時記錄外界音頻信號。通過對比兩臺相機記錄的音頻信號中起止指令所在時刻截取視頻片斷并同步相機。

圖9 現場試驗情況Fig.9 Test scenario

4.2 視覺測量精度檢驗

圖10為行人步頻為2.15 Hz 時橋梁跨中處位移對比，其中實線、虛線分別為視覺測量法與激光位移計測得的橋梁跨中處位移。圖10表明兩種方法獲得的位移結果非常一致。其歸一化互相關(NCC)為99.95%。圖11為行人步頻為2.15 Hz 時橋梁跨中處位移傅里葉幅值對比，其中視覺測量法前兩階DLF相較于激光位移計的誤差分別為3.2%、3.3%。結合圖10和圖11可知，本文使用的視覺測量方法可準確測量橋梁位移。

圖10 步頻2.15 Hz 時的位移對比Fig.10 Displacement comparison of 2.15 Hz step frequency

圖11 步頻2.15 Hz 時的傅里葉幅值對比Fig.11 Fourier amplitudecomparison of 2.15 Hz step frequency

4.3 試驗分析與結果

由于篇幅限制，取體重為636 N的測試者以1.6 Hz 步頻通過人行橋的工況分析，通過無線傳感器測得行人豎向加速度時程，經傅里葉變換后通過式(3)計算人行荷載(取前4階DLF及相位角)。圖12為重量為636 N 的測試者在步頻為1.6 Hz時的豎向加速度時程曲線(消除重力加速度g)。圖13為對應的人行荷載時程曲線。圖14為通過目標跟蹤估計得到的行人位置信息，其中實線為初始行人位置，虛線為擬合后的行人位置。由圖14可知，初始行人位置存在明顯的倒退行走，顯然這與實際情況不符，行人是勻速通過橋梁的，故需對初始行人位置進行線性擬合，a表示時間，b表示行人位置。通過視覺測量得到的結構位移響應，如圖15所示。

圖12 步頻1.6 Hz 時的豎向加速度時程Fig.12 Vertical acceleration timehistory of 1.6 Hz step frequency

圖13 步頻1.6 Hz 時的人行荷載時程Fig.13 Pedestrian load time history of 1.6 Hz step frequency

圖14 步頻1.6 Hz 時的行人位置Fig.14 Pedestrian position of 1.6 Hz step frequency

圖15 步頻1.6 Hz 時的結構位移Fig.15 Structural displacement of 1.6 Hz step frequency

通過無線傳感器得到的人行荷載時程，結合視覺測量方法得到的位移響應和跟蹤估計的行人位置信息，建立了實測撓度影響線，如圖16所示，實線表示實測撓度影響線，劃線表示采用多項式分段擬合得到的撓度影響線。由圖16可知，反算得到的實測撓度影響線包含橋梁振動信息，且隨著行人步頻變快越顯著；對實測影響線進行分段擬合后，擬合值與理論值接近，能較好地消除橋梁振動以及人行動載效應的影響，適用于行人步頻快、橋面平順性差的工況。圖17為橋梁撓度影響線擬合值與理論值對比。由圖17可知，兩影響線基本吻合，峰值位置存在誤差，這是由于計算人行荷載時假定步行過程是周期性的，而實際行人的步行過程接近于一個窄帶的隨機過程[32]，很難保證完美的周期性。并且計算撓度影響線理論值時假定橋梁兩端是簡支的，而實際橋梁并不完全簡支。撓度影響線理論值的峰值出現在橋梁計算跨度跨中4.9 m 位置處，峰值為4.137。撓度影響線擬合值的峰值出現在4.48 m 位置處，較理論值誤差為8.57%，峰值為4.131，較理論值誤差為0.15%。

圖16 撓度影響線擬合Fig.16 Fitting of deflection influence lines

圖17 撓度影響線對比Fig.17 Comparison of deflection influence lines

5 結論

為了克服傳統的結構健康監測方法成本高、安裝時間過長、需要大量勞動力從事電纜布線工作等不便和缺點，建立了一個完全非接觸式影響線識別系統中。橋梁撓度影響線通過便攜式相機、計算機視覺和無線傳感器識別。通過一系列室內試驗對比研究，驗證了該方法的可行性。主要的研究方法、發現和結論如下：

(1)提出了一種基于視覺的結構輸入(行人位置)估計方法。通過添加遮擋模型改進YOLOv3算法，在行人檢測過程中，即使在發生遮擋的情況下，也能成功地檢測跟蹤到行人。

(2)為了擴大攝像機的視野，并在整個過程中跟蹤行人，采用廣角魚眼相機，對相機標定，校準徑向畸變，實現精確的行人位置估計。

(3)利用LK 光流法進行目標跟蹤測量位移測量，得到的位移響應與激光位移計的結果具有很高的一致性，NCC 系數為99.95%。

(4)將視覺跟蹤估計行人位置、視覺測量得到的位移響應相結合與無線傳感器得到的行人加速度時程相結合，成功地識別出了實測撓度影響線，并通過多項式分段擬合得到與理論值接近的擬合撓度影響線，影響線峰值誤差為0.15%，峰值位置誤差為8.57%。