基于數字圖像相關理論的非接觸式結構位移測量方法

周云 程依婷

摘 ? 要：為實現結構的位移及撓度測量，開展了基于數字圖像相關算法的亞像素位移測量研究. 采用改進初值的亞像素算法確定待測結構目標位置的基于像素的位移，利用相機標定方法將基于像素的位移轉換為工程單位. 在數字圖像處理技術的基礎上對編寫的程序進行數值仿真試驗，位移計算結果與理論值吻合良好，驗證了該程序測量精度的可靠性. 搭建視覺位移測量系統，為了驗證該系統的有效性，對鋼框架結構模型開展了視覺測量系統和激光位移計的對比試驗;研究了相機與待測結構之間的距離對視覺測量系統精度的影響. 利用該系統測量消防通道橋梁的跨中撓度，結果表明，視覺測量系統具備非接觸、低成本和便于實施遠距離測量等優(yōu)勢，可實現以毫米級精度進行結構位移測量. 該測量方法在工程結構變形測量中具有較好的應用前景.

關鍵詞：非接觸測量;數字圖像相關;位移;數字圖像處理

中圖分類號：TB89;TP391.4 ? ? ? ? ? ? ? ? ? 文獻標志碼：A

Abstract：This paper presents a structural sub-pixel displacement measurement by using the digital image correlation technologies for structural displacement and deflection measurement. Pixel-based displacements of a monitored structural location were determined using an improved sub-pixel algorithm. To transform pixel-based displacements to engineering units， a camera calibration method was developed. The numerical simulation test was carried out based on digital image processing algorithm. The simulation results were in good agreement with theoretical value， which validated the reliability of systematic measurement accuracy. A machine vision-based displacement measurement system was developed. A steel frame model was established for conducting experiments to investigate the follows： （i） comparison study on the measurement results obtained by the vision-based system and the laser displacement sensor， （ii） the effect of the measurement distance on the accuracy of the vision-based system. The mid-span deflection of fire-fighting bridge was measured by the developed system. The experimental results show many advantages of vision-based method such as non-contact， low-cost and convenient to implementation in realizing the structural displacement measurement with the accuracy level of millimeter. The method has wide application prospects in the deformation detection of bridges and other structures.

Key words：non-contact measurements;digital image correlation;displacement;digital image processing

位移是結構狀態(tài)評估和性能評價的一個關鍵參數， 根據結構位移可獲得結構的靜、動態(tài)特性，如承載力、撓度和變形、荷載分布、荷載輸入、影響線和影響面、模態(tài)參數等，通過進一步轉換得到相應的物理指標，可進行結構安全評估[1]. 為了滿足土木工程領域中大型基礎設施的位移測量需求，工程結構的位移測量方法需要不斷創(chuàng)新和發(fā)展[2]. 傳統的位移測量手段主要分為兩類：接觸式測量和非接觸式測量. 接觸式測量方法采用的儀器有百分表、拉繩式位移傳感器、線性可變差壓傳感器、磁致伸縮位移傳感器等[1]. 這類方法易受測量環(huán)境限制，無法設置基準點時則無法使用. 非接觸式測量包括全球定位系統、激光多普勒儀、全站儀和微波雷達等[1]. 其中全球定位系統[3]的測量準確性易受觀測環(huán)境影響;激光多普勒儀在測量距離較遠時無法使用且成本高昂;使用全站儀時，需在待測結構上安裝棱鏡、儀器瞄準棱鏡后進行測量，全站儀的采樣頻率較低，不適用于結構動態(tài)位移的實時測量;微波雷達目前還受到軟件和硬件方面的限制.

數字圖像相關（digital image correlation， DIC）是一種在變形前后圖像之間跟蹤（或匹配）同一個物理點（或像素）的測量方法. 數字圖像相關方法[4-5]作為一種非接觸的光學測量方法，測量精度高、能夠實現遠距離多測點同步監(jiān)測且對設備和試驗環(huán)境要求低，在土木工程領域得到廣泛應用[6]. 2005年潘兵等[7]對比了數字圖像相關方法中3種常用的亞像素匹配算法，分析得知牛頓拉弗森算法（forward additive Newton-Raphson algorithm， FA-NR）的計算精度最高. 2014年葉肖偉等[8]提出了一種基于二維互相關的模板匹配算法，開發(fā)了針對遠距離測量的機器視覺位移測量系統，工作距離為1 000 m時最大誤差不超過3 mm. 2016年Shao等[9]提出了一種快速三維數字圖像相關方法來實現實時測量，并且通過對比分析得到反向組合牛頓-高斯算法（inverse compositional Gaussian-Newton algorithm， IC-GN）對噪聲的魯棒性優(yōu)于FA-NR算法. 2015年，晏班夫等[10]使用目標檢測算法和卡爾曼濾波算法，從攝像機獲取的振動圖像序列中獲得拉索多點的振動位移響應，并利用頻率法求解拉索索力. 2017年Chen等[11]采用運動放大技術從視頻中提取結構的振動，測量175 m以外的建筑物頂部天線塔的環(huán)境振動響應，識別得到的振幅為0.21 mm，視覺測量系統與激光位移計測量到的共振頻率僅相差1.7%. 2018年Kim和Choi等[12]采用IC-GN算法實現非接觸、遠距離、高精度的應變與轉角響應測量，從而對核電廠管道系統的安全狀態(tài)進行評估，將整像素匹配結果作為初值代入迭代優(yōu)化算法，得到亞像素精度的計算結果. 2018年，邵新星等[13]基于散斑自標定方法，建立了一套自標定三維數字圖像相關測量系統，實現了對結構構件大面積的全場測量，精確測量出木結構榫卯節(jié)點在拔出過程中的全場變形. 2018年Feng等[14]提出了一種基于梯度的亞像素位移算法，采用樣條插值提高位移測量的精度. 在曼哈頓大橋上實現了一臺攝像機同步測量多點的豎向位移響應，9. 5 m測距下均方根誤差為0. 28 mm.

本文基于傳統的IC-GN算法，提出將粗-精細搜索法得到的亞像素精度的結果作為初值代入IC-GN算法中，計算目標點的亞像素位移，實現了對結構動態(tài)位移的非接觸測量. 通過數值仿真試驗對比該方法與兩種常用的亞像素算法的性能，試驗結果表明本文算法在計算精度和穩(wěn)定性方面均優(yōu)于其他兩種算法. 通過一系列實驗室試驗驗證本文所搭建的視覺測量系統的有效性和準確性，包括視覺測量系統與激光位移計之間的對比試驗;研究改變測量距離對視覺測量系統精度的影響. 通過對實際工程中消防通道橋梁跨中撓度的實際測量，驗證了該系統在實際工程結構中應用的可行性.

1 ? DIC位移測量基本原理

采用DIC計算某點位移的基本原理如圖1所示，在未變形圖像即參考圖像中劃分出以目標點為中心的（2M+1）×（2M+1）像素大小的方形參考子集，跟蹤該子集在變形后圖像中的相應位置. DIC通過相關性計算，搜索相關系數分布的峰值位置（即相似程度最大的位置）來完成匹配過程，一旦檢測到相關系數極值，即可確定目標子集的位置. 根據參考子集和目標子集中心點坐標可獲得該點位移矢量，分解位移矢量，得到目標點水平方向和豎直方向位移.

2 ? 位移測量算法

像素是相機成像面的最小單位，相鄰兩像素之間的細分情況即為亞像素精度. 整像素位移不能滿足實際工程需求，因此需要進一步地優(yōu)化搜索以實現更高的測量精度，達到亞像素級別. 為計算出相關函數極值，本文首先采用整像素相關計算得到整像素坐標，然后通過非線性最優(yōu)化迭代算法進行精細搜索，從而計算出精度較高的亞像素位移.

2.1 ? 整像素相關計算

相關函數被用來描述參考子集和變形后子集之間的相似程度[7]，本文采用零均值歸一化互相關函數（ZNCC）進行整像素相關計算. 假設參考圖像中的某點（x，y）的灰度值為f（x，y），在變形后圖像中點（x，y）移動到點（x+u，y+v），對應的灰度值為g（x+u，y+v），其中（u，v）表示點（x，y）的整像素位移. ZNCC函數表達式可簡化表達為：

由于整像素相關計算需要在變形后圖像上所有整像素位置進行全局搜索，導致ZNCC函數在計算過程中產生龐大的計算量. 為提高計算速度，可預先計算出與圖像灰度矩陣有關的灰度積分圖，對式（1）中的分子分母進行快速計算[15].整像素相關計算完成后，根據相關系數最大值點的坐標計算得到整像素位移（u，v）. 由于參考子集的變形并不總在整像素位置，因此還需要采用亞像素算法進一步優(yōu)化. 本文在傳統亞像素算法的基礎上，提出一種改進初值的IC-GN算法.

2.2 ? 改進初值的IC-GN亞像素位移測量算法

本文采用抗噪性能較好的IC-GN算法[15]進行亞像素匹配測量，傳統的IC-GN算法將整像素坐標（u，v）作為初始值. IC-GN算法的計算效率取決于迭代的次數，因而精確合理的初值可減少迭代次數、加快結果收斂，也可避免算法在迭代過程中發(fā)散. 本文在整像素精度坐標的基礎上，嵌套粗-精細搜索算法來尋找最優(yōu)亞像素精度的初始坐標. 首先，以整像素相關計算得到的坐標（x+u，y+v）為中心劃分一個3×3像素大小的方形子集. 為避免過大的計算量、提高計算效率，在該方形子集上分別沿著x軸和y軸方向以0.25像素為步長進行粗-精細搜索得到亞像素匹配點坐標. 但是粗-精細搜索算法僅能得到亞像素精度的u和v，無法得到u和v的偏導數ux、uy、vx、vy，因此還需要對IC-GN算法進一步優(yōu)化. 將亞像素精度的u和v作為初始坐標代入傳統IC-GN算法，進行后續(xù)部分的迭代計算.

3 ? 試驗驗證

為了驗證本文所提出的基于數字圖像相關的位移測量方法的可靠性和精度，進行了數值仿真試驗、實驗室試驗和野外實橋試驗. 本文計算機配置：Intel Core i7-8700 CPU 3.2 GHz、內存為16 GB，使用MatlabR2018a編寫程序進行試驗.

3.1 ? 數值仿真試驗

根據Zhou[16]提出的制作散斑圖方法模擬結構的變形，散斑圖像尺寸為256×256像素，散斑數目為2 000，散斑顆粒直徑為3像素. 以圖3為參考圖像，沿X方向進行平移，每次平移的位移量為0.1像素，Y方向不發(fā)生位移，連續(xù)生成一組X方向位移從0.1到1像素共10幅散斑圖作為變形后的圖像. 引入統計學中均值誤差和標準差兩個指標來衡量算法的計算精度和穩(wěn)定性[7].

選取如圖3所示矩形框作為感興趣區(qū)域（ROI），在每對進行相關計算的散斑圖中均設置100個測點. 采用本文所提出的改進初值的IC-GN位移測量算法，計算10幅變形后散斑圖的位移，得到如圖4所示的位移曲線. 由圖4可知，計算值和預設位移值差距很小，基本呈線性關系，相對誤差約為0.05%. ? 同時還利用模擬散斑圖方法對比了本文提出的算法與2種常用亞像素算法（三次曲面擬合法[17]、梯度法[18-20]）的性能. 采用3種算法分別計算10幅變形后散斑圖的位移，每對進行相關計算的散斑圖中均設置100個測點，3種算法測量結果的均值誤差曲線和標準差曲線如圖5（a）（b）所示. 從圖5可看出，本文提出的算法計算精度最高，無論均值誤差還是標準差都優(yōu)于三次曲面擬合法和梯度法.

表1給出了3種亞像素算法計算100個測點的運算時間. 由表1可得，前兩種算法由于不需要迭代而直接求取位移信息，可實現較高的計算效率，但犧牲了測量精度. 而改進初值的IC-GN算法具有很高的亞像素精度，改進初值后往往僅需要數次迭代就能收斂到極值，能夠滿足實際工程中的計算效率需求.

3.2 ? 實驗室試驗

本文采用基于改進初值的IC-GN算法，搭建了一套用于現場試驗的視覺測量系統，該系統由便攜式相機、三腳架、計算機等設備組成，相機采集的視頻文件轉存到計算機中進行后處理并提取位移. 為了驗證視覺測量系統的精度及有效性，對實驗室1個3層2跨的鋼框架結構模型開展2組實驗. 如圖6所示，模型整體尺寸為1 m×1.6 m，首層層高為0.6 m，二、三層層高為0.5 m，框架柱的間距為0.5 m，梁、柱均采用50 mm×3 mm截面尺寸的鋼薄板，框架模型固定于平整地面.

3.2.1 ? 視覺測量系統與激光位移計的對比分析

為了驗證視覺測量系統的有效性，選取結構的1#和2#測點作為視覺測量系統的測量目標，采用普通手機（iPhone X）的攝像頭，以60 fps的采樣速率獲取2 280×1 080像素的圖像序列. 將日本基恩士IL300+IL1000激光位移計（量程為280 mm，精度為0. 7 mm）作為參考傳感器，用來評估視覺測量系統的性能，安裝位置如圖6（b）所示. 激光位移計獲得的位移響應通過LMS Cadax-8便攜式動態(tài)信號分析儀采集并儲存，采樣頻率設置為150 Hz.

相機和結構之間的距離為4 m，將攝像頭對準結構上的目標并調整相機焦距，使目標能完整地被鏡頭拍攝到，且在振動過程中不會超出視頻范圍. 完成相機標定，對結構施加初位移后瞬時釋放，視覺測量系統采集測點的振動視頻圖像，激光位移計同步采集測點位置的位移響應.

視覺測量系統和參考傳感器（激光位移計）測量得到的1#、2#測點的位移結果（截取10 s）如圖7所示. 將參考傳感器的測量結果作為參考數據，結果表明，視覺測量系統得到的位移測量結果與參考數據高度吻合，其位移測量結果的均方根誤差估計值見表2. 當結構上的測點位移較大時，位移差值超過0.1 mm. 其原因在于：激光位移計測點的位置發(fā)生移動，從而導致激光位移計的測量出現一定誤差;而基于數字圖像相關的測量系統能夠精確保持相同的測點位置，不會隨著位移大小的改變引起誤差. 由此可以證明視覺測量系統的有效性和精確性.

3.2.2 ? 測量距離的影響

傳統的位移測量傳感器的精度在出廠后基本保持穩(wěn)定，而基于視覺的位移測量系統的精度取決于幾個不同的參數，其中相機與目標結構之間的距離是最重要的影響因素. 為研究不同測距對視覺測量系統測量精度的影響，預設3組測距（分別為1 m、3 m、6 m），在相應測距下，使用相機和激光位移計采集相同初位移釋放后的框架自由振動響應. 圖8所示為在不同工況下2種測量系統得到的1#測點的位移響應.

相機的采樣頻率為30 fps，框架絕對靜止時，在測距分別為1 m、3 m和6 m工況下用視覺測量系統采集1#測點處位移，理論上1#測點實際位移為零，但是由于測量環(huán)境中存在噪聲，計算過程中存在誤差，實際測量結果在零值附近變化. 圖9所示為視頻圖像序列中的目標追蹤結果. 將視覺測量系統得到的非零位移定義為數據誤差. 圖10表示測距分別為1 m、3 m和6 m時采集到的20 s內的誤差分布情況，從圖10可看出，測距為1 m時，可假設該分布是平均值為-0.000 1 mm，且標準偏差為0.003 6 mm的正態(tài)分布. 將測量的精度區(qū)間定義為測量誤差分布標準差的±2倍（置信水平為95%），視覺測量系統在不同測距下的測量精度見表3.

3.3 ? 實橋試驗

為了驗證視覺測量系統用于實際工程結構中的可行性，將其應用在實際工程中消防通道橋梁跨中撓度的測量. 其測試橋梁段結構全長約21.60 m，車道寬度約7.07 m，如圖11所示.

試驗采用Panasonic Lumix GH5型相機以及100～400 mm的變焦鏡頭，不需要安裝實體標志物. 將橋梁跨中部位作為目標區(qū)域，在距離目標區(qū)域200 m的水平地面上穩(wěn)固架設相機，調整相機的焦距和角度，使得目標區(qū)域位于圖像中心區(qū)域，如圖12所示. 試驗過程中，設置了2種不同質量的載重卡車進行跑車試驗，使用視覺測量系統測量卡車通過時橋梁直線段跨中撓度的變化. 所用測試車輛均為3軸10輪重型卡車，車輛全長約8.14 m，寬度約為2.42 m，卡車參數見表4，各參數定義如圖13所示. 視覺測量系統的采樣頻率為30 fps，視頻畫質的分辨率為4 K（即3 840×2 160像素）.

在原始圖像中的橋梁跨中部位選取一個測點作為視覺測量系統的跟蹤測量目標，視覺測量系統對消防通道橋梁跨中豎向撓度的測量結果如圖14所示. 從圖中可看出，撓度曲線發(fā)生了波動，但基本趨于穩(wěn)定. 撓度曲線產生波動的原因是橋面上有卡車經過;撓度曲線的趨于穩(wěn)定表明橋梁的健康狀況良好. 結果表明，視覺測量系統無需安裝標靶便能夠穩(wěn)定地應用在實際橋梁撓度測量試驗中.

4 ? 結 ? 論

隨著高精度相機的發(fā)展和普及，使得土木工程健康監(jiān)測領域的非接觸式位移測量更為便利. 本文對基于數字圖像相關的結構位移測量方法展開研究，主要結論如下：

1）本文在傳統亞像素位移算法的基礎上，將亞像素匹配結果作為后續(xù)非線性優(yōu)化迭代的初值，避免在迭代過程中發(fā)散并提高了計算精度. 通過數值仿真試驗驗證了該方法的精度和有效性，數值仿真試驗結果表明其位移測量相對誤差低于0.05%.

2）搭建了一套基于視覺的位移測量系統，實現了結構位移的非接觸測量. 通過實驗室試驗驗證視覺測量系統的準確性和穩(wěn)定性. 對比分析視覺測量系統與激光位移計的測量結果，表明基于視覺的測量系統能夠得到準確的動態(tài)響應測量結果. 研究測量距離對視覺測量系統精度影響的試驗結果表明，視覺測量系統在一定測量距離范圍內能夠達到很高的測量精度.

3）將視覺測量系統應用在實際橋梁的撓度測量中，無需安裝標靶便能夠實現結構動態(tài)位移的遠距離測量，因而基于視覺的測量系統在結構動態(tài)響應識別方面具有良好的準確性、穩(wěn)定性和可靠性. 下一步考慮將視覺測量系統應用到橋梁輔助動態(tài)稱重中，并開展無人機在結構位移測量中的應用研究.

參考文獻

[1] ? ?葉肖偉，董傳智. 基于計算機視覺的結構位移監(jiān)測綜述[J]. 中國公路學報，2019，32（11）：21—39.

YE X W，DONG C Z. Review of computer vision-based structural displacement monitoring[J]. China Journal of Highway and Transport，2019，32（11）：21—39. （In Chinese）

[2] ? ?YUN C B，LEE J J. Recent R&D activities on structural health monitoring for civil infrastructures in Korea[J]. KSCE Journal of Civil Engineering，2003，7（6）：637—651.

[3] ? ?NAKAMURA S. GPS measurement of wind-induced suspension bridge girder displacements[J]. Journal of Structural Engineering，2000，126（12）：1413—1419.

[4] ? ?YAMAGUCHI I. Holography，speckle，and computers[J]. Optics and Lasers in Engineering，2003，39（4）：411—429.

[5] ? ?SUTTON M，WOLTERS W. Determination of displacements using an improved digital correlation method[J]. Image and Vision Computing，1983，1（3）：133—139.

[6] ? ?蘇勇，張青川，伍小平. 數字圖像相關技術的一些進展[J]. 中國科學（物理學、力學、天文學），2018，48（9）：23—47.

SU Y，ZHANG Q C，WU X P. Progress in digital image correlation method[J]. Scientia Sinica （Physica，Mechanica and Astronomica），2018，48（9）：23—47. （In Chinese）

[7] ? ?潘兵，謝惠民. 數字圖像相關中的亞像素位移定位算法進展[J]. 力學進展，2005，35（3）：345—352.

PAN B，XIE H M. Development of sub-pixel displacement registration algorithms in digital image correlation[J]. Advances in Mechanics，2005，35（3）：345—352. （In Chinese）

[8] ? ?葉肖偉，張小明，倪一清. 基于機器視覺技術的橋梁撓度測試方法[J]. 浙江大學學報（工學版），2014，48（5）：813—819.

YE X W，ZHANG X M，NI Y Q. Bridge deflection measurement method based on machine vision technology[J]. Journal of Zhejiang University （Engineering Science），2014，48（5）：813—819. （In Chinese）

[9] ? ?SHAO X X，DAI X，CHEN Z. Real-time 3D digital image correlation method and its application in human pulse monitoring[J]. Applied Optics，2016，55（4）：696.

[10] ?晏班夫，陳澤楚，朱子綱. 基于非接觸攝影測量的拉索索力測試[J]. 湖南大學學報（自然科學版），2015，42（11）：110—115.

YAN B F，CHEN Z C，ZHU Z G. Cable force identification based on non-contact photogrammetry system[J]. Journal of Hunan University （Natural Sciences），2015，42（11）：110—115. （In Chinese）

[11] ?CHEN J G. Video camera-based vibration measurement for civil infrastructure applications[J]. Journal of Infrastructure System，2017，23（3）：b4016013.

[12] ?KIM S W，CHOI H S. Strain and deformation angle for a steel pipe elbow using image measurement system under in-plane cyclic loading [J]. Nuclear Engineering and Technology，2018，50（1）：190—202.

[13] ?邵新星，錢帥宇. 基于自標定數字圖像相關技術的榫卯構件大面積全場變形測量[J]. 東南大學學報（自然科學版），2018，48（2）：337—341.

SHAO X X，QIAN S Y. Large-area full-field deformation measurement of mortise-tenon structures based on self-calibration digital image correlation technology[J]. Journal of Southeast University （Natural Science Edition），2018，48（2）：337—341. （In Chinese）

[14] ?LUO L，FENG M Q，WU Z Y. Robust vision sensor for multi-point displacement monitoring of bridges in the field[J]. Engineering Structures，2018，163：255—266.

[15] ?JIANG Z Y，QIAN K M，MIAO H. Path independent digital image correlation with high accuracy，speed and robustness[J]. Optics and Lasers in Engineering，2015，65（2）：93—102.

[16] ?ZHOU P. Subpixel displacement and deformation gradient measurement using digital image/speckle correlation （DISC）[J]. Optical Engineering，2001，40（8）：1613—1620.

[17] ?李新社. 三次曲面的快速擬合算法[J]. 計算機應用與軟件，2002（5）：56—57.

LI X S. Thrice curved surfaces fast fit algorithm study[J]. Computer Applications and Software，2002（5）：56—57. （In Chinese）

[18] ?ZHANG J，JIN G，MA S. Application of an improved subpixel registration algorithm on digital speckle correlation measurement[J]. Optics and Laser Technology，2003，35（7）：533—542.

[19] ?ZHANG J，JIN G C，MENG L B. Strain and mechanical behavior measurements of soft tissues with digital speckle method[J]. Journal of Biomedical Optics，2005，10（3）：034021.

[20] 潘兵，謝惠民. 面內位移測量的基于梯度的數字圖像相關方法[J]. 光學技術，2005，31（5）：643—647.

PAN B，XIE H M. In-plane displacement measurement by gradient-based digital image correlation[J]. Optical Technique，2005，31（5）：643—647. （In Chinese）

[21] KHUC T，CATBAS N. Completely contactless structural health monitoring of real-life structures using cameras and computer vision [J]. Structural Control and Health Monitoring，2016，24（1）：e1852.