基于非線性光流方程的數字圖像相關非迭代灰度梯度算法*

劉小勇 李榮麗 郝兆朋 王 暉 崔高健 范依航 宮 巖

(長春工業大學機電工程學院，吉林 長春 130012)

?

基于非線性光流方程的數字圖像相關非迭代灰度梯度算法*

劉小勇 李榮麗 郝兆朋 王 暉 崔高健 范依航 宮 巖

(長春工業大學機電工程學院，吉林 長春 130012)

在傳統的非迭代灰度梯度數字圖像相關算法中，假設變形前后同一個像素點的灰度值相等。但在實際應用中，圖像的采集會受到環境光照的變化、相機曝光過度/不足、加載引起被測表面圖像變化等因素的影響而引起變形前后圖像像素點灰度值的變化。針對這一問題，應用非線性光流方程來描述變形前后像素點間的灰度關系,從而提出一種基于非線性光流方程的非迭代灰度梯度算法。應用模擬實驗與真實單軸拉伸實驗對算法的有效性與計算精度進行驗證。結果表明，該算法對圖像的灰度變化不敏感，具有較高的測量精度。

數字圖像相關；非線性光流方程；非迭代灰度梯度算法

經過近40年的發展，數字圖像相關方法[1](簡稱DIC方法，又稱為數字散斑相關方法[2])已成為一種較成熟的非接觸全場變形光學計量方法，廣泛應用于實驗力學及其他相關科學研究與應用領域。在變形測量過程中，首先利用成像設備獲得被測表面變形前后的散斑圖像，然后應用數字圖像相關算法通過跟蹤變形前后散斑圖中像素點的位置變化而獲得位移及應變信息。

數字圖像相關方法的計算求解過程通常分為兩步，即首先進行快速整像素位移求解(整像素定位)，然后在整像素位移的基礎上進行亞像素位移求解[3-4]。通常，對整像素位移求解的精度要求不高，只需達到1像素精度即可，且求解算法較簡單易于實現。因此，國內外研究人員對DIC的亞像素位移求解算法開展了大量的研究工作，并取得了豐碩的成果。逐漸形成了以Newton-Raphson 算法(簡稱N-R算法)[5]、曲面擬合法[6]、基于梯度算法(即非迭代灰度梯度算法，簡稱NIGGA)[7]、灰度梯度迭代算法 (簡稱IGGA)[8]為代表的典型DIC算法。由文獻[9-10]對上述4種經典算法的比較研究可知，N-R算法和IGGA方法具有較高的計算精度和穩定性，但在計算過程中這兩種算法均為迭代計算求解而且需要求解相關函數的二階梯度或灰度的一階導數，所以這兩種算法的計算效率較其他兩種算法低。曲面擬合算法雖然計算速度較快，但其計算精度為此四種算法中最低。因此，在對計算效率無特殊要求的離線測量應用中推薦使用N-R算法和灰度梯度迭代算法；在計算精度與計算效率均有特殊要求時推薦使用非迭代梯度算法[4]。

傳統的非迭代灰度梯度算法是在兩幅變形前后的散斑圖像上取相同的區域(通常稱為子圖像), 并根據運動圖像序列分析中的光流法原理假設所取區域內對應像素點的灰度值相等(通常將這一等式關系也稱為光流方程，如圖1所示)，然后通過對光流方程的優化找到變形子圖像的位置，進而獲得待求點的位移向量。但在實際應用中，由于圖像采集受照明變化、相機曝光過度或不足、加載引起被測表面圖像變化等因素的耦合影響，變形前后散斑圖的灰度值不再是簡單的相等關系。因此，本文將變形前后散斑圖灰度的非線性關系模型引入傳統光流方程中，建立了一種基于非線性光流方程的非迭代灰度梯度算法。

1 DIC的基本原理

數字圖像相關方法通過處理由CCD/CMOS相機采集的被測物體表面加載前后的散斑圖像而獲得變形參數。相機在加載前采集的散斑圖通常被稱為參考圖像，而加載后獲得的散斑圖稱為變形圖像。圖2給出了數字圖像相關方法的計算過程。首先以待求點P(xi,yi)為中心分別在參考圖像和變形圖像中取出兩個方形區域，分別稱為參考子圖像和變形子圖像，且變形子圖像要比參考子圖像大(如參考子圖像取31×31，變形子圖像取61×61)。然后將參考子圖像與變形子圖像按照某一預定相關函數進行互相關計算，得到相關系數分布曲面。相關系數曲面峰值點的位置與變形子圖像中心點P的坐標差即為P點的位移矢量。對參考圖像與變形圖像中所有像素點進行上述操作，即可獲得被測表面的全場位移。

2 基于非線性光流方程的非迭代灰度梯度算法

考慮在實際應用中圖像采集受到上述多種因素的影響，假設散斑圖中任意一個像素點的灰度值在變形前后呈非線性關系，因此建立其非線性光流方程如下：

i=1,2,…,N

(1)

(2)

其中：u和v分別為參考子圖像中心點沿x和y方向的整像素位移, Δx和Δy分別為參考子圖像中心點沿x和y方向的亞像素位移。

g(xi+u+Δx,yi+v+Δy)=

g(xi+u,yi+v)+Δxgx(xi+u,yi+v)+

Δygy(xi+u,yi+v)

(3)

因此，平方距離和(the sum of squared difference，SSD)相關系數可寫為：

(4)

欲求S的最小值，應使函數取駐點值，因此有：

(5)

于是可得如下方程組：

(6)

其中:f=f(xi,yi)，g=g(xi+u,yi+v)，gx=gx(xi+u,yi+v),gy=gy(xi+u,yi+v)。

gx和gy為(x,y)點的一階灰度梯度。

方程(6)可簡寫為：AQ=C，則方程的最小二乘封閉解為：

Q=(ATA)-1ATC

(7)

為了提高計算精度，本文采用雙三次樣條插值方法計算一階灰度梯度，其表達式為：

(8)

插值區域大小為4×4像素。

3 實驗驗證

3.1 數值模擬實驗

為了消除相機鏡頭畸變、離面位移等誤差的影響，使算法的性能驗證實驗在可控的條件下進行。本文首先進行了數值模擬實驗。圖3為真實實驗中采集的一幅大小為416×416像素的8-bit散斑圖，將其作為本次實驗中的參考圖像。應用插值方法[10, 12]將該參考圖像沿x方向平移-0.05像素。然后對平移后圖像進行對比度和亮度的調整，模擬實際應用現場的環境變化及系統的偏差波動引起的散斑圖灰度變化，進而得到7個灰度等級的變形圖像。具體調整方法為[4]：

(1)將平移后散斑圖的亮度依次增加20%，40%，60%，……，140%，從而獲得7幅不同亮度的變形圖像；

(2)將上述7幅變形圖像的灰度值進行歸一化處理后按照式(9)進行對比度拉伸處理，

Iout=

(9)

式中：Iin為輸入的歸一化后變形圖像，Iout為對比度拉伸后輸出圖像；

(3)將對比度拉伸處理后的變形圖像進行反歸一化處理，從而獲得7幅不同灰度變化等級的變形圖像。圖4給出了第7灰度等級的變形散斑圖及其灰度分布，我們可以清晰地看出圖像的灰度分布與原參考圖像有著非常顯著的變化。

應用本文提出的改進灰度梯度算法和傳統的非迭代灰度梯度算法對上述7幅變形圖像的位移進行測量。測量計算時選取圖像中2601(51×51)個均勻分布的計算點(計算點之間的距離為6個像素)。圖5為兩種非迭代灰度梯度算法測量x方向位移誤差的平均值隨灰度等級的變化曲線。從該曲線圖中可以看出，隨著灰度變化等級的增加傳統算法的測量位移平均誤差急劇增大，而本文算法的測量位移平均誤差雖然也有增大的趨勢，但變化非常緩慢且趨于平穩。在灰度變化最為顯著的第7灰度等級變形圖像測量中，傳統算法的測量平均誤差值已高達0.035像素，已超過真實位移(為0.05像素)的一半。而本文算法的測量平均誤差此時僅為0.008 4像素，遠小于傳統算法的測量平均誤差。這充分說明本文所提出的非迭代灰度梯度算法對光照變化、系統偏差波動等外界條件的變化不敏感，對上述影響因素給散斑圖帶來的灰度變化具有較強的魯棒性。圖6為兩種算法測量第7灰度等級變形圖像位移誤差的統計柱狀圖。通過對比可以看出，雖然兩種算法得到的測量誤差統計柱狀圖形狀上較相似(近似呈正態分布)，但不難看出本文算法的誤差分布的主峰更突出且更靠近0點位置，測量誤差的分散程度明顯小于傳統算法。這進一步說明本文算法在多種因素的影響下仍具有較高的測量精度(其他灰度等級變形圖像的測量誤差統計柱狀圖與第7灰度等級變形圖像的測量結果類似，此處不再重復給出)。

3.2 拉伸實驗

為了進一步評價本文算法的性能，進行了材料的拉伸試驗。本實驗所使用的試件為Q235啞鈴型標準圓棒試件，通過人工噴灑黑白漆的方法在試件表面制作出均勻的散斑。制作的試件實物及其主要結構尺寸如圖7所示。圖8為本實驗的拉伸測量系統，主要包括電子萬能試驗機(長春機械科學研究院生產)、兩臺平行安置的CCD相機(德國AVT公司生產，型號為Guppy PRO F-046B)、計算機、LED光源、引伸計等。兩臺CCD相機相當于引伸計的兩個刃口，應用本文的DIC方法測量上下相機內中心區域變形，進而獲得標距內軸向拉伸長度變化值。實驗中安裝引伸計的目的是為了用其測量數據與DIC測量數據進行對比，進而驗證本文提出的DIC算法的性能。

在拉伸實驗之前，先進行像素當量的標定。將試驗機的上夾頭松開，以0.01 mm為步長連續移動試件5次，通過真實位移值與DIC的測量值(像素值)比值的平均值得到上下相機的像素當量分別為0.0212 mm/pixel和0.0213 mm/pixel。然后夾緊試件，啟動試驗機與圖像采集系統，圖9為上下相機采集的第一幅散斑圖，并分別作為兩臺相機的參考圖像。觀察試驗機的實時數據顯示結果，當到達屈服階段時，停止試驗機及圖像采集系統。圖10為試件在彈性階段引伸計與DIC法測得的力與變形關系曲線。從圖中可以看出，兩種方法獲得的力與變形曲線非常吻合。DIC法和引伸計測得試件的彈性模量分別2.026 3和2.015，兩者均在Q235彈性模量標準值2.00～2.10范圍內。這進一步說明本文提出的非迭代灰度梯度DIC算法的可行性與有效性，并具有較好的測量精度。

4 結語

本文將非線性函數引入非迭代灰度梯度算法中，建立了基于非線性光流方程的非迭代灰度梯度算法。該算法無需迭代，直接獲得亞像素位移的封閉解，易于實現。文中采用計算機模擬圖像對傳統非迭代梯度算法與本文算法在不同程度的圖像灰度變化時求解精度進行了對比研究。結果表明，本文算法對圖像灰度的變化具有較好的魯棒性，在實驗中求解灰度變化最大的第7灰度等級變形圖像時傳統算法的平均誤差已達0.035像素，而本文算法仍然穩定在0.008 4像素以內。隨后真實試件的拉伸實驗進一步證明了本文算法的有效性并具有較高的測量精度。本文算法的研究也為非迭代灰度梯度DIC算法應用于復雜的現場環境條件下的變形測量奠定了基礎。

[1]Pan Bing, Qian Kemao, Xie Huimin, et al.Two-dimensional digital image correlation for in-plane displacement and strain measurement: a review [J].Measurement Science & Technology，2009，20(6)：062001-17.

[2]戴相錄，謝惠民，王懷喜.二維數字圖像相關測量中離面位移引起的

誤差分析[J].實驗力學，2013，28(1)：10-19.

[3]Wang Min, Cen Yuwan, Hu Xiaofang, et al.A weighting window applied to the digital image correlation method [J].Optics & Laser Technology，2009，41(2)：154-158.

[4]劉小勇.數字圖像相關方法及其在材料力學性能測試中的應用[D].長春：吉林大學，2012.

[5]Bruck HA，Mcneill SR，Sutton MA，et al.Digital image correlation using Newton-Raphson method of partial differential correction [J].Experimental Mechanics, 1989, 29(3)：261-267.

[6]王琛影, 何小元.相關識別中的曲面擬合法[J].實驗力學, 2000, 15(9)：281-285.

[7]Davis CQ, Freeman DM.Statistics of subpixel registration algorithms based on spatiotemporal gradients or block matching [J].Optical Engineering, 1998, 37(4)，1290-1298.

[8]Zhou P, Goodson KE.Subpixel displacement and deformation gradient measurement using digital image/speckle correlation (DISC)[J].Optical Engineering, 2001, 40(8)，1613-1620.

[9]Pan Bing, Xie Huimin, Xu Boqin，et al.Performance of sub-pixel registration algorithms in digital Image correlation [J].Measurement Science & Technology，2006，17(6)：1615-1621.

[10]Xiong Lei, Liu Xiaoyong, Liu Guodong,et al.Evaluation of sub-pixel displacement measurement algorithms in digital image correlation [C].The International Conference on Mechatronic Science, Electric Engineering and Computer, 2011:1-4.

[11]潘兵, 續伯欽, 李克景.梯度算子選擇對基于梯度的亞像素位移算法的影響[J].光學技術, 2005, 31(1)：26-31.

[12]Liu Xiaoyong, Li Rongli, Zhao Hongwei, et al.Quality assessment of speckle patterns for digital image correlation by Shannon entropy[J].Optik, 2015, 126(23): 4206-4211.

如果您想發表對本文的看法，請將文章編號填入讀者意見調查表中的相應位置。

Non-iterative gray-gradient algorithm based on nonlinear optical flow equation in digital image correlation

LIU Xiaoyong, LI Rongli, HAO Zhaopeng, WANG Hui,CUI Gaojian, FAN Yihang, GONG Yan

(School of Mechatronic Engineering, Changchun University of Technology, Changchun 130012, CHN)

In traditional non-iterative gray-gradient algorithm of digital image correlation method, the gray intensity of a physical point on object surface is assumed that it does not change before and after deformation.However, in reality, the speckle images are sometimes acquired with illumination lighting variations, over/under-exposure, intensity variations during loading and so on.The gray intensity of physical points in speckle images before and after deformation is changed.In this paper, a non-iterative gray-gradient algorithm based on nonlinear optical flow equation is proposed.The nonlinear equation is employed to build the relationship between the points in the undeformed and deformed images.Both numeral experiment and real tensile experiment are conducted to verify the performance.The results show that the proposed algorithm displays the most robust for intensity variations and has high precision.

digital image correlation；nonlinear optical flow equation；non-iterative gray-gradient algorithm

* 國家自然科學基金項目( 51505038) ; 吉林省教育廳“十二五”科學技術研究項目( 吉教科合字[2015]第88 號)

0348

A

10.19287/j.cnki.1005-2402.2016.11.005

劉小勇，男，1979年出生, 博士，講師，主要從事微納米原位DIC測量技術與儀器方面的研究。

(編輯 譚弘穎)

2016-04-12)

161112