三維數字圖像相關法的初值估計和仿真圖研究

程百順,毛建國，沈 峘，梁中漢，王 瑩

(南京航空航天大學 能源與動力學院，南京 210016)

三維數字圖像相關法的初值估計和仿真圖研究

程百順,毛建國，沈 峘，梁中漢，王 瑩

(南京航空航天大學 能源與動力學院，南京 210016)

三維數字圖像相關法主要用來測量物體表面的三維形貌和變形，其關鍵技術主要包括相機標定、圖像匹配、三維重建和三維位移場和應變場的計算等。針對現有的初值估計方法在計算速度和精度上的局限性，提出基于sift的形函數和線性插值的初值估計方法，有效地提高了計算的速度和精度。傳統的三維算法精度分析只能借助于高精度的儀器測量對比，為此提出了基于反向映射法的三維仿真散斑圖分析方法。仿真結果表明：在小變形情況下z方向的誤差在2×10-4%左右，面內位移測量誤差在8 μm以內。驗證了三維仿真散斑圖的有效性和三維初值估計策略的可行性。

三維數字圖像相關法；初值估計；仿真散斑圖

在現代的科學研究、工程實踐及工業生產中，獲取材料的位移和應變信息并對材料的變形及力學性能進行深入研究具有重要的意義。傳統的接觸式測量方法和光學測量方法[1]由于自身的局限性不能滿足現在的測量要求。隨著計算機技術和相機產業的發展，在力學測量領域出現了新的測量方法，其中數字圖像相關法[2-3]是一種基于現代數字圖像和分析技術的新型光測技術，通過分析變形前后物體表面的數字圖像獲得被測物體的變形信息，已經成為現代光測力學領域中一個重要的方法。

數字圖像相關法是由日本學者Yamaguchi[4]與美國學者Peters[5]等在20世紀80年代幾乎同時獨立提出的。在數字圖像相關法中相關匹配運算一直是該算法的核心，其重要的進展是1989年Bruck[6]等提出的Newton-Rapshon優化算法，該方法不僅精度高，而且只要變形初值估計合理，算法會迅速收斂，現在的大多數研究都采用此種算法。但是二維數字圖像相關法只能測量平面物體的面內位移，所以引進三維數字圖像相關法。在實驗力學領域，Luo和Sutton等[7]利用2個攝像機從不同角度對被測物體表面進行成像，首先對雙目立體視覺模型進行標定獲得2個攝像機的內外參數，然后直接利用二維數字圖像相關法中的相關匹配算法得到左右兩幅圖像中對應點的視差，從各點的視差數據和預先獲得的標定參數恢復物體表面的三維形貌，從而得到全場的位移分布。

隨著現代數學和光學技術的發展，越來越多的國內外學者在數字圖像相關法的基礎理論[8-9]、匹配精度[10]和計算精度[11]上作出巨大的貢獻。其中初值估計是三維數字圖像相關法(3D-DIC)中的基礎環節，目前主要方法有整像素估計法[12]和種子點法[13-14]，但其在計算精度和速度上有缺陷。本文基于sift[15]的初值估計方法，得到精度較高的匹配點，然后利用形函數和線性插值得到所有關心點的估計點。本文在二維數字圖像相關法的散斑技術[16]基礎上，提出建立三維仿真散斑圖的方法，解決現有的利用仿真實驗驗證算法的問題。

1 三維數字圖像相關法

三維數字圖像相關法的主要技術包括相機標定、圖像匹配、位移場和應變場的計算，其中圖像匹配包括粗匹配和細匹配。粗匹配是指感興趣點的初值估計，細匹配是指相關函數的迭代收斂計算。應變場的計算采用將文獻[17]中的三維應變計算和潘兵最小二乘[18]計算相結合的方法。

1.1 相機標定

相機標定是3D-DIC的基礎。本文采用的張正友[19]的標定方法。利用采集平面標定板上的標記點在空間中的不同位置反向計算出相機的內參數和外參數。其中的小孔成像模型公式為：

(1)

式中：s為任意的比例系數；R和t為外部參數，分別為從世界坐標系到攝像機坐標系的旋轉矩陣和平移向量；A為攝像機的內部參數。由于簡單的針孔模型不能準確描述鏡頭的成像關系，本文采用tsai兩步標定法[20]，公式如下：

(2)

其中：k1、k2分別為1階、2階徑向畸變系數；r為像素點到主點(u,v)的距離。

1.2 圖像匹配

圖像匹配現在的主流方法是基于NR迭代的相關函數方法。物體表面在發生變形，左相機所采的系列圖像相當于在二維平面上的變形，而對應的右相機所采圖像就是因為視差所導致的類變形圖像，如圖1所示。

圖1 物體變形前后示意圖

圖1中：p點是計算中心點；(x,y)是p點的圖像坐標；(x′,y′)是變形后的對應點。(x,y)就是所要計算的位移。采用歸一化最小平方距離相關函數評價子區的相似度。由于圖像整體存在變形，因此采用形函數來描述這種變形，用于同一組相機所采圖像的匹配和兩個相機之間的匹配。

(1)

其中：Δx=x′-x0,Δy=y′-y0；ξ0、η0是參考圖像子區中心點P(x0,y0)的視差；ξx、ξy、ηx、ηy為圖像子區內視差的1階導數；ξxx、ξxy、ξyy、ηxx、ηxy、ηyy為圖像子區內視差的2階導數。

2 初值估計

2.1 初值估計基本理論

初值估計在數學上的意義是給上述形函數初值的過程，在實驗中是要賦予計算的點的初始位置。由于sift可能不會提取所有的特征點，此時應用形函數和線性插值可以解決此類問題。網格點只是從所有的像素點中提取的一部分，而且是整像素的網格點，此時就要提取精度較高的sift匹配點，同時去除誤匹配點。

圖2中：p點是參考圖像中的計算點；p′是p點在目標圖像中的初值估計點；p1,…,p5是以p點為中心，寬W、高H范圍內的sift提取的特征點；p1′,…,p5′是p1,…,p5在目標圖像中的對應sift特征點。

圖2 設定區域內sift匹配結果

1) 若在計算點周圍存在大于k(k=3)個sift特征點，那么就認為p點可以被估計。

2) 計算sift特征點到p0點的距離d。sift的匹配有一定的不確定性，取di為中值的點作為計算參考點。

3) 利用線性插值公式

(2)

計算得到p0點的估計點p′0 的坐標(xp0′,yp0′)。但并不是每個計算點都能滿足sift估計的要求，所以引進形函數初值估計。在將已經估計出來的計算點進行N-R迭代計算，若是收斂成功，則利用式(3)將其周圍某一點的初值計算出來了。若某一估值點計算不收斂，就會導致其某一側的值不能通過形函數來估計，此時引入線性插值式(4)來計算，如圖3所示。其中，“+”為N-R計算收斂點，“△”為計算不收斂的點，“o”是利用線性插值計算的點。

圖3

2.2 實驗分析

現在常用的初值估計方法有2種：一種是基于人機交互的種子點法；一種是結合模板匹配的整像素法。基于人機交互種子點法是在目標圖像中，利用人工選取點作為初值估計點，然后進行匹配計算，通過這一點的收斂結果估計其周圍點的初值，然后幅散開來，完成整張圖像的匹配工作。結合模板匹配的整像素估計是利用參考圖像子區和目標圖像子區進行模板匹配，找到初值估計點，然后進行匹配計算，這是一種由粗匹配到細匹配的過程。

本實驗是利用仿真實驗完成，硬件配置如下：采用Intel(R) Core(TM) i7-6700 CPU，內存為16G。軟件采用Matlab。仿真圖為旋轉5°、15°、30°的散斑圖。其中計算點為336個，網格間距20個像素，計算子區半徑20個像素。如圖4所示，其中第1列是二維仿真圖，第2列是三維仿真散斑圖的左相機圖像，第3列是三維仿真散斑圖的右相機圖像，生成圖像具體參數參考本文第4節。

實驗結果如表1、2所示，其中sift的插值方法在計算時間上比種子點法和整像素法要少，而且在大旋轉的情況下，種子點法和整像素法會因為無法完成初值估計導致計算不能收斂，而基于sift的插值計算方法使得每個點計算的都收斂。

種子點法的缺陷是:即使在選對第一個點作為種子點的情況下，若該點不收斂那么無法進行進一步的計算，而且是靠人工選取，時間較長。整像素法初值估計主要用基于模版匹配的方法，其抗旋轉能力較差，所以在大變形的情況下不能滿足計算要求。

旋轉角度角度/(°)51530sift法收斂點數336336301計算時間/s19.3023.71137.54種子點法收斂點數336336不收斂計算時間/s37.0078.45不收斂整像素法收斂點數336336不收斂計算時間/s63.16111.12不收斂

表2 右相機圖片計算結果

3 基于反向映射法的三維仿真散斑圖

3.1 散斑圖生成原理

散斑圖生成公式如下：

(3)

式中:k表示散斑顆粒的數目；(xk,yk)為散斑顆粒的中心位置，隨機產生；R為散斑顆粒的半徑；Ik為隨機生成的散斑中心的亮度，范圍為0～255， 圖像大小為M×N。當生成變形圖像時，散斑顆粒的中心點發生偏移，滿足式(6)中的變形模式。

(4)

其中(u0,v0,ux,vx,uy,vy)為變形參數。由(xk,yk)可求得(xk′,yk′)，代入式(4)可得到變形散斑圖的灰度分布。

3.2 三維反向映射法

本文生成三維仿真圖的方法如下：

物體是一個平面，ZW=1 200 mm，物體沿x反向平移0.2個像素：

1) 設定相機標定參數，主要是設定每個相機的內參數A和左右相機之間的外參數(R|T)，設定左相機的相機坐標為世界坐標。

2) 利用式(5)生成散斑圖，作為左相機的第1張圖像及參考圖像，利用反向映射法生成沿x方向平移0.2個像素的目標圖像，作為左相機的第2幅圖像。

3) 利用先前的相機內外參數和左相機第1幅圖中的像素點的位置(UL,VL)，結合式(1)，得到左相機中的像素點在右相機圖像中的坐標位置(UR,VR)，將左相機中對應像素點的灰度值賦給右相機圖像中的對應點。

4 實驗驗證

參考圖像為隨機生成的散斑圖像，分辨率為700像素×700 像素，散斑顆粒數為19 600，散斑顆粒半徑為3。假設物體是一個ZW=1 200 mm的平面。其中左右相機的內外參數為：

4.1 位移測試

沿x向生成間隔為0.05像素的平移圖像，共20張，在三維空間里對應的實際位移從0到0.12 mm，間隔為0.006 mm。實驗結果如圖5～7所示。

圖5 x方向的位移場誤差

圖6 y反向位移場誤差

如圖5和6所示，模擬0～0.12 mm的位移測量中測量誤差在8 μm以內。如圖7所示，在z方向的距離測量誤差在1 μm以內，相對誤差為2×10-4%。結果表明：在小變形的情況下，三維仿真散斑圖的生成是有效的，而且精度較高，滿足測試三維形貌重建的算法測試標準。

圖7 z方向距離測量誤差

4.1 應變測試

沿x方向有應變2 000 με。參考圖像和目標圖像如圖8所示。(a)和(b)是左右相機采集的第1對圖像，(c)和(d)左右相機采集的第2對圖像。

圖8 參考圖像和目標圖像

如圖9所示，x方向的應變場計算結果為1 960 με，方差為58 με。如圖10所示，z反向的距離測量誤差均值為0.2 μm，最大值為2 μm。因此，三維仿真散斑圖可用于三維重建和應變的精度分析，驗證應變和重建算法的可行性。

圖9 x方向應變場

圖10 z方向尺寸測量誤差

5 結束語

根據實驗結果可知：本文采用的三維仿真散斑圖可以有效驗證立體匹配、三維重建和應變算法的精度和有效性，同時本文的三維初值估計及其插值算法滿足三維數字圖像相關法的精度要求。

[1] 金觀昌.計算機輔助光學測量[M].北京：清華大學出版社,2007.

JIN Guanchang.Computer aided optical measurement[M].Beijing:Tsinghua University Press,2007.

[2] 王懷文,亢一瀾,謝和平.數字散斑相關方法與應用研究進展[J].力學進展,2005(2):195-203.

WANG Huaiwen,KANG Yilan,XIE Heping.Advance in digital speckle correlation method and its application[J].Advances in Mechanics,2005(2):195-203.

[3] HUNG P C,VOLOSHIN A S.In-plane strain measurement by digital image correlation[J].Journal of the Brazilian Society of Mechanical Sciences & Engineering,2003,25(3):215-221.

[4] YAMAGUCHI I.A laser-speckle strain gauge[J].Phys E:Sci Instrum.1981,14(11):1270-1273.

[5] PETERS W H,RANSON W F.Digital imaging techniques on experimental stress analysis[J].Optical Engineering 1982,21(3):427-431.

[6] BRUCK H A,MCNEILL S R,SUTTON M A,et al.Digital image correlation using Newton-Raphson method of partial differential correction[J].Experimental Mechanics,1989,29(29):261-267.

[7] LUO P F,CHAO Y J,SUTTON M A.Application of stereo vision to three-dimensional deformation analyses in fracture experiments[J].Optical Engineering,1994,33(3):990.

[8] SUTTON M A,TURNER J L,BRUCK H A,et al.Full-field representation of discretely sampled surface deformation for displacement and strain analysis[J].Experimental Mechanics,1991,31(31):168-177.

[9] ORTEU J J.3-D computer vision in experimental mechanics[J].Optics & Lasers in Engineering,2009,47(3/4):282-291.

[10]SCHREIER H,ORTEU J J,SUTTON M A.Image Correlation for Shape,Motion and Deformation Measurements[M].[S.l.]:Basic Concepts,Theory and Applications,2009:565-600.

[11]PAN B,YUAN J,XIA Y.Strain field denoising for digital image correlation using a regularized cost-function[J].Optics & Lasers in Engineering,2015,65:9-17.

[12]GAO Y,CHENG T,SU Y,et al.High-efficiency and high-accuracy digital image correlation for three-dimensional measurement[J].Optics & Lasers in Engineering,2015,65:73-80.

[13]PAN B,ASUNDI A,XIE H,et al.Digital image correlation using iterative least squares and pointwise least squares for displacement field and strain field measurements[J].Optics & Lasers in Engineering,2009,47(7/8):865-874.

[14]HELM J D,MCNEILL S R,SUTTON M A.Improved three‐dimensional image correlation for surface displacement measurement[J].Proceedings of SPIE-The International Society for Optical Engineering,1994,35(7):1911-1920.

[15]ZHOU Y,CHEN Y Q.Feature matching for automated and reliable initialization in three-dimensional digital image correlation[J].Optics & Lasers in Engineering,2013,51(3):213-223.

[16]MAO Jianguo,ZHANG Peize,SHEN Huan,et al,Reverse Mapping for Generating Simulated Deformed Speckle Patterns[J].Journal of Optoelectronics.Laser,2015(4):2433-2439.

[17]高越.三維數字圖像相關法的關鍵技術及應用研究[D].合肥：中國科學技術大學,2014.

GAO Yue.Research on key technologies and applications of three-dimensional digital image correlation[D].Hefei:University of science and Technology of China,2014.

[18]潘兵,謝惠民.數字圖像相關中基于位移場局部最小二乘擬合的全場應變測量[J].光學學報,2007,27(11):1980-1986.

PAN Bing,XIE Huimin.Full-Filed strain measurement based on Least-Square fitting of displacement for digital image correlation[J].Acta Optica Sinica,2007,27(11):1980-1986.

[19]ZHANG.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2000,22(11):1330-1334.

[20]TSAI R.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].Robotics & Automation IEEE Journal,1987,3(4):323-344.

(責任編輯 楊黎麗)

Study on the Initialization for Feature Matching and Simulation Speckles in Three-Dimensional Digital Image Correlation

CHENG Bai-shun, MAO Jian-guo, SHEN Huan, LIANG Zhong-han, WANG Ying

(Energy and Power College, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)

Three-dimensional digital image correlation (3D-DIC) method has been increasingly employed to measure 3D surface profile and displacement. The key technologies applied in this method include stereo camera calibration, digital image correlation, reconstruction, and 3D displacement/strain field computation. This paper mainly studies on an initial guess technique based on SIFT matching and linear interpolation to improve the accuracy of 3D-DIC. Additionally, a new method based on reverse mapping is proposed to generate the 3D simulated speckles for testing the accuracy of the initial guess and digital image correlation technique. The numerical simulations reveal that the error in Z-direction is about 2×10-4% of the object distance. Test and analysis of the in-plane displacement error is within 8 μm under small displacement. Results show that the 3D simulated speckles are useful and effective for the verification of 3D-DIC method and show that the initial guess technique can achieve high accuracy.Key words: three-dimensional digital image correlation; initial guess technique; 3D simulated speckles

2016-11-03 基金項目：航空科學基金資助項目(111111)

程百順(1991—)，江蘇徐州人，碩士研究生，主要從事機器視覺，數字圖像相關法在力學方向的研究,E-mail:cbs_1012@163.com。

程百順,毛建國，沈峘，等.三維數字圖像相關法的初值估計和仿真圖研究[J].重慶理工大學學報(自然科學)，2017(3):116-122.

format：CHENG Bai-shun, MAO Jian-guo, SHEN Huan, et al.Study on the Initialization for Feature Matching and Simulation Speckles in Three-Dimensional Digital Image Correlation[J].Journal of Chongqing University of Technology(Natural Science)，2017(3):116-122.

10.3969/j.issn.1674-8425(z).2017.03.017

TP391.41

A

1674-8425(2017)03-0116-07