采用整體最小二乘法的條紋圖配準方法

穆治亞，艾 華，樊孝賀，何 昕，何丁龍，韓冬松，于國棟

(1.中國科學院長春光學精密機械與物理研究所，吉林 長春 130033；2.中國人民解放軍防化研究院，北京 102205;3.白城兵器試驗中心，吉林 白城 137001)

?

采用整體最小二乘法的條紋圖配準方法

穆治亞1*，艾 華1，樊孝賀1，何 昕1，何丁龍1，韓冬松2，于國棟3

(1.中國科學院長春光學精密機械與物理研究所，吉林 長春 130033；2.中國人民解放軍防化研究院，北京 102205;3.白城兵器試驗中心，吉林 白城 137001)

針對共光路菲索型動態干涉儀采集到的4幅條紋圖的空間一致性問題，本文提出一種新的條紋圖配準思路，將條紋圖與圖像配準在關聯度上人為分開，搭建了專用的圖像配準裝置，避免將條紋與十字絲標志點混在一幅圖像內而影響干涉儀的測量精度。首先通過本文搭建的條紋圖配準裝置對4臺CMOS相機進行物理配準，然后利用整體最小二乘法對采集到的同一十字絲刻劃板圖像進行十字絲提取、交點計算以及旋轉量計算，實現共光路菲索型動態干涉儀條紋圖像的點點對應。最后通過試驗對比驗證，證明了本文算法的配準精度優于模板重心法的配準結果，互相關度達到96%以上。

共光路動態干涉儀；條紋圖配準；整體最小二乘法

1 引 言

共光路斐索型動態干涉儀[1]光機結構裝調完畢后，由于在安裝時不能保證空間相對位置絕對的精確，存在微量的旋轉、上下平移、左右平移等問題；并且由于相機的擺放位置不準確，還有可能出現采集到的條紋圖存在鏡像、倒像等情況；另外在成像過程中不同的CMOS感光特性也有細微的差別；共光路動態干涉儀在進行面形重構時，相位信息需要從同步采集的4幅條紋圖中獲得，4幅條紋圖中相同位置的像素點所對應的必須是光學面形上同一處細小區域反射光的干涉光強[2]。解決以上問題的經典方法是進行圖像配準，通過對圖像進行旋轉、平移等操作，使4幅不同相位調制量的條紋圖中，相同位置的像素點對應同一空間位置。由于條紋圖中的特征信息較少，單純對采集到的條紋圖進行配準，難度較大，并且配準精度很低。因此需要提出一種合適的配準方法來實現4幅條紋圖的像素點點對應。

目前能夠解決空間一致性問題的方法主要有兩種：一種是基于條紋圖的圖像配準技術，通過對條紋圖的特征點進行提取，然后通過配準條紋圖像來實現4幅條紋圖的點點位置精確對應，此種方法的缺點是，由于采集到的條紋圖像幾乎沒有相同的特征點，特征點提取精度不高導致圖像的配準精度很低；第二種是通過CMOS相機的標定技術，通過特殊的配準裝置，使4臺CMOS相機同時采集含有十字絲的刻劃板，通過肉眼檢測的方式來確定十字絲的位置重合標定，此方法屬于人工檢測裝調技術，具有很大的操作誤差，配準精度依然不高。

南京理工大學左芬[3]、徐晨[4]等人提出兩種位置匹配方法：(1)采用在條紋圖中加入一個標志點來對4幅條紋進行配準，此方法的缺點是在條紋中人為加入標志點，會更改條紋像素值，最后會影響面型計算結果，并且將條紋與標志點混在一起也加大了提取標志點的難度。(2)利用計算條紋圖區域重心法來對4幅條紋圖像進行位置一致性確定，此方法的缺點是有效條紋區域的確定本身就有誤差，在有誤差的區域內再次進行重心法計算，會繼續增加誤差，使得中心點計算結果更加不精確，并且此方法無法標定條紋圖像的旋轉量。內蒙古工業大學田楓等人[5]提出一種基于統計分析方法的圓形域同步移相干涉圖位置配準技術，其精度優勢在于條紋圖輪廓的精確劃分，而通常條紋圖對比度不高，影響條紋圖輪廓提取，最終影響精度計算。

本文將綜合以上方法的優缺點，提出一種新的配準思路，將條紋圖與位置配準在關聯度上人為分開，搭建了基于十字絲的專用圖像配準裝置，避免將條紋與標志點混在一幅圖像內，然后利用最小二乘法對十字絲的兩條直線進行擬合，配準得到CMOS相機的統一坐標系。此種方法的配準精度高，可以實現4幅條紋圖的精確配準。

2 基于整體最小二乘法的十字絲配準方法

2.1 基于刻劃板十字絲圖像的物理配準

由于相移分光產生的4個不同相位的干涉條紋由4個CMOS相機分別接收，因此在圖像處理時要確保處理的圖像像素要在嚴格的相同位置上，這就需要對CMOS相機進行位置配準，為此本文搭建了基于刻劃板十字絲圖像的物理配準裝置。

本文搭建的干涉條紋配準結構圖如圖1所示。調整過程如下：在鏡頭的目視位置安裝十字刻劃板，在鏡頭前端安裝法線與鏡頭光軸平行的平面反射鏡，通過均勻光源照亮刻劃板后并通過鏡頭放大成像在4個CMOS相機上，使其中一個像在接近靶面中心位置后固定，調整其他3個CMOS相機上的像與第一個像位置重合，即保證了4個CMOS相機靶面位置空間位置的配準。在配準完成的CMOS相機進行空間位置固定之后，CMOS相機依然會出現不同影響的位置偏移及旋轉，此時需要通過圖像配準技術對十字絲圖像進行精確配準。

圖1 干涉條紋配準結構三維圖 Fig.1 3D picture of inference fringe registration structure

利用4個CMOS相機同時采集十字刻劃板圖像，采集到的原始圖像如圖2所示，然后通過算法計算十字絲交點坐標的偏移量以及十字絲的旋轉量來實現四幅干涉條紋圖的位置配準。

圖2 調整前刻劃板采集圖 Fig.2 Collecting picture of depiction board before regulating depiction

2.2 基于sobel算子的圖像預處理

由于原始圖像十字絲特征不明顯，首先我們需要對圖2中的原始圖像進行邊緣處理，提高十字絲的對比度，常見的邊緣提取有Prewitt算子[6]、拉普拉斯算子[7]、candy算子[8]等。由于這些算法局限性較高，不能保證提取目標的完整邊緣，本文將利用Sobel算子對采集到的刻劃板圖像進行預處理，然后在其基礎上利用整體最小二乘擬合對十字絲進行直線提取操作，最后聯立直線方程，實現求出兩直線的交點坐標。

Sobel算子本質上是一種梯度幅度檢測算子[6]，其原理是：以像素點為中心的3×3窗口內進行灰度計算。然后根據該點的極值狀態來進行邊緣提取檢測。令f(x,y)為像素點的灰度值，fx為水平方向上的梯度，fy為垂直方向上的梯度。

Sobel邊緣檢測算子定義為：

式中，fx=[f(i-1,x-1)+2f(i-1,j)+

f(i-1, j+1)]-[f(i+1,j-1)+

2f(i+1,j)+f(i+1, j+1)]

fy=[f(i-1,y-1)+2f(i,j-1)+

f(i+1, j-1)]-[f(i-1, j+1)+

2f(i, j+1)+f(i+1, j+1)].

Sobel邊緣檢測算子綜合了圖像每個像素點的上下左右鄰點灰度的和，接近模板中心的權值。適當選取閾值T就可以實現圖像邊緣檢測。

對0°相位的十字絲圖像預處理結果如圖3所示。由結果可以看出，預處理后的十字絲圖像對比度高，十字絲更加明顯，對于之后的直線擬合起到關鍵性作用。

圖3 預處理結果及十字絲放大顯示圖 Fig.3 Result of pretreatment and the enlarged image of cross wire

2.3 基于整體最小二乘法的直線擬合

在圖像預處理之后，需要對圖3中的十字絲進行直線擬合，求取兩直線交點的坐標，為此我們將求交點坐標轉換為直線擬合問題。直線擬合問題可以描述為：假設給定n個坐標點，直線擬合的最終目的是通過計算得到一條最佳擬合直線，此直線能夠盡量多的通過或者接近這些坐標點。其本質是求直線斜率和截距的最佳估計，最經典最常用的擬合方法是最小二乘法。普通最小二乘法[9]的缺陷在于自變量和因變量的選擇對直線擬合的結果影響很大，造成擬合精度差異較大。經典最小二乘法要求誤差僅來源于模型中的因變量，解釋變量無誤差或相比因變量誤差而言其誤差大小可以忽略不計，而在很多工程應用中，模型中解釋變量有誤差且是不可忽略的，因此20世紀80年代提出了整體最小二乘法[10](Total Least Squares)，其思想是建立在變量含誤差EIV(Errors-In-Variables)模型上，能夠很好地解決所有數據被隨機誤差影響的問題，其精度比經典最小二乘法更高。本文在最小二乘直線擬合方法的基礎上，提出了基于整體最小二乘直線擬合方法，完成了十字絲兩直線交點坐標的計算。

整體最小二乘法將自變量和因變量的誤差加入到直線擬合方程中，其表達式為：

相應的誤差方程可以按照EIV模型描述，如式(3)所示:

式中，設計矩陣A與觀測向量l的誤差分別由EA、El表示。

在設計矩陣A中，可以看到有一列元素的值恒為1，這是混合最小二乘法的求解問題[11]，因此，應按混合最小二乘求解。

令：A=[A1A2]，其中，A1=[1 1 … 1]T，A2=[x1x2…xm]T，此時構造一個增廣矩陣C，并對其進行QR三角分解：

式中，Q為正交矩陣，R為上三角矩陣，則:

R=QTC=QT=

式中，R11、R12、R22、R1l、R2l為標量，可將上式寫成如下的形式：

R22δa=R2l.

在對上述參數進行求解時，先利用整體最小二乘法對方程(7)進行求解以獲取參數δa，把δa帶入方程(6)，然后再按照普通的最小二乘法進行求解參數δb。

構造增廣矩陣CR=[R22R2l]，并進行奇異值分解：

式中，U=[U1U2]，V=[N1N2]，Σ=diag(σ1,σ2)，σ1>σ2。

可得參數δa的整體最小二乘解如下式所示：

.

得到了參數δa，δb的解，需要對其殘差和精度進行理論上的評價。

把增廣矩陣CR寫成下述形式：

R的改正量即為：

.

設計矩陣和觀測向量的改正數為：

此時可得出殘差：

.

在正交方向上的距離殘差為：

.

距離殘差在幾何意義上就是最小的正交距離的殘差平方和，所以，樣本精度的評定應該按照正交距離的殘差的平方和來計算:

由于整體最小二乘法同時考慮了兩個坐標軸的誤差，并且在兩個坐標軸方向上的正交距離殘差都比普通最小二乘法小，其單位權重誤差比普通的最小二乘法更小。

3 實驗結果與分析

本文搭建了共光路動態干涉儀的CMOS相機圖像配準試驗平臺，平臺選擇KEYENCE公司的VH-Z50L長距離高性能變焦鏡頭，其觀察距離在85 mm時能夠達到500的放大率，該裝置能夠輔助配準干涉條紋。在縮短CMOS相機像面和PBS距離后，能夠選取放大率更大的鏡頭。利用4個CMOS相機同時拍攝刻劃板實物，刻劃板上包含一個十字絲標志。表1為利用整體最小二乘法得到的配準結果，包含平移量和旋轉量。圖4為經過整體最小二乘配準后的十字絲刻劃板圖，圖5為配準完成后利用配準得到的旋轉平移公式變換后的4幅干涉條紋圖。

圖4 整體最小二乘法配準后刻劃板圖 Fig.4 Depiction board picture after registration using total least square

圖5 按配準得到的公式變換后的條紋圖 Fig.5 Fringe picture of transform using the registration result

圖像序列十字絲中心點平移量直線斜率旋轉量/(°)0相位(1030,1045)(6,21)0.01360.7792180相位(1016,1021)(-8,-3)0.00130.074590相位(1023,1025)(-1,1)0.00080.0458270相位(1019,1027)(-5,3)0.00110.0630

由圖2可以看出，初始采集到的4幅十字絲圖像具有明顯的位置差異，利用本文提出的整體最小二乘法得到4個十字絲中心點位置坐標，并將四幅配準圖的中心點平移到(1 024 ,1 024)坐標處，然后利用整體最小二乘法得到四幅配準圖的旋轉量，以0°相位配準圖為標準，將其他3幅配準圖轉換到0°相位配準圖的位置，表2計算出配準后的4幅條紋圖兩兩互相關度結果表明，經過整體最小二乘方法進行配準后，兩兩條紋圖之間的互相關度結果達到了0.97左右。結果表明，本算法達到了預期的處理目的。

表2 互相關度計算結果

圖6 手動提取模板 Fig.6 Cyclostyle by manpower

圖7 有效區域提取結果 Fig.7 Results collection of valid region

為了更好的驗證本算法的優越性，利用重心法配準結果[12-15]與本文提出的配準算法進行比較。圖6為重心法條紋圖手動提取模板，圖7為利用提取模板得到的有效條紋區域，圖8為配準結果，由表2可以看出，重心法由于只考慮了條紋中心配準結果，未考慮圖像的旋轉量，其互相關度結果只在0.92以下，較本文算法有一定的差距。

圖8 重心法配準結果 Fig.8 Registration result of barycenter method

4 結 論

本文首先介紹了條紋圖位置關系對檢測結果造成的影響，在此基礎上提出采用硬件裝調與圖像處理相結合的方法完成共光路動態干涉儀的條紋圖配準工作。以硬件裝調為主，使得對4幅條紋圖進行的數字信號處理操作盡可能少，以保證其配準的同時減少信息丟失。在目前國內的光機加工水平下，在安裝時，難以保證空間相對位置絕對的精確，仍然會存在微量的旋轉、俯仰、橫擺、上下平移、左右平移等問題，本文采用整體最小二乘法來對十字絲進行配準，提高條紋圖的配準精度。最后通過一系列的試驗驗證了本文算法的正確性，并與重心配準法進行了性能比較，驗證了本文算法的優越性。

[1] 王永紅，馮家亞，王鑫，等.基于狹縫光闌的剪切散斑干涉動態測量[J].光學 精密工程，2015,23(3):645-651. WANG Y H,FENG J Y,WANG X,etal.. Shearing speckle interferometry based on slit aperture for dynamic measurement[J].Opt.PrecisionEng.,2015,23(3)：645-651.(in Chinese)

[2] 王永紅，李駿睿，孫建飛,等.散斑干涉相位條紋圖的頻域濾波處理[J].中國光學，2013,7(3):389-395. WANG Y H,LI J R,Sun J F,etal.. Frequency domain filtering for phase fringe patterns of digital speckle pattern interfeinmetry[J].ChineOptics,2013,7(3):389-395.(in Chinese)

[3] 左芬.同步移相干涉測量的抗振技術研究[D].南京:南京理工大學，2008. ZUO F. Study on the simultaneous phase-shifting anti-vibrational interferometry[D]. Nanjing:Nanjing University of Science and Technology,2008.(in Chinese)

[4] 徐晨.動態干涉測量技術與應用研究[D].南京:南京理工大學，2009. XU C. Study of dynamic interferometry technology and application[D]. Nanjing:Nanjing University of Science and Technology,2009.(in Chinese)

[5] 田楓、白福忠、吳亞琴,等.基于統計分析方法的同步移相干涉圖位置配準[J].光學學報，2014，6:0626001.1-7. TIAN F,BAI F ZH,WU Y Q,etal. Position registration for simultaneous phase-shifting interferograms based on statistical analysis method[J].ActaOpticaSinica,2014，6:0626001.1-7.(in Chinese)

[6] KAUFMANN G H,GALIZZI G E. Phase measurement in temporal speckle pattern interferometry:comparison between the phase-shifting and the Fourier transform methods[J].AppliedOptics,2002,41(34):7254-7263.

[7] WANG F,PENG X S,LIU S Y. The method to filter the noise in the speckle fringe pattern based on spin filtering[J].StrongLaserandIonBeam,2009,21(z):230-234.

[8] WANG M X,FANG Y,HU H P. The independent component analysis method based on two-dimensional wavelet transform and its application in image separation[J].ElectronicsandInformationJ.,2006，28(3):471-475.

[9] 武迎春,曹益平,肖焱山.任意相移最小二乘法迭代的在線三維檢測[J].光學 精密工程，2014,22(5):1347-1353. WU Y CH,CAO Y P,XIAO Y SH. On-line three-dimensional inspection using randomly phase-shifting fringe based on least-square iteration[J].Opt.PrecisionEng.,2014,22(5):1347-1353.(in Chinese)

[10] 丁克良，沈云中，歐吉坤.整體最小二乘法直線擬合[J].遼寧工程技術大學學報(自然科學版)，2010,19(1):44-47. DING K L,SHENG Y ZH,OU J K. Methods of line-fitting based on total least-squares[J].J.LiaoningTechnicalUniversity(Natural Science),2010,19(1):44-47.(in Chinese)

[11] 張海華，劉春.顧及粗差的混合最小二乘平差實驗分析[J].現代測繪，2010，5:8-12. ZHANG H H,LIU CH. Mixed total least squares and least squares adjustment experimental anal ysis with gross error considered[J].ModernSurveyingandMapping,2010，5:8-12.(in Chinese)

[12] 郭交，李真芳，保錚.基于相位梯度的干涉條紋圖配準方法[J].西安電子科技大學學報(自然科學版)，2011，1:110-116. GUO J,LI ZH F,BAO ZH. Coregistration of multiple-pass interferogram of a single-baseline InSAR system based on phase gradients[J].J.XidianUniversity,2011，1:110-116.(in Chinese)

[13] 田楓.自參考干涉波前探測中光瞳形狀問題研究[D].內蒙古工業大學，2014. TIAN F. Research on pupil shape problem in self-referencing interferometer wavefrom detection[D]. Inner Mongolia University of technology,2014.(in Chinese)

[14] WU S,HE X,YANG L. Enlarging the angle of view in Michelson interferometer based stereography by embedding a 4f system[J].Appl.Opt.,2011,50(21):1669-1705.

[15] 王新華，黃瑋，歐陽繼紅.多探測器拼接成像系統實時圖像配準[J].中國光學，2015,8(2)：211-219. WANG X H,HUANG W,OUYANG J H. Real-time image registration of the multi-detectors mosaic imaging system[J].ChineOptics,2015,8(2):211-219.(in Chinese)

《發 光 學 報》

—EI核心期刊 (物理學類； 無線電電子學、 電信技術類)

《發光學報》是中國物理學會發光分會與中國科學院長春光學精密機械與物理研究所共同主辦的中國物理學會發光分會的學術會刊。 該刊是以發光學、 凝聚態物質中的激發過程為專業方向的綜合性學術刊物。

《發光學報》于1980年創刊， 曾于1992年， 1996年， 2000年和2004年連續四次被《中文核心期刊要目總覽》評為“物理學類核心期刊”， 并于2000年同時被評為“無線電電子學、 電信技術類核心期刊”。2000年獲中國科學院優秀期刊二等獎。 現已被《中國學術期刊(光盤版)》、 《中國期刊網》和“萬方數據資源系統”等列為源期刊。 英國《科學文摘》(SA)自1999年； 美國《化學文摘》(CA)和俄羅斯《文摘雜志》(AJ)自2000年； 美國《劍橋科學文摘社網站》自2002年； 日本《科技文獻速報》(CBST， JICST)自2003年已定期收錄檢索該刊論文； 2008年被荷蘭“Elsevier Bibliographic Databases”確定為源期刊; 2010年被美國“EI”確定為源期刊。2001年在國家科技部組織的“中國期刊方陣”的評定中， 《發光學報》被評為“雙效期刊”。2002年獲中國科學院2001～2002年度科學出版基金“擇重”資助。2004年被選入《中國知識資源總庫·中國科技精品庫》。本刊內容豐富、 信息量大，主要反映本學科專業領域的科研和技術成就， 及時報道國內外的學術動態， 開展學術討論和交流， 為提高我國該學科的學術水平服務。

《發光學報》自2011年改為月刊， A4開本， 144頁， 國內外公開發行。 國內定價： 40元， 全年480元， 全國各地郵局均可訂閱。 《發光學報》歡迎廣大作者、 讀者廣為利用， 踴躍投稿。

地 址： 長春市東南湖大路3888號

《發光學報》編輯部

郵 編： 130033

電 話： (0431)86176862， 84613407

E-mail: fgxbt@126.com

國內統一刊號： CN 22-1116/O4

國際標準刊號： ISSN 1000-7032

國內郵發代號： 12-312

國外發行代號： 4863BM

http://www.fgxb.org

Inference fringe image registration using total least square method

MU Zhi-ya1*, AI Hua1, FAN Xiao-he1, HE Xin1, HE Ding-long1, HAN Dong-song2, YU Guo-dong3

(1.ChangchunInstituteofOptics,FineMechanicsandPhysics,ChineseAcademyofSciences,Changchun130033,China;2.ResearchInstituteofChemicalDefenseofPLA,Beijing102205,China;3.BaichengOrdnanceTestCenter,Baicheng147002,China)

To solve the space coherence of four inference fringe images by dynamic interferometer with common light paths, we propose a new notion of inference fringe image registration. We detach the conjunction between the inference fringe image and the image registration, and erect the equipment for inference fringe image registration, avoiding the confusion between the inference fringe and the cross wire which can influence the measure precision of dynamic interferometer. First, we realize the physical registration of four CMOS cameras using the equipment for inference fringe image registration. Then, we go along the image registration for the four cross wire images of the depict board by cross wire extraction, intersection point caculation and rotution amount caculation using total least square method, and realize the parallelism between the pix and pix of the dynamic interferometer with common light paths. Last, experimental results show that the proposed registration algorithm can improve the accuracy of registration, which is superior to that of the method of bary center. The method proposed in this paper can achieve the cross-correlation value of over 96%.

dynamic interferometer with common paths;inference fringe image registration;total least square method

2016-06-01；

2016-08-15

吉林省自然科學基金資助項目(No.201115124) Supported by Jilin Provincial Natural Science Foundation of China(No.201115124)

2095-1531(2016)06-0625-08

TP391.4

A

10.3788/CO.20160906.0625

穆治亞(1985—)，男，山西晉中人，博士，助理研究員，2009年于吉林大學獲得學士學位，2014年于中國科學院大學獲得博士學位，主要從事數字圖像處理和紅外多目標跟蹤領域方面的研究。E-mail:muziya9@163.com

*Correspondingauthor，E-mail：muziya9@163.com