趙涵卓 丁宇航 張宗華 王晨 張昂 孟召宗 肖艷軍 高楠



摘要 條紋投影測量方法具有無接觸、測量精度較高、分辨率高等優點,是最可靠的三維測量方法技術之一。而系統標定的精度決定了測量數據的精度上限,是三維測量中至關重要的環節,所以本文分析比較了條紋投影測量系統已有的主要標定方法,包括有:反向投影法、三角關系建模法、隱式擬合法和神經網絡法。從誤差積累、系統搭建嚴格程度、操作復雜度、是否需要精密輔助裝置、是否考慮鏡頭畸變以及測量精度等方面進行了對比分析,得出每種方法的優缺點及應用,并以精度相對較高的相位匹配標定法、多項式標定法和平面擬合標定法3種方法為例進行對比實驗,綜合方法特征與實驗結果,得出標定方法選擇依據:需要高精度測量應選擇多項式擬合法,需要操作靈活應選擇相位匹配法,同時對精度和靈活性有需求,應選擇平面擬合標定法,對此類技術面向不同需求時選擇適當的方法進行系統標定具有一定的應用價值。
關 鍵 詞 三維測量;相移條紋;投影儀標定;系統標定;相位高度標定
中圖分類號 TH741? ? ?文獻標志碼 A
文章編號:1007-2373(2023)03-0017-12
DOI:10.14081/j.cnki.hgdxb.2023.03.002
Research on calibration method of fringe projection measurement system
ZHAO Hanzhuo, DING Yuhang, ZHANG Zonghua, WANG Chen, ZHANG Ang, MENG Zhaozong, XIAO Yanjun, GAO Nan
(School of Mechanical Engineering, Hebei University of Technology, Tianjin 300401, China)
Abstract Fringe projection measurement method is one of the most reliable three-dimensional measurement methods because of its non-contact, high measurement accuracy and high resolution. The system calibration directly determines the upper limit of measurement data accuracy, and is the most important step of 3D measurement. In this paper, the main calibration methods of fringe projection measurement system were summarized, including the back projection method, triangle relation modeling method, implicit fitting method and neural network method. The advantages or disadvantages of each method and its application were analyzed from the aspects of error accumulation, system construction rigor, operation complexity, demand of precision auxiliary device, and measurement accuracy. The comparative experiments were carried out with three methods with high precision: phase matching calibration method with relatively high accuracy, polynomial calibration method and plane fitting calibration method, and the selection basis of calibration method was obtained based on the synthesis of method characteristics and experimental results: the polynomial fitting method could be selected for high-precision measurement, and the phase matching method could be selected for flexible operation, and the plane one for accuracy and flexibility. It has its application value to select the appropriate method for system calibration of such technology when facing different needs.
Key words 3-D measurement; phase shifting stripe; projector calibration; system calibration; phase-height calibration
0 引言
隨著工業和科技的飛速發展,作為結合光學、圖像、信號處理等技術的光學三維測量技術,以其非接觸、快速測量等優勢被廣泛應用于各行業[1-2]。按照是否需要向被測物投射光信號[3],光學三維測量技術可分成主動式和被動式2種[4]。被動式的三維測量技術不需要投射結構光,僅利用相機采集被測物不同視角的特征信息來進行形貌測量,但是測量精度一般較低且測量復雜度高。主動式的三維測量技術往往需要投射一定形式的結構光到被測物表面,然后通過相機等圖像采集設備獲取被測物表面調制后的變形結構光圖像,然后對變形圖像進行相位解算得到被測物表面的三維數據,方法有:激光掃描法[5]、傅里葉變換輪廓法[6-8]、條紋投影測量法[9-12]、格雷碼條紋投影法[13]、格雷碼 + 相移條紋測量法[14-15]等。同其他技術相比,條紋投影測量法由于其結構簡單、精度和分辨率高、全場測量等突出的優點,被廣泛地應用在各種領域,諸如逆向工程、工業質量檢測、機器人導航、增強現實等。
1 條紋投影測量技術
條紋投影三維測量系統如圖1所示,主要由相機和投影儀組成,投影儀向被測物投射一組條紋圖像,條紋受到待測物表面高度變化引起調制,并由相機拍攝調制后的變形條紋;然后,通過相位解算獲得待測物表面上各點在投影儀圖像坐標系下的像素坐標;最后,按照系統的三角測量原理便可求出被測物表面每個點在世界坐標系下的三維坐標。隨著數字投影技術的飛速發展,條紋產生的靈活性大大提升,目前主要有相移正弦條紋、黑白二值條紋[16]、黑白條紋 + 正弦條紋[17]、彩色條紋[18]、三角條紋[19]等。其中,相移正弦條紋法[20-22],簡稱相移法,由于其高精度、高分辨率等優點成為最廣泛使用的條紋測量技術之一。
相移法的基本原理是向被測物投射一組正弦(余弦)條紋圖案[23],引入一個已知的相位變化,如圖1,通過求解多幅正弦(余弦)條紋圖像來求解相位主值。帶有相移的光強強度可表示為
[Inx,y=Ax,y+Bx,y?cos?x,y+αn] , (1)
式中:[Ax,y]為背景光的光強強度;[Bx,yAx,y]為條紋對比度;[?x,y]為被物體調制后的相位;[αn]為相移的大小。式中有3個未知數,所以至少要采集3幅條紋圖。常用的相移計算方法有標準N步相移法[24]、等間距滿周期法[25]和任意等步長相移算法[26]等,其中應用最多的是標準N步相移法,使相移值[αn]在[0,2π]上等間距地變化,步長為2π/N,一般N取值為3~5。以4步相移法為例,各點相位值為
[?x,y=arctanI4-I2I1-I3], (2)
此時由于反三角運算,包裹相位位于?π~π之間,所以需要進行相位展開,也就是將包裹相位恢復成實際的相位分布,目前相位展開方法有空間相位展開方法[27-28]和時間相位展開方法[29-30]。將相位展開后,便得到了變形條紋中每個點的連續的、實際的相位。最后,根據每個點的相位與其三維坐標的已知關系,求出被測物表面所有點的三維信息。
2 條紋投影三維測量系統標定
條紋投影測量技術要想獲得物體的三維信息,就需要知道相位與三維坐標的關系,所以系統標定的任務就是準確尋找相位與三維坐標的數學關系[31]。條紋投影測量系統標定主要包括相機標定和投影儀標定。
2.1 相機標定
為了求解采集圖像上各像素點的二維坐標與其空間對應點三維坐標存在著固定的幾何位置關系,需要確定相機的成像幾何模型,而相機標定就是確定成像幾何模型中的這些參數[32-36]。相機標定方法目前已較為成熟,現有的相機標定方法可分為3類:傳統標定方法[37-41]、基于主動視覺的標定方法[42-45]和相機自標定方法[46-47],其中張正友[39]提出的標定方法只需要打印一張精度較高的棋盤格作為標定物,由于其簡單靈活被廣泛使用。
2.2 投影儀標定
與相機不同的是投影儀不能拍攝圖像,這就無法直接獲取投影圖像上各點的位置與其在三維空間對應點的關系,使得投影儀的標定技術還在發展。國內外研究工作者對投影儀標定做了大量研究,提出了各種方法,對比總結后可以分為4大類:1)反向投影法,包括逆相機法、相位匹配法和交比不變法,該方法將投影儀看作一個反向的相機來進行標定;2)三角關系建模法,根據測量系統的三角幾何關系建立相機、投影儀與被測物點的幾何關系,并推導出被測物體的高度與相位的關系來進行標定;3)隱式擬合法,該方法以三角關系建模法為基礎,通過對高度和相位關系式進行隱式擬合的方法進行標定。4)神經網絡法,該方法通過對采集的樣本點進行神經網絡學習,學習完成即標定完成。
2.2.1 反向投影法
因為投影儀與相機的模型一致,只是投影儀投射的過程與相機拍攝的過程正好相反,投影儀的光學模型如圖2,[Ow-XwYwZw]為世界坐標系、[Op-xpypzp]為投影儀坐標系、以投影光軸與投影圖像的交點為原點[O],[O-XY]為圖像坐標系,[O-UV]為投影儀像素坐標系,投影儀的鏡頭存在畸變,所以理想投影點[(X,Y)]實際可能在[(Xd,Yd)]點。
一些學者就提出將投影儀看作一個逆向的相機來進行標定。Falcao等[48]和馬晨等[49]首先用標定好的相機計算標定平面在相機坐標系中的方程,得到該標定平面的平面方程,然后使用投影儀投影棋盤格到板上,檢測投影的棋盤格角點,如圖3所示。通過計算相機光心穿過圖像角點和投影棋盤格相交射線的表達式,從而可求得射線和標定板平面的交點坐標。得到了投影角點的二維坐標和投影角點在攝像機坐標系中的三維坐標,便可以使用已有的相機標定方法標定投影儀。由于該方法使用打印的紙張進行標定,無法保證標定板具有足夠高的平面度,Zhang[50]提出了一種以液晶顯示器面板作為標定對象的方法,可以用更少的圖像和更高的精度進行標定,也避免了紙張打印等帶來的誤差,但是成本也隨之提高。Ma等[51]研究了該類方法的投影儀鏡頭的畸變,王衡等[52]將透視投影畸變矯正方法引入投影儀的標定過程。雖然一定程度提高了精度,但是由于該類方法都依靠相機的標定結果,誤差累積使得投影儀標定精度較低。
由于逆相機法的局限性,很多學者就提出了相位匹配法,通過建立投影儀和相機圖像坐標的對應關系,實現投影儀標定。陳超[53]和謝麗麗[54]將水平和垂直方向的兩組相移條紋投射到標定板上,兩組條紋的交點就是投影儀的像素,也是投影儀成像平面與相機成像平面中的匹配點,這樣通過匹配每個像素點就可以建立從相機圖像像素到投影儀成像平面像素的映射,如圖4,從而得到投影儀標定所需的基礎數據,然后利用帶徑向畸變的相機模型對投影儀進行標定。類似的,徐念等[55]采用白色圓標定板求得標志點圓心在投影儀圖像上的像素坐標,并利用相位編碼法求解絕對相位,減少了投影儀標定過程中投射光柵圖的數量,提高了標定效率。彭權等[56]提出通過雙閾值的方法[57]來進行解碼,從而得到標定板上各角點的相機和投影儀之間的像素映射關系,然后通過局部單應性矩陣將各個角點在相機坐標系下的像素坐標轉換到投影儀坐標系下的像素坐標。戴小林[58]提出使用格雷碼相移條紋,然后通過相位匹配技術求解得到特征點在投影圖像上的虛擬成像,完成投影儀標定,該方法使用格雷碼法進行條紋定級,無法求取特征點相位,還需通過相位主值和相位展開的求解計算各特征點的相位值。徐鳴華[59]通過4步相移法和基于多頻外差原理的時域相位展開法,實現了條紋既快速又精確的相位解算,提高了標定精度和速度。因為相位法的非正弦性會對測量引入高次諧波誤差,李中偉等[60]通過對高次諧波誤差進行了補償,從而提高了標定精度。張翰等[61]基于立體靶標,提出一種利用單應矩陣獲取大量標定數據的方法,完成了相機和投影儀的同時標定,簡化了標定步驟。
因為相機模型和投影儀模型均為投影透視變換,即在變換中長度之間的比率雖發生了變化,但關于長度的比率之間2個比值具有交比不變性[62]。基于此原理, Huynh[63]和Xu等[64]提出了利用交比不變原理獲取標定特征點的方法,在已知標定板上至少3個精確定位的共線特征點條件下,通過圖像處理獲取投影條紋與共線特征點所在直線的交點坐標,最后利用交比不變原理計算特征點的三維坐標。Zhang[65]和Zhou等[66]基于雙重交比不變性原理,進行了標定特征點的獲取,但是在求解過程中,多次使用交比不變原理會產生累計誤差。許麗[67]在交比不變原理的基礎上,提出了基于平面標定板的光平面標定法,該方法使用水平移動臺移動標定板,相機獲取一系列光平面上的標定特征點,進而求解出系統的各參數,該方法提高了精度,但是隨著測量距離的增加,投影和成像系統的非線性誤差對測量精度的影響較大。
2.2.2 三角關系建模法
根據系統的三角關系建立相機、投影儀與被測物點的幾何關系,可推導被測物表面點高度與相位的數學關系作為標定的數學模型,這類標定方法被稱為基于三角關系的建模法。常見的三角關系建模標定法有遠心光路系統[68-69]和發散投影系統[70]。
遠心光路系統如圖5,該方法遵循正投影規律,[P0]為參考面上的等周期分布的正弦條紋周期,[θ]和[θ′]分別表示投影儀投射和相機拍攝的方向,投影儀投射出的條紋等相位面互相平行,并且相鄰等相位面間的相位差恒定。根據光學幾何關系便可求得被測物表面點[D]的高度[h]為
[h=ACtanθ+tanθ'] 。? ? ? ? ? ? ? ? ? ? ? (3)
當被測物體尺寸比較小時,θ'≈0,則有
[h=ACtanθ=P0tanθ??CD2π] ,? ? ? ? ? ? ? ? ? ?(4)
式中,[?CD]為圖像平面上同一像素點在放置物體前后測得的相位差。
該方法僅需標定AC和θ這2個參數,且只有一個相機垂直參考面的約束條件,較為簡單。但是該標定方法只適用于被測物體較小的情況,缺乏一般適用性。
采用發散光路照明的條紋投影三維測量系統如圖6,點E為相機的光心、點B為投影儀的光心,相機與投影儀的光軸成θ角。待測物體表面點D的高度為h,相機光心與投影儀光心的水平距離為d,且兩者所在直線與參考面的垂直距離為L,[?CD]為C點和D點的相位差,[P0]為所投影的條紋的周期。通過數學推導可得D點高度h:
[h=P0??CD?L2πd+?CD?P0] 。? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (5)
由于在實際測量系統中[d?AC],故式(5)可進一步化簡為
[h=P0??CD?L2πd] 。? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (6)
該方法相對遠心光路投影測量系統可以測量較大體積的物體,且僅需標定L和d這2個參數,但是該方法中相機、投影儀和參考平面有著嚴格的相對位置約束,這就需要對系統進行預先校準,同時也帶來了很多誤差。
2.2.3 多項式擬合法
多項式擬合標定法不用標定系統裝置的各個參數,只需要擬合出同一點在不同位置的相位和高度差的對應關系即可。主要過程包括系統建模和相對高度的獲取。
1)系統建模
Zhang等[71]在發散光路照明的條紋投影三維測量系統的基礎上提出了系統結構如圖7所示,并根據系統推導出相位和高度映射關系式(7)和擬合多項式(8),其中,擬合系數[a0,a1,…,an-1,an]也可稱為系統的隱式參數,z表示深度,[Δ?]表示相位。
[z=L02πL20LcosθP0Δ?x,yL0+xcosθsinθ2-LcosθsinθL0+xcosθsinθ+1],? (7)
[zx,y=n=0Nanx,yΔ?x,yn]。? ? ? ? ? ? ? ? ? ? ? ?(8)
李萬松等[72]提出的系統結構如圖8所示,并根據系統推導出相位[Δ?x,y]和高度[hx,y]映射關系式(9),其中,系數[ax,y]、[bx,y]和[cx,y]為系統的結構參數。
[1hx,y=ax,y+bx,yΔ?x,y+cx,y1Δ2?x,y] 。? ? (9)
安東等[73]在三維坐標系下提出了一種新的系統結構如圖9所示,更大程度地還原了系統的原本結構。而且相對之前的傳統結構該系統只有一個約束條件,簡化了校準過程。根據該模型推導出相位[Δ?]和高度h映射關系為式(10),其中[a1~a8]為系統的結構參數。
[h=a1Δ?+a2xΔ?+a3x2Δ?a4+a5x+a6Δ?+a7xΔ?+a8x2Δ?] 。 (10)
Yue等[74]提出了一種任意擺放的測量系統,結構模型如圖10所示,推導出的高度h和相位[Δ?]關系式為10,并用含有3個待標定參數的關系式(11)來進行擬合。[Op]是投影儀的鏡頭中心,在世界坐標系中,假設點P和[O′P]的坐標分別為:(X,Y,O),(X,Y,h)和[(x0,y0,0)]。假設一條與參考面上的投影條紋垂直的直線l,投影的條紋垂直于直線l,世界坐標系[Xw]軸與直線l的夾角為θ,投影儀光軸與參考平面相交于B點,過B點的投影平面I上的條紋周期為λ0,且與參考面成α角。該系統模型幾乎沒有幾何約束條件,大大方便了系統的搭建和校準。
[h=L-X-x0?cosθ-y0-Y?sinθ2πLsinα+λ0Δ?cos2α?]
[2πL-λ0Δ?sinαcos2α] ,? ? ? ? ? (11)
[hx,y=1+a1x,y?Δ?x,ya2x,y+a3x,y?Δ?x,y]。? ? ? (12)
2)標定方法及改進
在擬合上一節提出的多項式系數前,需要獲得每個點的相位變化值?所對應的相對高度值h。最常用的方法是使用一個精準的位移平臺來獲取準確的高度值[75-77],如Guo等[75]通過精準的水平移動臺實現對高度的標定,將標定板放置在已知高度的不同位置,將其中某個位置的標定板平面作為參考平面,然后求取其余位置的標定板在相機坐標系中的Z坐標,并將求得的Z坐標轉換到將參考平面作為XOY平面建立的參考坐標系中,可得到相對高度值,如圖11。李萬松等[72]通過建立正向和反向高度映射系數,解決了傳統相位高度映射方法中相位差較小時高度測量誤差較大的問題,但是該方法需要2個參考面,劉檸溢等[78]在此基礎上提出增設虛擬的參考面,利用預設高度值計算出虛擬參考面相位,進而按照李萬松的方法計算出系統參數。高精準的位移平臺行程通常很短,無法應對有高景深要求的場合。安東等[73]利用高度已知但不相同的若干標準塊來擬合式(10)的常系數[c1~c8],從而完成系統的標定。根據不考慮相機下球體的方向,球體的輪廓在相機中投影均為橢圓這一特性,Jing[79]提出了一種多球標定方法、通過一個四球平板簡化和加速了標定過程。Zhang等[80-81]利用張正友相機標定技術將帶有黑色圓環的標定板在相機視場范圍內任意擺放幾個位置,通過計算每個位置相對于參考面的差值,求得每個位置的相對高度值。Minh等[82]研究了一種針對任意系統結構的相對高度獲取方法,方法通過相機標定得到相機坐標系中所有角點的位置,并選擇一個平面進行擬合平面方程作為參考面,棋盤上任何其他位置相對于參考平面的每個角點的高度可通過點到平面的距離進行求解。Anchini[83]使用標定板3個位置的相位圖,來進行估算其他許多“虛擬平面”的相位圖,進行擬合相位到深度的映射關系,原理如圖12,這大大簡化了標定過程。
2.2.4 神經網絡標定法
神經網絡可以通過對已知樣本進行學習,以強大的函數逼近能力擬合任意有限連續函數,隨著人工智能的發展,很多學者對神經網絡在條紋投影三維測量技術中的應用進行了研究[84]。該類方法中,訓練過程即為神經網絡逼近系統模型的過程,訓練完成即標定完成[85-89]。李中偉等[87]采用3層BP神經網絡訓練,采用帶有圓形特征點的標定板進行神經網絡的樣本采集與訓練,在準確建立攝像機圖像和投影儀圖像之間的對應關系的基礎上,建立圖像坐標與被測物體三維坐標之間的映射關系,如圖13所示。齊召帥等[88]也采用了帶有圓形特征點的平面標定板,首先通過射影變換及誤差補償方法,建立攝像機圖像平面與投影儀圖像平面的映射關系,利用該映射關系和標定點的攝像機圖像坐標,計算得到相應的投影儀圖像坐標。采用3層結構的BP神經網絡建立投影儀圖像坐標、攝像機圖像坐標和對應的三維坐標的映射關系。
安東[89]使用多個高度已知的標定量塊進行樣本點的采集,每隔5或10個點對每個階梯面進行采樣,如圖14所示。利用3層BP神經網絡建立了相位差與高度及像素坐標之間的映射關系,然后利用采集到的數據對神經網絡進行訓練,訓練完成則標定結束。
3 標定方法比較
上述幾種標定方法的比較如表1所示。縱向對應上文所提到的幾種標定方法,橫向分別對比是否存在累積誤差,實驗系統搭建嚴格程度,是否需要精密儀器輔助,是否考慮了鏡頭畸變以及測量精度高低等指標。
反向投影法系統搭建簡單,且不需要特殊的輔助設備。但是這類方法主要有2個誤差源:一是由于對相機標定結果的依賴性而導致的相機的誤差累積到最終標定結果中;另一個是投影儀本身畸變也較為復雜,存在誤差。傳統的逆相機法依賴相機標定的結果,導致投影儀標定精度較差,且該類方法并未考慮鏡頭畸變帶來的影響,所以精度不高。相位匹配法無需利用相機的標定結果,可以實現相機與投影儀的同時標定,所以很大程度的減少了第1類誤差,只需對第2類誤差進行補償。但是該方法的精度依賴所建立的對應點(橫豎條紋的交點)精度,所以對標定板以及對應點的精度要求較高。利用交比不變性的標定方法同樣不需要相機的標定參數,有效地避免了第1類誤差,但由于該方法原理基于直線變換,忽略了相機和投影儀鏡頭畸變,雖然可以通過對數據進行灰度插值和直線擬合,但隨著交比使用次數增加,也帶來了不能不考慮的累積誤差,這就大大限制了該類方法的發展,所以此類方法應用較少。
根據測量系統的三角幾何關系建模法中,遠心投影條紋三維測量系統結構簡單,測量方便,但其原理中投影儀投射的是平行光束,需要鏡頭尺寸與投影區域相同,所以無法對大尺寸物體進行測量。發散條紋投影三維測量方法系統標定方法系統參數求取簡單,但是這是因為該系統中相機和參考平面的相對位置關系有嚴格的平行度、垂直度和相交性限制要求,而且標定也是在未考慮光學鏡頭的畸變條件下進行,約束性強和精度低限制了該技術的應用場合和發展。
多項式擬合法基于以三角關系建立或改進的模型,該類方法不需要標定出系統中每個參數的精確值,也無需單獨考慮鏡頭畸變帶來的誤差。但是在該類方法中,為了保證相對高度值的精確性,往往需要高精度的位移平臺或標準量塊,這就使得技術只局限于實驗室,無法適應現場標定。平面擬合法雖然不再依賴高精度的輔助儀器,但是卻對特征點的高精度提取提出了新的要求。此外,該方法的標定范圍受標定板擺放位置的限制,標定出的范圍有限,如果需要擴大測量視場,則又增加了很多工作量。
基于BP神經網絡的方法降低了建模復雜度,簡化標定過程。這種方法不需要定義高度和相位之間的映射關系,而是利用神經網絡的強大函數逼近能力來估算高度和相位之間的關系,此外,在訓練過程中,神經網絡會自動考慮鏡頭畸變對測量結果的影響,所以也不需要單獨考慮鏡頭畸變的影響。但是該方法存在與多項式相同的缺點,就是標定出的范圍有限,測量范圍一旦超出標定范圍,恢復出的三維形貌誤差較大。而且神經元和學習速率的確定缺乏有效的選擇方法,需要大量試錯,這就影響了這種方法的效率。
4 實驗示例
條紋投影測量系統如圖15所示,主要包括一臺筆記本電腦、一臺相機和一臺投影組成。本文以精度相對較高的相位匹配標定法[48]、多項式標定法[70]和平面擬合標定法[73]3種標定方法為例進行對比實驗,采用如圖16a)中的棋盤格標定板完成相機標定,每個方格的邊長均為15 mm;采用如圖16b)中的圓環標定板完成投影儀標定,相鄰圓環的圓心間距均為15 mm。
3種標定方法的具體操作流程如下。
1)相位匹配法標定過程:①相機標定由棋盤格標定板完成;②將圓環標定板置于相機視場26個位置,在每個位置處分別投射12幅水平和12幅垂直相移圖像,相機采集12幅條紋圖和一幅白光下的圖,并計算得到水平和垂直方向上的絕對相位圖;③通過使用與投影儀像素坐標系相對應的相機像素坐標系中每個點的水平和垂直交點,建立相機像素坐標系與投影儀像素坐標系之間的一一對應關系;④利用相機標定方法來標定投影儀的內參;⑤利用圓環中心點在世界坐標和在相機像素坐標系下的坐標來計算左相機和投影儀間的位置關系,從而得到投影儀外參,完成標定。
2)多項式擬合標定方法的標定過程:①相機標定由棋盤格標定板完成;②將標定板放置相機視場且垂直于相機光軸的26個位置,并且將標定板的某個位置確定為參考平面;③通過相位提取和展開計算出每幅圖包含所有像素點的相位值;④通過計算每個位置的高度值與參考平面之間的差值,獲得每個位置的相對高度值;⑤求出相位與相對高度關系的擬合系數,完成標定。
3)平面擬合法標定流程:①相機標定由棋盤格標定板完成;②圓環校準板隨機放置在攝像機視場內的26個位置,并投射相移圖像,每個位置的相位分布由相移法計算得到,并計算相機的外部參數;③計算每個標定板位置處特征點在相機坐標系中的空間坐標,將標定板的一個位置確定為參考平面,并擬合該參考面的平面方程;④使用三維點到平面方程的距離公式,可以計算出其余25個位置的相對高度值;⑤將相位分布和相對高度代入高度相位映射關系式,并通過最小二乘法計算每個像素的參數,并完成系統標定。
采用具有已知高度的臺階驗證各標定方法的精度。將所測量臺階平面放置于與垂直相機光軸的相機視場范圍,并且投射相移條紋到表面,利用相移法求解臺階的絕對相位圖,最后根據相位匹配法標定出的參數,求得臺階的三維坐標,即測得相位匹配標定法標定的三維形貌。多項式標定法和平面擬合標定法也與相位匹配標定法類似,不再贅述。如圖17a)、b)和c)為利用3種方法標定完成后測量恢復得到的一組三維形貌圖。
將恢復出的5個臺階表面上的點云擬合成平面方程,計算相鄰平面方程的距離得到相鄰臺階面的測量間距,為了驗證多次測量的重復精度,每種方法完成標定實驗后,均對臺階進行了3次測量實驗,相鄰臺階之間的真實值與3種方法恢復的測量值及最大絕對誤差如表2所示。由表2可知,相位匹配標定法、多項式擬合標定法和平面擬合標定法對應的最大誤差分別為0.065 mm、0.046 mm和0.053 mm,測量誤差分別穩定在0.352%、0.261%和0.295%以內。
可見同等條件下多項式擬合標定法和平面擬合標定法的標定精度相差較小,且要高于相位匹配標定法的精度。分析3種標定方法的系統原理,可能造成精度不同的影響為:相位匹配標定法精度相對較低主要是因為該方法依賴所建立的對應點(橫豎條紋的交點)精度,由于圖案匹配精度有限導致其標定精度相對較低。平面擬合標定法主要基于最小二乘法計算方程的解,而最小二乘法是對所選取的數據進行擬合,其本身就是一種尋找接近的方法,存在一定的誤差。
平面擬合標定法與相位匹配標定法相對于多項式擬合標定法簡單快速,但是隨著標定板相對與相機光軸不垂直度的增加,引入的圓心偏差也會影響平面擬合標定法的結果。因此,理論上精度和操作度都比較好的平面擬合標定法,依然存在著對標定板的要求比較高的缺點。綜上可知,如果需要高精度測量,可以選擇多項式標定法,如果需要簡單快速,優先選擇相位匹配標定法,而平面擬合標定法可以被視為是一個操作簡單和高精度的折中。
5 結論
本文分析比較了條紋投影三維測量技術中的標定方法與技術,總結了幾種常用方法的特點與存在的問題,并選取3種精度較高的標定方法進行對比實驗,實驗結果表明:需要高精度測量應選擇多項式擬合法,需要操作靈活應選擇相位匹配法,同時對精度和靈活性有需求,應選擇平面擬合標定法。系統標定的精度直接影響了物體三維形貌的重建精度,對工業制造精度和產品質量有著決定性的作用。雖然眾多研究者提出或改進了各種標定方法,但是現有的這些方法還是不夠成熟,依舊存在著高精度與實用性的矛盾,因此,有必要進一步研究和優化現有的標定方法。
參考文獻:
[1]? ? 白雪飛,張宗華. 基于彩色條紋投影術的三維形貌測量[J]. 儀器儀表學報,2017,38(8):1912-1925.
[2]? ? JIANG C F,ZHANG S. Absolute three-dimensional shape measurement with two-frequency square binary patterns[J]. Applied Optics,2017,56(31):8710-8718.
[3]? ? 孫士杰,翟愛平,曹益平. 一種快速獲取物體三維形貌和紋理信息的算法[J]. 光學學報,2016,36(3):99-104.
[4]? ? 尚忠義,李偉仙,董明利,等. 基于四步相移光柵投影的三維形貌測量系統[J]. 應用光學,2015,36(4):584-589.
[5]? ? 陳新禹,馬孜,陳天飛. 線結構光傳感器模型的簡易標定[J]. 光學 精密工程,2012,20(11):2345-2352.
[6]? ? 吳雙卿,張引,張三元,等. 傅里葉變換輪廓術物體三維形貌測量的系統分析及其坐標校準方法[J]. 光學學報,2009,29(10):2780-2785.
[7]? ? LIU X R,KOFMAN J. Real-time 3D surface-shape measurement using background-modulated modified Fourier transform profilometry with geometry-constraint[J]. Optics and Lasers in Engineering,2019,115:217-224.
[8]? ? 孟曉亮,于曉洋,吳海濱,等. 基于三維傅里葉變換的胸腹表面測量[J]. 光學 精密工程,2018,26(4):778-787.
[9]? ? DAI M L,YANG F J,LIU C,et al. A dual-frequency fringe projection three-dimensional shape measurement system using a DLP 3D projector[J]. Optics Communications,2017,382:294-301.
[10]? LI B W,ZHANG S. Microscopic structured light 3D profilometry:binary defocusing technique vs. sinusoidal fringe projection[J]. Optics and Lasers in Engineering,2017,96:117-123.
[11]? CHEN K,XI J T,YU Y G,et al. Three-dimensional measurement of object surfaces with complex shape and color distribution based on projection of color fringe patterns[J]. Applied Optics,2013,52(30):7360-7366.
[12]? SHEN Q J,CHEN W J,ZHONG M,et al. An improving fringe analysis method based on the accuracy of S-transform profilometry[J]. Optics Communications,2014,322:8-15.
[13]? 韋爭亮,古耀達,黃志斌,等. 雙目立體視覺中特征點三維坐標重構校準研究[J]. 計量學報,2014,35(2):102-107.
[14]? ZHANG Q C,SU X Y,XIANG L Q,et al. 3-D shape measurement based on complementary Gray-code light[J]. Optics and Lasers in Engineering,2012,50(4):574-579.
[15]? 謝捷如,王震. 運用LCD條紋投影進行光學三維輪廓測量[J]. 計量學報,2008(4):301-304.
[16]? DAI J F,ZHANG S. Phase-optimized dithering technique for high-quality 3D shape measurement[J]. Optics and Lasers in Engineering,2013,51(6):790-795.
[17]? 于曉洋,吳海濱,尹麗萍,等. 格雷碼與相移結合的結構光三維測量技術[J]. 儀器儀表學報,2007,28(12):2152-2157.
[18]? CHEN K,XI J T,YU Y G,et al. Three-dimensional measurement of object surfaces with complex shape and color distribution based on projection of color fringe patterns[J]. Applied Optics,2013,52(30):7360-7366.
[19]? GENG J. Structured-light 3D surface imaging:atutorial[J]. Advances in Optics and Photonics,2011,3(2):128-160.
[20]? 邱磊,錢斌,伏燕軍,等. 基于正弦和三角波條紋投影的三維測量方法[J]. 應用光學,2018,39(4):522-527.
[21]? 樊玲玲,張旭,屠大維. 基于數字相移條紋投影技術的結構光系統標定[J]. 機械制造,2014,52(10):73-76.
[22]? 馬孟超,鄧華夏,張進,等. 快速離焦投影三維測量技術[J]. 儀器儀表學報,2017,38(10):2564-2572.
[23]? 白景湘,曲興華,馮維,等. 雙投影結構光三維測量中重疊相移光柵的分離方法[J]. 光學學報,2018,38(11):150-156.
[24]? BRUNING J H,HERRIOTT D R,GALLAGHER J E,et al. Digital wavefront measuring interferometer for testing optical surfaces and lenses[J]. Applied Optics,1974,13(11):2693-2703.
[25]? 侯立周,強錫富,孫曉明. 幾種任意步距步進相移算法的誤差分析與對比[J]. 光學技術,1999,25(5):7-10.
[26]? STOILOV G,DRAGOSTINOV T. Phase-stepping interferometry:five-frame algorithm with an arbitrary step[J]. Optics and Lasers in Engineering,1997,28(1):61-69.
[27]? ASUNDI A,ZHOU W S. Fast phase-unwrapping algorithm based on a gray-scale mask and flood fill[J]. Applied Optics,1998,37(23):5416-5420.
[28]? SU X Y,CHEN W J. Reliability-guided phase unwrapping algorithm:a review[J]. Optics and Lasers in Engineering,2004,42(3):245-261.
[29]? HUANG L,ASUNDI A K. Phase invalidity identification framework with the temporal phase unwrapping method[J]. Measurement Science and Technology,2011,22(3):035304.
[30]? TIAN J D,PENG X,ZHAO X B. A generalized temporal phase unwrapping algorithm for three-dimensional profilometry[J]. Optics and Lasers in Engineering,2008,46(4):336-342.
[31]? 陸鵬,孫長庫,王鵬. 條紋投影相位高度轉換映射模型及其標定方法[J]. 光學學報,2018,38(2):189-197.
[32]? 胡松,王道累. 攝像機標定方法的比較分析[J]. 上海電力學院學報,2018,34(4):366-370.
[33]? 王運哲,鄭凱. 機器視覺中相機標定方法的研究[J]. 機械管理開發,2019,34(5):81-82.
[34]? 游江,唐力偉,鄧士杰. 機器視覺空間目標姿態自動測量方法研究[J]. 中國測試,2016,42(11):107-112.
[35]? 李豐陽,許其鳳,賈學東,等. 相機內參數標定的評價指標研究與實驗[J]. 測繪科學技術學報,2017,34(5):519-524.
[36]? 王皓,杜向陽,耿英博,等. 基于LabVIEW的相機標定技術研究[J]. 化工自動化及儀表,2017,44(10):944-947.
[37]? ABDEL-AZIZ Y I,KARARA H M,HAUCK M. Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry[J]. Photogrammetric Engineering & Remote Sensing,2015,81(2):103-107.
[38]? TSAI R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal on Robotics and Automation,1987,3(4):323-344.
[39]? ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.
[40]? 崔凌燕,陳婧. 基于兩步法的攝像機標定算法[J]. 測試技術學報,2018,32(2):125-130.
[41]? 張奎,陳兆學,趙航,等. 基于兩組同心圓環點的雙目攝像機標定方法研究[J]. 光學技術,2016,42(3):197-202.
[42]? 吳福朝,李華,胡占義. 基于主動視覺系統的攝像機自定標方法研究[J]. 自動化學報,2001,27(6):752-762.
[43]? 吳福朝,王光輝,胡占義. 由矩形確定攝像機內參數與位置的線性方法[J]. 軟件學報,2003,14(3):703-712.
[44]? 楊長江,孫鳳梅,胡占義. 基于二次曲線的純旋轉攝像機自標定[J]. 自動化學報,2001,27(3):310-317.
[45]? 吳福朝,胡占義. 線性確定無窮遠平面的單應矩陣和攝象機自標定[J]. 自動化學報,2002,28(4):488-496.
[46]? MAYBANK S J,FAUGERAS O D. A theory of self-calibration of a moving camera[J]. International Journal of Computer Vision,1992,8(2):123-151.
[47]? TRIGGS B. Autocalibration from planar scenes[C]// BURKHARDT H,NEUMANN B. Computer Vision — ECCV'98. Berlin,Heidelberg:Springer Berlin Heidelberg,1998:89-105.
[48]? 馬晨. 基于結構光的三維形貌視覺測量方法研究[D]. 西安:西安理工大學,2018.
[49]? FALCAO G,HURTOS N,MASSICH J. Plane-based calibration of a projector-camera system[J]. VIBOT Master,2008,9(1):1-12.
[50]? SONG Z,CHUNG R. Use of LCD panel for calibrating structured-light-based range sensing system[J]. IEEE Transactions on Instrumentation and Measurement,2008,57(11):2623-2630.
[51]? MA S D,ZHU R H,QUAN C G,et al. Flexible structured-light-based three-dimensional profile reconstruction method considering lens projection-imaging distortion[J]. Applied Optics,2012,51(13):2419-2428.
[52]? 王衡,王澤勇,李金龍,等. 一種用于結構光測量系統的投影儀標定技術[J]. 信息技術,2016,40(3):36-40.
[53]? 陳超. 基于條紋投影的三維形貌測量技術研究[D]. 天津:河北工業大學,2018.
[54]? 謝麗麗. 三維成像系統中投影鏡頭畸變的標定與修正研究[D]. 天津:河北工業大學,2015.
[55]? 徐念,武建偉,魏小保. 光柵投影三維測量系統中標定技術的研究[J]. 激光與光電子學進展,2020,57(1):102-108.
[56]? 彭權. 條紋投影三維視覺測量關鍵技術研究[D]. 合肥:合肥工業大學,2018.
[57]? ZHANG S,HUANG P S. Novel method for structured light system calibration[J]. Optical Engineering,2006,45(8):083601.
[58]? 戴小林,鐘約先,袁朝龍,等. 單攝像機結構光掃描系統中投影儀標定技術[J]. 機械設計與制造,2008(8):194-196.
[59]? 徐鳴華,施天敏,王穎,等. 結構光測量系統的投影儀標定方法研究[J]. 測控技術,2016,35(1):127-130.
[60]? 李中偉,史玉升,鐘凱,等. 結構光測量技術中的投影儀標定算法[J]. 光學學報,2009,29(11):3061-3065.
[61]? 張翰,包國琦,劉凱. 一種結構光三維成像系統的簡易標定方法[J]. 激光與光電子學進展,2019,56(14):148-156.
[62]? SPINHIRNE J D. Micro pulse lidar[J]. IEEE Transactions on Geoscience and Remote Sensing,1993,31(1):48-55.
[63]? HUYNH D Q. Calibration of a structured light system:a projective approach[C]// Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. June 17-19,1997,San Juan,PR,USA. IEEE,2002:225-230.
[64]? 徐光祐,劉立峰,曾建超,等. 一種新的基于結構光的三維視覺系統標定方法[J]. 計算機學報,1995,18(6):450-456.
[65]? ZHANG G J,WEI Z Z. A novel calibration approach to structured light 3D vision inspection[J]. Optics & Laser Technology,2002,34(5):373-380.
[66]? ZHOU F Q,ZHANG G J,JIANG J. Constructing feature points for calibrating a structured light vision sensor by viewing a plane from unknown orientations[J]. Optics and Lasers in Engineering,2005,43(10):1056-1070.
[67]? 許麗,張之江. 基于共面靶標的結構光標定方法[J]. 光電子 激光,2009,20(8):1063-1069.
[68]? 毛翠麗,盧榮勝,董敬濤,等. 相移條紋投影三維形貌測量技術綜述[J]. 計量學報,2018,39(5):628-640.
[69]? 岳慧敏,蘇顯渝. 復合相位測量輪廓術研究[J]. 激光雜志,2006,27(1):22-23.
[70]? 張雷,楊勇,趙星,等. 基于小發散角的投影式集成成像三維顯示再現深度的拓展[J]. 光學 精密工程,2012,20(6):1159-1165.
[71]? ZHANG Z H,MA H Y,GUO T,et al. Simple,flexible calibration of phase calculation-based three-dimensional imaging system[J]. Optics Letters,2011,36(7):1257-1259.
[72]? 李萬松,蘇禮坤,蘇顯渝. 相位檢測面形術在大尺度三維面形測量中的應用[J]. 光學學報,2000,20(6):792-796.
[73]? 安冬,達飛鵬,蓋紹彥,等. 新的基于條紋投影輪廓測量的系統標定方法[J]. 應用光學,2014,35(1):81-84.
[74]? YUE H M,ZHAO B Y,WU Y X,et al. Flexible global calibration technique for an arbitrarily arranged fringe projection profilometry system[J]. Optical Engineering,2016,55(6):064113.
[75]? GUO H W,HE H T,YU Y J,et al. Least-squares calibration method for fringe projection profilometry[J]. Optical Engineering,2005,44(3):033603.
[76]? LIU H Y,SU W H,REICHARD K,et al. Calibration-based phase-shifting projected fringe profilometry for accurate absolute 3D surface profile measurement[J]. Optics Communications,2003,216(1/2/3):65-80.
[77]? CHEN X B,XI J T,JIN Y,et al. Accurate calibration for a camera-projector measurement system based on structured light projection[J]. Optics and Lasers in Engineering,2009,47(3/4):310-319.
[78]? 劉檸溢,劉元坤,李云,等. 基于虛擬參考面的相位高度映射方法[J]. 光電子·激光,2019,30(7):712-718.
[79]? XU J,DOUET J,ZHAO J G,et al. A simple calibration method for structured light-based 3D profile measurement[J]. Optics & Laser Technology,2013,48:187-193.
[80]? ZHANG Z H,HUANG S J,MENG S S,et al. A simple,flexible and automatic 3D calibration method for a phase calculation-based fringe projection imaging system[J]. Optics Express,2013,21(10):12218-12227.
[81]? 安晶晶. 基于相位計算的雙視角三維測量系統[D]. 天津:河北工業大學,2017.
[82]? VO M,WANG Z Y,HOANG T,et al. Flexible calibration technique for fringe-projection-based three-dimensional imaging[J]. Optics Letters,2010,35(19):3192-3194.
[83]? ANCHINI R,DI LEO G,LIGUORI C,et al. A new calibration procedure for 3-D shape measurement system based on phase-shifting projected fringe profilometry[J]. IEEE Transactions on Instrumentation and Measurement,2009,58(5):1291-1298.
[84]? YANG X J,ZHANG J L. Artifical neural networks and blind signal processing[M]. Beijing:Tsinghua University Press,2003:31-60.
[85]? 劉小娟,李學軍,王文韞,等. 基于神經網絡的虛擬靶標大視場雙目相機標定技術[J]. 光學技術,2017,43(4):314-318.
[86]? 唐燕,陳文靜,張強,等. 神經網絡獲取三維面形研究[J]. 光電工程,2007,34(12):61-65.
[87]? 李中偉,王從軍,秦大輝,等. 基于神經網絡的相位-高度映射算法[J]. 光學學報,2009,29(2):412-416.
[88]? 齊召帥,王昭,黃軍輝,等. 基于神經網絡的結構光系統標定[J]. 光子學報,2016,45(5):87-92.
[89]? 安冬. 光柵投影三維測量系統的標定方法[D]. 南京:東南大學,2015.
收稿日期:2020-02-06
基金項目:重大科學儀器設備開發重點專項(2017YFF0106404);國家自然科學基金(51675160);河北省應用基礎研究計劃(15961701D)
第一作者:趙涵卓(1992—),女,碩士研究生。通信作者:高楠(1982—),男,副教授,ngao@hebut.edu.cn。