基于兩臺顯微相機主動運動的微球孔姿態高精度測量方法

曲吉旺 徐 德 張大朋 許家忠

自20 世紀80 年代至今,微機電系統得到了飛速的發展,微裝配與微操作技術也取得了較大的進步.目前,微裝配仍然是一個熱點領域,如何將不同形狀不同材質的微小型零件進行高精密裝配,仍然存在很多需要解決的問題[1].其中,微器件姿態的測量在微裝配中是一個非常重要的方面,是后續的運動控制、姿態調整的基礎,受到研究人員的普遍重視.目前,已有大量關于姿態測量的文獻.例如,文獻[2]利用立體視覺測量了超音速風洞中滾動目標的位姿,通過刪除不匹配點,提高了測量精度.文獻[3]提出了一種利用兩臺機器人的機載相機估計目標位置的方法,利用兩臺相機圖像中目標的匹配特征點計算目標的3D 位置,相當于立體視覺.針對非基準復雜零件的位姿測量問題,文獻[4]中提出了一種基于迭代優化的視覺測量方法,不需要特征提取,具有較高的測量精度,但每次測量耗時近20 s.文獻[5]提出了一種基于卷積神經網絡的端到端的位姿測量方法,實現了棋盤格目標的位姿測量.文獻[6]設計了基于三軸陀螺儀、三軸加速度計和三軸磁強計的姿態測量系統,通過多傳感器數據融合求取無人機姿態,并將加速度計信任度引入基于四元數的互補濾波算法,增加了無人機姿態測量的精度.文獻[7]提出了一種融合RGB 和深度傳感器信息的姿態估計方法,提高了姿態估計對尺寸、光照和噪聲的魯棒性,提高了復雜場景中方形基準標記的姿態估計精度.文獻[8]中提出了一種基于單位四元數的立體視覺初始姿態估計方法,并對姿態估計精度進行了預測和分析.通過對機器人姿態的旋轉和平移的相關分析,分離出旋轉協方差和平移協方差,有效地實現協方差估計,實現了姿態的精確估計.文獻[9]提出了一種基于3D 激光雷達和立體視覺信息融合的非合作目標姿態測量及運動估計方法,實現了對空間非合作目標姿態的高精度測量.

上述姿態估計皆可實現對目標姿態的準確測量,但皆屬于宏觀測量,且其中有些測量方法需要多種傳感器,通過信息融合提高姿態測量的精度.在微裝配中,由于顯微視覺視野小景深小,操作空間小,不同的顯微相機幾乎沒有公共視野,故上述姿態測量方法不適用于微裝配.為此,研究人員提出了一些基于顯微視覺的目標姿態測量的方法.文獻[10]提出了一種基于Hough 變換和模板匹配的目標定位和姿態檢測方法.該方法能精確定位目標并獲得其傾斜角度.文獻[11]提出了一種基于單目顯微視覺系統的平面位姿估計算法,用于基于視覺引導下的微零件加工.利用基于PnP (Perspectiven-point)算法的線性方法估計姿態的初始值,然后利用正交迭代算法對姿態進行優化,可保證姿態矩陣的單位正交性.文獻[12]提出了基于雙目視覺檢測針狀目標姿態的方法,提取針狀目標特征點,標定空間三維坐標系與二維圖像之間的轉換矩陣,得到目標中軸線上一系列點的三維坐標,采用最小二乘法擬合直線,得出針狀目標的姿態向量,測量誤差為±0.3°.文獻[13]提出了一種基于三路顯微視覺系統的微小零件在線檢測與裝配策略,提出了基于圖像特征的微零件相對位姿測量算法,實現了復雜的微小零件裝配.文獻[14]提出了一種利用單臺顯微相機測量凸臺零件姿態的方法,利用凸臺的陰影估計零件的姿態,方向向量均方根誤差約0.2°.文獻[15]提出了一種基于顯微視覺的微膠接自動裝配方法,利用點特征測量兩個器件之間的相對位置偏差,采用視覺伺服完成微裝配任務.文獻[16]提出了一種基于支持向量機的微器件識別方法,利用Broyden 方法在線估計表征位置偏差的圖像雅可比矩陣,實現了基于顯微視覺的微器件識別、定位和抓取.文獻[17]提出了一種基于輪廓基元的微器件體征提取方法,基于模板匹配實現輪廓基元與微器件圖像的對準,從而準確提取出圖像特征.對于3 臺顯微相機構成的視覺測量系統,基于上述提取的點和線特征,實現了微器件的高精度姿態測量,其中位置均方根誤差為3 μm,方向均方根誤差為0.05°.

但上述方法無法實現帶孔球類目標的姿態測量.在一些球形零件的微裝配中,對微零件三維姿態的精確測量是完成裝配任務的關鍵.文獻[18]提出了一種基于單目顯微視覺測量微球孔姿態的方法,通過相機的主動運動完成對微球球心與微孔孔心的聚焦,獲得球心與孔心的圖像坐標并轉換到微管操作手所在的運動坐標系中,計算出微球孔姿態向量.此方法并未對聚焦軸方向的運動進行標定,相機沿聚焦軸運動后特征點的圖像坐標存在誤差,導致姿態測量不夠精確.針對顯微視覺景深小的特點,文獻[19]中提出了一種基于雙目顯微視覺的微球孔姿態測量方法,通過顯微相機主動運動測量出微球球心到微孔的向量所在平面的法向量,利用兩臺顯微相機測量出的兩個平面的法向量叉乘,獲得微球球心到微孔的姿態向量,測量誤差為0.7°,精度有待進一步提高.文獻[20]中提出了一種基于單目顯微視覺的微球孔姿態測量方法,通過對微球與微孔的精確定位,計算出微球心與微孔心的空間相對位置關系,并由此計算出微球孔姿態,測量精度為0.3°.此方法中顯微相機豎直安裝,位于微球調整平臺的正上方,由于顯微視覺景深小視野小的特點,相機距離微球較近,限制了操作空間的高度,且微球零件與其他零件配合安裝時,很容易遮擋視野,不利于裝配操作.

在慣性約束核聚變的微靶制靶過程中,需要對微球和微管進行高精度對接.其中,微球孔的高精度姿態測量是影響裝配質量的核心問題,如何進一步提高微球孔姿態的測量精度是亟待解決的難題.針對上述微球孔姿態測量方法的不足,本文在傾斜雙目顯微視覺引導下,通過相機的主動運動,實現了微球孔姿態的高精度測量.本文的主要貢獻包括:1)通過相機的主動運動,分別將微球中心和微孔中心的圖像調整到光軸中心點的位置,利用高精度的主動運動量計算微球孔的姿態.2)對相機運動軸進行了標定,考慮了相機運動軸與相機光軸不平行引起的運動量,并對用于姿態計算的相機運動量進行了修正.

本文內容安排如下:第1 節介紹系統構成以及系統標定方法,包括相機運動與圖像特征變化之間的圖像雅可比矩陣標定、相機光軸與聚焦運動軸的標定、相機運動坐標系與微球調整平臺坐標系間的角度轉換矩陣的標定、相機光軸中心點的標定.第2 節給出了微球微孔的精確定位方法,在圖像空間聚焦以及定位微球和微孔,得到其圖像坐標.第3節為微球孔的姿態測量方法,介紹了測量的原理與步驟.第4 節為實驗與結果,進行了微球孔測量實驗,并與已有的方法進行了對比.第5 節為結論,對全文進行了總結.

1 系統構成及標定

1.1 帶孔微球零件

目標零件為直徑500 μm 的微球,球上微孔直徑為8 μm.微球示意圖如圖1 所示.球心孔心連線與微孔平面法向量一致,微球微孔尺寸過小,常規視覺因分辨率不足無法對其進行有效成像并測量.此外,微球微孔尺寸相差數十倍,微孔與微球邊緣無法處于同一視野之內,需使用變倍顯微相機對其進行跨尺度觀測并測量.

圖1 微球示意圖Fig.1 The miscrosphere

1.2 平臺系統構成

實驗平臺示意圖如圖2 所示.該平臺包含兩路傾斜正交的顯微視覺,一臺微球調整平臺.顯微視覺由顯微相機、運動機構構成,顯微相機的鏡頭可改變放大倍率,運動機構包含X、Y、Z方向及聚焦軸方向四自由度的運動軸.微球調整平臺為可繞X軸與Y軸旋轉的兩自由度運動機構.該平臺的坐標系如圖3 所示.

圖2 實驗平臺示意圖Fig.2 Experiment platform

圖3 平臺坐標系示意圖Fig.3 Coordinates of experiment platform

圖3 中,{C1}表示顯微相機1 的相機坐標系,Xc1對應于其圖像坐標水平軸方向,Yc1對應于其圖像坐標豎直軸方向,Zc1為其光軸方向.{C2}表示顯微相機2 的相機坐標系,Xc2對應于其圖像坐標水平軸方向,Yc2對應于其圖像坐標豎直軸方向,Zc2為其光軸方向.{M1}表示顯微相機1 運動機構坐標系,{M2}表示顯微相機2 運動機構坐標系,{W}表示微球調整平臺坐標系.三個坐標系{M1}、{M2}和{W}的X軸、Y軸、Z軸分別相互平行.

1.3 系統標定

1.3.1 相機運動與圖像變化關系的標定

因微孔尺寸遠遠小于微球尺寸,觀測微孔與觀測微球時的圖像分辨率具有很大差異,需要在不同倍率下觀測.因此,需要在不同倍率下對相機進行標定.此處以顯微相機1 初始倍率的標定為例進行說明.

首先完成顯微相機1 對標定物的定位及聚焦,協調運動顯微相機1 運動機構的Xm1,Ym1,Zm1軸,使標定物始終處于清晰平面內,記錄三軸運動量 (Δx1,Δy1,Δz1),記錄特征點的圖像變化量(Δu1,Δv1).以(Δx1,Δy1,Δz1,Δu1,Δv1)作為一組數據,重復n次,得到n組數據,獲得式(1).

式中,J1s是初始倍率下顯微相機1 運動量到圖像特征變化的圖像雅可比矩陣,Y是n次運動形成的運動量矩陣,U是n次運動形成的特征點圖像變化量矩陣.利用最小二乘法,可以求得式(1)中的雅可比矩陣J1s,見式(2).

大倍率下顯微相機1 運動量到圖像特征變化的圖像雅可比矩陣J1b的標定方法與初始倍率下的圖像雅可比矩陣J1s的標定方法相同.顯微相機2 初始倍率與大倍率下的由相機運動量到圖像特征變化的圖像雅可比矩陣J2s,J2b的標定方法與顯微相機1 的標定方法相同.

1.3.2 相機光軸及聚焦運動軸的標定

在顯微相機1 初始倍率下,對標定物進行聚焦,在標定物保持清晰的情況下,兩次以不同方向對顯微相機1 的Xm1,Ym1,Zm1軸進行運動,記錄其移動量分別為(Δx11,Δy11,Δz11)和(Δx12,Δy12,Δz12).光軸單位方向向量的計算如式(3)所示,光軸單位方向向量與Ym1軸夾角的計算如式(4)所示.

式中,n1s為初始倍率下顯微相機1 光軸單位方向向量,v1=[Δx11,Δy11,Δz11]T,v2=[Δx12,Δy12,Δz12]T為n1s與Ym1軸的夾角.顯微相機1 大倍率下的光軸單位方向向量n1b的標定方法與其在初始倍率下光軸單位方向向量的標定方法相同.顯微相機2 初始倍率與大倍率下光軸單位方向向量n2s和n2b的標定方法與顯微相機1 的標定方法相同.n2s與Xm1軸的夾角αc2見式(5).

相機聚焦運動軸的標定在初始倍率下進行,顯微相機可以運動較大距離,因而標定結果具有較高精度.初始倍率下移動顯微相機1 對標定物進行定位及聚焦,使相機聚焦運動軸移動合適距離,通過Xm1,Ym1,Zm1三個運動軸的協調運動使相機沿相機光軸方向運動,對標定物重新聚焦,記錄三個運動軸的運動量 (Δx1,Δy1,Δz1),并記錄相機運動前后標定物特征點的圖像偏差 (Δu1,Δv1).根據圖像偏差 (Δu1,Δv1),利用式(6)計算出對應的位移向量.利用位移矢量相加得到聚焦運動軸的方向,見式(7).

式中,n1s=[Δx1,Δy1,Δz1]T為光軸方向向量,Vm為相機聚焦軸的運動向量.將Vm歸一化后,得到顯微相機1 聚焦運動軸的單位方向向量Vm1.顯微相機2 初始倍率下的聚焦運動單位方向向量Vm2的標定方法與顯微相機1 的標定方法相同.

1.3.3 運動機構坐標系與微球調整平臺坐標系之間的角度轉換關系標定

由于微球調整平臺與兩臺顯微相機運動機構之間存在安裝誤差,其坐標軸不完全平行.微球孔姿態向量在微球調整平臺坐標系中的旋轉角與在相機運動機構坐標系中測量出的分解角之間的轉換關系需要標定.

將微球孔姿態向量在{W}坐標系中分別繞XW軸與YW軸旋轉α1和β1度,分別在{W2}坐標系與{C1}坐標系中測量該向量的分解角θx和θy,測量方法如第3.2 節所述.將(α1,β1,θx,θy)作為一組數據,重復n次,得到n組數據,獲得式(8).

式中,θ為微球孔姿態向量在相機運動機構坐標系中n次測量結果形成的測量角度矩陣,為微球孔姿態向量在微球調整平臺坐標系中n次旋轉量形成的旋轉角度矩陣,J3為相機運動機構坐標系與微球調整平臺坐標系之間的旋轉角度轉換矩陣.利用最小二乘法可以求得式(8)中的角度轉換關系矩陣,見式(9).

1.3.4 相機光軸中心點的標定

由于相機與變倍鏡頭存在安裝誤差,光軸中心點與圖像中心點并不重合.假設改變相機倍率時,光軸中心點的圖像坐標不變.因此,可以將相機變倍后圖像坐標不變的點作為相機光軸中心點.

將微孔中心點作為目標點,光軸中心點的標定步驟如下:

步驟 1.初始倍率下移動相機,使微孔中心點圖像坐標與圖像中心點圖像坐標一致.

步驟 2.調整相機倍率對目標點進行放大,移動相機沿光軸方向運動,再次對微孔中心點進行聚焦,并得到運動前后微孔中心點的圖像坐標偏差(Δu,Δv),通過相機運動量到圖像特征變化的圖像雅可比矩陣J1b,J2b的偽逆,計算出相機運動量k[Δx,Δy,Δz]T,控制相機運動,此處系數k為0.6.

步驟 3.使相機恢復初始倍率,并再次對微孔中心點進行聚焦,記錄其圖像坐標.

步驟 4.重復步驟2 和步驟3,當改變相機倍率,微孔中心點圖像坐標不發生變化時,將此時微孔中心點的圖像坐標作為相機光軸中心點的圖像坐標.

2 微球微孔的精確定位

2.1 微球邊緣的聚焦

將微球移入視野內合適位置,選取包含微球邊緣的感興趣區域(Region of interest,ROI),由清晰度評價函數計算ROI 區域的清晰度值.清晰度評價函數采用的是Tenengrad評價函數,在ROI 區域內P(u,v)點上使用Sobel算子提取水平和垂直方向的梯度值,以其均方根作為梯度值,見式(10).

式中,Gx和Gy分別為水平和垂直梯度.對梯度值求平均值作為ROI 區域的清晰度值,見式(11).

式中,S為清晰度值,G為梯度值.首先對微球進行粗略聚焦,移動相機聚焦運動軸向上運動一定距離,使微球處于離焦狀態,移動相機聚焦運動軸向下運動合適距離d1并計算ROI 區域清晰度值S1,并將(d1,S1)作為一組數據.重復運動n次得到n組數據,運動過程中微球邊緣逐漸清晰后再次處于離焦狀態.對n組數據進行二次曲線擬合得到極大值,以該極大值位置作為聚焦位置,如圖4 所示.

圖4 聚焦過程Fig.4 Focusing process

2.2 微球的定位

由于微球微孔尺寸過小,顯微相機視野內微球邊緣與背景差別不大,且視場內明暗程度受環境影響較大,故采用灰度與梯度相結合的方法,提取微球邊緣點.微球圖像如圖5 所示,對圖像第i行進行掃描得到灰度值變化曲線,如圖6 所示.根據式(12)得到邊緣點的集合Qb,可將微球邊緣點粗略地定位于圖6 中的a處與b處.然后,再由式(13)對微球邊緣進行精確定位.

圖5 微球圖像Fig.5 The real miscrosphere

圖6 微球圖像中一行的灰度值變化曲線圖Fig.6 Gray value change graph of one line in the microsphere image

其中,g(u,v)表示圖像點(u,v)的灰度值,m表示設定的灰度閾值,Qb為邊緣點集合.

式中,P為精確定位的邊緣點.

根據式(12)與式(13)在圖像中確定出n個邊緣點,對邊緣點進行粗大誤差篩選,利用誤差較小的邊緣點擬合出微球邊緣圓,得到微球半徑及圓心的圖像坐標,如圖7 所示.微球邊緣圓的擬合方法如下:

圖7 微球邊緣及球心的擬合Fig.7 The fitting of microsphere edge and center

步驟 1.由n個邊緣點擬合出圓心Ob1.

步驟 2.計算每個點到圓心的距離,在距離圓心大于閾值的邊緣點中,將距離圓心最遠的一個點去除.

步驟 3.得到新的點群n1,擬合新的圓心Ob2,重復步驟2 的計算,直到所有點距離新的圓心的距離在設定閾值之內.

通過上述方法,可實現對微球球心的精確定位,得到微球球心的圖像坐標.

2.3 微孔的精確定位

根據先驗知識移動相機,使微孔處于顯微相機光軸中心點附近.將顯微鏡頭倍率放大至合適倍率后,對微孔進行聚焦.經過聚焦后得到的微孔圖像如圖8 所示,微孔邊緣較為清晰,邊緣特征明顯.在區域A中,按照第2.2 節方法利用灰度值便可精確的確定微孔邊緣點,根據邊緣點擬合出橢圓中心點作為微孔中心點.由圖8 可以發現,上述方法可以準確地檢測出微孔邊緣點,并擬合出微孔中心點,得到微孔中心點的圖像坐標.

圖8 微孔邊緣檢測與微孔中心的擬合Fig.8 The detection of micro-hole edge and fitting of micro-hole center

3 微球孔姿態測量

3.1 微球孔姿態測量原理

微球孔姿態測量原理以顯微相機2 為例進行說明,測量原理示意圖如圖9 所示.為了更加簡明地闡述其測量原理,先將相機聚焦運動軸方向與其光軸方向視為一致,改變相機倍率,相機光軸及其光軸中心點不變.實際測量過程中,對相機聚焦運動軸與不同倍率下的光軸進行了標定.

圖9 微球孔姿態測量原理示意圖Fig.9 Schematic diagram of microsphere hole pose measurement principle

Ob是微球的球心,Oh是微球孔的中心點,αc2為顯微相機2 光軸中心線與 Xm2軸的夾角.由于Oh位于微球表面,所以微球孔姿態向量ObOh的長度為微球半徑R.首先,顯微相機2 在初始倍率下對微球聚焦,使得球心Ob在顯微相機2 圖像中與光軸中心點的圖像坐標重合.此時的清晰成像平面即聚焦平面,記為F1.然后,沿Zm2軸向上移動顯微相機2,同時沿相機聚焦運動軸調整顯微相機2 與微球的距離,對微孔聚焦,并使得顯微相機2 在高倍率下獲得的圖像中微孔的圖像縱坐標與光軸中心點的圖像縱坐標相同.此時的聚焦平面,記為F2.聚焦微球時顯微相機2 的光軸中心線與聚焦平面F1的交點為P2,聚焦微孔時顯微相機2 的光軸中心線與聚焦平面F2的交點為P1.P3點為Zm2軸上的點,其Z坐標與P1點相同.過Oh點做Xm2軸的平行線,與Ym2ObZm2平面相交于P4點.最后,通過顯微相機2 沿Ym2軸的運動,將微孔中心的圖像坐標調整到光軸中心點的圖像坐標.從微球聚焦到微孔聚焦,顯微相機2 沿Zm2軸的運動量為 Δz2,沿相機聚焦運動軸的運動量為m2.為了對準微孔中心,調整時沿Ym2軸的運動量為Δy2.

由于微孔聚焦時顯微相機2 只沿Zm2軸和相機聚焦運動軸運動,所以P1和P2位于Xm2ObZm2平面內.為了對準微孔中心調整時,顯微相機2 只沿Ym2軸運動,所以P1Oh平行于Ym2軸.可見,∠P1ObP3是微球孔姿態向量的分解角θy.點P1,Oh,P4,P3構成矩形,所以 ∠P4ObP3是微球孔姿態向量的分解角θx.由圖9 中的幾何關系,可知:

其中,R是微球半徑.

考慮到安裝誤差,顯微相機2 的光軸中心線與聚焦運動軸不平行,顯微相機2 在聚焦運動后目標圖像會發生變化.為了使得聚焦前后目標的圖像坐標保持不變,需要相機沿Xm2,Ym2,Zm2軸做補償運動,運動量為 ?m2(Vm2?ns2).為消除補償運動對姿態計算的影響,需要對式(14)中的 Δz2和Δy2進行修正,見式(15).

其中,[Δx2,Δy2,Δz2]T為顯微相機2 運動機構修正后的運動量,[Δxm2,Δym2,Δzm2]T為其運動機構的運動量,m2為其聚焦運動軸的運動量,Vm2為其聚焦運動軸單位方向向量,n2s為顯微相機2 光軸單位方向向量.于是,得到顯微相機2 測量的微球孔姿態向量的分解角θy2和θx2,見式(16)和式(17).

類似地,對顯微相機1 的運動量進行修正:

其中,[ Δx1,Δy1,Δz1]T為顯微相機1 修正后的運動量,[ Δxm1,Δym1,Δzm1]T為其運動機構真實運動量,m1為其聚焦運動軸的運動量,Vm1為其聚焦運動軸單位方向向量,n1s為其光軸單位方向向量.

利用修正后的顯微相機1 運動量,結合幾何關系,得到顯微相機1 測量的微球孔姿態向量的分解角θx1和θy1,見式(19)和式(20).

其中,(θx1,θy1)與(θx2,θy2)為微球孔姿態分別在顯微相機1 與顯微相機2 運動機構坐標系中的分解角.由于顯微相機1 對Xm1方向的變化敏感,顯微相機2 對Ym2方向的變化敏感,故只將θx2和θy1作為有效的測量數據,記為(θx,θy).

3.2 微球孔姿態測量步驟

微球孔姿態的精確測量依靠顯微視覺對微球與微孔的精確定位及相機運動機構的高分辨率運動.微球孔姿態測量步驟如下:

步驟 1.微球聚焦.初始倍率下,利用兩臺顯微相機運動機構的運動,使微球位于兩臺顯微相機視野內合適位置.按照第2.1 節微球聚焦過程,分別利用兩臺顯微相機聚焦運動軸調整相機位置,利用式(10)和式(11)計算微球邊緣ROI 區域的清晰度值,在清晰度值達到最高時,即實現了對微球的聚焦.

步驟 2.微球對準.在兩臺顯微相機初始倍率下,利用式(12)和式(13)確定微球邊緣點,并擬合出微球球心的圖像坐標.計算出微球球心到光軸中心點的圖像坐標偏差,利用初始倍率下的圖像雅可比矩陣J1s與J2s的偽逆,由式(6)分別求得兩臺顯微相機運動機構的運動量,分別控制兩臺顯微相機運動,使微球球心的圖像坐標分別與兩臺顯微相機光軸中心點的圖像坐標相同.

步驟 3.微球孔聚焦.按照第2.3 節方法,利用顯微相機1 的Zm1軸及其聚焦運動軸調整顯微相機1 的位置,利用顯微相機2 的Zm2軸及其聚焦運動軸調整顯微相機2 的位置,使微孔中心點的圖像坐標分別位于兩臺顯微相機光軸中心點圖像坐標附近,避免因增大倍率使得微孔移出相機視野.增大顯微相機倍率,再次協同兩臺顯微相機的Z軸與聚焦運動軸的運動,使得兩臺顯微相機在高倍率下獲得的圖像中微球孔圖像清晰;并使得微球孔中心點的圖像縱坐標與光軸中心點的圖像縱坐標相同.記錄兩臺顯微相機的Z軸運動量 Δz1和 Δz2,聚焦運動軸的運動量m1和m2.

步驟 4.微球孔對準.利用顯微相機1 的Xm1軸與顯微相機2 的Ym2軸調整兩臺顯微相機位置,對微孔中心點進行對準,使微孔中心點在兩臺顯微相機中的圖像坐標與其光軸中心點圖像坐標一致.記錄兩臺顯微相機的運動量 Δx1和 Δy2.根據兩臺顯微相機光軸單位方向向量n1s,n2s,光軸單位方向向量XOY平面的夾角αc1,αc2與聚焦運動軸單位方向向量Vm1,Vm2,可由式(15)和式(20)計算出微球孔姿態在運動機構坐標系中的分解角(θx,θy).

步驟 5.根據式(7)中微球調整平臺坐標系與相機運動機構坐標系之間的旋轉角度轉換矩陣J3,可由θx,θy得出微球孔姿態在調整平臺坐標系中的旋轉角度α與β.

利用旋轉角度α與β,得到在調整平臺坐標系下的微球孔姿態單位向量:

式中,[γx,γy,γz]T為微球孔姿態單位向量在微球調 整平臺坐標系中的表示.

4 實驗與結果

按照圖2 所示原理,設計了實驗系統,如圖10所示.實驗系統包括兩臺傾斜正交顯微相機及其運動機構、一個兩自由度的調整平臺、光源系統和一臺控制計算機.顯微相機由CCD 相機(型號為TXG50)和Navitar 變焦顯微鏡頭構成,顯微鏡頭放大倍率為5.54～66.3×,采集圖像的幀率為15 幀/s,圖像大小為2 448×2 050 像素,顯微相機運動機構的運動分辨率為0.25 μm,重復定位精度小于±0.3 μm.兩自由度調整平臺包括繞著XW軸和YW軸的旋轉,繞著XW軸和YW軸的旋轉分辨率是0.001.控制計算機的處理器是Intel Core i5,頻率2.9 GHz.

圖10 實驗系統實物圖Fig.10 The real experiment system

4.1 系統標定

根據第1.3.1 節所述方法,初始倍率下顯微相機1 與顯微相機2 的運動量到其圖像特征變化的圖像雅可比矩陣分別為

在大倍率下,顯微相機1 與顯微相機2 的運動量到其圖像特征變化的圖像雅可比矩陣分別為

利用第1.3.2 節所述方法,對兩臺顯微相機的光軸及聚焦軸進行了標定.初始倍率下兩臺顯微相機光軸單位方向向量為

顯微相機1 在初始倍率下光軸單位方向向量與Y軸的夾角為αc1=49.97°,顯微相機2 在初始倍率下光軸單位方向向量與X軸的夾角為αc2=50.78°.大倍率下兩臺顯微相機光軸單位方向向量為

兩臺顯微相機聚焦運動軸的單位方向向量為

由第1.3.3 節所述方法對相機運動機構坐標系分解角(θx,θy)到微球調整平臺坐標系下的旋轉角(α,β)之間的轉換關系進行了標定,標定結果為

由第1.3.3 節所述方法,對兩臺顯微相機的光軸中心點圖像坐標進行了標定.顯微相機1 的光軸中心點的圖像坐標為(1 184,1 164)像素,顯微相機1 的光軸中心點的圖像坐標為(1 200,1 080)像素.

4.2 微球孔姿態的測量實驗

分別令調整平臺繞XW和YW軸旋轉,轉動角度記為αr和βr,作為真實值.根據第3 節介紹的方法,利用式(9)、式(15)～(20),對微球孔姿態分解角進行測量并轉換到微球調整平臺坐標系中,測量結果記為αm和βm.將真實值(αr,βr)和測量值(αm,βm)分別代入式(21),得到在微球調整平臺坐標系中微球孔姿態單位向量.

圖11 給出了一次實驗過程中采集的微球和微孔圖像,其中,圖11(a)是完成第3.2 節的步驟2“微球對準”后顯微相機1 采集的微球圖像,圖11(b)是完成第3.2 節的步驟4“微球孔對準”后顯微相機1 采集的微球孔圖像.顯微相機2 采集的微球與微孔圖像與圖11 類似,此處從略.從圖11 可以發現,圓輪廓擬合準確,微球球心以及微孔孔心的圖像坐標準確地對準到了光軸中心點的圖像坐標位置.

圖11 實驗過程中采集的微球和微孔圖像Fig.11 Microsphere and micro-hole images acquired during the experiment

1)調整平臺的YW軸不動,僅繞XW軸進行旋轉,依次旋轉±2.00°,±4.00°,±6.00°,±8.00°.根據第3 節介紹的方法,對微球孔姿態角進行測量,測量結果如表1 所示.其中α的最大測量誤差為0.05°,平均誤差為0.04°,方差為0.01;β的最大測量誤差為0.05°,平均誤差為0.03°,方差為0.02.文獻[20]方法α的最大測量誤差為0.18°,平均誤差為0.11°,方差為0.04;β角的最大測量誤差為0.15°,平均誤差為0.08°,方差為0.04.

表1 繞 XW 軸旋轉的實驗結果(°)Table 1 Experimental results of rotation along with the XW axis (°)

2)調整平臺的XW軸不動,僅繞YW軸進行旋轉,依次旋轉±1.00°,±2.00°,±3.00°,±4.00°,±5.00°,測量微球孔姿態,測量結果如表2 所示.其中,α的最大測量誤差為0.08°,平均誤差為0.04°,方差為0.02;β的最大測量誤差為0.08°,平均誤差為0.05°,方差為0.03.文獻[20]方法α的最大測量誤差為0.10°,平均誤差為0.06° 方差為0.05;β角的最大測量誤差為0.17°,平均誤差為0.13°,方差為0.04.

表2 繞 YW 軸旋轉的實驗結果(°)Table 2 Experimental results of rotation along with the YW axis (°)

3)XW軸與YW軸同時旋轉不同的角度,利用本文方法測量微球孔姿態,同時利用文獻[20]方法測量微球孔姿態,測量結果如表3 所示.其中,本文方法α的最大測量誤差為0.04°,平均誤差為0.02°,方差為0.01;β的最大測量誤差為0.07°,平均誤差為0.04°,方差為0.02.文獻[20]方法α的最大測量誤差為0.20°,平均誤差為0.12°,方差為0.05;β角的最大測量誤差為0.18°,平均誤差為0.10°,方差為0.04.

表3 繞 XW軸及 YW 軸旋轉的實驗結果(°)Table 3 Experimental results of rotation along with the XWand YW axis,simultaneously (°)

為了更加直觀地顯示實驗結果,按照式(14)計算出上述實驗的微球孔姿態向量,分別如圖12所示,帶有“+”號的線表示姿態向量的真實值,帶有“o”號的線表示利用本文方法測量姿態向量所得的測量值,帶有“Δ”號的線表示利用文獻[20]方法測量姿態向量所得的測量值.由表1、表3 和圖12可以發現,利用本文方法測量姿態向量所得的測量值與真實值的誤差較小.

圖12 用向量表示的微球孔姿態實驗結果Fig.12 Experimental results of microsphere hole poses expressed by vector

5 結論

本文提出了一種基于兩臺顯微相機主動運動的微球孔姿態高精度測量方法.設計了微球邊緣點檢測與微球輪廓擬合的算法,實現了微球球心的高精度定位.通過兩路顯微視覺的主動運動,實現了微球孔姿態的高精度測量.實驗結果表明,利用本文方法,角度測量值與實際值的最大偏差為0.08°,平均偏差為0.04°,方差為0.02.利用文獻[20]的方法,角度測量值與實際值的最大偏差為0.20°,平均偏差為0.10°,方差為0.05.與已有的微球孔姿態測量方法相比,本文測量方法具有更高的精度.在后續工作中,我們將研究如何提高測量速度與操作的自動化程度,提高測量的實時性.