基于單目顯微視覺的微球姿態測量方法

李迎 張大朋 劉希龍 徐德

近年來,微操作和微裝配獲得了更加廣泛的關注[1?2].微裝配的目的是把兩個或多個微零件在保證一定精度的情況下,裝配到一起.因此,對微零件姿態高精度的測量是保證微裝配順利完成的關鍵[1?2].目前,對于物體三維姿態的測量大多采用多個相機或者采用多種傳感器信息融合的方式.在文獻[3]中,提出了一種融合視覺和深度傳感器信息的姿態估計方法,實現了對基準標簽姿態的精確測量.在文獻[4]中,采用了一種慣性測量單元(Inertial measurement unit,IMU)和視覺傳感器信息融合的方式,實現無人機的姿態估計.在文獻[5]中,提出了一種基于主動形狀模型(Active shape model,ASM)和立體視覺的頭部姿態估計方法,具有較高的精度和較好的實時性.上述基于多傳感器信息融合的姿態估計方法,需要多種傳感器對目標進行測量.在微裝配中,由于顯微視覺景深小,不同的顯微相機沒有公共視野,上述方法不能使用.

在顯微視覺領域,也存在一些姿態測量方法.在文獻[6]中,提出了一種基于Hough變換和模板匹配的姿態測量方法,實現了兩個柱腔零件的定位和姿態的測量.在文獻[7]中,采用了一種基于單目顯微視覺的平面的姿態測量方法,由一種基于PnP(Perspective-n-Point)算法的線性方法確定姿態的初始值,采用正交迭代算法得到姿態的估計值,實現姿態實時估計.文獻[8]提出了一種基于顯微視覺和旋轉電場的細胞姿態控制方法,實現了細胞繞單軸旋轉角度的測量和控制.上述方法只適用于平面內目標的姿態測量,無法測量物體的三維姿態.

在微裝配中,微零件三維姿態的測量是完成裝配任務的關鍵.其中,軸孔裝配是非常常見的一類裝配任務[9?11],目的是將一個柱形零件插入到微孔中,而首要任務就是對微孔三維姿態的測量.對于微球姿態的測量,常常通過直接測量微孔來確定微球姿態的方法.文獻[12]提出了一種基于單目顯微視覺微球姿態測量方法,控制顯微相機多次主動運動獲得微球球心、微孔圓心圖像坐標,并轉換到操作手坐標系,實現微球姿態向量的測量.但是在這種方法中,并未考慮相機運動軸方向與光軸方向之間存在偏差的影響,沒有對相機主動運動后的特征點圖像坐標進行補償,導致姿態測量存在誤差.針對顯微視覺具有景深小、視場小的特點,文獻[13]中提出了一種基于雙目顯微視覺的微球姿態測量方法,通過顯微相機主動運動測量出微球球心到微孔的向量所在平面的法向量,利用兩臺顯微相機測量出的兩個平面的法向量叉乘,獲得微球球心到微孔的向量,即獲得微球的姿態.該方法需要兩臺顯微相機,成本較高,而且需要兩臺顯微相機分別主動運動,姿態測量的效率較低.

本文在單目顯微視覺引導下,通過對直徑5mm微半球上的直徑1.5mm微孔的檢測,實現對微球姿態的精確測量.本文結構安排如下:第1節介紹系統構成與標定;第2節給出了微孔和微球的定位方法;第3節給出了微球的姿態測量方法,并給出了姿態從相機坐標系到調整平臺坐標系的變換方法;第4節為實驗與結果,對所提出的方法進行了驗證,并與已有的方法進行了對比;第5節為結論,對全文進行了總結.

1 系統構成及標定

1.1 微球零件

微球零件示意圖如圖1所示,是一個直徑5 mm的半球,在頂部有一個直徑1.5 mm的微孔,微球球心與微孔圓心的連線方向與微孔平面法向量方向平行.因微球和微孔尺寸較小,常規視覺采集的圖像分辨率不足,故需要采用顯微視覺采集微球微孔的圖像,以便實現微球姿態測量.

1.2 平臺系統構成

設計的實驗系統平臺如圖2所示,包括一臺顯微相機、一個四自由度的調整平臺、光源系統和一臺控制計算機.顯微相機配置了運動軸,可以沿著運動軸方向平移,以便調整物距實現對目標的清晰成像.四自由度調整平臺包括沿Z軸的平移和繞著X、Y、Z軸的旋轉.

圖1 微球零件示意圖Fig.1Micro-sphere component

圖2 實驗系統示意圖Fig.2Experiment system

建立的坐標系如圖3所示.微球零件放置在調整平臺上,世界坐標系{W}建立操作空間的某點處,其XW、YW、ZW軸的方向與調整平臺坐標系初始狀態下的XP、YP、ZP軸的方向相同.調整平臺可以分別繞著XP、YP、ZP軸旋轉,沿著ZW平移.以顯微相機光心為坐標原點,圖像橫坐標增加的方向作為XC軸方向,圖像縱坐標增加的方向作為YC軸方向,根據右手系規則建立相機坐標系{C}.坐標系{W}是相機機械運動軸坐標系,ZM軸方向朝向,與ZC軸方向接近;XM、YM軸方向與XC、YC軸方向接近.

1.3 系統標定

1.3.1ZM軸和ZC軸的偏差標定

實驗中顯微相機的景深只有400μm,因此微孔與微球無法同時聚焦.在對微孔聚焦之后,需要相機沿ZM軸方向平移,實現對微球聚焦.如圖4所示,機械運動軸ZM方向與相機光軸ZC方向近似平行,由于機械誤差,二者之間存在一定偏差.在相機沿ZM軸方向運動后,如果將ZM軸當作ZC軸,會導致微球球心定位存在偏差.因此,需要對ZM軸和ZC軸的方向進行標定,或者對ZM軸和ZC軸的偏差進行標定.

圖3 實驗系統坐標系Fig.3 Coordinates of experiment system

圖4 相機聚焦示意圖Fig.4 Camera focusing

在本文中,對ZM軸和ZC軸的偏差進行了標定.具體而言,只需要顯微相機沿機械運動軸ZM軸運動固定距離?h后,測量導致的參照物圖像特征的偏差?u和?v,即可計算出比例系數kx和ky,見式(1).

1.3.2 相機放大倍率k標定

使用已知尺寸的標記物或者通過特征點的主動運動,在聚焦的情況下,可以完成相機放大倍率k(μm/像素)的標定,如式(2)所示.

其中,L表示坐標系{C}中的尺寸,單位為μm:?l表示在圖像中的尺寸,單位為像素.

1.3.3 向量旋轉角關系標定

由于設備安裝誤差等原因,坐標系{W}與{C}對應的坐標軸并不能完全平行,因此一個向量在{W}中的旋轉角度與{C}中的旋轉角度存在如式(3)所示的關系.

其中,α和β是繞XC軸和YC軸的旋轉角度,θ和γ是繞XW軸和YW軸的旋轉角度,J是旋轉變換向量旋轉角關系矩陣.

為了求解矩陣J,在坐標系{W}中對一個向量主動旋轉,在坐標系{C}中測量該向量的旋轉角度.通過獲得n組α,β的數據及其對應的θ,γ的數據,使用最小二乘法可以求解出J,見式(4)～(7),其中α和β的計算方法見第3.2節.根據式(3),一組對應數據可以產生兩個方程,因此理論上兩組數據就可以求解出J.為了提高精度,可以使用多組數據進行計算.

其中

2 微孔和微球精確定位

2.1 微孔精確定位

由于受零件的制作精度的限制,球面不能保證十分光滑,尤其是在微孔邊緣周圍存在毛刺,采集的圖像存在很大的噪聲,如圖5所示.由于微孔平面與XCOCYC平面不平行,微孔在顯微相機中的成像是橢圓并不是圓.為此,在本節中提出了一種由粗到精的微孔檢測方法,對噪聲較大的情況下依然能夠實現微孔的定位,具有較高的魯棒性和定位精度.

圖5 微球上的微孔Fig.5 The micro-hole on the micro-sphere

微孔、微球定位算法流程圖如圖6所示,首先沿著ZM軸移動顯微相機,實現對微孔聚焦.由于Hough變換十分耗時,首先對圖像進行下采樣,采用Canny算子提取邊緣點,之后進行Hough變換,得到微孔圓心位置O0,實現微孔圓心粗定位.以O0為中心,在角度為θ的半徑方向上,獲得半徑方向θ上,半徑范圍[r0,r1]的點的集合{Pθ},如式(8)所示.計算得到沿角度為θ的半徑方向上灰度梯度最大的點pθm,作為該方向上微孔邊緣點的候選點即實現了微孔邊緣點的提取,然后以?θ為半徑方向的角度增量,實現各個半徑方向上的微孔邊緣點粗提取.

其中,?是灰度梯度閾值,Or(pθ)表示像素點p在角度為θ半徑方向上,與圓心O0距離為r處沿著半徑方向r的灰度梯度.

圖6 微孔、微球定位流程圖Fig.6 Location flow chart of micro-hole and micro-sphere

為了實現微孔邊緣點精確提取,如圖7所示,首先沿角度為θ的半徑方向r得到pθm附近的點的集合{Pθn},使用最小二乘法擬合得到其灰度梯度二次曲線,如式(9)所示.

其中,ri為點pi∈{Pθn}到圓心O0距離,Ipi是像素點pi的灰度值,?Ipi像素點pi的灰度梯度,a、b、c是二次曲線的參數.

圖7 微孔邊緣的精確提取示意圖Fig.7 Precision extraction of micro-hole edge

根據式(9),每個邊緣像素點可以產生一個方程,則最少需要三個點可以求解出參數a、b、c,增加點的個數可以提高精度.

其中

利用式(10)～(14)獲得灰度梯度二次曲線的參數,以其極值點位置作為精確的微孔邊緣點位置pf,即得到一個精確的邊緣點.多次利用式(10)～(14)對不同位置的邊緣提取出一系列精確邊緣點,得到微孔的精確邊緣點集合{Pf},采用最小二乘法進行橢圓擬合,得到微孔圓心的位置Oc,實現微孔精確定位.

2.2 微球精確定位

微球的精確定位相對于微孔比較簡單,如圖6所示,首先沿相機機械運動軸ZM軸運動,實現對微球聚焦并記錄移動距離?h.因為對微球聚焦后,外輪廓比較清晰,噪聲較小,通過逐行掃描微球的邊緣,篩選出梯度大于閾值δ的點,由式(15)得到微球的精確邊緣點集合{Pb},采用最小二乘法擬合橢圓,得到微球球心Ob.然后,根據光軸方向ZC軸與機械運動軸ZM軸方向的偏差,對定位結果進行補償,得到微球球心Obf,見式(16).

其中,δ為像素點灰度梯度閾值.

3 微球姿態測量與變換

3.1 微球姿態測量

如圖1所示,微球的姿態指的是由微球球心OW指向微孔圓心OS的向量nws的方向.微球姿態的計算如式(17)所示.

其中,?u,?v表示微孔圓心OS與微球球心OW的分別沿著XC和YC方向的圖像坐標的偏差;?xc,?yc,?zc是姿態向量在XC,YC,ZC軸的分量;k是相機放大倍率,單位為μm/pixel;r1和r2分別是微球和微孔的半徑,單位為μm.

3.2 坐標系{C}中微球姿態角

根據第3.1節中定義的微球姿態,以微球旋轉前在坐標系{C}中的的姿態單位向量nc1作為{C}中參考姿態向量,微球旋轉后在坐標系{C}中的姿態單位向量nc2.由于微球具有對稱性,對繞著以微球球心和微孔圓心連線為軸的旋轉后微球姿態不變.因此,微球姿態由nc1轉換為nc2,可以通過依次繞XC軸旋轉α角度和YC軸旋轉β角度實現.

根據第3.1節中微球姿態測量方法,計算出旋轉前后微球的姿態單位向量nc1=[?xc1,?yc1,?zc1]T和nc2=[?xc2,?yc2,?zc2]T.nc1與nc2的關系可以由式(19)表示.

其中,Rxc和Ryc分別為相機坐標系{C}中繞著XC軸和YC軸的旋轉變換矩陣,旋轉角度分別為α和β.

由式(19),得:

根據式(21)可以解得微球在坐標系{C}中的旋轉角度α和β,見式(21).

其中,

3.3 微球姿態轉換到坐標系{W}

第3.1節中計算的微球姿態是表示在相機坐標系{C}中,為了便于驗證姿態測量的精確性,本文將其需要轉化到世界坐標系{W}中.利用第1.3.3節標定出的旋轉變換關系矩陣J,由式(3)和式(21)計算出調整平臺的旋轉角度θ和γ.利用式(23)計算出微球在世界坐標系{W}中的姿態向量.

其中,nw1是坐標系{C}中已知的參考姿態向量nc1對應在世界坐標系{W}中的姿態向量,nw2是當前微球在世界坐標系{W}中的姿態向量.

4 實驗與結果

本文采用的實驗系統如圖8所示,包括三路正交布置的顯微相機、一個四自由度的調整平臺、一路點激光測距傳感器、光源系統和一臺控制計算機.三路顯微相機只采用了垂直布置的一路顯微相機,由GC2450相機和Navitar變焦顯微鏡頭構成,顯微鏡頭放大倍率0.47～4.5,采集圖像幀率為15FPS,圖像大小為2448像素×2050像素.四自由度調整平臺包括沿ZW軸的平移和繞著XP,YP,ZP的旋轉.繞著ZP軸的旋轉分辨率是0.02?,繞著XP軸和YP軸的旋轉分辨率是0.001?,沿著ZW軸的平移分辨率是1μm.控制計算機的處理器是Intel Core2 DUO,頻率2.8GHz.

4.1 系統標定

4.1.1ZM軸和ZC軸的偏差標定

根據第1.3.1節中的方法,使用一個標記物,在清晰成像情況下,沿著相機機械運動軸方向運動固定距離,計算出比例系數kx和ky.多次計算取平均值,最終計算結果見式(24).

圖8 實驗系統Fig.8 The real experiment system

4.1.2 相機放大倍率k標定

根據第1.3.2節中的方法,本文通過觀測主動運動的目標的方式標定出相機放大倍率k,標定結果見式(25).

4.1.3 坐標系{W}與{C}轉換關系J標定

通過對調整平臺的主動旋轉運動,根據式(19)～(22),計算出n組在坐標系{C}中的旋轉角度,得到式(6)所示矩陣X,同時根據調整平臺實際的旋轉角度獲得對應的{W}中的旋轉角度,得到式(7)所示矩陣Y,使用最小二乘法,根據式(4)～(7),計算得到J見式(26).

4.2 微孔和微球精確定位實驗

4.2.1 微孔精確定位實驗

根據第2.1節中的方法,可以實現對微孔的精確定位,精度較好.圖9為微孔的邊緣點提取結果,其中沿著微孔徑向分布的點表示粗提取的微孔邊緣點,在粗提取的邊緣點中存在一個半徑較大的圓點表示精確提取的微孔邊緣點,并據此擬合微孔.

圖9 微孔邊緣點提取結果Fig.9 The edge extraction result of micro-hole

圖10為微孔精確定位結果.從圖10中可以看出,因加工精度較低,微孔周圍存在很多環狀紋理,給微孔定位帶來很大干擾.其中一個半徑較大的圓是直接采用Hough變換提取的圓,很明顯由于受到噪聲的干擾,直接采用Hough提取的圓其位置不夠準確,與實際的微孔存在明顯的偏差;半徑較小的圓是采用本文提出的由粗到精的微孔定位算法得到的橢圓.可見,雖然微孔周圍存在較大噪聲,但是采用本文提出微孔定位算法,依然能夠實現微孔的精確定位,說明了上述算法的有效性.同時,由于采用了下采樣的方法,檢測算法運行時間與直接進行Hough變換相比,由273ms降低到139ms,運行效率明顯提高.

圖10 微孔精確定位結果Fig.10 The precision location result of micro-hole

4.2.2 微球精確定位實驗

根據第2.2節中的微球精確定位算法可以實現對微球的精確定位,結果如圖11所示.從圖11中可以看出,對微球聚焦后,邊緣很清晰,圖中實線畫出的橢圓表示微球定位結果,可以看出檢測出的橢圓的位置與真實的位置十分接近,檢測十分準確.微球定位算法耗時為141ms.一次測量既需要微孔定位,又需要微球定位,再加上數據讀取與預處理,整體運行時間為498ms.

圖11 微球精確定位結果Fig.11 The precision location result of micro-sphere

4.3 微球姿態檢測實驗

令XW軸保持不變,連續繞YW軸旋轉,間隔為0.5度,根據第4.1節中的微球姿態測量方法,計算出各個情況下微球的姿態,如表1所示,其中姿態向量進行了歸一化處理,繪制向量如圖12所示.由于微球是繞著YW軸旋轉,姿態向量的?xc分量應近似保持不變,?yc分量應連續遞增.從表1中數據可以看出,?xc幾乎保持不變,?yc連續遞增,因此從定性分析的角度,驗證了微球姿態測量方法的正確性.

表1 在坐標系{C}中的微球姿態向量Table 1 The pose vector of micro-sphere in{C}

圖12 在坐標系{C}中的微球姿態向量Fig.12 The pose vector of micro-sphere in{C}

4.4 微球姿態坐標變換實驗

根據第3.2節中的方法,可以計算出微球在{C}中和{W}中姿態的測量值nc2和nw2,同時根據從調整平臺中讀取由參考姿態調整到當前姿態實際的旋轉量θr和γr,根據式(23)計算出當前姿態在{W}中的真實值nwr.根據式(27)計算出實際值與測量值之間的偏差θe,即誤差.

在實際中,由于參考姿態nc1對應的在{W}中的姿態nw1難以直接獲得,因此我們不妨假設nw1與ZW軸平行,因此,根據上述方法,使微球連續旋轉,以調整平臺為初始狀態時微球的姿態為參考姿態,分別計算出在不同旋轉角度情況下,微球姿態誤差θe.

1)繞YW軸旋轉

XW軸保持不變,分別繞著YW軸旋轉±3,±2,±1度,計算出微球姿態的實際值與測量值,如圖13所示圖中末端是圓圈的線表示真實值,末端是星號的線表示測量值,最大誤差0.18度,平均誤差0.09度.表2為旋轉角真實值與測量值對比.

2)繞XW軸旋轉

YW軸保持不變,分別繞著XW軸旋轉±5,±4,±3,±2,±1度,計算出微球姿態的實際值與測量值,如圖14所示.圖14中末端是圓圈的線表示真實值,末端是星號的線表示測量值,最大誤差0.10度,平均誤差0.06度.表3為旋轉角真實值與測量值對比.

圖13 繞YW軸旋轉后的姿態向量Fig.13 The pose vector after rotating along with YWaxis

表2 繞YW軸旋轉的實驗結果Table 2 The results of rotating along with YWaxis

表3 繞XW軸旋轉的實驗結果Table 3 The results of rotating along with XWaxis

3)同時繞XW軸和YW軸旋轉

同時繞XW和YW軸旋轉(?5,?3)、(?3,?2)、(?1,?1)、(1,1)、(3,2)、(5,3)度,計算出微球姿態的實際值與測量值,如圖15所示.圖15中末端是圓圈的線表示真實值,末端是星號的線表示測量值,最大誤差0.30度,平均誤差0.18度.表4為旋轉角真實值與測量值對比.

圖14 繞XW軸旋轉后的姿態向量Fig.14 The pose vector after rotating along with XWaxis

圖15 同時繞XW和YW軸旋轉后的姿態向量Fig.15 The pose vector after rotating along with XWand YWaxis,simultaneously

表4 同時繞XW、YW軸旋轉的實驗結果Table 4 The results of rotating along with XW,YW axis,simultaneously

通過三組實驗結果可以看出本文提出的姿態測量算法誤差最大0.30度,充分說明了算法的有效性和準確性.

在文獻[13]中提出了一種微孔姿態檢測算法,繞著X軸旋轉±5,±4,±3,±2,±1度,測量值與實際值最大誤差不超過0.7度.而根據第5.4節中繞著XW軸旋轉同樣角度時,最大誤差僅為0.10度,平均誤差0.06度;并且當同時繞著XW軸和YW軸進行大角度旋轉時,旋轉角度與文獻[13]中有了較大增加,而最大誤差僅為0.30度,平均誤差0.18度.因此,與文獻[13]中使用兩臺顯微相機,通過主動運動進行測量的方法相比,本文方法只采用一臺顯微相機,成本較低,更加高效,且精度明顯提高,具有較大優勢.

5 結論

本文提出了一種基于單目顯微視覺的微球姿態高精度測量方法.設計了一種由粗到精的微孔檢測算法,實現了高精度的微孔定位.通過對相機光軸方向的標定,在相機運動后對微球圖像坐標進行補償,提高了在相機坐標系下的微球定位精度.通過對微球和微孔的精確定位,計算出微球球心與微孔圓心的空間相對位置,實現了相機坐標系下高精度的微球姿態測量.同時,根據標定出的相機坐標系與調整平臺坐標系之間的旋轉關系,將微球姿態轉換到調整平臺坐標系.根據坐標系{W}中微球姿態的真實值與測量值之間的偏差,驗證姿態測量方法精度.實驗結果表明,提出的方法可以實現微球姿態精確測量,最大姿態誤差0.30度,與文獻[13]中的方法相比,精度明顯提高,從而驗證了本文方法的有效性.

在未來,我們將致力于研究適用于復雜零件的精確、魯棒的姿態測量算法.