面向微尺度對象的多視場協同測量方法研究

劉國華 李 濤

1(天津工業大學機械工程學院 天津 300387) 2(天津工業大學天津市現代機電裝備技術重點實驗室 天津 300387)

?

面向微尺度對象的多視場協同測量方法研究

劉國華1,2李 濤1

1(天津工業大學機械工程學院 天津 300387)2(天津工業大學天津市現代機電裝備技術重點實驗室 天津 300387)

針對顯微視覺下視野小，無法對微小目標對象一次測量等難題，提出面向微尺度對象的多視場協同測量方法。該方法通過譜殘差視覺注意模型建立亮度顯著圖對低分辨率的大視場圖像提取興趣區域，分別對興趣區域獲取高分辨率的小視場圖像。然后通過ORB算法將大視場圖像與小視場圖像匹配起來，將小視場圖像融合到大視場圖像中。最后對得到的高分辨率圖像進行圖像處理，返回需要測量的數據。實驗結果表明，該方法具有較高的測量精度，并且能夠實現面向微尺度對象的自動測量。

微尺度對象 自動測量 視覺注意 多視場 特征匹配

0 引 言

隨著現代制造技術在微型機械領域的迅速發展，微型零件等微尺度對象的應用越來越多[1-2]。各個領域對于測量微小尺寸的精度要求愈來愈高，傳統的人工測量方法費時費力，而且測量精度不穩定。基于圖像處理的測量方法以其非接觸、高精度、高靈敏度等獨特優勢[3]，在工業檢測領域中發揮著越來越重要的作用。

在微尺度對象的測量研究方面，國內外有很多學者做了大量的工作，國內研究一般采用直接測量或者通過圖像拼接進行測量。使用圖像拼接算法將很多小視場圖片拼接在一起進行測量[4-5]的方法使用的比較多，國外研究多集中在超聲顯微鏡的研究上[6-7]，主要是利用接收反射的超聲回波信號進行分析。Good等利用70 MHz超聲波測量生物薄層的厚度，實現了薄膜微觀特性的測量[6]。Raisutis等通過超聲顯微鏡測量出三層鋁泡沫薄層材料的厚度[7]。

而在實際的微尺度對象的測量中，目標對象在低倍鏡下的視野大，但是很難查看到樣本的全部細節[8]；而在高倍鏡下可以觀察到樣本的局部細節，但是不能觀測到樣本整體。顯微視覺下的視野大小與分辨率大小互相矛盾。上面提到的幾種方法雖然也能實現微尺度對象的幾何量測量，但是超聲顯微鏡尚無法實現多參數測量，而且需要人工進行測量部位的選取，無法實現自動測量；直接測量的精度較低，誤差太大；圖像拼接的方法需要獲取到的圖片很多，在計算過程中會很復雜，處理過程慢，而且由于小視場圖像之間要有公共區域[9]，很難實現自動測量。

因此，要實現顯微視覺下的自動精密測量，要解決兩個關鍵問題：(1) 顯微鏡視野大小與分辨率成反比的問題；(2) 如何對測量區域進行自動測量的問題。

微靶球是慣性約束聚變技術(ICF)中的一個關鍵元件，微靶球的尺寸及表面精度(如球形度、表面粗糙度)是影響打靶實驗成功的關鍵[10-11]。為了保證聚變實驗效果，需嚴格選擇用于實驗的微靶球樣品，現有方法制備的微靶球在直徑、壁厚、同心度等方面分布較寬，需大量的人力和時間來挑選滿足需求的靶球，且后續涉及到的微靶球操作過程很多，單純的人工操作已無法滿足實驗要求。微靶球尺寸小(外徑50～400 μm)，而且在檢測過程中微靶球會出現粘連現象，粘連的微靶球在大視場圖像中邊緣模糊，無法進行高精度的檢測與篩選，因此微靶球可以作為典型的微尺度對象進行實驗。

1 多視場協同測量原理及其關鍵技術

1.1 多視場協同測量原理

面向微尺度對象的多視場自動測量方法是：首先對待測對象進行大視場成像，通過譜殘差視覺注意機制對大視場圖像進行興趣區域的提取，將需要進行獲取高分辨率的目標區域提取出來，獲得注意區域中心坐標。然后通過位移臺控制器控制三維精密位移臺移動高倍率鏡頭對準興趣區域中心，進行小視場興趣區域的成像，生成小視場圖像，將大視場圖像插值到小視場圖像相同的分辨率。通過ORB算法對插值后的大視場圖像與小視場圖像進行特征提取與特征匹配，在大視場圖像中找到小視場圖像的對應位置，將小視場圖像融合到大視場圖像中。最后，利用圖像處理技術對融合后的圖像進行測量，得到最后的測量結果。多視場協同測量方法流程如圖1所示。

圖1 測量原理

1.2 多視場協同測量關鍵技術

要實現面向微尺度對象的多視場自動測量，要達到較高的自動化必須要解決兩個關鍵問題：

(1) 小視場的路徑規劃與自動采集圖像。在大視場成像之后，需要在圖像中找到需要小視場高精度測量的區域。在視覺處理技術中，針對特定的圖像，可以采用多種方法獲取小視場區域。但是對于實時檢測和自動檢測，閾值處理和圖像拼接的方法都不適合。本文采用的方法是通過視覺注意機制對大視場圖像進行處理，對圖像的亮度進行處理得到顯著圖，顯著區域就是需要進行小視場高精度成像的區域，即得到需要進行精密測量的目標區域。

(2) 多視場圖像之間的數據轉換。在獲取到小視場圖像之后，需要將小視場數據轉換到大視場中，以便進行后續的測量。但是這幾種方法的問題在于需要不同的小視場圖像有共同區域，但是在實際檢測中，待測目標一般是分散的，共同區域的產生實際上會影響檢測的速度和難度。本文采用ORB算法將大視場圖像和小視場圖像進行特征檢測與匹配，然后將小視場圖像融合到大市場中的方法，實現多視場圖像的數據轉換。

要進行視覺注意，需要對視覺注意機制進行研究，在現有的視覺注意理論方法的基礎上進行選取與改進，選用譜殘差的方法進行顯著圖的提取。

2 基于視覺注意機制的視場轉換技術

要對小視場進行成像，需要在大視場中找到需要進行小視場高精度成像的區域，然后控制鏡頭的轉換，對小視場成像。在進行不同視場的轉換過程中，要實現對小視場區域的檢索，本文采用視覺注意機制進行注意區域的檢索。獲得注意區域的中心坐標之后，通過控制三維精密位移臺自動移動高倍鏡頭對準注意區域，進行小視場高分辨率成像。

2.1 視覺注意機制

本文設計采用基于譜殘差的構造顯著圖的方法，對譜殘差方法進行改進使其更適用于本實驗。利用亮度的顯著性檢測顯著圖，對于檢測出來的幾個顯著區域按照像素面積大小進行排序，即可獲取顯著區域的圖像采集順序。

在視覺注意中，圖像由冗余部分和顯著部分組成。定義R(f)來表示圖像中的冗余部分，定義S(f)來表示圖像中的顯著部分：

S(f)=L(f)-R(f)

(1)

R(f)=hn(f)×L(f)

(2)

(3)

對譜殘差注意方法進行改進后，生成顯著圖的具體過程如下：

1) 將圖像分成HSV三個通道，提取生成的亮度圖像(V)；

2) 將得到的亮度圖像進行傅里葉變換[12-13]，得到亮度圖像的幅度譜A(f)和相位譜P(f)；

3) 幅度譜A(f)取對數，得到對數譜L(f)，根據式(1)、式(2)計算R(f)和S(f)；

4) 根據S(f)和相位譜P(f)，進行傅里葉反變換得到相應的顯著圖。

顯著圖計算過程如圖2所示。

圖2 顯著圖計算過程

傅里葉變換：

(4)

傅里葉反變換：

(5)

在得到顯著圖之后，將顯著圖插值到原始分辨率，再與原始圖像進行疊加，即可得到分割結果。對于可能會出現幾個區域的情況，加入區域面積的大小排序，將獲得的幾個區域按照面積排序，即為獲取圖像的順序。

由于在視覺注意后獲得到的顯著圖分辨率會變低，將顯著圖插值，與原始圖像相加可得到顯著注意區域，得到注意區域的中心坐標。

對于微靶球的大視場圖像，視覺注意過程如圖3所示。

圖3 視覺注意過程

2.2 控制鏡頭視場轉換

提取注意區域的中心坐標后，計算位移臺需要移動的三維位移脈沖數，通過程序將其發送到位移臺控制器，自動控制小視場鏡頭對注意區域中心進行對準，進行高倍分辨率小視場圖像的獲取。考慮到工作臺的位置不變，所以相機的焦距和顯微鏡頭的放大倍數可以在實驗之前預先設定好。這樣只需要調整小視場鏡頭的三維坐標即可。大視場圖像與注意區域的關系如圖4所示。

圖4 大小視場圖像位置關系

設獲得到的注意區域中心坐標為O(X,Y)，則：

X方向移動脈沖數：

(6)

Y方向移動脈沖數：

(7)

Z方向移動脈沖數：

(8)

其中D表示三維精密移動位移臺上低倍大視場鏡頭與高倍小視場鏡頭之間的距離，u表示單位脈沖當量(μm/像素)，L1表示低倍鏡頭的工作距離，L2表示高倍鏡頭的工作距離。

3 基于ORB算法的多視場數據轉換技術

3.1 ORB算法

利用局部圖像實現顯微視覺的自動測量，需要解決大視場與小視場之間的數據轉換問題。本文采用大小視場圖像之間的特征檢測與特征匹配，然后將重疊區域對應的數據替換的方法，將小視場圖像融合到大視場圖像中。

為了使測量速度更快，而且考慮到圖像特征檢測與匹配不涉及角度和方向的特征檢測，采用改進的ORB算法進行特征點的檢測與匹配。

選用ORB算法進行特征提取的優點：相對傳統的SIFT和SURF算法，速度快一個數量級[14-15]。

對于圖像中的一個像素點p，下面是特征點的計算公式：

(9)

其中，I(p)表示候選點p的灰度值，I(x)表示鄰域某像素的灰度值，εd即為設定的閾值。一般，如果N大于圓周鄰域像素點數的3/4，則認為p是一個特征點。

在特征匹配階段，為了降低誤配率，使用馬氏距離對特征點的匹配進行改進，去除多余的特征點，降低誤配率。

對于一個均值為u，協方差矩陣為C的數字矩陣，它的馬氏距離為：

(10)

馬氏距離的大小不僅與各個點集相對分布有關，而且與各個點集自身的分布有關，使得在同一個點集內的數據在所研究的指標下擁有較高的相似度，進而可以提高特征點的匹配精度，更好地剔除誤配點。

馬氏距離與傳統的歐氏距離相比，歐氏距離的適用面更廣，但是馬氏距離的計算是建立在總體樣本的基礎上的，重復性低[16]。

3.2 數據轉換

在進行特征匹配之后，得到大視場圖像與小視場圖像之間的匹配特征點對：{(x11,y11)，(x12,y12)，…，(x1i,y1i)}和{(x21,y21)，(x22,y22)，…，(x2i,y2i)}，在匹配點對的坐標范圍內，將相應的小視場圖像的數據替換到大視場圖像當中，得到的就是融合高分辨率圖像的大視場圖像。然后就可以通過圖像處理技術進行測量。

4 實驗與分析

為了驗證測量方法的可行性與準確性，自行設計并搭建了面向微尺度對象的多視場自動測量平臺。平臺包括計算機、CCD相機、顯微變倍鏡頭、三維移動位移臺，其中計算機處理器為酷睿6代i5，內存8 GB，CCD相機采用德國sentech公司生產的2 448×2 056像素的CCD相機，鏡頭采用普密斯公司生產的PMS63100D顯微鏡頭。采用卓立漢光公司生產的SC300系列電控位移臺進行相機的自動精密控制。實驗設備如圖5所示。

圖5 實驗設備

首先采用控制CCD相機移動一定距離的方式對CCD相機進行標定，標定數據見表1。

表1 視覺測量系統標定數據

最后得到的像素當量(每個像素代表的實際距離)為0.686 6 μm/像素。

在工業要求中，合格靶球的直徑范圍是50～400 μm，根據像素當量計算，合格靶球在圖像中的直徑范圍是73～582像素，半徑范圍是37～291像素。

然后對待測的靶球進行大視場圖像成像，為了驗證視覺注意機制，盡量保證大視場圖像下含有粘連堆聚的靶球。獲得大視場圖像之后，采用MATLAB編寫程序進行注意區域的自動獲取，得到5組大視場圖像的視覺注意的數據如表2所示。

表2 視覺注意部分的數據

在得到注意區域的中心坐標之后，通過式(6)-式(8)得到三維精密位移臺需要移動的脈沖數，控制高倍鏡頭移動，然后獲取小視場圖像。得到小視場圖像之后，進行圖像融合，融合前后的圖像如圖6所示。通過原始大視場圖像與融合之后的大視場圖像的局部圖像之間的對比，可以看出融合之后的大視場圖像清晰度明顯提高，邊緣接觸部分更加明顯，有利于進行邊緣檢測和提高最后的測量精度。

圖6 圖像融合前后的局部圖像對比

在獲得融合之后的大視場圖像和標定數據之后，使用halcon軟件對圖像進行測量部分的處理：通過圖像增強算子對圖像對比度進行提高，采用分水嶺算法對粘連邊緣進行分割，使用canny算子對邊緣進行提取，檢測到各個單獨的微靶球。然后對提取出來的微靶球進行直徑、圓度、破損的測量和篩選，最后獲得合格微靶球的中心坐標。

為了驗證本文方法的檢測精度，選用得到的五組圖像中的第一組圖像進行圖像處理，得到的結果如圖7所示。從圖像中可以看到，破損、破裂等不符合要求的微靶球均已被過濾篩選掉，對于符合要求的微靶球，均可以檢測到。實驗證明，本文提出的方法可以準確地對微靶球進行篩選檢測。

圖7 測量結果圖

本文對選取的第一組圖像進行對比實驗，并使用相同的圖像測量算法對原始大視場圖像進行直接測量，得到的結果如圖8所示。

圖8 直接測量法的測量結果圖

從測量結果圖的對比來看，圖7中標注的A所指的微靶球為合格品，但在圖8中標注的B所指的微靶球卻沒有檢測出來(原始圖像中A與B的顏色不同，論文中圖片壓縮與灰度的原因導致差別不明顯)，出現了誤檢現象，而且對原始大視場圖像進行測量時由于微靶球的粘連邊緣不清晰，導致檢測到的邊緣與實際邊緣有差距。

使用本文的方法得到的部分測量數據與直接對原始大視場圖像進行測量的對應數據進行對比，如表3、表4所示。

表3 融合后圖像的測量數據

表4 原大視場圖像的測量數據

從兩組測量數據的對比來看，直接對原始大視場圖像進行測量得到的數據整體偏大，并且對應圖8中的微靶球B沒有測量數據。實驗說明，融合小視場圖像之后的大視場圖像在測量時，更加準確，精度較高。

然后再使用圖像拼接的方法對第一組的微靶球進行檢測，比較本文方法的測量效率。在本實驗中獲得的大視場圖像的視野大小為7.33×5.87×4.40(mm),小視場的視野大小為2.44×1.96×1.47(mm)。在對第一組圖像進行測量時，使用本文的方法僅需要獲取大視場圖像與小視場圖像各一張即可，使用圖像拼接的方式至少需要獲取9張小視場圖像。圖像拼接方法中的小視場圖像如圖9所示。

在獲取到拼接圖像的序列局部圖像之后，對得到的9張局部圖像進行圖像拼接。得到拼接圖像之后，使用相同的圖像測量算法對拼接圖像進行測量。圖像拼接與圖像測量均使用halcon進行編程。拼接方法得到的測量結果如圖10所示。程序運行得到結果的時間如圖11所示。

圖10 拼接方法測量結果圖

圖11 拼接方法與本文方法運行時間圖

從本文方法與拼接方法的測量結果圖的對比來看，圖7與圖10的測量結果差別不大，兩種方法都檢測出了同樣的合格微靶球。

使用拼接方法得到的與表3對應的測量數據如表5所示。

表5 拼接方法測量數據

從兩組數據表3與表5的對比來看，兩組測量的數據與測量結果圖對應，差距很小，邊緣接觸部分的微靶球均可清晰地測量出結果，效果相同。

但是，從消耗時間的對比來看，在圖像拼接方法中，由于需要控制三維位移臺移動來獲取9張圖像，獲取圖像這一步驟消耗的時間過長，達到了6.5 s。而在本文的方法中，由于只需要獲取2張圖片，這個步驟只需要1.3 s。

在拼接方法中，獲得局部圖像之后的圖像拼接與測量階段運行時間由圖11可得程序運行時間為158.6 ms；而在本文的方法中，最后的數據融合與測量部分程序運行時間為144.4 ms。因此，本文提出的方法能夠有效提升測量的速度，大幅縮短測量時間。

綜上所述，本文方法相對于直接測量的方法，測量精度高，微靶球檢出率高；相對于圖像拼接的方法，在保證測量精度的前提下，測量速度大幅提升，有效地提高了測量效率。

5 結 語

本文主要闡述了一種基于多視場轉換的微尺度對象自動測量方法。該方法針對顯微視覺下視野大小與分辨率高低的矛盾，設計采用視覺注意機制進行大視場與小視場之間的轉換，使用ORB算法進行大視場圖像與小視場圖像之間的特征檢測與特征匹配，得到融合圖像最后通過圖像處理進行測量。本文通過對微靶球的顯微圖像進行實驗，實驗結果表明，本文方法相對于直接測量方法能夠有效提高測量精度和檢測準確率，相對于圖像拼接方法能夠大幅提升測量效率且保證測量精度。本文方法結合了兩種方法的優點，并且采用自動的方式進行測量，能夠滿足實際工業生產中高精度、自動化、快速化的要求。

[1] 楊曉京,王思琪.基于顯微機器視覺的微納米級構件的精密檢測[J].計算機工程與應用,2017,53(5):227-230.

[2] 高媛媛.基于圖像處理的CCD顯微測量技術及應用[D].蘇州大學,2008.

[3] 劉國陽.基于機器視覺的微小零件尺寸測量技術研究[D].哈爾濱工業大學,2014.

[4] Tohmyoh H,Suzuki M.Measurement of the coating thickness on the back side of double-sided coated structures by means of acoustic resonant spectroscopy[J].Surface & Coatings Technology,2009,204(4):546-550.

[5] Kannajosyula S P,Chillara V K,Balasubramaniam K,et al.Simultaneous measurement of ultrasonic longitudinal wave velocities and thicknesses of a two layered media in the absence of an interface echo[J].Review of Scientific Instruments,2010,81(10):105101.

[6] Good M S,Wend C F,Bond L J,et al.An estimate of biofilm properties using an acoustic microscope[J].IEEE Transactions on Ultrasonics,Ferroelectrics,and Frequency Control,2006,53(9):507-516.

[7] Raisutis R,Kazys R,Mazeika L.Ultrasonic thickness measurement of multilayered aluminum foam precursor material[J].IEEE Transactions on Instrumentation and Measurement,2008,57(12):2846-2855.

[8] 陳濤,陳立國,潘明強,等.基于壓電驅動的靶球篩選操作機理及實驗研究[J].壓電與聲光,2012,34(1):56-60.

[9] 石帥,張林,吳文榮,等.微靶裝配中靶球幾何量的高精度測量[J].強激光與粒子束,2012,24(8):1882-1886.

[10] 余金棟.基于計算機微視覺的亞微米特征尺寸測量理論與實驗研究[D].華南理工大學,2014.

[11] 何博俠,何勇,卜雄洙,等.機器視覺多視場協同測量方法[J].光學精密工程,2012,20(12):2821-2829.

[12] 劉娟妮,彭進業,李大湘,等.基于譜殘差和多分辨率分析的顯著目標檢測[J].中國圖象圖形學報,2011,16(2):244-249.

[13] 余瑞星,朱丹,高路,等.基于譜殘差顯著區域檢測的圖像分辨率歸一化方法[J].西北工業大學學報,2014(6):872-876.

[14] 戴雪梅,郎朗,陳孟元.基于改進ORB的圖像特征點匹配研究[J].電子測量與儀器學報,2016,30(2):233-240.

[15] 索春寶,楊東清,劉云鵬.多種角度比較SIFT、SURF、BRISK、ORB、FREAK算法[J].北京測繪,2014(4):23-26.

[16] Leng X F,Liu J Y,Zhi X.A real-time image matching algorithm for navigation system based on bifurcation extraction[J].Acta Automatica Sinca,2007,33(7):678-682.

RESEARCHONMULTIPLEFIELDSYNERGYMEASUREMENTMETHODFORTHEMICROSCALEOBJECTS

Liu Guohua1,2Li Tao1
1(SchoolofMechanicalandElectronicEngineering,TianjinPolytechnicUniversity,Tianjin300387,China)2(AdvancedMechatronicsEquipmentTechnologyTianjinMajorLaboratory,TianjinPolytechnicUniversity,Tianjin300387,China)

Aiming at the problem that the micro visual horizons is small and cannot be measured at a small target all at once, a multiple filed synergy measurement method for micro scale object is proposed. This method extracts the region of interest from low resolution large FOV(field of view) image by spectral residual visual attention model establish brightness saliency map, and obtains the high resolution small FOV image from the region of interest. Then, the large FOV image is matched with the small FOV image by the ORB algorithm, and the small FOV image is fused into the large FOV image. Finally, the obtained high-resolution image is processed by image processing, and the data needed to be measured is returned. Experimental results show that the proposed scheme has high measurement accuracy, and can realize the automatic measurement for micro scale objects.

Micro scale object Automatic measurement Visual attention Multiple field of view Feature matching

2016-08-31。天津市科技支撐計劃重點項目(16YFZCSY00860)。劉國華，副教授，主研領域：機器視覺，機器人控制技術。李濤，碩士生。

TP3

A

10.3969/j.issn.1000-386x.2017.08.020