一種用于工件視覺測量的圖像拼接方法的研究

薛 真，項輝宇

（北京工商大學 材料與機械工程學院，北京 100048）

一種用于工件視覺測量的圖像拼接方法的研究

薛 真，項輝宇

（北京工商大學 材料與機械工程學院，北京 100048）

在工件的生產制造過程中，視覺測量技術以其具有的快速、準確的特點發揮著越來越重要的作用，針對大尺寸物體的視覺測量，提出了圖像拼接技術。該方法基于視覺圖像處理軟件HALCON，利用經過標定的攝像機采集帶有一定特征信息的零件的序列圖像，對圖像進行坐標變換、高斯濾波等預處理，在相鄰圖像之間的重疊區域使用Harris角點檢測算法進行特征點提取，將提取出的特征點進行匹配，根據特征點之間的匹配關系完成圖像配準，實現由多幅圖像拼接成為一幅圖像。闡述了相關理論并進行了實驗，驗證了該方法的可行性。

攝像機標定；HALCON；特征點提取；圖像匹配；圖像拼接

0　引言

目前，對于大尺寸工件的測量，可以采用大尺寸導軌或者標準件進行測量，但是這種方法操作不方便，精度較低，而且成本較高。也可以采用間接法，如高弦長法，這種方法存在原理誤差，結果的可靠性較差。隨著計算機視覺技術斷發展，采用視覺測量的方法可以解決上面兩種方法的不足[1]。但在一些大尺寸工件的測量中，由于攝像機視角、拍攝角度、攝像機的視場不足等因素的影響，不能一次性獲得一幅包含工件完整信息的圖像。這時就需要將不同時刻、不同角度拍攝的、存在一定重疊區域的圖像拼接融合，獲得一幅全景圖像，這就是圖像拼接技術。

本文提出了一種基于HALCON軟件的圖像拼接方法，該方法的基本流程如圖1所示。該方法基于計算機視覺技術，先建立攝像機模型，通過攝像機標定確定物體圖像坐標與世界坐標之間的關系，利用該攝像機采集一系列待拼接的圖像，進行圖像處理。在處理后的圖像中提取特征點，根據這些點之間的關系完成圖像配準工作，實現圖像拼接。

圖1　圖像拼接方法的流程

1　視覺測量與圖像拼接

圖像拼接的基本原理是利用幾幅圖像在時間或空間上的冗余或互補信息，根據一定的拼接算法合成一幅大視野、高分辨率的圖像[2]。在實現拼接的過程中，攝像機標定是其中的關鍵步驟之一。

1.1攝像機標定原理與過程

進行攝像機標定可以確定二維圖像與世界坐標系中物體的對應關系，從而可以由圖像中物體的尺寸計算出物體的實際尺寸[3]。攝像機標定過程就是確定攝像機內參數和外參數的過程。內參數包括攝像機的主距、畸變、縮放比例因子、主點等，外參數指攝像機坐標系與世界坐標系之間的關系。進行攝像機標定時，首先要建立攝像機模型，如圖2所示。在建立好的攝像機模型中將世界坐標系中的點轉換到圖像坐標系中，需要經過以下三個步驟：

1）從世界坐標系（WCS）變換到攝像機坐標系（CCS）中。

這一變換屬于剛性變換，我們在世界坐標系中取一點，設它在攝像機坐標系中的對應坐標為，則它們之間有如下轉換關系：

2）從攝像機坐標系投影到成像平面坐標系（IPCS）中，若鏡頭沒有畸變，則該過程可以利用下式實現。

式中f是攝像機的主距，Zc是目標物體與攝像機之間的距離。

但在實際應用中，鏡頭往往會存在不同程度的畸變，在機器視覺的應用中，可以將這種畸變近似為徑向畸變，并且可以用下式進行修正。

式中k表示徑向畸變的量級，k＞0表示枕形畸變，k＜0表示桶形畸變。是考慮鏡頭畸變后，在成像平面上的投影點的坐標。

3）從成像平面坐標系轉換到圖像坐標系（ICS）中。

式中Sx和Sy是比例縮放因子，代表圖像傳感器上水平和垂直方向上相鄰像素之間的距離。點是光心在成像坐標系中的投影點，即圖像的主點。

上述公式中的f、k、Sx、Sy、Cx和Cy就是攝像機的內參數，它們確定了攝像機實現三維空間點到二維圖像點的投影的方法。至此，世界坐標系中點Pw與圖像坐標系中的對應關系可由上述四個公式得出[4]。由此可知，要完成攝像機的標定，需要知道足夠多的三維空間點的坐標，并找到圖像中的對應點，建立對應關系。

圖2　攝像機模型

在HALCON系統下，實現攝像機標定的過程如圖3所示。

圖3　攝像機標定流程圖

實驗采用60mm×60mm的圓點型平面標定板進行攝像機標定。標定板制作過程簡單，精度較高，便于操作[5]。用于攝像機標定的標定板的圖像數量是影響攝像機參數準確度的重要因素。本實驗拍攝了標定板在不同位置的20幅圖像，然后利用HALCON圖像處理軟件對這些圖像處理，得到相機的內外參數。

HALCON是德國MVTec Software GmbH公司開發的圖像處理軟件，功能強大，內部包含1600多個算子。在執行標定過程中利用算子set_calib_data_calib_object設置標定模板句柄；find_caltab可以將標定板內部區域與背景分隔開，該算子對輸入圖像進行高斯濾波，再采用閾值分割的方法找到標定板的內部區域；find_marks_ and_pose找到每個圓心的中心并確定它們相應的世界坐標，并且可以粗略計算相機的外參數。最后通過算子calibrate_cameras和get_calib_data得到攝像機的參數，如表1所示。標定誤差為0.143194個像素。

表1　攝像機初始參數及標定結果

1.2圖像處理

在完成攝像機標定后需要保持攝像機的位置不變，通過標定后的攝像機模型得到待拼接圖像的圖像坐標與世界坐標的關系。在實際應用中，采集的圖像可能存在幾何失真或者受到噪聲的干擾，因此，在提取特征點之前要對圖像進行預處理，本文用到的圖像處理技術主要有圖像坐標變換和圖像濾波。

1.3特征點的提取與圖像配準

在本文中，特征點提取采用了Harris角點檢測算法。Harris角點檢測算子具有快速便捷的特點。它的原理是：首先選取圖像上的某一點，讓該點在任意方向發生一個小小的偏移f(x,y)，然后判斷該點的灰度是否發生很大的變化，如果是，就說明該點是角點。在使用該算法時，需要注意選取合適的梯度平滑值。

在完成特征點提取之后，再根據重疊區域的一致性求解圖像間的投影變換矩陣[6]。經過初步匹配之后，采用RANSAC算法進行魯棒匹配，剔除錯誤的匹配點，完成圖像配準。

在HALCON中，算子change_radial_distortion_ image( )用來校正圖像的畸變；tile_images_offset( )提供待拼接圖像的坐標位置及排列方式；points_harris( )表示利用hariss角點檢測算法檢測關注點，并提取出特征點；proj_match_points_ransac( )通過找到兩幅圖像中點與點之間的映射計算一個投影變換矩陣；gen_ projective_mosaic( )把多重圖像合成一個馬賽克圖像，即完成圖像拼接過程。

2　實例驗證

基于上述原理，本文進行了拼接實驗。實驗采用DH-HV1302UM攝像機，通過HALCON中的算子open_ framegrabber( )打開該攝像機并進行圖像的采集工作。首先固定攝像機位置，采集標定板圖像進行攝像機標定，再利用標定后的攝像機采集要拼接的圖像。

實驗采集了一個沖壓工件的九幅圖像，經過圖像處理后，提取到的特征點及特征點之間的匹配關系如圖4所示，圖中綠色的點代表特征點，藍色的線代表特征點之間的匹配關系。

圖4　圖像特征點提取及匹配結果

圖像拼接結果如圖5所示。

圖5　圖像拼接結果

3　結束語

本文提出了基于HALCON的圖像拼接算法，即：用攝像機采集一系列具有重疊區域的待拼接的圖像，對圖像進行處理后，在每相鄰兩幅圖像之間提取特征點。根據這些點的對應關系，完成圖像之間的配準，將配準后的圖像拼接成一幅完整的圖像。通過本文的實驗，驗證了這種基于HALCON的拼接算法的可行性。在現代化的制造業中，將圖像拼接技術應用于視覺測量中，可以在一定程度上解決大尺寸物體的測量與檢測問題。因此，從提高精度和準確度的角度出發，對圖像拼接技術進行研究很有必要。

[1] 白福忠.視覺測量技術基礎[M].北京:電子工業出版社,2013: 13-16.

[2] 韓九強.機器視覺技術及應用[M].北京:高等教育出版社,2009: 10-11.

[3] 項輝宇,劉倩倩,韓寶安,冷崇杰.基于HALCON的單目視覺系統沖壓件的幾何特征檢測[J].制造業自動化,2014,12:48-50,63.

[4] 羅珍茜,薛雷,孫峰杰,陸士清,李長遠.基于HALCON的攝像機標定[J].電視技術,2010,04:100-102.

[5] C.Steger等著,楊少榮等譯.機器視覺算法與應用[M].北京:清華大學出版社,2008:255-274.

[6] 王中任,全燕鳴.大尺寸工件在機視覺測量的圖像拼接方法[J].工具技術,2010,01:95-98.

Study on image mosaic approach for workpiece vision measurement

XUE Zhen, XIANG Hui-yu

TH161

A

1009-0134(2016)02-0045-03

2015-10-28

薛真（1992 -），女，河北人，碩士研究生，研究方向為視覺測量與分析。