基于計算機視覺的高精度圖像拼接

陳海松，李益民，韓秀清

(深圳職業技術學院 工業中心，廣東 深圳 518055)

機器視覺技術是精密測試技術領域內最具有發展潛力的新技術是，它綜合運用了電子學、光學探測、圖像處理和計算機技術，將機器視覺引入到工業檢測中，實現對物體的三維尺寸或位置的快速測量，具有非接觸性、速度快、柔性好等突出優點，在現代制造業中有著重要的應用前景。隨著對測量精度要求的不斷提高，依靠機械運動精度的定位方法已經不能滿足要求，而高精度圖像拼接技術不再依靠機械運動的精度，而是利用相鄰圖像重合部分的特征來確定其相對位置。這種方法擺脫了機械精度的限制，使視覺測量精度得到了很大的提高[1]。同時，隨著圖像量測中對精度和幅面要求的提高，在同一幅圖像中往往不能同時滿足兩方面的要求，而可以采用被測量物體與圖像傳感器相對運動的方式，以采集到的多幅圖像為依據進行量測、縫合和圖像拼接，將所有合并的圖像映射到同一圖像坐標系內，顯示在同一圖像空間內。

1 計算機視覺檢測系統的組成

計算機視覺檢測系統按功能主要包含以下幾個部分：(1)圖像信息獲取模塊；(2)圖像信息處理模塊；(3)系統控制模塊；(4)X-Y運動載物平臺模塊。

計算機視覺系統結構框圖如圖1所示。系統的工作過程：系統控制模塊給X-Y平臺控制部分的單片機一個命令，要求X-Y平臺移動到相應的位置，到達位置后，反饋一個信號給系統控制部分，系統控制部分收到信息后與圖像采集模塊和處理模塊通信，完成整個系統的操作。系統控制模塊與單片機通過RS232協議進行通信，而系統控制模塊與圖像采集模塊進行通信并且接收圖像信息，其計算機需要配備專用的圖像采集卡和I/O模塊。在本系統中，圖像采集卡采用的是Cognex MVS-8600，圖像采集卡與相機通過專用15芯電纜相連，I/O模塊采用的是基于PCI總線的并行輸入輸出端口。

圖1 系統結構框圖

2 檢測系統的工作原理

計算機視覺檢測系統工作流程主要分為圖像信息獲取、圖像信息處理和機電系統執行檢測結果三個部分。另外，根據系統需要還可以實時地通過人機界面進行參數設置和調整。檢測系統工作原理圖如圖2所示。系統正常運行時，當被檢測的樣品在檢測平臺上裝夾完成后，操作者手動向系統輸入開始檢測的指令，系統將首先根據對需要采集的圖像參數的設置情況進行預計算，確定圖像采集過程中平臺需要定位的位置參數，然后自動移動到第一個圖像采集位置，并向圖像采集模塊發出就位信號，圖像采集系統接收到此信號并對當前視野內的圖像進行采集，采集完成后向控制器發出完成圖像采集信號，平臺再次運動到下一個采集位置。重復上面的工作，直至所有的圖像采集完成后，系統進入圖像處理模塊進行處理，根據得出的檢測結果進行顯示或者報警等操作。在整個操作過程中，圖像采集模塊和圖像處理模塊還需要連續地進行實時圖像監視。這一操作只有在圖像采集的瞬時時刻才會暫時掛起，每完成一次圖像采集操作后，都會回到圖像的實時監視界面。

圖2 檢測系統工作原理圖

2.1 圖像信息獲取和處理模塊設計

圖像信息獲取模塊的硬件主要包括視覺傳感器(CCD攝相機)、光學鏡頭、光源系統三個部分，根據被測工件特點和檢測系統要求，合理選擇與搭配這三個部分是高性能視覺檢測系統的前提[2]。此模塊的功能就是按系統控制模塊的指令獲得檢測系統所需的圖像信息，并以標準的圖像信息格式傳送給圖像信息處理模塊。

圖像信息處理模塊的功能是通過對系統獲取的圖像信息進行處理得出控制系統所需要的結果信息。此模塊的核心是圖像信息處理的算法，在本文系統中，采用的是Cognex公司提供的圖像處理算法開發包CVL。

2.2 圖像可拼接性的數學驗證

圖像的拼接結果可以看成是全景圖像的部分或者全部，而全景圖像是一種形式的全光函數，所以圖像的可拼接性論證是基于全光函數的數學理論進行的。

全光函數是一個7維函數，其定義為：在任意時刻t，通過任意視點(x，y，z)的任意角度(θ，φ)的任意波長 λ的光線的強度 P7=P(x，y，z，θ，φ，λ，t)，所以只要在某一視點采集所有入射光線，記錄全光函數，就能通過某種方法構造出此場景。在圖像拼接的實際應用中，可以通過對圖像采集過程的約束來降低全光函數的維數。如果在圖像采集過程中，視點的位置為同一個，則可以減少由于視點位置變化所引入的三個變量 (x，y，z)；再對于同一個場景具有時間不變性或在采集的時刻之間，場景的變化可以忽略，則時間變量也可以去掉；同樣，波長也是同一場景中的固定物理量，所以也可以去掉。據此，全光函數則可簡化為一個二維函數P2=P(θ，φ)。由此可以看出，只要記錄同一視點的各個不同的角度的光線信息，據此構造出全景圖像。也就是說，可以通過在同一位置拍攝的不同角度的圖像來得到一個完整的全景圖像，這就是進行圖像拼接的理論依據。

2.3 圖像拼接的基本過程

圖像拼接過程步驟[3-4]如下：

(1)獲得在同一位置拍攝的具有重疊區域的兩幅或者更多的圖像。

(2)對圖像進行坐標轉換，解決相鄰圖像在深度方向上由于圖像采集時采用不同焦距所帶來的差異。如果圖像在采集的過程中所采用的是同一焦距，則可以不進行這一步操作[5]。

(3)重疊區域局部匹配，找出相鄰圖像之間的精確位置關系。

(4)圖像縫合，根據第(3)步所得到的相鄰圖像的精確位置關系，將圖像進行合并。

(5)圖像輸出，將所有合并的圖像映射到同一圖像坐標系，顯示在同一圖像空間內。

在圖像采集的過程中，為了簡化圖像坐標變換過程，應盡量采用同一焦距進行采集。所以，在同一視點所得的圖像在深度方向上不需進行校正，如圖3所示。

另外，如圖4所示，在焦距不變的情況下，視點沿一條直線平移，則每次所得圖像平面在同一個平面內，可以得到深度方向不具有差異性的圖像信息。所以圖4所示的情況也不需要進行坐標變換。圖5所示為同一視點按不同焦距進行的拍攝方式，每次的成像平面在不同深度位置上，則需要通過坐標變換進行深度方向上的校正。

圖3 同一視點，同一焦距

圖4 視點平移，同一焦距

圖5 同一視點，不同焦距

圖像的局部特征匹配是通過比對相鄰兩幅具有重疊區域的圖像，找到最佳匹配位置，實際上可以歸結為如下模式的識別問題：設相鄰的兩幅圖像中分別包含A、B兩個相同的區域，求區域A相對于區域B的準確位置。常用的算法有：基于塊的匹配、基于比值的匹配以及基于網格的快速匹配。

在這三種算法中，基于塊的匹配算法的精度最高，但計算量較大，它是取一幅圖像上重疊區域內的一部分作為模板，在另一幅圖像上進行匹配，模板的尺寸越大，匹配的精度越高，計算量也越大，通常在不計時間成本的情況下采用該匹配算法。基于比值的匹配算法是一種精度比較低的算法，它是取一個圖像上重疊區域內相隔一定寬度的兩列圖像的灰度比值作為模板，在另一圖像上進行匹配，其計算量相對于基于塊的匹配有所減少，但仍然很大，并且有大量除法運算，其精度也較低。基于網格的快速匹配方法是基于塊的匹配算法的簡化算法，包括粗略匹配和精確匹配兩個匹配過程。粗略匹配過程是取較大的步長，通過計算匹配對應點的灰度差的平方和找到大致的匹配位置，然后再使用較小的步長進行匹配，直至補償為零。這種算法在精度方面有所損失，但速度較基于塊的匹配方法有所提高。

得到相鄰圖像的精確匹配位置后，就可將相應的圖像重疊部分合并，進行圖像的縫合。但如果簡單地將圖像進行合并，會由于兩幅圖像之間的亮度差異在圖像上顯現出明顯的拼接邊緣，所以要對圖形拼接部分進行灰度的平衡處理，使兩幅圖像得到平滑地過渡。常用的灰度平衡處理有固定權重的重疊圖像合并和權重線性漸變的重疊圖像合并兩種方法。

固定權重的重疊圖像合并為：

權重線形漸變的重疊圖像合并為：

其中，INEW、I1、I2分別為合并后的圖像與合并前的左、右兩幅圖像；ω為固定權重合并方法中圖像I1的固定權重；N為圖形重疊區域的寬度，用該區域內像素的列數表示；n表示當前的合并位置，規定重疊區域從左到右依次為1～N。

圖像經過縫合后，通常圖像左右兩側能達到較好的過渡效果，但是如果原始圖像之間亮度相差較大，則拼接圖像的亮度會明顯地分布不均衡。在這種情況下，最好先對原始圖像進行亮度調節，觀察兩幅圖像的灰度分布曲線，盡量使其最大值和最小值位于相近的灰度級附近，這樣拼接后的圖像會得到較好的整體均衡效果。

2.4 圖像拼接仿真設計

圖6是從在同一位置拍攝的兩幅圖像中分別取出的具有重合區域(重合區域約為80%)的兩部分，由于是兩次拍攝所得，所以圖像上應該存在非零的偏移量，適合于驗證上述拼接方法。由于兩幅照片拍攝時間相距很短，所以圖像的亮度幾乎一致。為了驗證在敏感區域模板配準過程中，差異矩陣的灰度均值差方根對圖像亮度變化的適應能力，人為地將圖6(b)中每個像素提高5個灰度級進行計算。

拼接仿真實驗采用Matlab 7.0圖像處理平臺，分別對圖像拼接的兩次配準過程和圖像的灰度重建過程編寫Matlab函數實現，拼接過程的流程圖如圖7所示。像素級圖像配準過程中，選擇圖6(a)中20×20的矩形區域作為敏感區域模板，以圖6(b)中差異矩陣灰度均值差方根取最小值的位置作為最佳配準位置，Jmin=0.670 3(差異矩陣灰度均值差方根的最小值為0.670 3)。在像素內的配準過程中，取所得到的極大值位置偏移量序列的平均值，行、列偏移位置分別為0.3和0.45個像素尺度單位。分別對相應區域進行相應的灰度加權運算后得到拼接后的圖像如圖8所示。其中的虛線(左區域)、實線(右區域)線條標示了原始圖像所包含的區域。

圖6 待拼接圖像(左右)拼接

圖7 拼接流程圖

圖8 拼接后的圖像

高精度二維運動平臺可以從不同位置對物體進行取像，由圖像處理單元對圖像實現高精度拼接后進行檢測和測量，其拼接過程由軟件自動完成二次精密校準和雙重加權圖像重建，圖像的測量不再依靠平臺運動的機械精度。按圖6所示的流程進行圖像拼接就可以得到高精度的拼接圖像，可以滿足大幅面圖像測量的要求，對于視覺測量過程中擺脫平臺的運動誤差，提高測量精度具有重要意義。

[1]段峰，王耀南.機器視覺技術及其應用綜述[J].自動化博覽，2002(3).

[2]王俊杰，劉家茂，胡運發，等.圖像拼接技術[J].計算機科學，2003(1)：71-74.

[3]趙唯，李端義.基于小波變換與形態學的一種邊界重疊圖像的拼接算法[J].微機發展，2001(6)：3-6.

[4]BUTALEB A S.Automatic thresholding ofgray-level pictures using two-dimensional entropy[J].Computer Vision Graphics Image Processing， 1989，47：22-32.

[5]Dalsa Inc.CCD image capture technology databook[M].CCD Image Sensors， Waterloo， Ontario， 1998.