輪廓匹配方法改進及其在轉子中的應用

王 壯, 戚嘉輝, 趙一鳴, 胡燕海

輪廓匹配方法改進及其在轉子中的應用

王 壯, 戚嘉輝, 趙一鳴, 胡燕海*

（寧波大學 機械工程與力學學院, 浙江 寧波 315211）

汽車發動機轉子裝配誤差容易造成零件磨損和效率降低. 針對轉子零件裝配精度要求, 提出一種基于輪廓與特征點結合的輪廓匹配改進方法. 首先對轉子圖像進行濾波、二值化預處理; 其次提取輪廓并利用輪廓Hu矩方法進行輪廓粗匹配; 然后提取特征點, 并在以特征點為中心、半徑為16像素的圓形區域內生成4個特征描述子作為匹配特征, 利用歐氏距離進行特征點匹配; 最后通過找到的匹配對計算仿射變換矩陣, 得到精匹配結果. 實驗結果表明, 該方法在背景復雜、光照變化的條件下能夠較精確地匹配輪廓, 保證匹配精度在1像素內, 且生成的特征描述子對數越多, 匹配結果越精確.

輪廓提取; 輪廓匹配; 特征描述子; 特征點匹配; 仿射變換

隨著自動裝配行業的發展, 裝配精度要求越來越高, 視覺檢測精度是裝配精度的前提[1], 而輪廓匹配技術在視覺檢測中被廣泛應用, 其對提高輪廓匹配的精度具有重要意義.

對于輪廓匹配技術國內外學者已做了大量的研究. 童小彬等[2]提出了基于方向梯度直方圖(Histogram of Oriented Gradient, HOG)特征描述的輪廓匹配算法, 該算法能夠有效地匹配到目標輪廓, 且受噪聲影響較小. 針對薄片零件外形缺陷問題, 尚小強等[3]提出了一種基于匹配方法的輪廓度檢測算法, 對于薄片類產品有較高的檢測精度. Korman等[4]提出了一種快速仿射模板匹配方法, 該方法不僅可以縮短匹配時間, 而且在不同的數據集中都得到了較好的匹配結果. 但這類研究對復雜背景環境下的復雜零件的檢測精度尚有待提高. 楊白雪等[5]提出了一種尺度不變特征變換的圖案匹配方法, 該方法能夠對結構復雜的圖案實現較好的匹配. Chen等[6]提出了一種基于視覺關鍵詞的產品外觀檢測方法, 該方法對角度和光照具有較好的魯棒性. 王瓊等[7]融合輪廓信息的匹配算法, 解決了傳統區域增長算法處理低紋理圖像問題, 有效地提高了圖像的特征種子點的提取效率. 該類研究利用了圖像特征點匹配的方法, 能夠較好地匹配對比度明顯的圖像, 但是對輪廓匹配效果尚有待提高.

本文改進了圖像特征點匹配中特征描述子的描述方法, 將特征點的幾何特征作為輪廓特征點的特征描述子進行輪廓匹配, 提高了輪廓的匹配效果. 該方法能夠有效提取復雜背景環境下的復雜零件輪廓, 進而提高匹配精度.

1 總體方案

原圖像噪聲較多, 為減少噪聲的影響, 對圖像進行濾波和二值化預處理, 為區分圖像內的各個零件, 對圖像進行分割. 由于工況環境復雜, 為了縮短特征點的提取時間, 利用Hu矩方法計算各零件輪廓的相似度, 從而對目標輪廓進行粗匹配, 然后僅提取粗匹配輪廓的特征點. 復雜的背景影響Hu矩方法的匹配精度, 因此利用特征點信息對輪廓進行精匹配.

輪廓匹配方法的總體方案可分為5個部分: 圖像處理、輪廓粗匹配、生成特征描述子、特征點匹配、仿射變換精匹配. 具體流程如圖1所示.

圖1 輪廓匹配流程

2 圖像處理

工業現場環境光容易對圖像產生影響, 因此需對獲取的圖像進行濾波和二值化預處理, 以去除噪聲的影響, 增強提取邊緣的特征, 進而進行圖像分割.

現有的邊緣提取方法[8]分為3類: 矩方法、擬合法和插值法. 矩方法計算簡單, 且可以得到解析解, 但該方法對噪聲較敏感, 容易受噪聲影響導致精度降低. 擬合法對噪聲有較高的魯棒性, 但該方法計算復雜、耗時較長. 綜合考慮, 本文采取插值法進行邊緣提取[9-11], 利用基于形態學梯度的樣條插值方法提取輪廓, 該方法既可以克服噪聲對輪廓提取的影響, 又可以減少計算的復雜程度, 節省時間. 具體步驟為:

采用的形態學梯度濾波算子為:

式中:1和2為權系數;Grad(1)和Grad(2)分別為2個結構元素的形態學梯度.

(3)利用形態學處理方法, 對步驟(2)中得到的像素邊緣進行細化, 得到最佳的邊緣效果.

圖2 圖像輪廓提取

3 輪廓粗匹配

輪廓提取后需要對輪廓進行定位匹配, 主要方法有: HOG特征描述匹配法、Hu矩方法匹配法、形狀上下文匹配等. 由于Hu矩具有尺度、旋轉、平移不變性, 因此采用Hu矩方法進行匹配.

Hu矩是由7個不變矩組構成[12], 其在圖像平移、旋轉和比例變化時保持不變.

輪廓Hu矩方法在噪聲較大、背景紋理凌亂的條件下匹配精度低. 因此, 需要對匹配后的輪廓進行精確匹配.

4 輪廓精匹配

4.1 特征點提取

曲率特征點提取過程為:

(1)計算輪廓各點處的曲率

圖3 提取點集

4.2 生成特征描述子

4.3 特征點匹配

首先通過式(11)計算出待匹配2個輪廓所有特征點的相似度量值, 值越小表示相似度越高. 計算相似度量最小值與次小值之比, 比值若小于實驗閾值, 說明2點特征過于接近, 為了避免誤識別, 視為誤匹配點. 若相似度量最小值與次小值比值大于給定的閾值, 則保留該匹配對, 相反, 如果小于給定的閾值, 則刪除該匹配對. 以此類推, 直至全部特征點匹配完成.

針對匹配結果進行仿射變換, 本文采取奇異值分解[16]的方法計算匹配對的仿射變換矩陣, 并計算所有匹配對的歐氏距離.

5 實驗與分析

為驗證本文方法的有效性, 分別對2種不同變量下的發動機轉子零件進行匹配檢測. 2種變量依次是改變光照強度、增大背景復雜度. 將本文方法與Hu矩方法進行對比, 以匹配對歐氏距離平均值作為匹配結果的判斷標準, 分別記錄Hu矩方法與本文方法的平均歐氏距離. 實驗所用的設備如圖5所示.

圖5 實驗設備示意圖

實驗采用600萬像素黑白相機, 8mm鏡頭. 為減少周圍環境光影響采用背光作為光源, 視野范圍368mm×243mm, 鏡頭距樣品距離為310mm.

先進行圖像預處理, 提取輪廓并利用Hu矩方法對輪廓進行粗匹配, 對分割后圖像中的輪廓進行編號(圖6).

圖6 圖像中各零件輪廓

分別進行2次實驗: 實驗1人為對每個零件進行平移操作, 實驗2人為對每個零件進行旋轉操作. 計算每個輪廓與樣本輪廓的匹配系數見表1.

表1 匹配系數

由表1可以看出, 當匹配系數小于0.4時匹配到相同形狀的輪廓, 認為粗匹配成功. 提取匹配后兩輪廓的特征點, 并進行特征點匹配. 實驗得出相似度量最小值與次小值之比大于0.3的匹配對最為準確. 因此, 將0.3作為匹配對相似度量閾值.

對2種轉子零件進行檢測實驗, 分別在改變光照強度, 增大背景復雜度2種變量下檢測Hu矩方法與本文方法處理后匹配對的平均歐氏距離. 圖7與圖8分別為2種零件的檢測圖像, 包括模板圖像、Hu矩方法粗匹配圖像、特征點檢測圖像以及特征描述子檢測圖像. 調整2種零件的放置角度, 記錄60°與120°時的實驗結果, 詳見表2和表3.

圖7 零件1檢測圖像

圖8 零件2檢測圖像

表2 零件1不同變量下的實驗結果

表3 零件2不同變量下的實驗結果

匯總零件1與零件2各角度對應的檢測誤差, 將其結果顯示在坐標系中, 如圖9和圖10所示.

圖9 零件1檢測誤差對比匯總

圖10 零件2檢測誤差對比匯總

從圖9和圖10可知, 在改變光照強度與增大背景復雜度情況下, 本文方法能保證精度在1個像素以內, 較Hu矩方法精度有明顯提高. 由于Hu矩方法中相似度匹配系數的計算過程耗時長, 而本文方法則是在此過程基礎上進行精匹配, 因此本文方法耗時要大于Hu矩方法的耗時, 但平均檢測時間小于0.6s, 可以滿足應用需要. 另外, 形狀越簡單, 需要匹配的特征點越少, 耗時也越少.

6 結論

(1)為了提高輪廓匹配精度, 提出了特征點匹配策略, 利用特征點周圍輪廓信息生成特征描述子, 通過歐氏距離篩選匹配對, 最后對匹配對進行仿射變換. 實驗結果表明, 該方法能夠有效提高匹配精度.

(2)在實驗中生成描述子的對數越多, 其匹配結果就越精確.

[1] 魏中雨, 黃海松, 姚立國. 基于機器視覺和深度神經網絡的零件裝配檢測[J]. 組合機床與自動化加工技術, 2020(3):74-77; 82.

[2] 童小彬, 孟婥, 孫以澤, 等. 基于HOG特征描述的輪廓匹配算法[J]. 東華大學學報(自然科學版), 2020, 46(5):787-792.

[3] 尚小強, 陳從桂, 歐陽光. 基于機器視覺的輪廓度檢測算法研究[J]. 機電工程技術, 2019, 48(1):21-23.

[4] Korman S, Reichman D, Tsur G, et al. Fast-match: Fast affine template matching[J]. International Journal of Computer Vision, 2017, 121(1):111-125.

[5] 楊白雪, 張曉丹. 尺度不變特征變換的圖案匹配研究[J]. 國外電子測量技術, 2020, 39(2):53-58.

[6] Chen X N, Zhao J, Yang R F. Product appearance detection based on visual keywords matching[J]. Microprocessors and Microsystems, 2020, 76:103062.

[7] 王瓊, 袁建英, 李柏林. 一種融合特征點與輪廓信息的匹配算法[J]. 計算機應用研究, 2014, 31(10):3145- 3147.

[8] 劉嶼, 孫坤, 謝宏威, 等. 基于形狀上下文特征和ICP的高精度輪廓視覺檢測算法[J]. 華南理工大學學報(自然科學版), 2018, 46(1):131-138; 144.

[9] Pallotta L, Giunta G, Clemente C. Subpixel SAR image registration through parabolic interpolation of the 2-D cross correlation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(6):4132-4144.

[10] 黨士許, 李磊, 張志鴻. 基于改進亞像素邊緣提取的一種異性纖維檢測方法[J]. 計算機與數字工程, 2016, 44(4):596-600; 682.

[11] Sun X, Shang K, Ming D L, et al. A biologically-inspired framework for contour detection using superpixel-based candidates and hierarchical visual cues[J]. Sensors, 2015, 15(10):26654-26674.

[12] 江波, 徐小力, 吳國新, 等. 輪廓Hu不變矩的工件圖像匹配與識別[J]. 組合機床與自動化加工技術, 2020(9):104-107; 111.

[13] Sun H F, Yang J H, Fan R B, et al. Stepwise local stitching ultrasound image algorithms based on adaptive iterative threshold Harris corner features[J]. Medicine, 2020, 99(37):e22189.

[14] 朱思聰, 周德龍. 角點檢測技術綜述[J]. 計算機系統應用, 2020, 29(1):22-28.

[15] 李東, 萬賢福, 汪軍, 等. 基于輪廓曲率特征點的服裝款式識別方法[J]. 東華大學學報(自然科學版), 2018, 44(1):87-92.

[16] Khurana M, Singh H. Data computation and secure encryption based on Gyrator transform using singular value decomposition and randomization[J]. Procedia Computer Science, 2018, 132:1636-1645.

Improvement of contour matching method and its application in rotors

WANG Zhuang, QI Jiahui, ZHAO Yiming, HU Yanhai*

( Faculty of Mechanical Engineering & Mechanics, Ningbo University, Ningbo 315211, China )

Vehicle engine rotor assembly error is easy to cause parts friction and efficiency reduction. Aiming at the assembly precision requirements of rotor parts, a improvement of contour matching method based on the combination of contour and feature points was proposed. Firstly, the image is preprocessed by filtering and binarization. Secondly, contour matching was carried out by contour Hu moment method. Then the feature points were extracted, and four feature descriptors were generated in the circular region with the radius of 16 pixels and the feature points were matched by Euclidean distance. Finally, the affine transformation matrix is generated by finding the matching pair, and the precise matching result is obtained. The experimental results show that the proposed method can match the contour accurately under the condition of complex background and light change, and ensure the visual detection accuracy within one pixel. The more the number of feature descriptors generated, the more accurate the matching result.

contour extraction; contour matching; feature descriptor; feature point matching; affine transformation

2021?06?03.

寧波大學學報（理工版）網址: http://journallg.nbu.edu.cn/

國家自然科學基金（51705263）.

王壯（1997－）, 男, 山東濰坊人, 在讀碩士研究生, 主要研究方向: 機電液產品開發. E-mail: 958563063@qq.com

通信作者:胡燕海（1966－）, 男, 浙江寧波人, 教授, 主要研究方向: 機電液產品開發、生產計劃與控制等. E-mail: huyanhai@nbu.edu.cn

TH-39

A

1001-5132（2022）04-0034-06

（責任編輯 史小麗）