基于機器視覺的四通閥自動釬焊定位系統

孔 明 賀楚紅 王英軍 黃 瑋

中國計量大學，杭州，310018

?

基于機器視覺的四通閥自動釬焊定位系統

孔 明 賀楚紅 王英軍 黃 瑋

中國計量大學，杭州，310018

為了提高四通閥焊接的速度和精度，提出了四通閥自動釬焊定位技術及系統。運用基于圖像處理方法的計算機視覺技術，實現了對空調零件四通閥釬焊坐標的快速準確定位。采用近紅外背光源進行照明，實現了對四通閥圓心坐標及側面高度的自動檢測。采用近紅外背光源能使成像邊緣更清晰易辨，具有環保節能、壽命長等優點。該系統主要通過閾值分割和PCA算法分別實現對四通閥銅柱圓輪廓提取和銅柱高度的水平投影，通過形狀匹配和直線擬合獲得圓心相對坐標和高度，實現對四通閥釬焊定位的檢測。該系統具有速度快、準確率高、系統運行穩定等優點，在工業上的四通閥釬焊中具有較好的應用性和廣闊的發展前景。

圖像處理；圖像分析；灰度直方圖；測量

0 引言

四通換向閥是熱泵型空調中的重要部件之一，起著制冷、制熱的轉換作用，適用于中央/分體/窗式空調器等，能夠實現冷媒流向的轉換，換向安全可靠。隨著冷暖空調器的普及使用，四通閥的需求量逐漸加大，但是目前大部分企業的四通閥焊接一直依賴手工釬焊，勞動強度大，效率低，也有部分企業依賴進口設備。天津焊接研究所開發的PG2-25X二工位四通閥端蓋高頻自動釬焊專機，采用高頻感應加熱對四通閥兩端端蓋進行焊接，替代了手工釬焊，降低了操作者勞動強度且設備穩定性較好[1]。空調制冷行業中，四通換向閥的焊接主要使用自動火焰釬焊設備，采用該方式雖然能獲得較高的產品質量及生產效率，但現有自動火焰釬焊設備仍存在工作條件惡劣、生產效率低下、釬焊質量不穩定的弊端[2]。我國雖然先后研制成功了幾臺釬焊設備，但生產中還要進口國外昂貴的焊接設備，這制約了空調家電業的發展[3]。

現代焊接技術的自動化水平日益提高，針對上述弊端，本文提出了一種四通閥自動釬焊定位系統，采用Opencv的編程環境設計了實驗裝置，提出了一種主成分分析的投影方法來提取四通閥的高度邊界，通過形狀匹配獲取四通閥的4個圓心。本系統利用機器視覺直接觀測四通閥焊接過程，該方法具有明顯的優點，采集的數字圖像表象直觀，信息豐富，且數字化的圖像數據可以實時傳輸到計算機高速緩存內進行實時處理，提取特征信息，并作出在線判決，使得實現焊接過程質量實時傳感與控制成為可能。

1 檢測系統

1.1 硬件系統

四通閥自動釬焊定位系統工位圖如圖1所示，主要包括工控機、I/O卡、兩部相機以及接近開關等。系統的主要任務是利用機器視覺技術對當前時刻所拍攝的四通閥進行圖像預處理，根據四通閥的特征進行分析，得出分析結果(即四通閥相對圓心和高度坐標)，然后傳遞給執行機構進行焊接操作。該檢測系統主要由圖像采集裝置、背光源、圖像處理及分析軟件、執行機構與環形傳動裝置等組成。

本系統中工控機控制兩部相機進行四通閥兩方位圖像采集以及圓心和高度相對位置檢測。傳動裝置一共有6個工位，上下線需要依靠人工擺放固定，底座呈回轉式運動。系統獲得接近信號以后打開兩個相機和背光源進行圖像采集，之后進行圖像處理，獲得的兩組相對坐標經坐標校正以后傳輸給PLC，PLC傳輸給機械臂進行焊接操作。

圖1 整體檢測系統工位示意圖

為了更好地實現四通閥釬焊定位、快速檢測，系統在遮光環境下采用紅外通道對四通閥外形信息圖形進行采集。紅外通道由CMOS相機、背光源組成。

根據視場大小(50 mm×60 mm)以及誤差要求(0.5 mm)，對相機進行了選型計算，選擇130萬像素CMOS圖像傳感器相機，它具有成本低、靈敏度高等優點。

用背光源和普通環形LED光源分別進行照明，采集到的圖像如圖2和圖3所示，根據對比可以發現用背光源照明的圖像輪廓更加清晰，有利于圖像處理時特征的提取和檢測。背光源放置于被測物體的側面，當對物體進行成像時，被測物與光源形成了邊緣陰影，從而可以很容易地得到四通閥邊緣的輪廓，將被測物從背景中分開。

圖2 背光源照明圖像

圖3 環形LED照明圖像

兩個相機垂直排列，分別從上方和右側對四通閥進行拍攝，上方的相機用于采集四通閥四個圓心圖像，右側的相機用于采集高度圖像。利用四通閥經過紅外光照明成像所得的彩色圖實現四通閥釬焊定位的檢測。

1.2 軟件系統

整個圖像處理流程如圖4所示，其中主要用到形狀匹配算法和PCA算法。

圖4 圖像處理流程圖

1.2.1 形狀匹配原理

形狀匹配是計算機視覺和模式識別的一個基本問題，它被應用到很多領域，如目標識別、基于內容的圖像檢索、文字識別、醫療診斷等。在過去的幾十年中，人們研究和開發了很多形狀匹配算法，每種算法各有其優點和缺陷[4]。

Zhang等[5]根據所獲得形狀特征的方法是通過形狀輪廓還是形狀區域，把形狀描述方法分為基于輪廓的形狀描述方法和基于區域的形狀描述方法兩類，前一種方法的形狀特征來自于形狀的輪廓曲線信息，后一種方法則來自于形狀區域的信息。還可以根據所獲得的形狀特征的表示與描述是根據整體元素還是局部元素，把形狀描述方法分為全局形狀描述方法和結構化形狀描述方法。

本文采用基于輪廓的形狀描述方法，顧名思義，基于輪廓的形狀描述方法首先需要提取的就是形狀的輪廓信息。一般基于輪廓的形狀匹配分為6個步驟[6]，包括圖像采集、邊緣檢測、樣本點采集、形狀描述、形狀匹配和結果分析等。

對要進行匹配的圖像進行信息采集，于其邊緣輪廓進行檢測，確定其邊緣，對于特征的提取極其關鍵，最終的目的是生成一條連續的曲線來表示物體的輪廓，這一過程中避免了很多跟邊緣無關的信息的處理，保留的都是與邊緣計算相關的信息量，大大減小了后續工作的計算量[7-8]。

在Opencv中，我們可以使用cvMatchShapes (const void* object1, const void* object2, int method, double parameter =0)算子進行形狀匹配，其中，object1表示第一個輪廓圖像，object2表示第二個輪廓圖像。cvMatchShapes()使用匹配方法見表1。

表1 cvMatchShapes()匹配方法表

圓心原始圖像(圖5)經過灰度化后繪制灰度直方圖(圖6)，對曲線進行二階求導，取其第一個波谷為閾值，進行二值化處理，如圖7所示。閾值分割后進行輪廓提取和形狀匹配，并擬合輪廓，輸出4個銅管的圓心坐標和半徑，如圖8所示。

圖5 圓心原始圖

圖6 灰度直方圖

圖7 圓心自動閾值圖

圖8 形狀檢測圖

1.2.2 主成分分析的投影

主成分分析(principal component analysis，PCA)方法的基礎是Karhunen-Loeve變換(簡稱K-L變換)，是一種常用的正交變換，主要用于數據降維。PCA可將高維度的資料進行壓縮，它是最小均方誤差下的最優維數據壓縮技術，它可以從一個多元變量的數據中找出能表現這個數據特征的幾個量，揭示了事物的本質，能夠簡化問題。而且PCA方法所提取的特征之間是互不相關的，Turk等[9]最早將PCA用于特征臉的提取。

把原始數據中每個樣本用一個向量表示，然后把所有樣本組合起來標準化后構成一個矩陣。求取該矩陣的協方差矩陣，再求得協方差矩陣的特征值和特征向量，將求出的特征向量按照特征值的大小進行組合形成一個映射矩陣，并根據指定的PCA保留的特征個數取出映射矩陣的前n行或者前n列作為最終的映射矩陣。將得到的映射矩陣對原始數據進行映射，達到數據降維的目的。協方差矩陣為

cov(x,y)=E(xy)-E(x)E(y)

對角線上分別是x和y的方差，非對角線上是協方差。協方差大于0表示x和y若有一個增，另一個也增；協方差小于0表示一個增，一個減；協方差為0時，兩者獨立。協方差絕對值越大，兩者對彼此的影響越大，反之越小。

將特征值按照從大到小的順序排序，選擇其中最大的k個，然后將其對應的k個特征向量分別作為列向量組成特征向量矩陣。將樣本點投影到選取的特征向量上。假設樣例數為m，特征數為n，減去均值后的樣本矩陣為DataAdjust(mn)，協方差矩陣是n2，選取的k個特征向量組成的矩陣為EigenVectors(nk)。那么投影后的數據FinalData為

FinalData(mk)=DataAdjust(mn)×EigenVectors(nk)

然后得到結果。這樣，就將原始的n維特征變成了k維，這k維就是原始特征在k維上的投影。

整個PCA過程貌似極其簡單，就是求協方差的特征值和特征向量，然后作數據轉換；計算共變量矩陣以及共變量的特征值以及特征向量，將特征向量排序后投影回原始數據的結果，再進行降低維度的動作，將x軸的數據投影在y軸上。圖9為進行PCA的投影圖，從投影圖中可以看到投影的梯度代表每根銅管的高度。

圖9 投影曲線圖

圖10 PCA水平投影圖

為了求銅管的高度，需要知道梯度的坐標，梯度的縱坐標即銅管的高度，因此，需要對投影曲線進行數據分析。提取投影曲線，將其放大并逆時針旋轉90°，如圖10所示。對其進行直線擬合得到斜率(圖11)，處在波谷的4個斜率值對應的點即高度所在拐點，如圖12所示。其中，銅管高度等于圖片原始寬度減去拐點橫坐標。

圖11 直線擬合斜率圖

圖12 高度示意圖

2 實驗

為了驗證本文方法的可行性，在實驗室搭建了實驗平臺，進行實驗研究。實驗系統中，一個CMOS相機光軸垂直于四通閥圓心所在平面，另一個CMOS相機光軸與圓心所在平面平行，可使其重合成一條直線，有利于后期高度的檢測。

系統工作流程如下：在實驗過程中，打開軟件后首先進行初始化工作，包括檢查相機與背光源能否正常工作；監聽輸入端口，若有接近信號，計算機會控制打開相機和背光源，進行圖像采集，進入圖像處理；若接收到結束信號，系統停止工作并退出。

圖像處理流程如下：

(1)獲取圓心坐標。首先讀入標定值，然后讀取四通閥圓心圖像，對其進行灰度化并繪制灰度直方圖；進行一階求導和二階求導，取的第一個波谷值即閾值；經過閾值分割和形狀匹配等算法提取出四個圓心的相對坐標信息并輸出。

(2)獲取高度值。首先讀入標定值，讀取四通閥高度圖像，對其進行灰度化處理，然后進行PCA水平投影，對投影點進行直線擬合，獲得4個高度坐標。

實驗前需進行測量裝置的標定，即相機內外參數的標定。

為了驗證所開發的四通閥自動釬焊定位系統的有效性，銅管序號從左往右依次為1、2、3、4，對10個四通閥進行實驗，要求誤差在0.5 mm內，高度以第三根銅管為基準，檢測結果見表2和表3。

表2 四通閥圓心檢測實驗結果

表3 四通閥相對高度檢測實驗結果

從表2和表3的實驗結果中可以看到，在10組實驗中，只有第9組四通閥的第1個銅管直徑數據誤差大于0.5 mm，系統檢測準確率為99%。

在整個系統中相機存在光學誤差。當點光源經過鏡頭在像平面成像，如果此時保持鏡頭與相平面距離不變，沿光軸方向前后移動物體，則像平面上成的像就會成為有一定直徑的圓形，叫彌散圓。保持四通閥與相平面距離不變，在景深內沿光軸方向前后移動四通閥，就會在像平面上形成一定直徑的彌散圓。彌散圓直徑的計算公式為

其中，uA、uB為物距，f為焦距，F為光圈數。物距uA、uB分別為350.01 mm和350 mm，將相機參數代入上式中可得δ≈0.17 μm。δ數量級過小，因此，相機的光學誤差可忽略不計。

3 結語

本文研發了一種基于圖像處理的近紅外通道四通閥自動釬焊定位系統，并對其進行了實驗，實驗結果表明，該系統能較好地對四通閥的圓心和高度進行定位，檢測速度達到100個/h，準確度率為99%。本系統通過將圖像處理技術應用到四通閥圖像的特征提取中，完善了數字圖像處理技術在空調零件四通閥釬焊領域的應用。自動釬焊系統不僅大幅度提高了工作效率，降低了工人的 勞動強度，而且自動化程度高、PLC程序控制、操作簡單、工作運行可靠、工藝合理、焊接質量穩定，使空調零部件焊接部分質量上升到一個新的臺階。

[1] 焦鐵, 柳英利,丁正春.2工位四通閥端蓋高頻自動釬焊專機的研制[J].焊接技術, 2003,22(5):47-48. Jiao Tie, Liu Yingli, Ding Zhengchun. Development of Two-station Four-way Valve High Frequency Automatic Brazing Machine[J].Welding Technique, 2003,22(5):47-48.

[2] 孫學娟.直線步進式自動火焰釬焊專機的研制[J]. 焊接技術,2014(7):52-55. Sun Xuejuan.Development of High Frequency Induction Automatic Brazing Special Machine with 2 Working Procedures for 4-passage-valve End Cover[J]. Welding Technology,2014(7):52-55.

[3] 柳英利, 薛萍, 許春瑩，等.四通閥焊接生產線的開發研制與完善[J].焊接技術,2003,32(6):39-40. Liu Yingli, Xue Ping, Xu Chunying, et al. Development of a Linear Stepping a Utomatic Flame Brazing Machine[J]. Welding technique,2003,32(6):39-40.

[4] 周瑜, 劉俊濤, 白翔.形狀匹配方法研究與展望[J].自動化學報,2012,38(6):889-910. Zhou Yu, Liu Juntao, Bai Xiang. Research and Prospect of Shape Matching Method[J]. Journal of Automation, 2012,38(6):889-910.

[5] Zhang Dengsheng,Lu Guojun.Review of Shape Representation and Description Techniques[J].Pattern Recognition, 2004,37(1):1-19.

[6] 余江.基于輪廓的形狀匹配方法研究[D].合肥：安徽大學,2013.

[7] 張強.基于幾何特征的目標識別及跟蹤技術的研究[D].長春：長春理工大學，2008.

[8] 于夢竹.基于亞像素邊緣檢測的圖像放大算法研究與實現[D].哈爾濱：哈爾濱工程大學，2013.

[9] Turk M, Pentland A. Eigenfaces for Recognition[J]. Journal of Cognitive Neuroscience, 1991,3(1):71-86.

(編輯 陳 勇)

Four-way Valve Automatic Brazing Positioning System Based on Machine Vision

Kong Ming He Chuhong Wang Yingjun Huang Wei

China Jiliang University,Hangzhou,310018

To improve the speed and precision of four-way valve brazing, an automatic brazing inspention system was proposed. Based on machine vision the four-way valve brazing coordinate was located accurately. Using near-infrared backlight source for lighting the automatic dectections of four-way valve center and side heigh were realize. Using near-infrared backlight the image edge might make more clear and easy to argue, with the advantages of environmental protection and energy saving, long life, et al. The system might achieve the level projection of four-way valve circle contour extraction and column height mainly through threshold segmentation and PCA algorithm respectively. Through shape matching and linear fitting the center of circle relative coordinate and height were obtained to achieve the four-way valve brazing inspectiong system.The four-way valve brazing inspection has the advantages of high speed, high accuracy, stable system operation and so on. It has good applications and broad development prospects in industries.

image processing; image analysis; gray histogram; measurement

2015-12-01

國家自然科學基金資助項目(51375467)

TN911.73;TP391.4

10.3969/j.issn.1004-132X.2016.22.011

孔 明，男，1978年生。中國計量大學計量測試工程學院教授。主要研究方向為精密儀器、機器視覺。賀楚紅，女，1990年生。中國計量大學計量測試工程學院碩士研究生。王英軍，男，1991年生。中國計量大學計量測試工程學院碩士研究生。黃 瑋，男，1991年生。中國計量大學計量測試工程學院碩士研究生。