基于機器視覺的計量檢定流水線非標異物入侵自動化識別方法

摘 要：非標準型的異物種類和尺寸差異性較大，識別過程較慢，識別結果準確率較低，導致流水線異物卡頓現象頻發。對此，以計量檢定流水線為研究對象，提出了一種基于機器視覺技術的計量檢定流水線非標異物入侵自動化識別方法。獲取不同區域之間的顏色和紋理特征，計算卡方距離，實現異物空間測量，分析世界坐標系和相機坐標系、相機坐標系與圖像坐標系之間的齊次坐標變換過程，對異物中心點坐標進行轉換，采用基于 Hough變換的直線檢測方法，通過邊緣算子提取直線特征值，實現物體表面定位，校正非標異物圖像產生的畸變，利用幀差法進行多圖像差分，結合多角度成像，并計算四圖像之間差值，計算出異物中心坐標，實現異物入侵識別。研究結果表明，不同種類異物入侵下，設計的基于機器視覺的計量檢定流水線非標異物入侵自動化識別方法誤差能夠控制在5%以內，驗證了方法有效性。

關鍵詞：機器視覺；計量檢定；非標異物；入侵自動化識別；坐標系轉換

中圖分類號：TP274+，5文獻標識碼：A

Automatic Identification Method for Non standard

Foreign Object Intrusion in Metrological Verification

Pipeline Based on Machine Vision

LU Guanna， LI Liang， LIU Ying， YUAN Ruiming， WANG Huinan

（Center of Metrology， State Grid Jibei Electric Power Company Limited，Beijing 102208，China）

Abstract：The types and sizes of non standard foreign objects vary greatly， and the recognition process is slow， resulting in low accuracy of recognition results and frequent occurrence of foreign object jamming in the assembly line. In this regard， a machine vision based automated identification method for non standard foreign object intrusion in the metrological verification assembly line is proposed， taking the metrological verification assembly line as the research object. Obtain color and texture features between different regions， calculate chi square distance， achieve foreign object spatial measurement， analyze the homogeneous coordinate transformation process between world coordinate system and camera coordinate system， camera coordinate system and image coordinate system， convert the center point coordinates of foreign objects， use line detection method based on Hough transform， extract line feature values through edge operator， and achieve object surface positioning， correct the distortion caused by non standard foreign object images， use frame difference method for multi image differentiation， combine with multi angle imaging， and calculate the difference between the four images to calculate the center coordinates of foreign objects， achieving foreign object intrusion recognition. The research results indicate that under different types of foreign object intrusion， the error of the designed machine vision based automated identification method for non standard foreign object intrusion in the metrological verification pipeline can be controlled within 5%， which verifies the effectiveness of the method.

Key words：machine vision; metrological verification; non standard foreign objects;intrusion automaticidentification; coordinate system conversion

隨著國內計量檢定市場的不斷擴大，檢定機構之間的競爭越來越激烈，為滿足制造業發展需求，需要提高企業生產效率、降低生產成本及能耗。尤其是在經濟新常態下，提高生產效率，在競爭中取得優勢地位，成為各檢測機構共同追求的目標。隨著我國制造業的發展以及質量管理理念的深入，對計量檢定工作提出了新要求[1]。計量檢定自動化技術已成為當前計量檢定發展的趨勢，也是實現計量檢定工作數字化、智能化和高效化的關鍵技術。傳統計量檢定方式已經無法滿足新形勢下的發展需求[2-3]。為進一步提高計量檢定工作效率和質量，需要借助自動化技術來實現計量檢定工作流程和操作過程的智能化、數字化和高效化。為提升計量檢定質量，提高檢定效率，目前部分企業開展了計量檢定流水線的研制工作，該流水線能夠完成各類產品的計量檢定工作[4-5]。由于產品種類繁多，生產環境復雜多變，在實際生產中容易出現非標異物入侵檢測困難的問題[6-7]。在傳統的流水線非標異物入侵自動化識別方法中，由于異物的種類和尺寸差異性較大，導致傳統的基于紅外的異物識別方法存在較大的誤差，為此，本文以計量檢定流水線為研究對象，提出一種基于機器視覺技術的計量檢定流水線非標異物入侵自動化識別方法，在檢定流水線上安裝攝像頭采集圖像數據，實現異物的識別。

1 計量檢定流水線非標異物入侵自動化識

別方法

1.1 異物空間測量

為了實現對計量檢定流水線中的非標異物進行檢測，需要對異物空間進行測量。在測量的過程中，使用到的是由鏡頭、光源、相機等硬件系統和圖像處理軟件組成的一個完整的圖像采集系統。其核心是四臺成像設備，通過不同角度的設備來將圖像數據傳輸到計算機上，在計算機上對這些圖像數據進行處理和分析，并對異物進行檢測和定位。通過測量異物空間，可以有效實現對計量檢定流水線中非標異物的檢測[8-9]。

為了保證鏡頭的成像精度，在流水線的沿線設置相機，流水線根據其走向可以劃分為直線型流水線和曲線型流水線。根據不同類型的流水線，對流水線上的異物進行空間測量。獲取其區域特征，根據不同區域之間的顏色和紋理特征，可以計算出卡方距離，計算公式如下：

Dχ2（Ai，Bj）=12∑ni=1，j=2，i≠j（ai－bj）2ai+bj（1）

其中，Ai、Bj分別代表不同的區域，ai、bj表示不同區域像素。卡方距離越大，說明圖像中兩個區域的差異性就越大。按照上述方式逐一提取出不同區域的特征，就能夠測量出流水線中異物所占用的空間。

1.2 異物中心點坐標轉換

將異物中心在三維空間內的點與二維圖像中的像素點進行一一對應，如圖1所示，在此過程中存在以下關系：

在圖1中，根據精度和分辨率參數，分析世界坐標系和相機坐標系之間的齊次坐標變換過程如下：

XCYCZC1=RT01XWYWZW1（2）

其中，（XC，YC，ZC）為相機坐標系下的點， （XW，YW，ZW）為世界坐標系下的點，R為旋轉矩陣，T為平移向量。根據鏡頭成像精度、穩定性、光學特性等影響，得到相機坐標系與圖像坐標系之間的轉換關系如下[10-11]：

XCYCZC1f0000f000010=Zcxy1（3）

其中，Zc為深度值，x和y為圖像平面上點的坐標。經過以上轉換之后，能夠得到機器視覺成像。在考慮光源的均勻性、穩定性，相機光學特性、成像特性等因素的影響下，實現精準的坐標轉換。

1.3 基于機器視覺的非標異物圖像畸變校正

以佳能公司生產的 CCD為鏡頭，以工業相機為圖像采集設備，不斷地對圖像進行采集和處理。但是非標異物圖像會存在一定的噪聲干擾，導致圖像在一定范圍內發生畸變，對于這種圖像來說，需要進行畸變校正[12-14]。圖像畸變校正主要是圖像增強、邊緣檢測、二值化、形態學等處理。本文采用的是基于 Hough變換的直線檢測方法。

首先，進行計量檢定流水線非標異物入侵識別之前，首先需要對圖像進行預處理。預處理主要包括灰度化、二值化、濾波等步驟。將圖像中亮度不均勻或有噪聲的像素點轉化為灰度信息，將圖像中灰度級相同或相近的像素點分離出來。

其次，在保留更多有用信息的基礎上，引入羅伯特邊緣算子，其數學描述如下：

G（x，y）=fx，fyT（4）

其中，G（x，y）為圖像在點（x，y）處的梯度向量，f為圖像像素的函數，T為轉量符號。Gx為函數f在x方向上的偏導數，Gy為f在y方向上的偏導數。且存在：

Gx=fx=f（x，y）－f（x+1，y+1）（5）

Gy=fy=f（x+1，y）－f（x，y+1）（6）

對物體表面的特征值進行統計，將一個包含兩個參數的直線方程轉化為兩個具有相同長度、不同方向和不同夾角的線段。

最后，對每個線段進行距離測量，將圖像中的灰度值相同或相近的像素點分離出來，對這些部分進行 Hough變換，從而實現圖像畸變校正。

1.4 基于校正結果的異物入侵識別

在以上的畸變圖像校正結果下，對異物入侵進行識別。

采用監督學習方法，利用幀差法進行多圖像差分，使用四相機同時多角度成像，并計算四圖像之間差值，將獲得的分類結果與標準樣本進行比對，實現異物入侵識別[15]。

首先，提取非標異物的特征點，生成異物差分圖像：

Id（x，y）=I1（x，y）－I4（x，y）+

I2（x，y）－I3（x，y）（7）

其中，I1（x，y）、I2（x，y）、I3（x，y）、I4（x，y）分別代表四個攝像頭得到的圖像，四個圖像在經過前期的圖像處理校正之后，當存在異物的情況下，對角圖像之間得到的圖片差異性最大。

然后，劃分校正結果以及異物差分圖像，計算得到異物的中心坐標，如下式所示：

XC=ZC（u－u0）fx

YC=ZC（v－v0）fy

ZC=fxbd（8）

其中，ZC為中心點到相機光心的直線距離，（u，v）為校正前像素坐標，（u0，v0）為校正后像素坐標，fx、fy為相機標定參數，得到的結果（XC，YC，ZC）為異物中心的坐標值，d為視差，b為基線長度。

至此，完成基于機器視為覺的計量檢定流水線非標異物入侵自動化識別方法的研究。

2 方法性能測試

2.1 測試設計

為了驗證基于機器視覺的計量檢定流水線非標異物入侵自動化識別方法的可行性，綜合考慮到實驗效果及經費問題，需要搭建測試平臺。

測試平臺主要由帶式輸送機、面陣相機、光源、檢測系統平臺組成，搭建效果如圖2所示。

用到的測試平臺為一整個完整的異物入侵識別系統，包含圖像采集、圖像校正增強預處理、圖像篩選分類、異物標定等操作，確保異物識別檢測的準確性。

當異物出現在目標區域內并通過上述測試平臺時，檢測效果會實時同步到上機電腦的界面上并彈窗提醒，提醒界面如圖3。

在圖3中，可以看到包括按鍵處理和識別分類等功能。檢測系統內置的模塊可以根據實際情況進行相應的參數設定，適配多種檢測模式及測試環境，進而保證識別效果。

本次測試將選取常見的80個異物作為樣本，按照品類可分為金屬、石頭、塑料、木材四大類，每個類別各20個樣本，涵蓋不同的尺寸規格。在以上實驗設計下，分別對不同的識別方法進行檢測。

2.2 測試結果分析

在以上的實驗準備下，使用本文設計的基于機器視覺的計量堅定流水線非標異物入侵自動識別方法進行性能測試。在檢測過程中，流水線的圖像畸變校正如圖4所示。

圖5為分別使用本文方法和基于紅外的異物識別方法進行異物圖像畸變校正，并輸出單一機器視覺下的RGB視差圖。

圖5中，圖5（a）和圖5（b）分別表示機器視覺的左右目圖像，圖5（c）為本文方法視差圖，圖5（d）為傳統方法視差圖。視差圖像素偏冷色時，說明視差較小，在檢測的過程中更加直觀。在以上的圖像分析下，分析不同方法下異物的中心坐標值，并將其深度分量與真實值進行對比，計算檢測誤差，得到的本文識別文法測試結果如表1所示。

表1中，兩種不同的異物自動識別方法對于不同品類的異物都能進行識別，但是準確性具有較大差異。根據上表中的數據可以測算出，本文設計的異物識別方法下，空間測量誤差可以控制到5%以下，但是傳統的基于紅外的異物識別方法下，空間測量誤差平均為11.3%，遠超過本文方法，這也驗證了本文方法在實際應用中的有效性。

3 結 論

基于機器視覺的計量檢定流水線非標異物入侵自動化識別方法，通過對異物圖像特征進行提取和分析，可以快速、準確地檢測出計量檢定流水線中的非標異物，可以有效提高計量檢定流水線中的異物入侵識別效率和工作效率，而且可以進一步減少計量檢定流水線中的人工操作。該方法還可以避免人為因素對計量檢定流水線檢測結果產生的影響，在計量檢定流水線中具有良好的應用前景，未來可進一步拓展應用范圍。

參考文獻

［１］ 李智，但乃禹，李磊，等.基于機器視覺的散裝糧隨機扦樣方法研究[J].中國糧油學報，2023，38（2）：130-137.

[2] 胡璟皓，高妍，張紅娟，等.基于深度學習的帶式輸送機非煤異物識別方法[J].工礦自動化，2021，47（6）：57-62+90.

[3] 王瑞峰，陳小屹.基于改進YOLOv5的軌道異物入侵檢測算法研究[J].云南大學學報（自然科學版），2023，45（4）：799-806.

[4] 管嶺，賈利民，謝征宇.融合注意力機制的軌道入侵異物入侵識別輕量級模型研究[J].鐵道學報，2023，45（5）：72-81.

[5] 馬靜怡，崔昊楊，張明達，等.基于改進Faster RCNN的小尺度入侵目標識別及定位[J].中國電力，2021，54（3）：38-44.

[6] 沈寧.基于雙目視覺的選煤廠用膠帶輸送機表面異物入侵識別[J].工礦自動化，2023，49（S1）：82-85.

[7] 薛旭升，楊星云，齊廣浩等.煤礦帶式輸送機分揀機器人異物識別與定位系統設計[J].工礦自動化，2022，48（12）：33-41.

[8] 何自芬，陳光晨，王森，等.融合自注意力特征嵌入的夜間機場跑道異物入侵檢測[J].光學精密工程，2022，30（13）：1591-1605.

[9] 傅薈瑾，郭鵬躍，徐成偉等.基于多傳感技術融合的高速鐵路周界入侵監測技術方案研究[J].鐵道運輸與經濟，2022，44（9）：122-129.

[10]劉朝輝，楊杰，陳智超.基于深度學習的軌道表面異物識別方法[J].中國鐵道科學，2023，44（3）：23-33.

[11]楊劍鋒，秦鐘，龐小龍，等.基于深度學習網絡的輸電線路異物入侵監測和識別方法[J].電力系統保護與控制，2021，49（4）：37-44.

[12]史凌凱，耿毅德，王宏偉，等.基于改進Mask R-CNN的刮板輸送機鐵質異物多目標檢測[J].工礦自動化，2022，48（10）：55-61.

[13]肖曾翔，徐啟峰.基于改進卷積神經網絡的變電站異物入侵識別[J].科學技術與工程，2022，22（4）：1465-1471.

[14]毛清華，李世坤，胡鑫等.基于改進YOLOv7的煤礦帶式輸送機異物識別[J].工礦自動化，2022，48（12）：26-32.

[15]朱夢瑞，牛宏俠.改進YOLOv3模型的鐵路異物入侵識別算法[J].北京交通大學學報，2022，46（2）：37-45.