基于機器視覺的鑄件分揀檢測系統的研究綜述＊

王成軍 朱梓豪 韋志文

（①安徽理工大學人工智能學院，安徽 淮南 232001；②安徽理工大學機械工程學院，安徽 淮南 232001）

視覺是物體影像刺激視網膜所產生的感覺[1]。視覺系統是人們觀察和感受外界的主要系統，其中人們將近80%的信息獲取要經過視覺感官[2]。機器視覺的發展是當今世界高科技領域備受關注的熱點課題之一，由于機器視覺是一種非接觸的機械化測量方式，機器視覺常用來代替人工視覺，相較于人工視覺識別其檢測結果不僅更加客觀，而且可以完成很多人眼難以勝任的工作。

鑄造生產是獲得機械產品毛坯的主要方法之一，在國民經濟中占有重要的位置，發達國家的鑄件生產不僅效率高、產品質量好而且已實現機械化、自動化、機器人操作。目前我國鑄造行業的分布大體呈現出小而密的分布狀態[3]，整體技術水平及裝備落后，鑄件產品質量低，因此鑄件分揀檢測尤其重要。目前我國的鑄件分揀檢測主要由人工完成，但隨著我國機械化進程的不斷加快，自動化水平的不斷提高，工業系統對產品性能的要求越來越高，對生產過程中質量控制的要求也越來越高，在工業生產中使用機器化生產被越來越多的公司所接受。

本文在基于機器視覺技術分揀檢測應用的大背景下，通過介紹機器視覺技術在不同分揀檢測領域的應用，對未來鑄件分揀檢測的應用趨勢進行了展望。

1 機器視覺技術

1.1 工作原理

機器視覺系統就是利用機器代替人眼做各種測量和判斷。它是一種集機械工程、圖像處理、控制工程、成像技術和計算機技術等各個學科為一體的一項綜合技術，其發展與圖像處理、光學成像、傳感器及處理器等技術的快速崛起密切相關。

基于機器視覺鑄件分揀檢測平臺就是用機器替代人工對鑄件完成分揀檢測，具體實現的過程是用工業相機采集被檢測鑄件的圖像，因為要將被采集器件需要檢測的具體特征都體現出來，所以圖像采集的過程是機器視覺中極為重要的一個環節，采集完成后需要對圖像進行圖像處理，即利用專業的圖像處理軟件將圖像的模擬信號轉化為數字信號；然后再對數字信號進行運算，抽取工件的待檢測特征，比如鑄件表面是否有缺陷[4]、質量是否合格[5]以及鑄件位姿是否易于夾取[6]等；輸出結果，然后反饋到機械端對器件進行分檢檢測，可以將鑄件從其所處位置精準且高效地分揀出來，再由分揀機器人將鑄件搬運到預定位置進行分類、集中。

對于鑄件來說其最主要的就是缺陷檢測，機器視覺設備工作原理如圖1 所示，一般來說，機器視覺硬件最主要的組成成分為圖像采集和視覺處理，圖像采集就是將圖像經過采樣、量化后轉換為數字圖像并輸入、存儲到幀存儲器的過程。視覺處理就是將獲取的二維圖像通過視覺處理器進行分析和解釋，轉換為符號，讓機器能夠識別物體并確定其方位[7]。

圖1 工作原理圖

1.2 機器視覺技術的發展

機器視覺自起步發展到現在，已有幾十年的發展歷史。機器視覺作為一種應用系統，隨著工業自動化的發展而逐漸完善。機器視覺最早始于20 世紀50 年代，其主要應用于統計模式識別，特別是集中在二維圖像的分析和識別上[8]。20 世紀60 年代，Roberts L G[9]開創了三維機器視覺的研究，其研究以理解三維場景為目的，研究范圍由邊、角、點等的特征提取過渡到了平面、曲面等幾何要素的分析最終到圖像的明暗、紋理、運動以及成像幾何等。20 世紀70 年代中期，由國際著名學者Horn B K P 教授[10]講授的“機器視覺”[11]課程在美國的麻省理工學院人工智能實驗室開設，該課程一經開設就吸引了許多有關視覺領域的國際知名學者參與研究，其中包括Marr D 教授[12]，其在1977 年提出的Marr 視覺理論[13]更是成了20 世紀80 年代機器視覺研究領域中的一個十分重要的理論框架。該理論系統地概括了計算機科學所取得的核心成果，極大地推動了在相關領域機器視覺技術的研究及其發展。

20 世紀80 年代以后，全球開始了機器視覺技術的研究熱潮，有關機器視覺技術的研究和算法[14]水平得到了很大的提高，機器視覺技術進入了全新的發展階段。20 世紀90 年代機器視覺技術的相關算法[15]開始成了研究熱點，如Zhang Z Y[16]于20 世紀末提出了一種新的標定方法，與經典技術方法相比，所提出的技術更易于使用且靈活，該方法的提出將3D 計算機視覺從實驗室環境推進到現實世界；21 世紀初期，Lowe D C[17-18]提出了一種從圖像中提取獨特不變特征的方法，該方法可用于在物體或場景的不同視圖之間進行可靠的匹配。該方法在機器視覺、三維重建等領域得到了廣泛應用；Hinton C E 等[19]在2006 年開啟了以深度學習為核心的機器視覺技術的發展；2020 年Ren Z H 等[20]詳述了深度學習在缺陷檢測上的應用，介紹了機器視覺在缺陷檢測上的可行性；Belan P A[21]等在2020 年提出了一種軟硬件組成的質量檢測的機器視覺系統（machine vision studio，MVS），該軟件是根據提出的分割、分類和缺陷檢測方法構建的，硬件由使用低成本機電材料開發的設備組成。并通過實驗證明了MVS 的魯棒性和可行性。

1.3 視覺技術和人工智能

機器視覺技術是實現人工智能的重要途徑之一，在人工智能里融合機器視覺技術可以代替人類進行目視檢查[22]和缺陷檢測[23-24]、定位[25]和測量零件[26]，以及對產品進行識別[27-28]、分類[29]和追蹤[23-31]等，如今機器視覺已經成為取代人工視覺檢測的有效途徑。

機器視覺技術是人工智能的核心領域之一，從某種程度上說機器視覺的飛速發展也極大推動了人工智能的發展。機器視覺技術與人工智能以及其他領域的關系如圖2 所示。

圖2 機器視覺技術與其他領域的關系

在人工智能時代的大背景下，機器視覺技術與很多的領域都有著極其密切聯系，屬于一種交叉學科。其中與人工智能的關系又最為密切，機器視覺技術的發展使我國工業生產的自動化程度和精度得到了極大的提升，同時基于機器視覺的人工智能也大規模應用于商用，例如自動駕駛[32-34]、AlphaGo[35-36]、消費電子[37]，以及食品包裝[38]等。未來，機器視覺會有更廣闊的發展空間，基于機器視覺技術的產品將會應用到眾多領域。

2 分揀檢測系統

2.1 分揀檢測系統的組成

典型的視覺鑄件分揀檢測系統主要由光學照明、圖像采集、圖像處理與缺陷檢測3 個模塊組成，良好的照明條件是圖像采集獲得高質量圖像的先決條件，因此一個好的照明條件對分揀檢測平臺尤其重要。圖像采集的主要目的是對圖像進行特征提取，從而對其進行分類、定位和分割等一系列操作。圖像的處理與分析是機器視覺中的一項關鍵技術[39]。計算機通過對圖像的處理和分析，可以自動理解、分析、判斷圖像特征，進而控制自動生產線的執行機構，使機器能夠自發完成對產品的分揀檢測工作。

2.2 分揀檢測系統的關鍵技術

2.2.1 圖像處理和分析技術

圖像是機器視覺的信息載體。圖像處理和分析是視覺檢測系統中自動理解硬件獲取的圖像的關鍵技術。

圖像處理有著悠久的發展歷史。數字圖像處理技術[40]起源于20 世紀20 年代，第一張圖像成功地通過數字壓縮技術從倫敦通過海底電纜傳輸到紐約。在早期，通過原語濾波方法可以實現簡單的缺陷檢測，并在早期工業生產中得到了應用[41]。隨后Hara Y 等[42]人提出了一種算法，將待檢測圖案的局部特征與參考圖案的局部特征進行比較，并應用于PCB 自動檢測系統。

而對于鑄件分揀檢測其檢測任務主要是看鑄件是否存在缺陷，然后進行分揀任務，其缺陷檢測任務主要有3 類：分類、定位和分割。因此需要圖像處理來提取足夠的特征來理解缺陷信息。

在對圖像處理之前首先要對進行圖像預處理，其目的是讓機器更好地理解圖像，為下一步的圖像分析做準備。圖像預處理的原理是消除不相關的信息，恢復有用的真實信息，增強圖像的可檢測性。圖像預處理一般包括空間域方法和頻域方法[43]。

空域增強方法可以表示為

式中：f(x,y) 表示增強前的圖像；g(x,y)表示增強后的圖像；T表示增強操作。

頻域增強的原理十分簡單，其應用的重點問題在于濾波半徑閾值如何選取。濾波數學表達式：

式中：G(μ,ν)、H(μ,ν)、F(μ,ν)分別是g(x,y)、h(x,y)、f(x,y)的傅里葉變換。

2.2.2 圖像捕捉關鍵技術

機器視覺系統的標定其實是獲取攝像機坐標系與機器人坐標系之間轉換關系的過程，相機成像的系統中，共包含4 個坐標系[44]：世界坐標系、相機坐標系、圖像坐標系和像素坐標系。關系如圖3 所示。

圖3 坐標關系圖

圖像捕捉的核心是攝像頭標定技術，因此在標定機器人視覺系統之前，首先要對攝像機進行標定。攝像機鏡頭存在的徑向畸變、切心畸變和薄棱鏡畸變等不同程度的畸變容易導致捕捉的圖像產生幾何失真問題[45]，其中徑向畸變大小取決于透鏡形狀，切向畸變來自攝像機的組裝過程，對于大多數透鏡來說，徑向分量是主要的是影響圖像精度的主要原因。Hartley R[46]根據空間直線投影到圖像上依然是直線的原理提出了一種無參數校正透鏡畸變的方法，Dailey M N[47]提出了一種基于鉛垂線方法的徑向畸變矯正方法，通過比較了不同的圓擬合方法如何有助于準確的失真參數估計的統計分析對各種各樣具有挑戰性的真實圖像提供定性結果。Alvarez L[48-49]提出了一種基于圖像中直線校正的透鏡畸變參數估計的代數方法。通過在多個變量中最小化一個四次多項式，得到了透鏡畸變參數。

標定以后就可以進行目標識別與定位，目標識別與定位是一種常見的機器視覺技術，目標識別和定位的精度直接決定分揀系統的效率與精度。呂繼東等[50]采用經過加速優化改進的去均值歸-化積相關模板匹配算法來跟蹤識別圖像的目標果實，將目標識別時間從1.15 s 減少到0.74 s。Tan S H 和Lam C K 等[51]使用Canny 邊緣檢測方法對蘋果、檸檬和芒果3 種水果的450 張圖像進行邊緣特征提取，然后采用向量機分類器根據提取的特征向量對水果進行分類識別，該系統使用SVM 模型對水果的識別精度達到86%準確率，具有不錯的分類效果。Liu Q 等[52]將SURF 算子的準確性和BRISK 算子的快速性相結合，得到一種快速準確的匹配方法。利用SURF-BRISK 算法對目標進行圖像特征提取的初始匹配，然后對特征點進行特征匹配的相似度測量。消除不匹配的點對，以實現目標圖像的識別。

3 應用現狀

機器視覺作為一種非接觸、無損的檢測手段可以代替人們完成分揀工作，如圖4 所示為基于機器視覺的分揀平臺，其可以減少人力要求，提高檢測效率和自動化程度，同時相較于人眼機器視覺檢測技術具有更高的精度識別特性，因此機器視覺技術在缺陷檢測上也得到了很好的應用，如圖5 所示為基于機器視覺的缺陷檢測系統，相較于人眼其檢測結果更加客觀，不會因視覺疲勞產生誤差，同時其識別精度得到提高，解決了微小缺陷的識別問題。將工業生產與機器視覺結合可以很容易地實現信息集成、自動化、智能化和精確控制，機器視覺作為一種測量和判斷技術在分揀檢測領域發揮著非常重要的作用。

圖4 分揀平臺

3.1 機器視覺在缺陷檢測上的應用

機器視覺技術的發展提高了缺陷檢測的效率、質量和可靠性。近年來由于基于機器視覺技術的發展，有關工業缺陷檢測技術的視覺檢測算法和技術也得到了不斷地改善和發展。其中Liu Z C 等[53]提出的基于機器視覺的PCB 缺陷在線檢測關鍵技術，他們通過數學形態學方法獲得的參考圖像用作系統的自檢模板。然后，引入圖像像差檢測算法，對PCB 缺陷圖像閾值進行分割，去除多余點，標記PCB 圖像缺陷識別結果，改進視覺檢測算法，識別精度和檢測時間都有了明顯提高。Li D 等[54]提出的基于目標檢測算法的木材缺陷檢測方法，該方法通過計算機視覺對YOLOX 目標檢測算法的特征融合模塊進行改進，增加高效通道注意（ECA）機制，自適應空間特征融合機制（ASFF），并改進Focal loss 和Efficient Intersection over Union（EIoU）損失等置信損失和定位損失函數，提高了對橡膠木材的缺陷識別精度，與其他目標檢測算法相比具有顯著優勢。Lin J 等[55]針對X 射線檢測中鑄件缺陷的誤檢和漏檢問題提出了一種基于視覺注意機制和特征圖深度學習的魯棒檢測方法。通過該方法鑄件缺陷檢測的誤檢率和漏檢率都得到了明顯改善。Zhou P等[56]通過分析BR 表面缺陷特點，設計了高效的全圖像獲取方案，開發出了BRs 全表面檢測方法。通過該方法進一步降低了良品誤檢率和不良品漏檢率。

3.2 機器視覺在分揀機器人上的應用

機器視覺在工件分揀機器人早已得到應用，研究機構和企業推出了具有自主知識產權的工件分揀系統。美國普渡大學的Rahardja K[57]在分揀機器人上合作開發出了一種視覺算法，該算法為機器人分揀操作提供了足夠的信息。日本FANUC 公司綜合了經典和DRC 機器人位置控制系統，開發出一種基于機器視覺的M-430iA 工業機器人[58]，該機器人最大負載為2 kg，每分鐘能夠完成120 次的分揀動作，由于其負載較小，主要應用于輕型物體的分揀工作。日本Epson 公司研發了一款基于機器視覺的工件分揀系統[59]，該分揀系統可對工件形狀及其位姿進行識別，然后由機器人對其進行分揀工作。我國深圳眾為興公司生產的4軸SCARA 分揀機器人[60]，其最大負載5 kg，在視覺系統的引導下，能夠分揀一些形狀規則的幾何工件。

目前隨著機器視覺技術的發展，其技術逐漸成熟。Ning T 等[61]開發了一種小型伸縮式分揀機器人，該機器人在機械臂中嵌入了RealSense 深度視覺伺服，大大提高了水果目標識別、檢測等方面的協調對稱性。Sadeghian R 等[62]設計了一種三峰自適應末端執行器機械手，通過與機器視覺技術的結合，該機械手可針對不同物體的尺寸和孔隙率實行自適應夾取。Liu X 等[63]基于四自由度DOBOT 機器人構建了具有視覺感知的分揀機器人，其提出的分揀機器人多目標視覺識別定位方法可以對形狀復雜、位置隨機的多物體進行識別定位使分揀機器人能夠自主進行抓取和分揀任務。

4 結語

鑄件分揀檢測理論方面涉及機械學、人工智能、控制科學與工程、鑄造成形和圖像處理等諸多領域，隨著科技水平的不斷提高且對各個學科的研究不斷深入，機器視覺技術鑄件分揀檢測領域具有很大的發展潛力。本文從機器視覺的角度對分揀系統的組成和關鍵技術進行了介紹，梳理了機器視覺在缺陷檢測以及分揀系統的應用現狀，剖析了機器視覺未來在鑄件分揀檢測的發展方向。

由于機器視覺檢測在精度上具有的明顯優勢，機器視覺在缺陷檢測上也展現出了良好的應用前景。在未來基于機器視覺技術的鑄件分揀檢測平臺可識別分揀具有微小缺陷的鑄件，甚至可識別鑄件內部是否存在缺陷，極大地提高了篩選過后的產品質量。