基于機器視覺的LED燈具螺絲孔定位研究

蔣明華 丁度坤,2 辛曼玉 黃秋林,3 袁邦頤,3

（1.廣東匯興精工智造股份有限公司，東莞 523819；2.東莞職業技術學院 電子信息學院，東莞 523808；3.廣西大學 廣西制造系統與先進制造技術重點實驗室，南寧 530003）

近年來，隨著制造業自動化技術的快速發展，機器視覺因其非接觸性、精度高和實時性好等優點，在工業產品檢驗、裝配、識別、定位以及尺寸測量等方面發揮了重要作用。它提高了設備的智能化水平，降低了工人勞動強度，增加了安全性，提高了生產效率。

機器視覺是基于計算機視覺理論的一門學科，主要包括光學知識、圖像處理、人工智能化和機電控制等相關技術[1]。機器視覺系統作為機器人的“眼睛”，實時性高，定位精度高，可有效增加工業機器人的靈活性，是裝配生產實現自動化和智能化的有力助手。機器視覺的研究是從20世紀60年代中期美國麻省理工學院學者ROBERTS關于理解多面體組成的積木世界研究開始的[2]。20世紀70年代，美國麻省理工學院的MARR創立了系統化的視覺圖像處理理論[3]，指出從三維場景中獲取有用信息的過程需要經過多層次處理，這種處理過程可以用計算的方式重現，奠定了計算機視覺理論化和模式化的基礎。隨后，從20世紀80年代中期開始，機器視覺技術發展迅速，在20世紀90年代進入高速發展期，同時機器視覺系統在工業機器人領域的應用進入發展階段。

機器視覺最早發展于歐美、日本等發達國家和地區，誕生了不少相關產業公司，如美國康耐視（Cognex）、日本松下（Panasonic）和德國西門子等。21世紀初，隨著計算機硬件處理速度越來越快和神經網絡等智能算法的推廣應用，工業機器人可不斷提高訓練建立識別邏輯、圖像識別定位的準確率，推動機器視覺進入新的發展階段。目前，機器視覺技術在機器人、傳感器、控制軟件算法以及人工智能等方面獲得了廣泛應用[4]。

我國的機器視覺技術研究起步于20世紀80年代，初期相關技術人才缺乏，廠商主要代理國外品牌，缺乏自主研發產品的能力[5]。20世紀90年代初，我國有少量視覺公司成立，并開發出第一代圖像處理產品。20世紀90年代末，大量電子相關的企業迫切需要得到機器視覺相關技術的支持，推動了國內機器視覺技術的研究。進入21世紀后，我國機器視覺技術發展迅猛。越來越多的企業開始探索和研發具有自主知識產權的機器視覺設備。我國在智能制造、智能機器人等領域頒布了政策文件[6]，促使我國機器視覺行業的投入與產出顯著增長，市場規?？焖贁U大。目前，我國許多研究機構紛紛開展了機器視覺領域的研究，主要集中在運用機器視覺技術實現定位、檢測和分類等方面。袁清珂等使用圖像處理技術實現了孔壁接觸點的高精度定位[7]，滿足了生產要求。CHEN等使用多個尺度檢測算法尋找缺陷[8]，對圓形罐頭缺陷檢測精度達到了99.48%。陳方涵等設計了一種基于機器視覺系統的測量方法[9]，極大程度地減小了誤差，滿足了市場需求。

圖像特征識別與定位是計算機視覺研究方向的重要分支。幾十年來，它是計算機視覺研究中的一個十分活躍的方向，存在諸多具有挑戰性的問題[10]。圖像特征識別的主要作用是判斷已經預先定義種類的對象實例是否存在于指定目標圖像。它一般通過邊界框大致定位需要識別目標的空間位置和范圍，若指定圖像中存在目標，則返回每個目標的空間位置和范圍[11]。在現代化工業制造智能化領域，圖像特征識別與定位不可或缺。圖像預處理是研究圖像特征識別與定位的前提，是一個必不可少的步驟。它對圖像的處理效率和質量，直接影響圖像識別與識別算法的設計和識別與定位精度。實際應用中，圖像一般數據量較大，算法處理速度較慢。如果算法復雜度高，則耗費的時間長，無法滿足實時性要求。目前，很少有學者研究螺紋孔圖像預處理技術，往往直接采用傳統的圖像預處理算法。合理選用一種基于機器視覺的螺紋孔圖像預處理新算法十分必要，以便增強圖像螺紋孔的可檢測性，提高圖像預處理效率，達到實時性目的。

以上研究雖然在一定程度上提高了機器視覺下的螺絲孔定位精度，但其圖像處理算法較為煩瑣且穩定性不佳，不利于工業環境下的生產。本文基于算法魯棒性進行研究，選用了一種可行性較高的螺絲孔圖像定位算法，力求滿足工業生產需求，提高生產效率，節約成本。

1 視覺鎖螺絲工作站

基于機器視覺的鎖螺絲工作站是制造裝配生產線上的一個重要模塊，主要任務是完成裝配過程的鎖螺絲工序。傳統的鎖螺絲操作需要工人手眼配合完成，不僅效率低，質量參差不齊，還易使工人陷入疲勞狀態。視覺鎖螺絲憑其優勢可實現自動鎖螺絲任務，且裝配精度和質量高于傳統的鎖螺絲工藝。

視覺鎖螺絲工作站硬件組成包括工業機器人、工業相機和鏡頭、光源、計算機和可編程邏輯控制器（Programmable Logic Controller，PLC）系統等[12-16]。工業相機安裝在工業機器人手臂末端，可隨機器人手臂運動而運動，實現拍照獲取工件圖像的功能[17]。計算機在接收到工件圖像后對圖像進行處理，將待測特征螺絲孔的世界坐標值反饋給PLC控制系統，最終完成控制機器人手臂運動到指定坐標進行鎖螺絲操作。視覺鎖螺絲工作站的基本工作流程如圖1所示。

圖1 視覺鎖螺絲工作站的基本工作流程

2 螺絲孔圖像處理算法

螺絲孔圖像處理是螺絲孔定位關鍵的一個步驟，可獲得螺絲孔的世界坐標，并反饋給PLC控制系統控制機器人運動。常用的二值化處理算法有固定閾值算法、最大類間方差法、自適應閾值算法、Niblack算法以及Sauvola算法等。

最大類間方差法的原理步驟如下：

（1）假設初始有個閾值T0，并將圖像分為前景F和背景B兩個部分（閾值分割）；

（2）假如像素的總個數為N，前景像素個數為Nf，背景像素個數為Nb；

（3）假如圖像的總灰度級為L-1，每個灰度級的像素個數為Ni，那么滿足公式

（4）前景和背景的灰度平均值分別為

（5）整個圖像的灰度平均值為

（6）前景和背景之間的類間方差為

（7）最大類間方差法的目的是求得一個閾值，使得第（6）步的類間方差最大；

（8）采用遍歷的方法或者采用其他優化算法，找出類間方差最大的閾值來分割。

綜上可知，最大類間方差法有良好的分割特性，二值化效果好，故本文將采用該算法進行二值化處理。

3 實驗及分析

以發光二極管（Light-Emitting Diode，LED）燈具螺絲孔為實驗研究對象，采用最大類間方差法進行二值化處理，進而分析實驗結果。

傳統的LED燈具裝配工藝是工人手眼配合完成鎖螺絲，效率低，質量差別大。實驗中使用Basler工業相機、ABB工業機器人以及PLC控制系統等硬件搭建實驗平臺，依次完成了相機標定、機器人本體標定以及手眼標定，并進行機器人和相機調試，使得采集的工件圖像清晰度趨于最好。LED燈具螺絲孔原圖如圖2所示。

圖2 LED燈具螺絲孔原圖

完成圖像采集后，需對所得圖像進行圖像處理。本文使用局部分割獲取感興趣部分，使得螺絲孔更加清晰，再采用最大類間方差法進行二值化處理得到明顯的螺絲孔邊緣，更好地定位螺絲孔。二值化處理前后對比圖像如圖3所示。

圖3 二值化處理前后對比圖像

分析圖3可知，最大類間方差法能很好地獲取清晰的螺絲孔輪廓邊緣，可滿足工業裝配需求。

4 結語

本文分析傳統螺絲孔裝配的現狀，對比基于機器視覺的螺絲孔定位和傳統工人手眼配合找孔對準定位，提出用最大類間方差法實現圖像二值化處理，并從實現原理上推導了最大類間方差法的詳細過程，最后以某LED燈具螺絲孔為研究對象，在工業機器人和工業相機結合的鎖螺絲系統中采集螺絲孔圖像數據，在Visual Studio 2017軟件上使用C++進行圖像處理，將所得坐標值數據傳給PLC控制系統，從而控制機器人手臂運動。實驗驗證了所選算法的可行性，可為機器視覺在工業機器人的應用提供參考。