基于機器視覺的工業機器人對圖像的獲取與預處理技術

李國鵬 程基彬

摘要：機器人集成了電子技術、傳感技術和智能控制技術等，是一種能夠自動執行工作任務的機器裝置，在許多領域都得到了廣泛的應用。在結合了視覺技術之后的工業機器人，其靈活性和適應性大大提高，并在多品種、變批量的柔性生產中具有良好的適用性，結合視覺技術不僅可以提高產品質量和效率，并且勞動條件也能夠得到改善。因此，為了最大限度地發揮工業機器人的功能和作用，工業機器人視覺技術的研究具有重要意義。

關鍵詞：機器視覺;抓取定位;圖像獲取;預處理

引言

隨著科技的不斷進步和生產技術的發展，機器視覺技術與工業機器人在生產中的結合已成為人們越來越感興趣的領域。在不斷深入的研究工作下，國內外誕生了許多引人注目的研究成果，在不同領域的實際應用中也都取得了不錯的效益。當下，中國制造業發展迅猛，鑒于機器視覺技術與工業制造聯合帶來的眾多好處，其需求量也將增加，隨之為其投入的研究經費也會增加，技術的提升將產生更多的成果以及更好的經濟效益。

一、關鍵技術：

機器視覺技術是隨著機器人技術的發展而不斷發展的新課題。已經在越來越多的行業和科學領域中得到了運用，其基本原理是利用攝像機與計算機來替代人眼，實現更高程度的生產自動化。在對目標的圖像進行采集時，環境中光照強度的變化、大氣中浮動物體的遮擋以及攝像頭附近有可能出現的雜物等因素，都會影響到圖像采集的最終效果。原始圖像的預處理，是為了增強目標區域，模糊干擾的噪聲區域，獲得方便計算分析的高質量圖像。

（一）圖像采集

將圖像作為數字數據收集到計算機中并儲存的過程實際就是圖像獲取。作為機器視覺技術中最重要的設備，工業相機決定了圖像采集的質量和效率。

CCD（Charge Couple Device）傳感器具有分辨率高、響應快、成像清晰等特點，這些使它成為了機器視覺領域最為常用的圖像采集硬件設備。但因其自身制造工藝復雜的原因，也使其具有了較昂貴的制造成本。相對與面陣CCD而言，線陣CCD具有成本較低，結構較為簡單，實時性較好，反應速度較快，對光照條件要求較低，可以在動態環境下進行測量等優點，這也正是傳感器在較為復雜的環境下進行工作的要求。

（二）圖像灰度處理

圖像的灰度化處理就是處理具有多種顏色的彩色圖像，以便使圖像成為僅具有黑色和白色的灰度級的灰度圖像。我們通常看到的彩色圖像由三種基本顏色組成：紅色、綠色和藍色，每種顏色都有256種灰度值可以取。將彩色圖像轉化為灰度圖像，不會丟失其中的數據信息，卻會大大的減少圖像處理的計算量，提高效率，這也就是圖像灰度化的原因。在用計算機進行圖像處理時，黑白圖像要處理的信息非常少，因為它只包含黑、白兩種屬性，灰度圖像是不同與此的，除了黑色和白色的深度，還有許多其他級別的顏色深度。這些不同級別的顏色深度，使得灰度圖像比黑白圖像有更強的圖像特征描述能力，其與彩色圖像的描述能力基本無太大差別，所以可以描述圖像的整體和局部的亮度和色度特征。

由于采集到的數字圖像是彩色圖像，并且彩色圖像具有色彩豐富，包含大量信息，處理圖像速度較慢等特點，考慮到工業機器人不必使用彩色圖像來定位工件，定位識別的速度必須有一定的要求。因此，彩色圖像的灰度級在圖像處理中起重要作用。灰度化處理的方法主要有：平均法、最大值法、加權平均法等。?加權平均值法有效地避免了在實現彩色圖像的灰度圖像的同時平均法和最大值灰度處理后圖像引起的圖像失真。不僅成功保存了圖像原有的信息，而且在經過處理后的灰度圖像還具有邊緣亮度噪聲少，平滑效果好的特點。加權平均法有兩個優點，不僅可以達到預期的效果，而且為后續的圖像處理提供了有利條件。

（三）圖像濾波

獲取到的圖像往往會有噪聲的存在，這些噪聲主要表現為圖像像素的一些極值，這些極值存在于正常像素點之中，會產生忽亮點、忽暗點的噪聲影響，圖像的質量就會大打折扣，對接下來的圖像濾波、邊緣檢測、特征識別等處理工作的進行干擾，造成處理結果精度不夠或是出現錯誤結果。

濾波在計算機視覺和圖像處理中屬于最基礎的操作，經常會用到的高斯濾波原理就是在像素鄰域實現加權平均。在像素的鄰域內實現平均操作會使一些圖像的邊緣被消除掉，從而造成整個圖像出現模糊的現象。在工件矢量數據獲取的中，如果要求圖像邊緣輪廓盡可能清晰，則選擇雙邊濾波進行處理成為解決邊緣模糊問題的極好方法。雙邊濾波能夠達到去掉噪聲并且還保留邊緣信息的效果，完全由構成該濾波方法的兩個函數決定：一個濾波系數由幾何空間距離決定，另一個濾波系數則由像素之間的差決定。執行圖像濾波以最小化圖像中的噪聲干擾，同時保留目標圖像中的各種特征。圖像濾波后，對該結果進行后續的圖像處理和分析，直接影響其有效性和可靠性。

（四）圖像二值化

圖像二值化的原理是通過設置閾值將圖像上的像素的灰度值設置為0或255，并且不再出現其他灰度值。處理后。整個圖像顯示為黑白效果，即，將原有的256個級別的灰度圖像，通過合理的方法確定閾值，將圖像進行黑白處理，獲得二值化后的黑白圖像，此時圖像保留整體和局部的特征。圖像的二值化使得圖像更簡單，并且在二值化之后，進一步處理圖像更加方便。圖像的特征屬性僅與兩個像素大小點的位置有關，并且不存在多個像素值對應于一個特征屬性的情況，不但能突顯出感興趣目標的輪廓特征等信息，還能在很大程度上減少數據處理的工作量。

常用的二值化方法有：固定值法、大津法等。固定值法圖像二值化是通過設定一個限定值，根據這個值把圖像不同級別的灰度值分為黑白兩個灰度值的二值化圖像。圖像二值化中的Otsu方法是自適應閾值的方法，也稱為最大類間方差法，計算方法較為簡單，不受圖像對比度和亮度的影響。將圖像分成兩組不同灰度值像素集的模塊。兩個不同的灰度值集合之間的數學方差越大，說明這兩個灰度值集合之間的差異越明顯，找出差異最大的兩個部分正是這種方法的目的。在不同光照或者較為復雜的背景之下，大津法的二值化效果并不理想，與大津法做比較，固定值法具有高質量高效率的優點。

二、技術應用：

（一）工件的識別與定位

工件識別與定位的主要操作是在背景中分離目標圖像，提取目標圖像的輪廓特征，并計算和標記圖像的幾何質心。而機器人能否到達指定位置并準確抓取起物體與識別結果的準確性和定位精度有密不可分的關系。對于以各種姿勢放置的多個目標工件，工件的識別和定位是更為復雜的圖像處理過程。首先，需要處理多目標子模塊，然后邊緣檢測每個組件以識別單個目標工件。同時，還需要提取每個單獨目標的質心、長軸等特征，從而獲得像素坐標，然后通過手眼變換獲得工件在世界坐標系中的位置。工件的識別技術在很大程度上依賴于機器視覺圖像的匹配過程，通過選取灰度、形狀和邊緣輪廓等重要特征。運用邊緣梯度匹配算法和圖像金字塔搜索策略，對原始圖像模塊化后的區域與標準的模版進行對比，從而實現在不同幾何變換下的多目標快速匹配。

（二）邊緣檢測

常用的邊緣檢測方法有?Robert、Prewitt、Sobel、Canny、Laplace等。Laplace算子為各向同性的點、線、邊界提取算子，尤其是對單獨孤立出來的像素的反應非常強烈，因此Laplace算子常用在在沒有噪聲的圖像中或者用于改善因擴展效應在成像過程中引起的模糊。圖像中如果有明顯的噪聲存在，可以在應用Laplace進行邊緣檢測之前進行低通濾波處理。Sobel算子的原理則是在高等數學中應用快速卷積函數來達到提取邊緣的目的。并且對噪聲起一定的平滑作用，因其操作的簡便性，而得到廣泛的應用。Sobel算子的缺點是目標圖像與背景是不能清晰地分離，所以提取到圖像的輪廓不平滑。Canny算子的邊緣檢測的原理是通過計算信號函數的極大值來確定圖像的邊緣像素。為了獲得優化的逼近算子，Canny算子是一種具有更好邊緣檢測性能的算法。

（三）輪廓檢測

輪廓檢測并加以提取的方法應用較為廣泛的是邊緣檢測法，它們之中的絕大部分可以按兩類劃分：基于查找一類和基于零穿越的一類。首先，基于查找的方法，通過在圖像一階導數中找到最大和最小值來檢測邊界，并且邊界通常位于具有最大梯度的方向上。其次，基于零穿越的方法，通過找到圖像二階導數的零穿越來找到邊界，該二階導數通常是拉普拉斯零交叉或非線性差分表示的過零點。邊緣檢測法可以較好的實現物體的輪廓提，但也有一些如邊緣線出現斷點，圖像摻雜噪聲的缺陷存在。

經典邊緣檢測方法包括局部算子法，例如梯度算子、Roberts算子、Sobel算子和Canny 算子。梯度算子的計算相對簡單，但存在精度低的缺點，因此只能檢測到一個圖像輪廓，并且可能會忽略掉一些細節的邊緣。Prewitt和Sobel算子比Roberts檢測效果要好一些，Canny算子的效果優于梯度算子，并且能夠檢測出圖像中較為細節的邊緣部分。

（四）工件最小外接矩形檢測

主軸法找到目標工件輪廓的最小外接矩形是一種有效的方法。主軸方法的原理是用均勻的密度片替換目標圖像，同時確保圖像中目標圖像的位置不變。利用重心原理確定水平主軸與垂直主軸的初始位置之間的關系，從原始外接矩形開始，根據需要旋轉外接矩形以查找最小區域的外接矩形。外接矩形的形狀相對規則，可以通過相對件方式對其進行存儲和表達，具有運算效率高的特點。另外由于限定了旋轉區間在水平主軸和垂直主軸所形成的銳角之間，與其他的旋轉法比較收縮了搜索的區間，找到最小外接矩形的過程中的轉數減少，并且操作速度進一步提高。

（五）實時監測與數據分析

（瀏覽器/服務器）網絡結構的設計大大改善了工業機器人實時監測與數據分析的應用，僅在局域網的環境之下，輸入對應服務器的域名于瀏覽器地址欄中，操作者即可實現遠程訪問和控制該系統，如果有必要，還可以設置用戶名及密碼以提高系統的安全性。通過使用免費的開源數據庫MySQL實現數據持久性。實時監測與數據分析系統的組成部分主要包括系統管理、實時監測、數據分析等功能板塊。

三、現存問題

（一）實時性

在機器視覺技術的不斷進步的同時，其應用的范圍也變的更加廣泛，同時也在很大程度上提高了生產率。但由于機器視覺技術自身存在一定的局限性，仍然會有與之相應的技術難題不斷產生，同時硬件材料等方面的問題同樣需要我們加以重視。

在日常的工業生產中，實時性的問題成為了用機器視覺技術代替人工視的一個重要難題。在生產自動化程度不高時，人工檢測即可滿足需要，但在成功實現了一定的自動化生產后，視覺技術的實時性要求就會變得尤為重要。

在機器視覺技術的實時性要求中，可以同時從硬、軟件中克服它。在硬件方面，主要是生產工藝和材料的性能問題，現如今生產工藝發展飛快、新材料不斷得到運用，實時性在硬件方向的問題都可以很好的解決。然而較為棘手的是實時性在軟件方面的問題，找到高效的處理算法是最能有效提高時間效率的方法。在不斷深入研究的基礎上，對現有算法的改進以及新的處理算法也不斷涌現出來，但是它們中的很大一部分還處在理論階段，并沒有得到實際的應用。然而在實際的生產環境中，存在有許多復雜的想不到的因素干擾，并對其方法的處理結果產生不同程度上的影響，因此給技術的實時性和結果的可靠性帶來了難題。

（二）重復定位較低

工業機器人在汽車生產、機床上下料、零部件搬運等各種場合中都得到了的廣泛運用，已成為現代工業自動化制造中不可或缺的裝備。現如今工業自動線上的機械手，大多仍采用示教再現的方式進行工作，即在人工操作引導下，機器人末端按程序執行機構運動，對機器手的抓放位置、運動線路以及動作做一個提前的規劃和編程，由此，工業機器人記憶相關操作信息，從而實現再現示教的操作。當工業機器人在以示教在線的方式抓取零件時，必須要求零件具有固定的位置和角度。工件位姿與理想位姿之間的任何輕微偏差都可能導致機器人失敗操作的結果，所以需要設計和制造對應的定位設備來適應不同尺寸和形狀的零件，以至于形成了高生產成本、低效率與自動化程度的缺點。

結語：

本文對圖像采集、圖像處理等一些為本文后續工作提供幫助的關鍵技術進行了研究。首先，著重分析了在圖像獲取之后的一系列預處理操作，結合不同的實際情況，比較出更加高效率、高質量且滿足實際需求的預處理方法，以便為之后獲取圖像數據打下基礎。在前面圖像預處理完成的基礎上，為實現獲取精確的目標工件的矢量數據信息，分析了現有的輪廓檢測方法和最小外接矩形的采集方法，判斷其優缺點，并結合各種研究需要，提出了不同需要的檢測方法，實現矢量數據的獲取。

參考文獻

[1]朱良.基于機器視覺的工業機器人工件定位[J].小型微型計算機系統.2016（8）.

[2]李伯平.工業機器人視覺定位技術與應用探討[J].現代信息科技. 2018（11）.

[3]羅炳軍，黃本法，郭聯金，等.搬運機器人視覺引導定位技術的研究[J].新型工業化.2017（3）.

（作者單位：1.西南石油大學南充校區;2.西南石油大學成都校區）