自動鉆孔機視覺定位系統設計

李名

關鍵詞：圖像畸變;Canny邊緣檢測;Hough變換

0引言

隨著人工智能的火熱，機器視覺作為人工智能的一個發展方向發展迅猛，機器視覺即用機器代替人眼來做測量和判斷。機器視覺系統是通過機器視覺產品將被攝取目標轉換成圖像信號，傳送給專用的圖像處理系統，得到被攝目標的形態信息，根據像素分布和亮度、顏色等信息，轉變成數字化信號;圖像系統對這些信號進行各種運算來抽取目標的特征，進而根據判別的結果來控制現場的設備動作。本文設計相應的機器視覺系統，應用于自動鉆孔機械手，對帶有標記的目標獲取的圖像，通過數據進行處理，確定物體實際位置坐標，經處理轉換傳輸到控制終端，進而控制機械進行精確操作，以提高生產效率。

1系統原理

1.1相機成像原理

如圖1所示，點P所在平面為世界坐標平面，點P和點P所在平面為圖像投影平面。相機成像的過程其實是4個坐標系的轉換，首先空問中的一點由“世界坐標系”轉換到“攝像機坐標系”，然后再將其投影到“圖像物理坐標系”，最后再將成像平面上的數據轉換到“圖像像素坐標系”。轉換關系為：

在轉換關系中.被稱為相機的內參數，稱為相機的外參數。在成像過程中，首先需要確定內參數中R矩陣和t矩陣，這2個矩陣與相機相關，與拍攝距離等其他因素無關;相應的，當距離變化時，根據不同的變換關系確定外參數，最后得到轉換關系公式，對相應像素點進行坐標變換。

1.2系統設計介紹

整個系統由相機作為輸入源，考慮到c++可以編寫相應的圖形界面和觸發按鍵，并生成相應的可執行文件，所以設計中選用c++語言作為編程語言。編寫c++程序對獲取的圖像數據進行降噪和灰度處理并進行圖像校正，再通過檢測算法得到標記位置的世界坐標偏差，系統工作流程如圖2所示。

首先，通過調用相機的API打開連接到的相機設備，之后相機將采集到的實時圖像數據傳人數據緩沖區，當到達指定采集區域后將圖像進行處理。處理過程中，要先將圖像進行灰度處理、白平衡和降噪處理，再將處理后的圖像進行矯正以消除相機畸變帶來的誤差。之后，針對選取的標簽類型和位置進行識別。最后將識別到的像素位置與世界坐標位置進行轉換，最終得到世界坐標的位移偏差。傳輸至PLC控制終端，控制機械到達指定位置，進行鉆孔作業。

2系統設計

2.1圖像獲取

在相機啟動之后，通過調用相機API，將相機采集到的實時數據保存在數據緩沖區內，當觸發按鍵按下或內置定時器觸發，相應的RGB圖像信息將傳輸進入c++處理程序，當接收到圖像信息后，程序會先將圖像信息保存至硬盤存檔，之后再對原始圖像進行相應的圖像處理操作。

2.2圖像校正

如在相機成像原理中所介紹的，相機成像的過程其實是4個坐標系的轉換，而在轉換過程中會產生畸變，其中以徑向畸變和切向畸變為主。徑向畸變主要是相機中透鏡的制造工藝造成的，成像時越靠近邊緣，相應的徑向畸變越嚴重;切向畸變則是因為相機中的透鏡和CMOS的相對位置有偏差。無論是徑向畸變還是切向畸變都會對相機丞相和定位造成一定的影響，所以需要降低這方面的影響，進行圖像校正。

校正中，根據相機成像原理中的轉換關系，通過對不同角度下所拍攝的標定板中各個角點坐標的計算，最終得到相機內參數矩陣、畸變系數、旋轉變量、旋轉矩陣和平移變量。通過得到的內參數矩陣和畸變系數代人式（2）中，得到畸變矯正后的圖像。

校正前圖像如圖3所示，校正后圖像如圖4所示。

比較圖像校正前后的圖像，可以發現在校正之后圖像的中心區域有“下陷”的現象，使得圖像中線條更平直，抵消了畸變所帶來的影響，所得圖像更接近實際情況;同時圖像四周的邊緣位置圖像會扭曲變形，這也是圖像畸變的一種體現。由校正前后的比較可以得出，圖像校正后中心區域的圖像更為真實可靠，而靠近邊緣的部分由于畸變過大不可采用，所以在采集和處理圖像時應選用靠近中心區域的圖像，邊緣部分圖像數據應舍棄。

2.3灰度處理

灰度處理主要是為了將相機獲取到的RGB三通道彩色圖像，經過多通道融合操作處理成為更易于處理的灰度圖像，方便之后的圖像處理。

相機得到的圖像數據是彩色圖片，由RGB（紅綠藍）3個通道共同表示，為了簡化后續的圖像操作，提高處理速度，避免不必要的干擾，把圖像中相同位置的3個通道的像素值進行融合，常見的灰度處理方法有平均法、加權平均法、最大值法。

針對系統需求和實驗結果比較，選用加權平均法，假設原始圖像大小為M×N，加權平均法為每個通道乘以一定的權重后求和，得到的結果就是該點的單通道灰度值。獲取圖像的像素大小，遍歷圖像中所有的像素點，對像素點進行加權平均操作，得到各個點的單通道灰度值。

圖像灰度處理后，仍保留了圖像中的特征信息，但是灰度后的圖像大大降低了圖像處理的難度，提升了處理速度，所以后續處理中程序都會用灰度處理后得到的圖像進行操作。

2.4 Canny邊緣檢測

Canny邊緣檢測是一種非常流行的邊緣檢測算法，是一個分階段的復雜圖像處理算法，具有較低的錯誤率且邊緣定位準確的優點，主要由圖像二值化、圖像降噪、圖像梯度計算、非極大值抑制和閾值篩選等幾個部分組成。

2.4.1圖像二值化

Canny算法要求圖像一定是二值化圖像，圖像二值化是在灰度圖像的基礎上進一步簡化圖像的數據量，突出目標圖像的輪廓以方便后續處理。

常見的二值化算法主要有平均值法、百分比閾值法、最大熵法等。本文采用百分比閾值法，通過計算整個圖像的閾值，將超過一定百分比的圖像設為0，其他圖像設為255。選用百分比閾值法是因為其可以消減因為曝光和亮度的不同所帶來的灰度上的差別，減少因為邊緣輪廓識別不準確、不清晰帶來的問題。

因為系統工作環境昏暗，主要依靠外界補光，所以圖像的灰度比較一致，即使因為有其他光線干擾或光線不充足，通過灰度閾值法也可以將圖像有效地二值化。

2.4.2高斯濾波

高斯濾波主要作用就是去除噪聲干擾，任何邊緣檢測算法都不可能在未經處理的原始數據上很好地處理，所以第一步是對原始數據與高斯濾波器做卷積，得到的圖像與原始圖像相比有些輕微的模糊。使得單獨的一個像素噪聲在經過高斯平滑的圖像上變得幾乎沒有影響。根據公式可以得到大小為（2K+1）×（2K+1）的高斯濾波器的核為：

經實驗證明，高斯濾波作為一種線性平滑濾波方法，可以很好地消除圖像中的噪聲，高斯濾波中對像素進行了加權平均并以新的像素值替代之前的像素值，最終消除各個噪聲點的影響。實驗對比得出，選用3×3的卷積核可以達到降噪需求且降噪效果最好，最大程度上降低了噪聲的影響。

2.4.3梯度計算

在經過了圖像二值化和高斯濾波去除噪聲以后，圖像中的相應邊緣仍然可以指向任意方向，所以需要對圖像中的像素進行幅值和方向上的計算。通過對水平、垂直和對角邊緣上各個算子的計算，確定像素點的梯度值和方向角，方便確定直線。

2.5標簽檢測

在檢測中心時，通過對比常見的圓形標簽、十字形標簽和正方形標簽，分別采用了Hough變換和二值圖像交叉點檢測等方法，最終選定圓形標簽紙和Hough變換作為檢測目標和檢測方法。

首先，Hough變換的檢測目標是圓形物體，可以直接過濾掉實際環境中眾多非規則和非圓形的物體，大大降低了處理的復雜度;其次，Hough變換對噪聲點并不敏感，細小的噪聲點和不規則的物體不能影響到Hough變換的準確度。但是Hough變換的整體計算量很大，Hough變換是通過投票選舉的方式，在一定的限制條件下尋找合適的圓心和半徑，所以從Canny邊緣檢測的結果中選取圓形物體的計算量是比較大的，適合沒有噪聲且物體一致性比較高的檢測模式。

Hough圓形檢測的原理是通過計算經過Canny邊緣檢測得出的輪廓點處的梯度向量，然后根據搜索的半徑R在該梯度方向距離輪廓點距離R的兩邊各投一點，最后根據投票結果確定圓心位置，當某一點的得票數超過設定的閾值，則認為這一點是需要的圓心，并確定相應的半徑。Hough圓形檢測原理示意圖如圖5所示。

Hough變換檢測圓心是以投票的形式獲得的，計算復雜度高，計算速度慢，但是對噪聲抑制性好，準確度高，適合對一致性較高的圓形物體的重心進行檢測。

3軟件設計

通過將圖像數據輸入系統，在計算確定了內參數和外參數后，根據相機成像轉換關系的矩陣，把像素坐標轉換成實際位置坐標，輸出到日志和PLC終端中。程序將Hough變換檢測結果中圓心及找到的圓標識在原圖中，Hough變換檢測結果如圖6所示。軟件日志中會顯示檢測到圓的半徑和圓心坐標相應的軟件日志輸出，如圖7所示。從圖中展示的結果來看，本文方法可以很好地對圓心和半徑進行識別，準確度很高。識別過程中，對噪聲的抑制性好，對不同顏色和不同大小的標簽識別度良好，坐標位置的識別準確，誤差較小。

4結束語

本文設計了自動鉆孔機視覺定位系統，針對圖像采集過程中圖像畸變和像素距離轉換的問題，提出對圖像進行白平衡、降噪、灰度處理、二值化、Canny邊緣檢測、Hough變換等一系列圖像處理方法，最終能準確識別圖中圓心和半徑。系統的應用效果表明本文提出的方法對噪聲具有較強的抗性，且識別性能良好。該系統通過確定物體實際位置坐標，將位置信息傳輸到控制終端，進而控制機械進行精確操作，能提高生產效率，是一種可行的視覺定位系統。