基于雙目視覺系統的LCD端子在線測量研究

黎三峰，高全杰，宋 建，花邊英

(1.武漢科技大學冶金裝備及其控制教育部重點實驗室，湖北 武漢 430081； 2.武漢科技大學機械傳動與控制工程湖北省重點實驗室，湖北 武漢 430081； 3.東莞市奕東電子有限公司，廣東 東莞 523106)

0 引言

隨著工業4.0的推進，各行業對產品加工和測量的自動化要求越來越高。面對大批量零件的連續生產，傳統的人工測量方法已不能滿足當前的行業需求。因此，一種基于機器視覺的測量方式應運而生[1]。

國內研究學者對視覺測量的方法進行了多方面的研究。文獻[2]對機器視覺測量的關鍵理論和算法進行了深入研究和實際應用，利用二維亞像素邊緣提取的方法，以及對工件的測量和系統的精度分析。文獻[3]采用面陣相機作為傳感器，設計的在線測量系統解決了視覺系統的標定問題，實現了對機械零件尺寸的高精密測量；結合開源的Opencv庫，實現了圖像處理模塊的編程和算法調試。文獻[4]設計的基于計算機視覺測量零件幾何尺寸的測量系統，可以測量三種零件的幾何尺寸，實現了平面幾何尺寸的測量。文獻[5]采用雙目相機校準、圖像去噪處理和立體匹配方法，實現工件尺寸的測量。文獻[6]使用改進的方法，解決了相機模型內部和外部參數，以實現零件空間尺寸的測量。這些方法僅適用于單個靜態物體的尺寸檢測，不適用于流水線傳輸時精密零件的測量。

本文采用雙目測量方式，結合光電傳感器和光源控制器，搭建了一套面向工業大批量生產的零件、應用于工業自動化流水線生產的在線測量系統。同時，從影響視覺測量精度的四個要素著手，對相機標定的優化、視覺矯正、圖像濾波處理和算法改進等方面進行研究。研究結果為視覺系統的設計和優化提供理論依據和科學依據，提高了試驗的測量精度和效率。

1 雙目視覺平面幾何尺寸測量系統

1.1 系統結構

本文對細長筋發光二極管(light emitting diode,LED)端子進行研究，主要設計了細長筋LCD端子的雙目在線測量系統，實現了大批量零件流水線傳輸時的在線尺寸測量。雙目視覺系統結構框圖如圖1所示。

圖1 雙目視覺系統結構框圖

圖像采集是對被檢測的工件進行拍攝并發送圖像到計算機上的過程，主要由相機、鏡頭、照明系統等組成。圖像采集是機器視覺表面缺陷檢測系統的重要組成部分，所采集到的圖像質量決定了圖像處理系統對圖像處理的難易程度；缺陷檢測與分類過程在計算機上完成，以數字圖像處理和相關的算法完成對圖像中待測信息的檢測，對不同類型的缺陷進行分析，在顯示屏上顯示檢測的結果。主要測量LCD端子的部位有叉長、頭寬、間距和開口大小。出料裝置寬度可自由調節，可適應不同寬度的產品，最大75 mm，最小20 mm。導輪位置可自由調控，上下按、轉彈簧壓力裝置可以更好的貼合產品，還可以根據力度自動調節合適的壓力，保證在不損傷產品的情況下正常傳動。對于不合格的零件，系統利用相機幀率信息、傳送帶傳輸速率信息，將不合格的零件移入倒料裝置。

1.2 雙目視覺基本原理

圖2 雙目視覺原理圖

2 雙目視覺測量模型

2.1 計算內參和外參的初值

通過求解線性方程組得到投影矩陣M，將矩陣M作為標定結果。參考文獻[7]中，Zhang的結果是得到攝像機的內參和外參，如式(1)～式(3)所示。

(1)

(2)

T=[t1t2t3]T

(3)

(4)

(5)

式中:A為相機的內參矩陣；γ為像素點在x、y方向上尺度的偏差；u0、v0為攝像機內部參數，如果忽略該參數，可設定γ=0；(u0,v0)為基準點；R為外參旋轉矩陣；T為平移向量[8]；f為焦距；dx為像素的寬；dy為像素的高。

根據針孔成像原理，將世界坐標點變換為理想像素點，如式(6)所示。

(6)

將標定模板所在的平面設為世界坐標系的ZW=0平面，可得式(7)。

(7)

令M=[XY1]T、m=[uv1]T，則有sm=HM。其中：

(8)

式中：H為單位性矩陣。

2.2 單應矩陣求解攝像機內外參數

式(8)可以改寫成式(9)。

[h1h2h3]=λA[r1r2t]

(9)

式中：λ為比例因子；r1、r2為單位正交向量。

(10)

(11)

根據內參矩陣A的參數fx、fy、cx、cy、γ，可得到三個不同的單應性矩陣，從而計算出攝像機的內部參數。對得到的方程作一些變換。令：

(12)

由式(12)可以看出，B為對稱矩陣，有三對對稱的元素是相等的，故B的有效元素為6個。將這6個元素構成向量b:

b=[B11B12B22B13B23B33]T

(13)

令H的第i列向量為hi=[hi1hi2hi3],則：

(14)

其中：

Vij=[hi1hj1hi1hj2+hi2hj1hi2hj2h31hj1+

hi1hj3h31hj1+hi3hj3hi3hj3]T

(15)

將內參寫成如式(16)所示的方程。

(16)

假設有n幅圖像，可得線性方程：

Vb=0

式中：V為2n×6的矩陣。

當n≥3時，可得式(17)的方程，求得攝像機內部參數，然后利用單應性矩陣H,計算每幅圖像的外參。

(17)

2.3 最大似然估計優化

上述推導結果基于理想的解決方案。LCD端子在加工過程中可能存在高斯噪聲，故采用最大似然估計[8]進行優化。采集n幅棋盤格圖像進行標定，每個圖像里有m個角點。將圖像上的第i幅圖像上的角點Mj的投影點設為：

m=(A,Ri,ti,Mij)=A[R|t]Mij

(18)

式中：Rj和ti分別為第i幅圖對應的旋轉矩陣和平移向量。

則mij的概率密度函數為：

(19)

構造似然函數：

(20)

為使L取得最大值，即要使式(21)最小。

(21)

使用最大似然優化得到的結果，根據Levenberg-Marquardt(LM)法計算下列函數最小的參數值：

(22)

3 視覺矯正

3.1 原圖像進行極線校正

在兩張圖片中尋找對應點是個十分復雜的工作。因此，需要對原圖像進行極線校正，將兩個不同視角的圖片校正到同一平面上，即在同一水平線上搜索。校正后的原理圖如圖3所示。

圖3 校正后的原理圖

從圖3可知，將原圖像經過極線校正之后，p和p′點、q和q′點的y坐標相同。然后，進行一維搜索，找到兩個相機的對應點。

3.2 獲取深度信息

將校正后的原理圖切換為上視角圖。此時，可以忽略y軸。

極線校正后的上視角如圖4所示。

圖4 極線校正后的上視角圖

此時，物點N的對應點為p和p′。Z就是要求的物點N深度信息。由三角形Npp′與NO1O2相似，可得：

(23)

式中:h為相機平面寬度的一半。

可得：

(24)

(25)

式中：(XR-XT)為對應點之間的視差；B、f分別為視覺系統的系統參數。

4 LCD端子圖像預處理及特征提取

4.1 圖像噪聲

由于電耦合器件(charge coupled device,CCD)攝像機在采集圖像的過程中，可能會受到采集裝置和工作環境的影響,使采集到的圖像中含有噪聲。噪聲通常是隨機產生的,因此分布不規則,使得有些噪聲和圖像信號之間是互相關聯的。因此，必須根據具體情況，采用不同的方法來減少圖像中的噪聲。

4.2 圖像去噪

在采集LCD端子圖像的過程中，往往受到釆集現場的環境、光照和機器運行過程中相機的抖動等因素的影響。其中不可避免地引入了噪聲，對圖像處理造成干擾，影響測量結果的準確度。因此，需對采集到的圖像進行濾波操作，以排除噪聲的干擾。對LCD端子，主要研究了圖像空域濾波中的均值濾波、中值濾波和高斯濾波[9]。

圖5為LCD端子示意圖。其中：圖5(a)為原始圖像。高斯濾波主要是衰減像素附近光強的變化，對整幅圖像按照加權求平均的過程，獲得每個像素的值。該方法可以去除圖像中的高斯噪聲，并更好地保留圖像邊緣信息。圖5(b)所示為高斯濾波后的LCD端子。均值濾波是選取像素點的一個鄰域，用全體像素的平均值代替原來的像素值。該方法去噪時，破壞了圖像的細節部分，不能很好地去除噪聲點。圖5(c)為均值濾波后的LCD端子圖像。中值濾波原理是選取像素點的一個鄰域，將鄰域中所有像素的灰度值進行排序，并選取中間的像素值代替原來的像素值，能有效保護圖像尖銳的邊緣，對噪聲處理效果好。圖5(d)為中值濾波后的LCD端子。

圖5 LCD端子示意圖

將LCD端子濾波算法試驗結果如表1所示。由表1可知，高斯濾波算法對圖像的去噪效果明顯。因此，系統采用高斯濾波算法對圖像進行去噪。

表1 LCD端子濾波算法試驗結果

4.3 形態學處理

為提取LCD端子的邊緣特征，需對濾波后的圖片進行形態學處理。在獲取LCD端子特征的過程中，首先需有效地去除噪聲，保留圖像中原有的信息。然后，用形態學的方法，提取相對平滑的邊緣、圖像相對完整的骨架。最后，可以在圖像中查找明顯的最大值或最小值區域。

4.3.1 圖像膨脹

膨脹操作首先將描點滑過整個圖像，其次對描點所覆蓋區域像素的最大值進行提取，最后使用最大像素值來替換描點位置的相素。圖像膨脹過程如圖6所示。圖6中：A為原始圖像膨脹前區域；B為結構原元素；A⊕B為圖像膨脹后區域。

圖6 圖像膨脹過程示意圖

膨脹公式如下：

dst(x,y)=max[src(x+x′,y+y′)]

(26)

4.3.2 圖像腐蝕

圖像腐蝕是先提取由結構元素覆蓋下的最小像素值，然后標記與目標圖像中的結構元素相同的子圖像的原點位置的像素，最后替換圖形位置處的像素。圖像腐蝕過程如圖7所示。圖7中：A為原始圖像腐蝕前區域；B為結構元素；AB為圖像腐蝕后區域。

圖7 圖像腐蝕過程示意圖

腐蝕公式如下：

dst(x,y)=min[src(x+x′,y+y′)]

(27)

式中：x′、y′不為0。

在高斯濾波后，對LCD端子圖像進行腐蝕。將腐蝕后的圖像與原圖像對比，前者的直線邊緣細節更加明顯，有利于特征點提取。

4.4 LCD端子的邊緣檢測

結合LCD端子具有陡峭邊緣的結構特點，由于Hough變換對LCD端子的圖像處理效果較好，故采用該算法對LCD端子進行邊緣檢測。

4.4.1 直線的Hough變換

在圖像x-y坐標空間中，過點(xi,yi)的直線表示為：

yi=axi+b

(28)

式中：a為斜率；b為截距。

通過點(xi,yi)的直線分別對應不同的a、b值，它們都滿足式(28)。將xi、yi看作常數，參數a、b看作變量，則式(28)可表示為：

b=-xia+yi

(29)

將參數變換到平面a-b。該直線是圖像坐標點(xi,yi)在參數空間的唯一方程。圖像坐標空間另外兩點(xj,yj)和(xk,yk)對應的兩條直線可表示為：

(30)

直線與點(xi,yi)在參數空間的直線相交于一點(a0,b0)。直角坐標中的Hough變換如圖8所示。

圖8 直角坐標中的Hough變換

Hough變換是將圖像坐標轉換為Hough參數空間，常用于零件特征檢測[10]。在參數空間用極值點的檢測，實現直線的擬合。通過尋找幾何形狀的參數，直線就會得到直線的斜率k與常數b，圓就會得到圓心與半徑。Hough變換后的LCD端子如圖9所示。

圖9 Hough變換后的LCD端子圖

4.4.2 改進的Hough變換直線檢測算法

由于直線擬合需要降低噪聲的強度，當像素點附近存在大量噪聲時，擬合的誤差率較大，檢測出來的直線精度低[11-12]。故本文采用改進的Hough變換來檢測LCD端子的直線。改進的Hough變換后的LCD端子如圖10所示。

圖10 改進的Hough變換后的LCD端子圖

改進的Hough變換直線檢測方法能更精確地檢測出直線的輪廓，避免錯檢和漏檢，加快計算速度。采用的計算過程如下。

①首先，采用Canny算子進行相減，得到單個像素寬度的邊緣。

②計算每一邊緣點0°,10°,…，360°的梯度方向的幅值與角度，計算每個方向上的點的個數；以邊緣點個數最多的方向作為直線方向，同時進行梯度方向值擬合。

③得到大致方向后，剔除小于此方向的低閾值的邊緣點像素。

④在直線方向的±n°內作Hough變換，從而檢測出最大閾值的直線。如果圖像空間中某像素點的灰度值越高，則說明直線在與像素對應的參數空間中經過的點越多，通過降噪處理獲得圖像的角度、距離范圍。改進的Hough變換直線檢測方法能夠區分累加器中最大的噪聲峰值和有效峰值。試驗結果表明，該方法比傳統的檢測方法精度更優、魯棒性更好、速率更高。

5 試驗結果及數據分析

通過攝像機標定、LCD端子輪廓特征提取及匹配等一系列操作后，得到LCD端子的邊緣輪廓。采用改進的Hough變換對得到的LCD端子輪廓進行空間直線擬合，得到直線的相關信息，實現LCD端子的測量。改進前后的2種算法時對不同噪聲比圖像直線檢測的耗時如表2所示。由表2可知，在相同的環境下，通過改進的Hough算法檢測時間比標準的Hough算法時間縮短了約0.2～0.3 s，提升了產品檢測速率，滿足了測量的需求。

表2 2種算法對不同噪聲比圖像直線檢測的耗時

改進前后算法測量LCD端子部分關鍵尺寸結果分別如表3、表4所示。

表3 算法測量LCD端子部分關鍵尺寸結果(改進前)

表4 算法測量LCD端子部分關鍵尺寸結果(改進后)

由表3、表4數據分析可知，改進后的Hough變換算法在線測量系統的測量精度較高，重復性誤差較小，符合偏差范圍。由此說明，該方法針對LCD端子測量的有效性及實用性。a、b、c、d依次為LCD端子的開口、叉長、頭寬和間距尺寸。

6 結論

針對工業自動化的發展趨勢，利用CCD攝像機及背光源等設備，搭建了一套在線測量系統，并對影響系統測量精度的相機標定、視覺矯正、圖像濾波處理和算法改進等四個要素進行了分析與改進。該研究實現了LCD端子的高精度測量，開口的長度為0.850～0.920 mm，叉長為1.950～2.100 mm，頭寬為1.200～1.500 mm，間距為1.900～2.100 mm。試驗研究和分析結果表明：該系統的測量精度較高、魯棒性較好，滿足檢測要求，且適用于流水線零件的批量尺寸檢測。該研究對小工件尺寸測量具有重要的參考意義，在工業自動化領域也具有一定應用價值。