車載觸摸屏的機(jī)器視覺檢測系統(tǒng)設(shè)計*

詹前賢，馮增輝，沈 奕，林典欽，王雙喜

（1.汕頭超聲顯示器有限責(zé)任公司，廣東汕頭 515044；2.汕頭大學(xué)工學(xué)院，廣東汕頭 515063；3.汕頭輕工裝備研究院，廣東汕頭 515061）

0 引言

隨著車載觸摸屏功能的多樣化發(fā)展以及分辨率不斷提高，觸摸屏的制造工藝越發(fā)精密復(fù)雜，在制造過程中容易出現(xiàn)各類缺陷，如：點缺陷、線缺陷與Mura 缺陷等。為了保證產(chǎn)品的質(zhì)量，需要對車載觸摸屏全面檢測，傳統(tǒng)的缺陷檢測方法主要依靠人工裸眼檢測，存在檢測效率低、準(zhǔn)確性差的缺點，且在檢測過程中易損傷顯示屏。因此，研究精準(zhǔn)化、自動化的新型檢測設(shè)備實現(xiàn)對觸摸屏的缺陷檢測具有重要意義。機(jī)器視覺檢測是目前最為常用的檢測方法，汕頭大學(xué)與汕頭超聲顯示器有限公司合作共同開發(fā)在汽車觸摸屏領(lǐng)域的機(jī)器視覺質(zhì)量檢測設(shè)備，針對不同工序的質(zhì)量要求，形成了自動化檢測質(zhì)量控制系統(tǒng)。本文內(nèi)容作為廣東省科技計劃項目的重點建設(shè)內(nèi)容，對研究方向具有積極推動意義。

20 世紀(jì)50 年代機(jī)器視覺技術(shù)起源于美國，到21 世紀(jì)，機(jī)器視覺自動化檢測技術(shù)快速發(fā)展[1]，從早期簡單的二維圖像分析發(fā)展到如今圖像的分割、識別和在工業(yè)中的應(yīng)用。采用機(jī)器視覺檢測系統(tǒng)代替人工檢測的方法對屏幕缺陷進(jìn)行檢測，圖像可以被精準(zhǔn)采集、分割和識別，實現(xiàn)缺陷的識別與分類。Jian等[2]提出了一種改進(jìn)的MPSG 缺陷識別和分割檢測算法，可以更加準(zhǔn)確地分割MPSG中的表面缺陷。Otsuki等[3]運用視覺系統(tǒng)將亮度和表面粗糙度等表面質(zhì)量數(shù)據(jù)進(jìn)行可視化，來評價零件表面加工質(zhì)量。周晶等[4]開發(fā)了一種基于圖像識別的異型玻璃表面質(zhì)量全檢測設(shè)備，提高了異型玻璃表面和邊緣全檢測效率。Wang 等[5]開發(fā)了一種用于LCD背光屏的檢測裝備，實現(xiàn)背光屏的漏光、變形、劃痕等缺陷的檢測。彭趕等[6]設(shè)計了一種手機(jī)屏幕缺陷在線檢測系統(tǒng)，但在實際生產(chǎn)過程中，存在檢測速度慢、正面拍攝無法準(zhǔn)確抓取缺陷特征的問題。羅根等[7]基于最小二乘法較準(zhǔn)確地檢測出手機(jī)屏幕玻璃尺寸和崩邊。周國棟[8]提出一種改進(jìn)的SIFT 算法，在凹陷類和斑點類缺陷的檢出率上有明顯的優(yōu)勢，但在檢測時間方面，比神經(jīng)網(wǎng)絡(luò)慢了近一倍。

為滿足車載觸摸屏的檢測效率及準(zhǔn)確性的需求，本文采用指數(shù)灰度變換法和中值濾波法對采集圖像預(yù)處理，利用Canny算法、金字塔模板匹配法和仿射變換法實現(xiàn)圖像定位與矯正，然后采用動態(tài)閾值分割法進(jìn)行信息識別，最后通過合格產(chǎn)品模型與透過率轉(zhuǎn)換關(guān)系圖，完成缺陷檢測。

1 觸摸屏檢測系統(tǒng)設(shè)計

針對車載觸摸屏檢測面積大、缺陷種類多等特點，本文采用工業(yè)CCD 相機(jī)、遠(yuǎn)心鏡頭、LED 矩陣光源等硬件，開發(fā)了一種具有目標(biāo)區(qū)域易分割、圖像光照均勻、光學(xué)畸變率小于0.025%、邊緣定位精度較高等優(yōu)點的機(jī)器視覺檢測系統(tǒng)。視覺檢測平臺如圖1所示。

圖1 車載觸摸屏的機(jī)器視覺平臺

在檢測之前，通過采集合格產(chǎn)品圖像實現(xiàn)檢測系統(tǒng)的機(jī)器自我學(xué)習(xí)，建立包含檢測距離、Icon 位置、形狀模型等參數(shù)的模型庫。檢測過程中，車載觸摸屏到達(dá)指定位置，獲取車載觸摸屏當(dāng)前位置對位mark 點的圖像并傳送至PC，檢測軟件識別玻璃窗區(qū)上的定位點，通過模型匹配方法對采集樣本圖像進(jìn)行校正后，觸發(fā)光電傳感器、光源與相機(jī)同時工作，在陣列排布式LED燈矩陣光源的照射下進(jìn)行多段掃描拍照，獲取車載觸摸屏面板上圖標(biāo)的高精度圖像，將圖像傳送至檢測計算機(jī)實時處理，完成信息記錄。

2 圖像處理

2.1 圖像預(yù)處理

工業(yè)相機(jī)直接對觸摸屏樣本采集的圖像由于存在灰度區(qū)分不明顯，噪聲過多等問題[7]易對圖像的缺陷檢測造成干擾，因此需要對圖像進(jìn)行圖像灰度增強(qiáng)和圖像降噪處理以便于目標(biāo)區(qū)域的提取及避免檢測干擾。

本文以車載觸摸屏上一待測Icon區(qū)域圖像信息為例。由于車載觸摸屏的Icon 圖標(biāo)的有效信息集中在如圖2 的高灰度區(qū)域，本文采用指數(shù)灰度變換法來實現(xiàn)圖像灰度的增強(qiáng)，指數(shù)灰度變換公式為：

圖2 待檢測區(qū)域灰度直方圖

式中：a為用來放大整體數(shù)字圖像的灰度倍數(shù)；ε為補(bǔ)償系數(shù)；γ為伽馬系數(shù)，當(dāng)γ＜1 時，低灰度區(qū)域被拉伸，高灰度區(qū)域被壓縮；當(dāng)γ＞1時，低灰度區(qū)域被壓縮，高灰度區(qū)域被拉伸；當(dāng)γ=1時，正比變換。

通過改變γ的數(shù)值實現(xiàn)對圖像不同程度的灰度變換，選擇性地拉伸不同的灰度區(qū)域，指數(shù)灰度變換特性曲線如圖3所示。

圖3 指數(shù)灰度變換曲線

由于該方法可以選擇性的針對高灰度區(qū)域進(jìn)行拉伸，故選用γ=2對圖像進(jìn)行拉伸處理，在壓縮待檢圖像低灰度區(qū)域信息的同時，對圖像高灰度區(qū)域信息進(jìn)行了拉伸，使得高灰度區(qū)域信息部分更加明顯，得到處理后的灰度3D圖，如圖4所示。

圖4 待檢區(qū)域及指數(shù)灰度變換處理結(jié)果

圖像采集過程中產(chǎn)生的噪聲會被檢測為圖標(biāo)缺陷，影響后續(xù)圖像的重構(gòu)和分割，導(dǎo)致檢測結(jié)果的不準(zhǔn)確。圖標(biāo)的3D 圖像中的椒鹽噪聲分布情況，如圖5（a）～（b）所示，因此需要對圖像進(jìn)行濾波處理，對圖像采集中產(chǎn)生的噪聲進(jìn)行消除。基于排序統(tǒng)計理論的中值濾波法是一種有效抑制噪聲的非線性信號平滑處理技術(shù)[9]，二維中值濾波的數(shù)學(xué)表達(dá)式為：

式中：f（x,y）為原圖像上的灰度值；g（x,y）為f（x,y）濾波后的灰度值；Med為f（x,y）模板領(lǐng)域內(nèi)取中值。

本文采用圓形二維中值濾波模板，利用Halcon 軟件生成一個半徑為3 個像素的中值濾波器[10]，通過該中值濾波器對圖5（a）進(jìn)行濾波處理，得到的處理結(jié)果如圖5（d）所示，采用中值濾波對圖像進(jìn)行降噪處理，既保留了圖像的邊緣信息又降低了圖像中孤立點和線段產(chǎn)生的干擾，從而起到了良好的降噪作用。

圖5 椒鹽噪聲圖像與中值濾波對噪聲圖像的處理結(jié)果

2.2 圖像定位

將相機(jī)固定在檢測設(shè)備上，待測觸摸屏移動至相機(jī)檢測區(qū)域。在圖像處理過程中圖像模板位置信息的確定對圖像的捕獲與提取尤為重要。首先確定模板及模板上待檢測信息的位置，其次將采集到的待測產(chǎn)品的圖像與模板圖像匹配并進(jìn)行圖像矯正，最終完成缺陷檢測前的圖像處理工作。

通過圖像邊緣檢測算法來確定圖像模板的位置。本文采用基于Canny 算子的邊緣檢測法對高斯濾波處理后的圖像采用非極值抑制技術(shù)進(jìn)行處理[11]，得到所需邊緣圖像，進(jìn)而確定模板的位置信息，其處理步驟如下。

（1）高斯濾波器平滑圖像：

式中：H（x,y）為二維高斯函數(shù)；σ為標(biāo)準(zhǔn)差。

式中：G（x,y）為高斯變換后圖像上的灰度值。

（2）用1階偏導(dǎo)計算梯度的幅值和方向，其模為：

計算得到的幅值為：

計算得到的方向為：

（3）由于得到的所有梯度不能確定最終的邊緣，所以需要對梯度幅值進(jìn)行非極大值抑制，保留局部梯度最大的點。

（4）采用雙閾值分割法檢測邊緣和連接邊緣。采用Canny算子對圖4（a）進(jìn)行邊緣提取，檢測結(jié)果如圖6所示。

圖6 Canny 算子邊緣提取效果

采用圖像金字塔搭配形狀匹配的模板匹配法可以加快模板的匹配速度，表1 所示為不同模板匹配方法的運行時間的對比情況。圖像金字塔需要向上采樣和向下采樣兩個操作，圖像金字塔的底層是高分辨率原圖，圖像先向上模糊，金字塔層級越高，則圖像越小，其分辨率越低，則檢測速度越快，但圖像分辨率不能過低，否則會導(dǎo)致檢測不到目標(biāo)圖像。采用圖像金字塔模板檢測方法向下采樣，首先檢測頂層圖像，找到模板信息后映射到下一層圖像，通過多次映射直至到達(dá)金字塔底層原始圖像，實現(xiàn)圖像模板匹配。本文采用4 層圖像金字塔方法對待檢區(qū)域進(jìn)行模板匹配操作，其結(jié)果如圖7所示。

圖7 采用圖像金字塔方法的模板匹配

表1 不同模板匹配方法的運行時間

2.3 圖象矯正

由于待測品每次放置位置有差異，所采集的圖像會出現(xiàn)平移、旋轉(zhuǎn)等錯位問題與模板圖像不重合而影響缺陷檢測，因此需要對采集的圖像進(jìn)行矯正使其與模板相重合。對于圖像矯正的問題，可采用式（11）對待處理的圖像進(jìn)行矯正，其中a、b、c、d、e、f為變換矩陣中的約束，對應(yīng)不同的待處理圖片使用不同的約束。若一副不需要矯正的圖像，其變換矩陣T就是單位矩陣，如式（12）：

（1）處理圖像的平移問題需對原圖像使用如式（13）所示的平移矩陣：

式中：t=；Tx為水平方向的位移；Ty為豎直方向的位移。

使用Halcon對采集的圖像進(jìn)行平移操作，需首先使用算子hom_mat2d_identity 生成一個如式（12）的單位矩陣，然后通過使用hom_mat2d_translate 算子對單位矩陣的X、Y進(jìn)行賦值使其變成式（13），最后通過使用算子affine_trans_image 對圖像進(jìn)行仿射變換：

hom_mat2d_translate（: : HomMat2D,Tx,Ty: Hom-Mat2DTranslate）：為平移矩陣賦值

affine_trans_image（Image : ImageAffineTrans : HomMat2D,Interpolation,AdaptImageSize:）：對圖像進(jìn)行放射變換。

（2）處理圖像的旋轉(zhuǎn)問題需要對原圖像使用如式（14）所示的旋轉(zhuǎn)矩陣：

使用Halcon對采集的圖像進(jìn)行旋轉(zhuǎn)操作，第一步與第三步與平移操作相同，其中第二步需要使用算子hom_mat2d_rotate把生成的單位矩陣變?yōu)樾D(zhuǎn)矩陣：

hom_mat2d_rotate（: : HomMat2D,Phi,Px,Py : Hom-Mat2DRotate）：為旋轉(zhuǎn)矩陣賦值。

3 目標(biāo)信息檢測

3.1 信息識別

在待測面板信息目標(biāo)檢測過程中，閾值分割法能夠有效地提取圖像背景和待檢目標(biāo)灰度對比相差較大的區(qū)域，當(dāng)待檢圖像目標(biāo)灰度與背景灰度存在交集時，此時閾值分割法的魯棒性較差，采用對待檢區(qū)域灰度選擇范圍較靈活的動態(tài)閾值分割法來提高對灰度的魯棒性。對圖像進(jìn)行閾值分割之后，將字符、圖標(biāo)等樣本添加到分類器中對樣本進(jìn)行機(jī)器自主訓(xùn)練并對分類器進(jìn)行分類，便于后續(xù)使用Halcon 軟件創(chuàng)建OCR 分類器實現(xiàn)對待測觸摸屏中OCR字符、圖標(biāo)等的精準(zhǔn)識別。

3.2 缺陷檢測

針對灰度差距小、缺陷位置不確定等問題，采用圖像金字塔模板匹配方法配合差異化模型方法，通過將待測模型與模板相匹配從而提高觸摸屏信息檢測準(zhǔn)確性。利用動態(tài)閾值方法提取目標(biāo)區(qū)域并建立標(biāo)準(zhǔn)差異模型，根據(jù)像素點的灰度變化量建立變化模型庫，將待檢測區(qū)域與模型庫進(jìn)行差異對比，采用該方法實現(xiàn)對待測車載觸摸屏中的缺陷部位的有效檢測。由于車載觸摸屏面板的透過率相差較大，而面板的透過率作為評定觸摸屏光學(xué)性能的重要參數(shù)，因此通過計算目標(biāo)區(qū)域灰度值的絕對和相對直方圖，利用直方圖計算目標(biāo)區(qū)域的平均灰度值T，并設(shè)定允許偏移量，向高、低灰度區(qū)域延伸，得到黑、白缺陷區(qū)域與合格區(qū)域的檢測灰度區(qū)間，計算出檢測缺陷區(qū)域的形狀因素并進(jìn)行分類等步驟，建立一套觸摸屏透過率缺陷檢測的動態(tài)判斷標(biāo)準(zhǔn)。

采用面陣相機(jī)采集一批良品的圖像，檢測該批次樣品的透過率與灰度值，通過收集圖像灰度值和面板透過率數(shù)據(jù)，從中尋找圖像灰度值與面板透過率之間的關(guān)系，在二維坐標(biāo)系中將每一個樣品的灰度值與透過率進(jìn)行函數(shù)擬合，并通過最小二乘法建立函數(shù)計算公式來計算面板透過率，從而得出灰度值與透過率的關(guān)系[12]，如圖8所示。

圖8 透過率轉(zhuǎn)換關(guān)系

4 實驗與測試

針對車載觸摸屏存在黑白點、黑白不均、殘缺等問題，利用該檢測系統(tǒng)對尺寸為220 mm×180 mm 的車載觸摸屏進(jìn)行測試。該檢測系統(tǒng)首先對檢測面板的平均灰度值A(chǔ)1、缺陷的平均灰度值A(chǔ)2、缺陷的長度L、以及缺陷的寬度W進(jìn)行檢測，再根據(jù)產(chǎn)品的質(zhì)量標(biāo)準(zhǔn)要求建立觸摸屏缺陷篩選標(biāo)準(zhǔn)，如表2所示。

表2 缺陷篩選標(biāo)準(zhǔn)

利用檢測系統(tǒng)對不同批次的觸摸屏進(jìn)行檢測試驗，部分檢測結(jié)果如圖9 所示。對檢測系統(tǒng)確定為合格的產(chǎn)品進(jìn)一步地人工檢測來確定檢測系統(tǒng)對缺陷檢測的準(zhǔn)確率。

圖9 基于篩選機(jī)制的缺陷檢測結(jié)果

其中表3 所示為車載觸摸屏檢測系統(tǒng)對樣品的檢測數(shù)據(jù)，表4所示為現(xiàn)場工人的檢測數(shù)據(jù)。

表3 車載觸摸屏檢測系統(tǒng)的檢測數(shù)據(jù)

表4 人工檢測觸摸屏的檢測數(shù)據(jù)

實驗結(jié)果表明，檢測系統(tǒng)的良品率與人工檢測的良品率相當(dāng)，檢測系統(tǒng)的漏檢率小于2.5%，檢測效率為8 片/min，是人工檢測的3倍以上。

5 結(jié)束語

針對車載觸摸屏的缺陷檢測，本文設(shè)計了一種高效、高精度車載觸摸屏檢測系統(tǒng)，本文所研究的觸摸屏的圖標(biāo)信息多集中在高灰度區(qū)域，采用指數(shù)灰度變換法對高灰度信息區(qū)域進(jìn)行拉伸，解決了局部圖像灰度差過低，不容易分割目標(biāo)的問題；基于Canny 算子邊緣檢測法實現(xiàn)了亞像素精度，采用模板匹配方法配合圖像變異化模型訓(xùn)練合格樣品的模型庫，并通過建立灰度值與透過率的關(guān)系方程，實現(xiàn)了對觸摸屏表面黑白點、黑白不均、Icon殘缺等缺陷與屏幕透過率的快速一體化檢測。實驗結(jié)果表明，對于220 mm×180 mm尺寸的車載觸摸屏，檢測效率達(dá)8片/min，是人工檢測速度的3倍，缺陷檢出率達(dá)97.5%。