基于機(jī)器視覺(jué)的觸摸屏碳漿點(diǎn)印設(shè)備設(shè)計(jì)

詹前賢，李志來(lái)，沈 奕，林典欽，陳澤康，王雙喜

（1.汕頭超聲顯示器有限責(zé)任公司，廣東汕頭 515044；2.汕頭大學(xué)工學(xué)院，廣東汕頭 515063；3.汕頭輕工裝備研究院，廣東汕頭 515061）

0 引言

觸摸屏作為一種新型的人機(jī)交互設(shè)備，可以在顯示屏終端顯示用戶所需的圖像，用戶通過(guò)手指觸摸屏幕上的特定區(qū)域，產(chǎn)生輸入信號(hào)實(shí)現(xiàn)對(duì)計(jì)算機(jī)的控制。觸摸屏主要分為電阻式觸摸屏、電容式觸摸屏、表面聲波式觸摸屏及紅外線式觸摸屏[1]。以投射式電容屏為例，其主要由一層玻璃基板、兩層ITO導(dǎo)電層和一層玻璃保護(hù)層組成[2]。實(shí)際上觸摸屏每一層的結(jié)構(gòu)和制備工藝都很復(fù)雜，而且精度要求極高。在完成ITO層感應(yīng)基板（ITO Sensor）絲網(wǎng)印刷電路后，需要在電路的管腳位置處點(diǎn)印導(dǎo)電碳漿，這個(gè)工序叫做碳漿點(diǎn)印。導(dǎo)電碳漿是一種基于熱塑性或熱固性樹(shù)脂形成的粘稠漿狀物，主要包含碳微粒非金屬導(dǎo)體[3]，其主要具有保證印刷電路的正常運(yùn)行、管腳安裝的潤(rùn)滑、防止膠水滲入管腳和ITO膜等作用。碳漿點(diǎn)印一般由專門的碳漿點(diǎn)印機(jī)完成，要求精度高，需要保證漿點(diǎn)的形狀、大小、位置、厚度等多方面因素。碳漿點(diǎn)印后，一般由人工完成檢測(cè)工作，由于長(zhǎng)期暴露在高亮度的檢測(cè)環(huán)境中，工人易產(chǎn)生視覺(jué)疲勞，導(dǎo)致產(chǎn)品的誤檢漏檢。機(jī)器視覺(jué)光學(xué)檢測(cè)是目前比較熱門的檢測(cè)技術(shù)，具有檢測(cè)速度快、精度高、檢測(cè)準(zhǔn)確率高等優(yōu)點(diǎn)[4]。鄭相立[5]等開(kāi)發(fā)了一種雙工位玻璃貼片AOI系統(tǒng)，能夠在200 ms內(nèi)實(shí)現(xiàn)玻璃貼片的高精度檢測(cè)，極大地提高了檢測(cè)效率；羅根[6]等設(shè)計(jì)了一種基于最小二乘法的手機(jī)屏幕玻璃尺寸檢測(cè)及崩邊評(píng)價(jià)方法，利用層次凝聚聚類算法準(zhǔn)確的獲得了崩邊位置和崩邊大小；Chuan xiaJian[7]等采用基于輪廓的配準(zhǔn)（CR）方法生成用于對(duì)齊MPSG圖像的模板圖像，采用減法和投影（CSP）的組合來(lái)識(shí)別MPSG圖像上的缺陷，建立了手機(jī)觸摸屏缺陷檢測(cè)系統(tǒng)；Changsheng Li[8]等提出一種感興趣區(qū)域（ROI）采集算法，提出了一種結(jié)合多層感知器（MLP）和深度學(xué)習(xí)（DL）技術(shù)的分類算法，其方案在檢測(cè)手機(jī)屏幕的劃痕、飛蚊癥、淺色污漬和深色污漬方面均達(dá)到滿意的性能；林典欽[9]等研發(fā)了一種基于機(jī)器視覺(jué)的車載觸摸屏面板模組檢測(cè)系統(tǒng)，通過(guò)對(duì)比標(biāo)準(zhǔn)灰度模型、建立灰度值和透過(guò)率轉(zhuǎn)換關(guān)系、支持向量機(jī)分類等技術(shù)，實(shí)現(xiàn)多種缺陷的動(dòng)態(tài)識(shí)別和玻璃屏任一點(diǎn)的透過(guò)率在同一臺(tái)CCD下的測(cè)定。由于觸摸屏對(duì)碳漿點(diǎn)印的形狀、位置、大小等要求很高，目前的碳漿點(diǎn)印設(shè)備難以滿足觸摸屏生產(chǎn)的高良品率要求，急需一種具有在線質(zhì)量檢測(cè)功能的觸摸屏碳漿點(diǎn)印設(shè)備。

本文針對(duì)觸摸屏的碳漿點(diǎn)印的質(zhì)量控制難題，設(shè)計(jì)了一種基于機(jī)器視覺(jué)的碳漿點(diǎn)印設(shè)備，可以在線完成對(duì)點(diǎn)印后的碳漿點(diǎn)的形狀、位置、大小等參數(shù)檢測(cè)反饋，配合分揀機(jī)械手，及時(shí)剔除次品。設(shè)備平均每分鐘完成15片觸摸屏的碳漿點(diǎn)印和碳漿點(diǎn)的質(zhì)量檢測(cè)，機(jī)器視覺(jué)檢測(cè)碳漿點(diǎn)質(zhì)量的錯(cuò)檢率小于0.7%、設(shè)備生產(chǎn)的觸摸屏半成品的最終良品率高于98%，實(shí)現(xiàn)了觸摸屏點(diǎn)印碳漿的高質(zhì)量、高效率智能化生產(chǎn)。

1 具有碳漿點(diǎn)質(zhì)量監(jiān)測(cè)功能的點(diǎn)印設(shè)備設(shè)計(jì)

基于視覺(jué)檢測(cè)的觸摸屏碳漿點(diǎn)印設(shè)備需要同時(shí)完成對(duì)觸摸屏的碳漿點(diǎn)印加工和碳漿點(diǎn)的質(zhì)量檢測(cè)工作，并自動(dòng)剔除不合格產(chǎn)品。該點(diǎn)印設(shè)備包括上下料機(jī)構(gòu)、移動(dòng)平臺(tái)、點(diǎn)印機(jī)構(gòu)、機(jī)器視覺(jué)檢測(cè)系統(tǒng)和控制系統(tǒng)。工作流程分為五個(gè)部分：上料、對(duì)位、點(diǎn)印、檢測(cè)和分揀。

點(diǎn)印設(shè)備的移動(dòng)平臺(tái)采用C5等級(jí)的精密研磨滾珠絲桿[10]，導(dǎo)向形式上采用精密級(jí)直線導(dǎo)軌副，配合伺服電機(jī)驅(qū)動(dòng)和伺服控制技術(shù)，使移動(dòng)平臺(tái)在運(yùn)行過(guò)程中一方面消除了機(jī)械零件間隙導(dǎo)致的位置誤差，另一方面減少了驅(qū)動(dòng)控制輸入的信號(hào)誤差；配合使用高速分揀機(jī)械手結(jié)合真空吸附技術(shù)搬運(yùn)觸摸屏[11]，實(shí)現(xiàn)對(duì)觸摸屏的上料工作，并按照機(jī)器視覺(jué)檢測(cè)結(jié)果對(duì)觸摸屏點(diǎn)印半成品進(jìn)行分揀。可調(diào)節(jié)的移動(dòng)平臺(tái)和機(jī)械手適應(yīng)于多種厚度和尺寸的觸摸屏玻璃，有效提高點(diǎn)印設(shè)備的工作效率。

觸摸屏碳漿點(diǎn)印流程包括：帶有真空吸附裝置的機(jī)械手抓取觸摸屏玻璃，由移動(dòng)平臺(tái)運(yùn)輸?shù)街付ㄎ恢煤螅幌鄼C(jī)獲取觸摸屏碳漿點(diǎn)印前的位置圖像并傳送至計(jì)算機(jī)處理，判斷觸摸屏是否處于正確的位置，并將相關(guān)信息反饋給移動(dòng)平臺(tái)進(jìn)行矯正，由點(diǎn)印機(jī)構(gòu)在對(duì)應(yīng)位置點(diǎn)印碳漿；碳漿點(diǎn)印后，相機(jī)對(duì)觸摸屏碳漿點(diǎn)的位置進(jìn)行二次圖像采集，并由計(jì)算機(jī)對(duì)圖像進(jìn)行處理，利用Halcon和Visual studio軟件，結(jié)合相應(yīng)的算法，完成對(duì)采集圖像的檢測(cè)處理，識(shí)別不合格的碳漿點(diǎn)，由分揀機(jī)械手剔除不合格產(chǎn)品。

圖1 碳漿點(diǎn)印設(shè)備布局示意圖

本設(shè)備的機(jī)器視覺(jué)在線檢測(cè)系統(tǒng)，選用LED燈作為光源，配合兩路編碼光源控制器，采用同軸照明的方式［12-13]，配合使用KOWA LM25JC5M5鏡頭和Sony DSCT1的500萬(wàn)像素CCD相機(jī)。在對(duì)觸摸屏進(jìn)行碳漿點(diǎn)印前，通過(guò)采集合格產(chǎn)品圖像實(shí)現(xiàn)檢測(cè)系統(tǒng)的機(jī)器自我學(xué)習(xí)，建立包含觸摸屏碳漿點(diǎn)印的正確位置、管腳和碳漿點(diǎn)的距離、碳漿點(diǎn)的大小、位置、形狀等參數(shù)的數(shù)據(jù)庫(kù)。

2 機(jī)器視覺(jué)檢測(cè)功能開(kāi)發(fā)

2.1 圖像采集

采用30 mm×30 mm的標(biāo)準(zhǔn)標(biāo)定板，拍攝標(biāo)定板20個(gè)不同位置、姿態(tài)、距離等圖片，利用Halcon中的標(biāo)定助手calibration，得到相機(jī)的內(nèi)外參數(shù)[14]。根據(jù)采用的Sony DSC-T1 500萬(wàn)像素CCD相機(jī)，調(diào)節(jié)Halcon中image acquisition interfaces相應(yīng)的采集算子，然后接入Direct Show圖像獲取接口，通過(guò)相機(jī)實(shí)時(shí)拍攝視頻，由瞬時(shí)采集得到所需要的圖像。然后利用VC++中的MFC基于對(duì)話框混合編程，獲取用于機(jī)器視覺(jué)檢測(cè)的最終圖像。具體做法是，將Halcon中讀取到的由相機(jī)采集到的圖片，導(dǎo)出為C++—Halcon格式并保存；利用VC++新建MFC程序，插入按鈕控件和圖片控件，并在C++中配置Halcon的相關(guān)環(huán)境；添加響應(yīng)函數(shù)后，導(dǎo)入C++—Halcon格式的文件，編譯通過(guò)后，在MFC對(duì)話框中顯示所需要處理的圖像，從而實(shí)現(xiàn)對(duì)實(shí)時(shí)畫面的捕捉。

2.2 觸摸屏點(diǎn)印定位

在對(duì)觸摸屏進(jìn)行碳漿點(diǎn)印前，相機(jī)會(huì)拍攝觸摸屏在移動(dòng)平臺(tái)上的位置，并由計(jì)算機(jī)判斷其是否處在正確的位置上。檢測(cè)的原理：在計(jì)算機(jī)學(xué)習(xí)的過(guò)程中，人為標(biāo)定檢測(cè)的感興趣區(qū)域（Region of Interest，ROI），在圖像中畫出水平線，并且找出兩個(gè)管腳最外側(cè)的垂直線，如圖2（a）所示。得到的3條線段表示3個(gè)感興趣區(qū)域。

利用Halcon中的intersection算子求得兩個(gè)區(qū)域的交集，再運(yùn)用get＿region＿points算子獲得交點(diǎn)的坐標(biāo)信息。為了方便觀察，用gen＿cross＿contour＿xld算子在圖2（b）中標(biāo)出。計(jì)算機(jī)根據(jù)交點(diǎn)信息對(duì)觸摸屏進(jìn)行點(diǎn)印前的定位識(shí)別，并由移動(dòng)平臺(tái)作出調(diào)整，隨后由點(diǎn)印機(jī)構(gòu)進(jìn)行碳漿點(diǎn)印。

圖2 觸摸屏定位檢測(cè)

2.3 碳漿點(diǎn)的質(zhì)量檢測(cè)

碳漿點(diǎn)印后，相機(jī)對(duì)觸摸屏進(jìn)行第二次圖像采集。目的是為了檢測(cè)碳漿點(diǎn)的質(zhì)量是否符合要求，以便于接下來(lái)機(jī)械手的分揀操作。首先要在圖像中識(shí)別出每個(gè)碳漿點(diǎn)，并且定位碳漿點(diǎn)的位置，再判斷其質(zhì)量是否合格。

2.3.1 碳漿點(diǎn)形狀及大小的檢測(cè)

在觸摸屏上完成碳漿點(diǎn)印后，采集的圖像如圖3所示，可以很清晰地看出黑色碳漿點(diǎn)的位置，與周圍圖像的區(qū)分度很高。

圖3所示中總共有6個(gè)碳漿點(diǎn)，它們都近似圓形，所以用圓形來(lái)代替碳漿點(diǎn)的特征。根據(jù)碳漿點(diǎn)區(qū)域具有圓形的特點(diǎn)，利用select＿shape算子，選擇圓度在0.5～1之間，半徑為額定值以上的區(qū)域，最終保留6個(gè)碳點(diǎn)所在的區(qū)域。如果采集到的個(gè)數(shù)少于或者多于6個(gè)，則說(shuō)明碳漿點(diǎn)的形狀和大小存在缺陷，為殘次品，由計(jì)算機(jī)做出相應(yīng)反饋并及時(shí)分揀。

圖3 點(diǎn)印碳漿后的圖像

2.3.2 碳漿點(diǎn)位置的檢測(cè)

將采集到的6個(gè)碳漿點(diǎn)，用sort＿region算子給它們編上號(hào)碼進(jìn)行排序，在區(qū)域內(nèi)從左到右序號(hào)依次標(biāo)為1～6。排序完后，將各個(gè)獨(dú)立的碳漿點(diǎn)區(qū)域擬合成獨(dú)立的圓形，利用smallest＿circle算子再獲得圓形的圓心和半徑，即可獲得碳漿點(diǎn)在圖像中的位置。將6個(gè)碳漿點(diǎn)的圓心坐標(biāo)以及半徑，以數(shù)組的形式分別儲(chǔ)存在centerRow、center-Column、Radius中。得到每個(gè)碳漿點(diǎn)在圖像中的位置信息后，為了進(jìn)一步判斷其在觸摸屏上位置的正確性，本文通過(guò)計(jì)算每個(gè)碳漿點(diǎn)到管腳的距離，與額定距離比較來(lái)判斷碳漿點(diǎn)的位置是否合格。

提取管腳的位置信息時(shí)，同樣對(duì)圖像進(jìn)行二值化處理。與碳漿點(diǎn)識(shí)別不同的是，管腳只需要圖像的邊緣信息。因此，在圖像二值化之前，除了選取感興趣區(qū)域ROI外，還要對(duì)ROI進(jìn)行邊緣檢測(cè)[15]利用sobel＿amp算子實(shí)現(xiàn)邊緣檢測(cè)，處理后的圖像如圖4（a）所示。得到管腳的邊緣后，從中提取出水平線，在根據(jù)水平線提取出管腳外延的垂直線。得到所需的管腳邊界信息。如圖4（b）所示。

圖4 碳漿點(diǎn)邊界提取

通過(guò)比較每個(gè)擬合圓形的圓心到邊界的距離。將測(cè)得的數(shù)據(jù)與計(jì)算機(jī)學(xué)習(xí)時(shí)設(shè)定標(biāo)準(zhǔn)值進(jìn)行比較，超出范圍的碳漿點(diǎn)即判定為碳漿點(diǎn)位置不合格。

3 設(shè)備調(diào)試結(jié)果

基于機(jī)器視覺(jué)的觸摸屏碳漿點(diǎn)印設(shè)備如圖5所示。經(jīng)過(guò)現(xiàn)場(chǎng)調(diào)試后，該設(shè)備生產(chǎn)的觸摸屏碳漿點(diǎn)印半成品有著極高的碳漿點(diǎn)印合格率。由于采用了自動(dòng)上下料和機(jī)器視覺(jué)在線檢測(cè)反饋，基于機(jī)器視覺(jué)的觸摸屏碳漿點(diǎn)印設(shè)備有很高的生產(chǎn)效率，平均每分鐘可以點(diǎn)印15片觸摸屏，并將檢測(cè)結(jié)果及時(shí)反饋給機(jī)械手剔除殘次品。

圖5 基于機(jī)器視覺(jué)的觸摸屏碳漿點(diǎn)印設(shè)備

利用該設(shè)備對(duì)不同批次的觸摸屏進(jìn)行碳漿點(diǎn)印試驗(yàn)，并由人工對(duì)檢測(cè)系統(tǒng)判定為良品和次品的觸摸屏進(jìn)一步復(fù)查，如表1所示。結(jié)果表明3次試驗(yàn)中檢測(cè)系統(tǒng)對(duì)碳漿點(diǎn)的質(zhì)量檢測(cè)錯(cuò)檢率分別為0.1%、0.0%、0.05%，平均錯(cuò)檢率為0.05%；基于機(jī)器視覺(jué)的觸摸屏碳漿點(diǎn)印設(shè)備生產(chǎn)的觸摸屏半成品的最終良品率高于98%。一臺(tái)設(shè)備的生產(chǎn)效率相當(dāng)于4個(gè)技術(shù)熟練的工人。

表1 基于機(jī)器視覺(jué)的觸摸屏碳漿點(diǎn)印設(shè)備的調(diào)試結(jié)果

4 結(jié)束語(yǔ)

針對(duì)觸摸屏碳漿點(diǎn)印質(zhì)量的控制問(wèn)題，本文利用Halcon及Visual studio軟件聯(lián)合開(kāi)發(fā)了基于機(jī)器視覺(jué)的觸摸屏碳漿點(diǎn)印設(shè)備。本文將真空吸附機(jī)械手、精密移動(dòng)平臺(tái)、點(diǎn)印機(jī)構(gòu)以及機(jī)器視覺(jué)檢測(cè)結(jié)合在一起，實(shí)現(xiàn)對(duì)觸摸屏的碳漿點(diǎn)印及質(zhì)量在線檢測(cè)。通過(guò)對(duì)觸摸屏上輔助點(diǎn)的定位識(shí)別，實(shí)現(xiàn)碳漿的精準(zhǔn)點(diǎn)印；通過(guò)對(duì)圖像處理，識(shí)別并提取出碳漿點(diǎn)的形狀、大小和位置以及管腳的位置，通過(guò)對(duì)比后，判斷碳漿點(diǎn)的點(diǎn)印質(zhì)量；并由高速分揀機(jī)械手實(shí)現(xiàn)對(duì)不合格產(chǎn)品的剔除。設(shè)備平均每分鐘完成15片觸摸屏的碳漿點(diǎn)印，機(jī)器視覺(jué)檢測(cè)碳漿點(diǎn)印的平均錯(cuò)檢率為0.05%，基于機(jī)器視覺(jué)的觸摸屏碳漿點(diǎn)印設(shè)備生產(chǎn)的觸摸屏半成品的良品率高于98%，具有廣闊的市場(chǎng)應(yīng)用前景。