基于機(jī)器視覺(jué)檢測(cè)的手機(jī)顯示屏點(diǎn)膠系統(tǒng)*

吳佳毅陳建強(qiáng)鄧宇平郭劍鋒姚卓榮

基于機(jī)器視覺(jué)檢測(cè)的手機(jī)顯示屏點(diǎn)膠系統(tǒng)*

吳佳毅1陳建強(qiáng)1鄧宇平2郭劍鋒2姚卓榮1

（1.廣州滄恒自動(dòng)控制科技有限公司 2.廣東工業(yè)大學(xué)機(jī)電工程學(xué)院）

針對(duì)手機(jī)顯示屏點(diǎn)膠機(jī)存在的定位機(jī)構(gòu)復(fù)雜、效率低和質(zhì)量不穩(wěn)定等問(wèn)題，在傳統(tǒng)手機(jī)顯示屏點(diǎn)膠技術(shù)基礎(chǔ)上增加機(jī)器視覺(jué)檢測(cè)系統(tǒng)，實(shí)現(xiàn)定位校準(zhǔn)功能。首先在手機(jī)顯示屏上任取2個(gè)特征點(diǎn)作為圖像校正的基準(zhǔn)點(diǎn)，對(duì)采集的手機(jī)顯示屏圖像進(jìn)行預(yù)處理，利用圖像金字塔以及仿射變換對(duì)特征點(diǎn)進(jìn)行模板匹配；然后標(biāo)定圖像，完成相機(jī)坐標(biāo)和世界坐標(biāo)的轉(zhuǎn)換；最后通過(guò)基準(zhǔn)點(diǎn)的偏移進(jìn)行圖像校正。實(shí)驗(yàn)結(jié)果表明：機(jī)器視覺(jué)檢測(cè)系統(tǒng)能夠定位手機(jī)顯示屏位置，結(jié)合運(yùn)動(dòng)控制系統(tǒng)，達(dá)到精確點(diǎn)膠目的。

視覺(jué)檢測(cè)；定位校準(zhǔn)；圖像標(biāo)定；模板匹配

0　引言

近年來(lái)，手機(jī)顯示屏越來(lái)越大、邊框越來(lái)越窄，這對(duì)手機(jī)顯示屏的貼合技術(shù)要求越來(lái)越高，特別是對(duì)自動(dòng)化點(diǎn)膠機(jī)灌膠封層技術(shù)要求不斷提高[1-2]。

傳統(tǒng)手機(jī)顯示屏點(diǎn)膠過(guò)程中，若工件偏移（夾具未夾緊），可能使點(diǎn)膠位置不準(zhǔn)確；若誤判點(diǎn)膠路徑，點(diǎn)膠位置會(huì)產(chǎn)生嚴(yán)重誤差，導(dǎo)致點(diǎn)膠質(zhì)量大大降低[3]。為解決上述問(wèn)題，本文利用機(jī)器視覺(jué)檢測(cè)手機(jī)顯示屏的準(zhǔn)確位置坐標(biāo)參數(shù)，并將該坐標(biāo)參數(shù)傳輸給運(yùn)動(dòng)控制系統(tǒng)，以控制點(diǎn)膠機(jī)沿正確路徑進(jìn)行點(diǎn)膠，實(shí)現(xiàn)高效率、高質(zhì)量點(diǎn)膠生產(chǎn)。

圖1　基于機(jī)器視覺(jué)檢測(cè)的手機(jī)顯示屏點(diǎn)膠系統(tǒng)組成框圖

1　手機(jī)顯示屏點(diǎn)膠系統(tǒng)總體設(shè)計(jì)

基于機(jī)器視覺(jué)檢測(cè)的手機(jī)顯示屏點(diǎn)膠系統(tǒng)主要包括點(diǎn)膠設(shè)備、機(jī)器視覺(jué)檢測(cè)系統(tǒng)和運(yùn)動(dòng)控制系統(tǒng)3部分，如圖1所示。點(diǎn)膠系統(tǒng)使用四軸機(jī)械臂，其中三軸控制點(diǎn)膠槍，軸固定工件，如圖2所示。四軸機(jī)械臂在運(yùn)動(dòng)控制器的控制下進(jìn)行對(duì)應(yīng)的導(dǎo)軌絲桿運(yùn)動(dòng)，可較好地完成用戶設(shè)定的點(diǎn)膠動(dòng)作。機(jī)械臂還配有對(duì)應(yīng)軸的原點(diǎn)傳感器，便于每根軸準(zhǔn)確回到原點(diǎn)并能建立正確的加工坐標(biāo)系。

手機(jī)顯示屏點(diǎn)膠系統(tǒng)的點(diǎn)膠流程如圖3所示。首先對(duì)相機(jī)獲取的手機(jī)顯示屏圖片進(jìn)行圖像預(yù)處理；然后采用機(jī)器視覺(jué)算法確定工件的偏移情況，并傳輸給運(yùn)動(dòng)控制系統(tǒng)；最后運(yùn)動(dòng)控制系統(tǒng)生成正確的點(diǎn)膠路徑，完成點(diǎn)膠流程。

圖2　四軸機(jī)器人示意圖

圖3　手機(jī)顯示屏點(diǎn)膠系統(tǒng)的點(diǎn)膠流程

2　機(jī)器視覺(jué)圖像處理算法

本文利用機(jī)器視覺(jué)檢測(cè)功能檢測(cè)工件位置的偏移。鑒于手機(jī)屏形狀規(guī)則，玻璃反光干擾圖像采集等因素，不直接對(duì)手機(jī)屏幕圖像進(jìn)行處理，而是對(duì)手機(jī)顯示屏上標(biāo)注的特征點(diǎn)（Mark點(diǎn)）進(jìn)行處理。通過(guò)Mark點(diǎn)獲取工件的偏移量，從而對(duì)實(shí)際點(diǎn)膠路徑的坐標(biāo)進(jìn)行補(bǔ)償。

機(jī)器視覺(jué)圖像處理算法主要包括圖像預(yù)處理、模板匹配、圖像標(biāo)定和圖像校正。

2.1　圖像預(yù)處理

點(diǎn)膠機(jī)工作通常處于非封閉狀態(tài)，環(huán)境照明比較復(fù)雜，即使配備合適的光源，也無(wú)法確保采集圖像質(zhì)量。為使手機(jī)顯示屏圖像邊緣清晰可用，采取如圖4所示步驟對(duì)圖像進(jìn)行預(yù)處理。

圖4　手機(jī)顯示屏圖像預(yù)處理步驟

灰度變換可使手機(jī)顯示屏圖像邊緣更突出，同時(shí)能一定程度減少光源差距帶來(lái)的影響。對(duì)圖像進(jìn)行旋轉(zhuǎn)、鏡像處理可方便后續(xù)圖像分析[4]。由于成像范圍較小，無(wú)需采取局部閾值分割。確定合適的閾值后，通過(guò)像素和閾值的大小關(guān)系對(duì)該像素進(jìn)行閾值分割，以區(qū)分目標(biāo)和背景[5]。對(duì)圖像進(jìn)行形態(tài)學(xué)開(kāi)運(yùn)算，先進(jìn)行腐蝕操作，再進(jìn)行膨脹操作。該方法能夠去除圖像中細(xì)小噪聲[6]。手機(jī)顯示屏圖像經(jīng)過(guò)圖像預(yù)處理后的成像結(jié)果如圖5所示。

圖5　手機(jī)顯示屏圖像經(jīng)過(guò)圖像預(yù)處理后的成像結(jié)果

2.2　模板匹配

由于手機(jī)屏幕具有反光特性，會(huì)對(duì)圖像采集及處理造成較大干擾，因此在手機(jī)屏幕的左上和右下2個(gè)對(duì)角分別標(biāo)注1個(gè)Mark點(diǎn)。模板匹配的任務(wù)就是精確地找到這2個(gè)Mark點(diǎn)位置。

傳統(tǒng)的模板匹配方法大多針對(duì)特定的定位標(biāo)志，耗時(shí)較長(zhǎng)；而基于灰度圖像旋轉(zhuǎn)不變的匹配方法，需預(yù)先知道匹配圖像的旋轉(zhuǎn)角度，再利用圖像方向碼直方圖進(jìn)行匹配運(yùn)算，但該方法不適合工件可能發(fā)生偏移的情況。

本文采用基于圖像金字塔分層算法加快運(yùn)算速度；同時(shí)對(duì)模板進(jìn)行仿射變換，增加圖像的旋轉(zhuǎn)不變性[7]。

2.2.1圖像金字塔

圖像金字塔第一層：用i表示待處理圖像的原始分辨率，并作為圖像金字塔底層；圖像金字塔第二層：對(duì)第一層先進(jìn)行低通濾波再進(jìn)行兩倍子采樣，稱其為i層。以此類推，形成圖像高斯金字塔，如圖6所示。

圖6　圖像高斯金字塔

對(duì)于二維圖像(,)，其金字塔結(jié)構(gòu)表達(dá)式為

式(1)等號(hào)左式表達(dá)對(duì)第層圖像低通濾波并進(jìn)行兩倍子采樣處理；右式表達(dá)尺度下的近似圖像，即經(jīng)處理后低分辨率的圖片。如上所述，一幅圖像的金字塔是一系列以金字塔形狀排列的分辨率逐步降低的圖像集合[8]。金字塔的底部是待處理圖像，頂部是待處理圖像低分辨率的近似。當(dāng)向金字塔上層移動(dòng)時(shí)，尺寸和分辨率降低。因此，在模板匹配過(guò)程中，先從低分辨率圖像進(jìn)行比對(duì)，能大幅減少匹配時(shí)間。

2.2.2仿射變化

為增加模板的旋轉(zhuǎn)不變性，排除工件位置偏移對(duì)算法的影響，引入仿射變化。仿射變換的實(shí)質(zhì)是在二維直角坐標(biāo)系下的線性映射加平移變換。其最明顯的特征是可通過(guò)平移、旋轉(zhuǎn)和縮放等實(shí)現(xiàn)直角坐標(biāo)系轉(zhuǎn)換，同時(shí)不改變圖像的平直性和平行性[9-10]。在手機(jī)顯示屏點(diǎn)膠過(guò)程中，工件發(fā)生的偏移大多是平移或旋轉(zhuǎn)。本文以圖像發(fā)生平移為例進(jìn)行說(shuō)明。

令原圖的任意坐標(biāo)為（,），仿射變化后的坐標(biāo)為（','），變換矩陣為，用矩陣乘法表示仿射變化。

將圖像像素的某一點(diǎn)從（,）移動(dòng)到（+t,+t）位置，則變換矩陣為

2.2.3基于圖像金字塔的模板匹配

在相機(jī)拍攝手機(jī)顯示屏?xí)r，攝像頭的位置固定，幾乎不發(fā)生圖像縮放，成像出現(xiàn)誤差主要來(lái)自于工件位置的平移或角度偏轉(zhuǎn)。為加快算法運(yùn)算速度，本文省略圖像縮放過(guò)程。

基于圖像金字塔和仿射變換的模板匹配步驟：

1）構(gòu)造原圖像和預(yù)先準(zhǔn)備好的匹配模板級(jí)分辨率圖像金字塔；

2）設(shè)定模板的旋轉(zhuǎn)角度和步長(zhǎng)；

3）設(shè)定相關(guān)系數(shù)的門限1，若第（?1）級(jí)的圖像分辨率與圖像匹配的相關(guān)系數(shù)小于1，則匹配第（?2）級(jí)的圖像分辨率；

4）推算匹配圖像的位置，在設(shè)定的角度旋轉(zhuǎn)范圍內(nèi)再一次進(jìn)行模板匹配；同時(shí)設(shè)定一個(gè)相關(guān)系數(shù)門限2，若匹配的相關(guān)系數(shù)大于2，則匹配完成。

2.3　圖像標(biāo)定

圖像標(biāo)定需完成相機(jī)坐標(biāo)對(duì)世界坐標(biāo)的轉(zhuǎn)換。以創(chuàng)建模板的坐標(biāo)處為中心取9個(gè)點(diǎn)，在每個(gè)點(diǎn)都進(jìn)行一次模板查找；將每個(gè)點(diǎn)的像素坐標(biāo)和機(jī)械坐標(biāo)保存在不同數(shù)組；再將這9組坐標(biāo)利用仿射變換，得到世界坐標(biāo)與相機(jī)坐標(biāo)的轉(zhuǎn)換關(guān)系，如式(4)所示。

其中，','表示機(jī)械坐標(biāo)的坐標(biāo)；為旋轉(zhuǎn)系數(shù)；,表示像素坐標(biāo)的坐標(biāo)；為位移。

2.4　圖像校正

圖像校正的主要作用是對(duì)點(diǎn)膠軌跡坐標(biāo)進(jìn)行補(bǔ)償。具體步驟：在點(diǎn)膠程序開(kāi)始運(yùn)行前，進(jìn)行模板匹配；查找到模板后獲取圖像中心；利用圖像標(biāo)定獲得的轉(zhuǎn)換矩陣將圖像中心轉(zhuǎn)換為機(jī)械中心；機(jī)械中心與模板樣例的機(jī)械中心進(jìn)行減法，得到工件前后偏移量；將該偏移量輸入每條運(yùn)動(dòng)點(diǎn)膠指令。

3　運(yùn)動(dòng)控制系統(tǒng)

機(jī)器視覺(jué)檢測(cè)系統(tǒng)獲得的工件偏移參數(shù)，輸入到四軸機(jī)械臂運(yùn)動(dòng)控制系統(tǒng)，實(shí)現(xiàn)對(duì)手機(jī)顯示屏的精確點(diǎn)膠。點(diǎn)膠步驟：

1）模板匹配并保存模板中心（便于圖像標(biāo)定，轉(zhuǎn)換相機(jī)坐標(biāo)為世界坐標(biāo)），計(jì)算原始模板與實(shí)際模板偏移量并保存；

2）在模板匹配的同時(shí)，運(yùn)動(dòng)控制系統(tǒng)根據(jù)需要點(diǎn)膠的手機(jī)顯示屏型號(hào)，規(guī)劃標(biāo)準(zhǔn)點(diǎn)膠路徑（在工件不發(fā)生偏移情況下的點(diǎn)膠路徑）；

3）根據(jù)模板中心計(jì)算的工件偏移，在原有軌跡點(diǎn)加入補(bǔ)償坐標(biāo)，修正點(diǎn)膠軌跡（此時(shí)的點(diǎn)膠軌跡為該工件偏移狀態(tài)下的特定路徑）；

4）調(diào)用運(yùn)動(dòng)控制函數(shù)控制機(jī)械臂各軸進(jìn)行點(diǎn)膠運(yùn)動(dòng)。

運(yùn)動(dòng)控制系統(tǒng)采用DMC5400A運(yùn)動(dòng)控制卡，其特點(diǎn)是實(shí)時(shí)處理速度快。加入前瞻后，連續(xù)軌跡運(yùn)動(dòng)過(guò)程中，每條運(yùn)動(dòng)指令的連接時(shí)間幾乎為0 s，且能夠自動(dòng)規(guī)劃每段運(yùn)動(dòng)的銜接速度，可更快、更平滑地完成點(diǎn)膠過(guò)程的連續(xù)軌跡運(yùn)動(dòng)，避免點(diǎn)膠過(guò)程中由于卡頓引起的點(diǎn)膠質(zhì)量下降問(wèn)題。

4　點(diǎn)膠運(yùn)動(dòng)測(cè)試實(shí)驗(yàn)

手機(jī)顯示屏點(diǎn)膠膠粘接條件：被粘接物表面潔凈；被粘接物寬度≥1.0 mm；厚度≥0.3 mm；粘合劑厚度在0.02 mm~0.05 mm之間；在140℃～160℃（熱壓合模具溫度）壓合[11]。

實(shí)驗(yàn)采用某手機(jī)整機(jī)寬度為64.90 mm、屏幕為4.4寸。主屏顯示區(qū)域到點(diǎn)膠邊緣的距離約為3 mm，接近最窄寬度。這樣可證明該手機(jī)顯示屏點(diǎn)膠系統(tǒng)能夠滿足絕大部分手機(jī)顯示屏點(diǎn)膠的需求。

實(shí)驗(yàn)在工件無(wú)偏移和人為預(yù)設(shè)偏移位置情況下，測(cè)試點(diǎn)膠軌跡是否能進(jìn)行坐標(biāo)補(bǔ)償，達(dá)到精確點(diǎn)膠的效果。

4.1　工件無(wú)偏移測(cè)試

在工件無(wú)偏移時(shí)，分別在圓弧和直線運(yùn)動(dòng)的情況下，測(cè)試點(diǎn)膠軌跡是否會(huì)偏離預(yù)設(shè)路徑。對(duì)點(diǎn)膠機(jī)發(fā)出開(kāi)始點(diǎn)膠指令后，點(diǎn)膠機(jī)通過(guò)點(diǎn)膠指令表從設(shè)定的坐標(biāo)開(kāi)始點(diǎn)膠，如圖7所示。

圖7　點(diǎn)膠指令表

以圖7線段起點(diǎn)坐標(biāo),,（183.658, 339.408, 45.359）為例，每2個(gè)線段點(diǎn)的坐標(biāo)表示在直線運(yùn)動(dòng)中隨機(jī)抽取的軌跡坐標(biāo)。以軸方向運(yùn)動(dòng)為例，可看出相鄰2個(gè)坐標(biāo)間，軸坐標(biāo)偏差最大不超過(guò)0.3 mm。說(shuō)明在直線運(yùn)動(dòng)過(guò)程中，點(diǎn)膠路徑未發(fā)生大的偏移、點(diǎn)膠精度較好。同理，在圓弧運(yùn)動(dòng)過(guò)程中，圓弧中點(diǎn)位置的偏差始終保持在0.5 mm以內(nèi)，由此表明，圓弧運(yùn)動(dòng)時(shí)，其運(yùn)動(dòng)的圓心并未發(fā)生較大偏移，點(diǎn)膠過(guò)程能保持較好精度。

4.2　預(yù)設(shè)偏移位置測(cè)試

人為預(yù)設(shè)工件偏移位置，測(cè)試手機(jī)顯示屏點(diǎn)膠系統(tǒng)能否正確找到手機(jī)顯示屏上的2個(gè)Mark點(diǎn)位置。

如圖8、圖9所示，圓圈部分是手機(jī)顯示屏上預(yù)設(shè)的2個(gè)Mark點(diǎn)，十字部分是系統(tǒng)判斷的Mark點(diǎn)位置。對(duì)圖像進(jìn)行放大后發(fā)現(xiàn)，Mark點(diǎn)（圓心）位置與十字中心貼合，說(shuō)明系統(tǒng)在工件發(fā)生偏離后仍能準(zhǔn)確定位Mark點(diǎn)位置，從而確定工件偏移情況。用4.1的實(shí)驗(yàn)方法進(jìn)行再次測(cè)試，結(jié)果表明：直線運(yùn)動(dòng)偏差在0.3 mm以內(nèi)，圓弧中心偏差在0.5 mm以內(nèi)。

圖8　手機(jī)顯示屏左上角Mark點(diǎn)識(shí)別

圖9　手機(jī)顯示屏右下角Mark點(diǎn)識(shí)別

5　結(jié)論

本文在傳統(tǒng)手機(jī)顯示屏點(diǎn)膠技術(shù)的基礎(chǔ)上增加了機(jī)器視覺(jué)檢測(cè)系統(tǒng)，通過(guò)檢測(cè)手機(jī)顯示屏上預(yù)先設(shè)定的Mark點(diǎn)位置，可得到工件位置的偏移參數(shù)。采用基于圖像金字塔的模板匹配算法能較好保證算法實(shí)時(shí)性。在工件發(fā)生偏移時(shí)，只要移動(dòng)后的Mark點(diǎn)仍在預(yù)定的相機(jī)視場(chǎng)內(nèi)，點(diǎn)膠運(yùn)動(dòng)軌跡便能準(zhǔn)確地與手機(jī)屏幕模型邊緣線重合。最后通過(guò)與DMC5400A運(yùn)動(dòng)控制卡結(jié)合，達(dá)到點(diǎn)膠過(guò)程無(wú)卡頓的需求。實(shí)驗(yàn)結(jié)果表明：直線運(yùn)動(dòng)偏差在0.3 mm以內(nèi)，圓弧運(yùn)動(dòng)中心偏差在0.5 mm以內(nèi)，達(dá)到精確點(diǎn)膠的要求。

[1] 朱廣韜.基于機(jī)器視覺(jué)的雙頭點(diǎn)膠機(jī)的設(shè)計(jì)[D].鎮(zhèn)江:江蘇大學(xué),2016.

[2] Dan Ashley.點(diǎn)膠工藝的新進(jìn)展[J].電子工業(yè)專用設(shè)備,2013, 42(Z1):72-74.

[3] 肖守柏.基于機(jī)器視覺(jué)的三軸點(diǎn)膠機(jī)定位控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].數(shù)字技術(shù)與應(yīng)用,2014(8):9-10.

[4] 陳新磊.基于灰度變換及邊緣檢測(cè)的腦地形圖像識(shí)別算法的研究[J].電腦編程技巧與維護(hù),2019(3):131-133.

[5] 陽(yáng)樹(shù)洪.灰度圖像閾值分割的自適應(yīng)和快速算法研究[D].重慶:重慶大學(xué),2014.

[6] 李海霞,羅芳芳.汽車輔助駕駛系統(tǒng)交通信號(hào)燈識(shí)別[J].電子技術(shù)與軟件工程,2018(13):234-236.

[7] 漆志亮.基于機(jī)器視覺(jué)的點(diǎn)膠機(jī)工件定位研究[D].南昌:南昌大學(xué),2018.

[8] 江志軍,易華蓉.一種基于圖像金字塔光流的特征跟蹤方法[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2007,32(8):680-683.

[9] 曾文鋒,李樹(shù)山,王江安.基于仿射變換模型的圖像配準(zhǔn)中的平移、旋轉(zhuǎn)和縮放[J].紅外與激光工程,2001,30(1):18-20,17.

[10] 劉幣幣.基于機(jī)器視覺(jué)定位的自動(dòng)點(diǎn)膠控制系統(tǒng)的研究與開(kāi)發(fā)[D].廣州:華南理工大學(xué),2016.

[11] 李帥.窄邊點(diǎn)膠工藝在智能手機(jī)領(lǐng)域的應(yīng)用與推廣策略——以廈門威爾邦公司為例[D].廈門:廈門大學(xué),2014.

Dispensing System of Mobile Screen Based on Machine Vision Inspection

Wu Jiayi1Chen Jianqiang1Deng Yuping2Guo Jianfeng2Yao Zhuorong1

(1.Guangzhou Cangheng Automatic Control Technology Co., Ltd. 2.School of Electromechanical Engineering, Guangdong University of Technology)

Aiming at the problems of complex positioning mechanism, low efficiency and unstable quality of dispensing machine for mobile display screen, machine vision detection system is added on the basis of traditional dispensing technology for mobile display screen to realize positioning calibration function. Firstly, two feature points are selected as the reference points of image correction on the mobile phone display screen, and the collected images of the mobile phone display screen are preprocessed, and the feature points are matched by image pyramid and affine transformation. Then, the image is calibrated to complete the transformation of camera coordinates and world coordinates. Finally, the reference points are offset. Image correction is performed. The experimental results show that the machine vision detection system can accurately locate the position of the mobile phone display screen, and achieve the purpose of accurate dispensing with good motion control system.

Visual Detection; Location Calibration; Image Calibration; Template Matching

廣州市科技計(jì)劃珠江科技新星專題項(xiàng)目（201806010128)；廣州市科技計(jì)劃現(xiàn)代產(chǎn)業(yè)技術(shù)專題項(xiàng)目（201802010021）。

吳佳毅，男，1992年生，碩士研究生，主要研究方向：機(jī)器視覺(jué)、智能測(cè)控。

陳建強(qiáng)，男，1987年生，碩士研究生，主要研究方向：機(jī)器視覺(jué)、機(jī)器學(xué)習(xí)、智能測(cè)控。

鄧宇平（通信作者），男，1996年生，碩士（在讀），主要研究方向：深度學(xué)習(xí)、機(jī)器視覺(jué)。E-mail：849721104@qq.com

郭劍鋒，男，1997年生，本科，主要研究方向：機(jī)器視覺(jué)、儀器儀表。

姚卓榮，男，1996年生，本科，主要研究方向：儀器儀表、機(jī)器視覺(jué)。