動作軌跡捕捉技術(shù)在裝配防錯領(lǐng)域的應(yīng)用

李欲曉 張俊雄 楊牧

摘要：在發(fā)動機(jī)制造過程中，裝配環(huán)節(jié)工序流程復(fù)雜、零件種類繁多、裝配參數(shù)要求嚴(yán)格，且存在一些暫不適合使用自動化設(shè)備的工位。人工執(zhí)行作業(yè)會帶來較多的不確定因素，導(dǎo)致裝配過程的錯、漏等執(zhí)行問題，影響發(fā)動機(jī)品質(zhì)。對此提出了采用機(jī)器視覺技術(shù)進(jìn)行發(fā)動機(jī)裝配過程防錯的技術(shù)應(yīng)用方案，根據(jù)發(fā)動機(jī)裝配過程中的動作特征，通過目標(biāo)特征提取和識別檢測算法，實現(xiàn)對人工作業(yè)軌跡的實時跟蹤、判斷、規(guī)范和引導(dǎo)，在避免不同裝配環(huán)節(jié)中出現(xiàn)錯誤的同時，對操作人員的作業(yè)時長和作業(yè)姿態(tài)進(jìn)行規(guī)范，實現(xiàn)整線裝配質(zhì)量和裝配效率的提高。

關(guān)鍵詞：發(fā)動機(jī);軌跡捕捉;色調(diào);防錯;裝配

0?前言

發(fā)動機(jī)的裝配過程可以理解為將其主要機(jī)構(gòu)和各個零部件以正確合理的順序，采用對應(yīng)工藝，嚴(yán)格依照要求將其裝配成為整體，且在裝配的同時出于防錯的需求，對關(guān)鍵零部件的工藝參數(shù)及操作過程進(jìn)行采集判斷，確保其符合標(biāo)準(zhǔn)工藝要求，保證裝配質(zhì)量，使裝配完成后的發(fā)動機(jī)有良好的密封性和性能表現(xiàn)。

目前主流的圖像識別、扭矩檢測等防錯手段主要面向人員的作業(yè)結(jié)果進(jìn)行檢測，普遍缺少對人工作業(yè)過程的直接探測能力，無法對人員操作進(jìn)行有效防錯。

本文提出對人工標(biāo)準(zhǔn)作業(yè)過程進(jìn)行分解，結(jié)合機(jī)器視覺技術(shù)，針對作業(yè)過程中影響裝配質(zhì)量的關(guān)鍵動作要素進(jìn)行逐一檢測判斷，從傳統(tǒng)判斷作業(yè)結(jié)果的檢測思路轉(zhuǎn)變?yōu)槊嫦蜃鳂I(yè)過程檢測，達(dá)到對發(fā)動機(jī)裝配過程的控制防錯目的。

1?動作軌跡防錯系統(tǒng)簡述及其架構(gòu)

動作軌跡防錯系統(tǒng)是以機(jī)器視覺技術(shù)為核心算法，通過工業(yè)相機(jī)、數(shù)據(jù)處理服務(wù)器、現(xiàn)場工控機(jī)等各部分硬件系統(tǒng)的有機(jī)結(jié)合，組合成為具有實時性、穩(wěn)定性、準(zhǔn)確性的高效復(fù)雜應(yīng)用型系統(tǒng)。該系統(tǒng)可以適應(yīng)自動化及半自動化裝配線高速運(yùn)轉(zhuǎn)的節(jié)拍需求，實時完成對目標(biāo)圖像的采集、處理、判斷，并輸出判斷及引導(dǎo)結(jié)果。

動作軌跡捕捉防錯系統(tǒng)包括圖像采集、圖像處理、智能判斷決策3大模塊，動作軌跡捕捉防錯系統(tǒng)通過圖像采集設(shè)備從外界獲取目標(biāo)的實時圖像，經(jīng)過計算機(jī)中圖像處理算法的進(jìn)一步處理與分析后，輸出與需求判斷結(jié)果相關(guān)的符合性描述，并據(jù)此進(jìn)行判斷與決策，最終獲得檢測結(jié)果。圖1示出了動作軌防錯系統(tǒng)架構(gòu)原理，圖2示出了現(xiàn)場的布置情況。

2?動作軌跡防錯系統(tǒng)技術(shù)基礎(chǔ)

2.1?六角錐體模型（HSV）顏色空間

在機(jī)器視覺處理過程中，HSV顏色空間對色彩的表達(dá)方式可以使算法更易于判斷顏色類別，便于在算法中對所需顏色進(jìn)行定義和分辨。在使用效果上，由于在發(fā)動機(jī)生產(chǎn)過程中的背景環(huán)境復(fù)雜，顏色背景多樣，導(dǎo)致在圖像采集過程中的目標(biāo)色在算法上與部分環(huán)境背景差異過小，對機(jī)器視覺的算法判斷過程易產(chǎn)生誤差。經(jīng)現(xiàn)場預(yù)研，應(yīng)用HSV顏色格式后，算法在判斷準(zhǔn)確率等多方面表現(xiàn)明顯優(yōu)于由傳統(tǒng)的自定義顏色（RGB）元素進(jìn)行組合來描述顏色的方式。

色調(diào)是顏色的度量基礎(chǔ)，可以認(rèn)為是在1種顏色均勻漸變的錐形顏色模型上，以紅色所在位置為0°，某種顏色與紅色所在位置的夾角即為該顏色的色調(diào)。

飽和度代表目標(biāo)顏色與光譜中某種顏色的相近程度。因為任取一種隨機(jī)顏色，都可以將其認(rèn)為是由光譜中的某種顏色與白色相混合后得到。并且當(dāng)1種顏色與光譜中某種顏色的相似程度越高，即說明該光譜色在這種顏色中的越占據(jù)主要地位越高，飽和度也就越高。通常取值范圍為0%～100%。

明度是對該顏色的明暗程度進(jìn)行表述的方式[1]。圖3為HSV顏色模型。

2.2?二值化

研究人員對目標(biāo)圖像數(shù)組依照一定規(guī)則進(jìn)行分割，設(shè)定了1個規(guī)定閾值，將大于這個閾值像素的灰度設(shè)為灰度極大值，把小于這個閾值像素的設(shè)為極小值，從而實現(xiàn)圖像數(shù)組二值化，對圖像采集結(jié)果進(jìn)行簡化。

3?動作軌跡防錯系統(tǒng)功能要點(diǎn)

3.1?員工動作位置、動作內(nèi)容的指示引導(dǎo)

根據(jù)工藝文件要求形成的標(biāo)準(zhǔn)作業(yè)軌跡是視覺跟蹤算法進(jìn)行實時指示判斷的依據(jù)。圖4示出了動作指示界面。

在發(fā)動機(jī)到達(dá)工位后，線體可編程邏輯控制器（PLC）將當(dāng)前機(jī)型及到位信號輸出給客戶端，動作引導(dǎo)模塊據(jù)此選擇對應(yīng)標(biāo)準(zhǔn)作業(yè)軌跡配置。在系統(tǒng)界面上對操作工將進(jìn)行的動作內(nèi)容、動作位置進(jìn)行實時指示引導(dǎo)，當(dāng)操作人員完成當(dāng)前工步作業(yè)且程序判斷合格后，防錯系統(tǒng)即繼續(xù)進(jìn)行下一工步的指示顯示。

3.2?人工動作軌跡的實時跟蹤捕捉識別

為使視覺跟蹤算法的判斷有據(jù)可依，研究人員經(jīng)過梳理，將操作過程中的動作細(xì)化拆分為抓、握、移動、旋轉(zhuǎn)、停留等最基本的動作單位，過濾掉出錯風(fēng)險低且自由性大的動作后，整理出系統(tǒng)需抓取、跟蹤、識別的關(guān)鍵動作位置，并根據(jù)動作發(fā)生位置和標(biāo)準(zhǔn)作業(yè)時長對關(guān)鍵動作進(jìn)行排序，形成可供判斷的標(biāo)準(zhǔn)動作軌跡。動作軌跡包含操作人員的手部位置、手部動作路徑、手部工具的變更、手部工具的位置、手部工具動作路徑等要素。

在動作軌跡防錯系統(tǒng)中，操作人員通過動作時長、動作標(biāo)色、動作檢測區(qū)域、動作發(fā)生區(qū)域，動作閾值等多項參數(shù)完成對關(guān)鍵動作的定義。

程序根據(jù)特征色判斷動作是否發(fā)生。系統(tǒng)將1個動作對應(yīng)的特征色及其HSV值域進(jìn)行預(yù)設(shè)，在視覺采集畫面中框選該動作的發(fā)生區(qū)域、并配置動作的發(fā)生時間、發(fā)生閾值等參數(shù)，完成對該動作的定義。

系統(tǒng)在采集到現(xiàn)場畫面后，算法在預(yù)先框定的動作判斷區(qū)域隨機(jī)均勻地選擇像素點(diǎn)，將其顏色格式由RGB轉(zhuǎn)換為HSV顏色空間，依次根據(jù)二值法對這些像素點(diǎn)是否處于動作特征色的HSV區(qū)間進(jìn)行判斷和處理，最后算法計算目標(biāo)特征點(diǎn)在所有選定像素點(diǎn)中的占比，若H、S、V三通道的輸出交集結(jié)果超出事先設(shè)定的動作發(fā)生閾值，則判斷該動作發(fā)生。圖5示出了判斷算法的運(yùn)行界面。

3.3?防錯系統(tǒng)判斷處理

動作軌跡防錯系統(tǒng)根據(jù)PLC信號選擇與當(dāng)前機(jī)型對應(yīng)的標(biāo)準(zhǔn)動作軌跡后，判斷員工是否按標(biāo)準(zhǔn)軌跡完成所有規(guī)定位置的操作步驟，作業(yè)過程合格即輸出放行信號到PLC，準(zhǔn)許該發(fā)動機(jī)流向下一工位。

當(dāng)員工操作與標(biāo)準(zhǔn)軌跡不符時，程序報錯提醒并在后臺記錄發(fā)生錯誤的時間、班次、機(jī)型、錯誤工步等信息，且輸出錯誤信號至PLC禁止該臺發(fā)動機(jī)放行，當(dāng)員工確認(rèn)錯誤提醒，重新進(jìn)行該工步調(diào)整，經(jīng)視覺防錯驗證通過，解除PLC鎖定并繼續(xù)進(jìn)行下1個步驟的判斷。圖6示出了動作錯誤提醒。

3.4?生產(chǎn)質(zhì)量問題追溯

程序具有擴(kuò)展性，可以在不進(jìn)行代碼編寫的情況下適應(yīng)生產(chǎn)變化，造成檢測內(nèi)容、檢測位置的變更和移動，并且能夠通過增加硬件，在其他工位類似場景下配置出新的動作軌跡跟蹤、檢測、指示功能。

4?動作軌跡防錯系統(tǒng)功能驗證

4.1?功能驗證清單

功能驗證清單如表1所列。

4.2?試點(diǎn)工位選擇

為了驗證防錯程序?qū)τ趶?fù)雜操作步驟的檢測防錯能力，研究人員選定1個復(fù)雜工位作為試點(diǎn)工位，該工位包括24個操作位置;取、擰、握、塞等多種動作形式。按機(jī)型不同，單次調(diào)整最少30個動作步驟。動作形式多樣，動作內(nèi)容復(fù)雜，作業(yè)位置切換頻繁，適于進(jìn)行技術(shù)驗證。

4.3?驗證結(jié)論

驗證結(jié)論如表2所列。

經(jīng)過對200臺發(fā)動機(jī)的試驗驗證，動作軌跡防錯系統(tǒng)的功能及可靠性得到了驗證，能夠滿足檢測需求。

針對正確操作判斷為錯誤2%誤判率的問題，研究人員可通過重新優(yōu)化算法判斷閾值及改進(jìn)工藝參數(shù)的進(jìn)行解決。

對于體積細(xì)小工具的類型識別和手部細(xì)節(jié)動作識別，研究人員采用1個檢測框?qū)?個目標(biāo)進(jìn)行細(xì)節(jié)特征的檢測，如需要進(jìn)一步提高辨識精度，可以通過增加檢測框，提升圖像處理設(shè)備算力及更新像素較高工業(yè)相機(jī)的方式進(jìn)行解決。

5?結(jié)語

在工業(yè)生產(chǎn)過程中，相對于傳統(tǒng)檢測方法，應(yīng)用機(jī)器視覺技術(shù)的動作捕捉防錯系統(tǒng)對人工作業(yè)過程可進(jìn)行快速、準(zhǔn)確、可靠的控制把關(guān)，對提高產(chǎn)品一致性，降低工人勞動強(qiáng)度及推進(jìn)企業(yè)智能制造進(jìn)程等工作具有相當(dāng)大的助推潛力。該項技術(shù)經(jīng)驗證可行，有較強(qiáng)推廣價值。

研究人員后續(xù)會進(jìn)行將正確操作誤判為錯誤問題發(fā)生率壓降，以及復(fù)雜裝配場景下動作軌跡捕捉技術(shù)的推廣應(yīng)用研究工作。

參考文獻(xiàn)

[1]HOY D E P. On the use of color imaging in experimental applications[J]. Experimental Techniques，2010， 21（4）：17.19.