基于機器視覺的表面質(zhì)量檢測系統(tǒng)研究與應(yīng)用

孫 賀，冷于浩，劉默嘉，劉勝波

(青島中導(dǎo)辰遠智能科技有限公司，山東 青島 266500)

0 引言

產(chǎn)品質(zhì)量一直是工業(yè)生產(chǎn)中關(guān)鍵性的環(huán)節(jié)，直接關(guān)系到產(chǎn)品的市場認可度，具有高質(zhì)量的產(chǎn)品才能在激烈市場競爭中獲取一席之地[1]。隨著制造業(yè)水平的提升，為了確保企業(yè)的核心競爭力，需要不斷地提高產(chǎn)品的質(zhì)量、檢測速度及精度。然而，目前大部分企業(yè)的質(zhì)量檢測仍然依靠人工抽檢，存在漏檢、誤檢、檢驗標準不統(tǒng)一等問題；同時還存在著耗費時間較多、數(shù)據(jù)難以統(tǒng)一管理、監(jiān)測等問題，檢測結(jié)果數(shù)據(jù)無法得到充分有效的利用，無法實現(xiàn)共享[2]。

隨著新一代信息技術(shù)的不斷發(fā)展和應(yīng)用領(lǐng)域的不斷擴展，適用于工業(yè)產(chǎn)品質(zhì)量檢測的全自動化缺陷檢測系統(tǒng)隨之發(fā)展起來。近年來，數(shù)字圖像處理技術(shù)和機器視覺技術(shù)正在持續(xù)發(fā)展，并在工業(yè)產(chǎn)品表面缺陷檢測方面的應(yīng)用不斷擴大[3]。由于檢測的快速性、低成本和結(jié)果的可靠性，基于圖像處理和機器視覺的自動目視檢測技術(shù)已經(jīng)成為熱點。毫無疑問，自動目視檢測技術(shù)顯著地提高了工業(yè)產(chǎn)品的質(zhì)量檢測性能以及產(chǎn)品品質(zhì)[4]。

針對以上問題，本文緊密結(jié)合國內(nèi)產(chǎn)品檢測的實際情況，利用5G，AI，MEC(Mobile Edge Computing)等相關(guān)技術(shù)，對產(chǎn)品質(zhì)量檢測進行基于機器視覺的云邊端一體化方案實施，打造行業(yè)成熟的檢測標準化算法倉庫，提煉視覺算法、軟件、機械等模型，實現(xiàn)系統(tǒng)化設(shè)計開發(fā)、測試應(yīng)用，助力工廠生產(chǎn)制造的全流程、全要素提質(zhì)增效。系統(tǒng)總體架構(gòu)體系如圖1所示。

圖1 系統(tǒng)總體架構(gòu)體系

1 系統(tǒng)總體架構(gòu)

本檢測系統(tǒng)的搭建是基于云邊協(xié)同處理模式，相機設(shè)備、視覺算法等本地分離，即將工業(yè)相機在現(xiàn)場部署，視覺算法部署在廠區(qū)，MEC、檢測模型設(shè)計部署在企業(yè)云端。通過端、邊、云互相協(xié)同發(fā)揮各自優(yōu)勢，實現(xiàn)機電分離、模型和算法快速迭代，創(chuàng)建新的檢測模式。經(jīng)過云/邊端的算法層智能分析決策，用戶通過模塊化編輯界面實現(xiàn)可視化管理，系統(tǒng)可以App/PC系統(tǒng)版本賦能輪胎、家電等企業(yè)產(chǎn)品檢驗檢測的應(yīng)用場景中，實現(xiàn)統(tǒng)一監(jiān)管、智能檢測及精準閉環(huán)[5]。

1.1 設(shè)備端

設(shè)備端包括各檢測設(shè)備資源，如光源、相機、鏡頭、智能儀表等基礎(chǔ)設(shè)施的物聯(lián)管理，為表面產(chǎn)品質(zhì)量分析提供可靠、穩(wěn)定、有效的數(shù)據(jù)來源。物聯(lián)管理實現(xiàn)設(shè)備數(shù)據(jù)與系統(tǒng)的對接管理及資源分配管理。檢測系統(tǒng)以5G網(wǎng)絡(luò)傳輸數(shù)據(jù)，以網(wǎng)絡(luò)切片和邊緣計算配合智能檢測技術(shù)打通工廠各生產(chǎn)要素，實現(xiàn)不同生產(chǎn)要素間的高效協(xié)同[6]。同時，系統(tǒng)利用5G網(wǎng)絡(luò)避免了多個視覺點帶來的多路線布置困難、空間占用大的問題，降低了工廠視覺檢測使用成本的50%～70%。

1.2 邊緣端

針對輪胎、家電、機械零件等產(chǎn)品質(zhì)量檢測的工業(yè)場景，在企業(yè)園區(qū)機房部署MEC設(shè)備，將設(shè)備與5G 基站相接，在MEC設(shè)備的軟件平臺中下載部署智能質(zhì)量檢測系統(tǒng)以及相關(guān)的視覺算法。多個工位不同的視覺檢測過程同時在MEC側(cè)運行，并將檢測結(jié)果返回到工位控制端。該方式可將多個相同工位的檢測結(jié)果匯集成數(shù)據(jù)庫，基于系統(tǒng)實現(xiàn)視頻流的快速算法分析及產(chǎn)品缺陷檢測即時報警[7]。

1.3 云端

為提升系統(tǒng)的產(chǎn)品檢測效率，云端涵蓋圖像數(shù)據(jù)的標定、數(shù)據(jù)集管理、模型訓練與部署等功能。視覺AI算法部署包括以下流程：數(shù)據(jù)準備，包括標注數(shù)據(jù)以及從其他數(shù)據(jù)集抽取的數(shù)據(jù)；模型訓練，包括傳統(tǒng)的訓練方式以及聯(lián)邦學習訓練方式[8]。當產(chǎn)線需要更新模型或者算法升級時，供應(yīng)商通過網(wǎng)絡(luò)將在云端提前訓練好的AI模型和算法提供給工廠；模型部署，包括服務(wù)器端模型部署和嵌入式計算平臺模型部署，為方便移植與部署，在服務(wù)器端模型部署需要部署到容器中，嵌入式平臺部署則根據(jù)需要進行模型壓縮。

此外，檢測系統(tǒng)還進一步融合MES，WMS等系統(tǒng)數(shù)據(jù)、產(chǎn)品物料數(shù)據(jù)、市場反饋追蹤數(shù)據(jù)，形成產(chǎn)品全生命周期質(zhì)量追溯，對市場質(zhì)量反饋進行自動分析及判定，一鍵式提供產(chǎn)品的所有生產(chǎn)過程數(shù)據(jù)，提供有理有據(jù)的質(zhì)量評定結(jié)果，減少質(zhì)量糾紛現(xiàn)狀[9]。

2 核心關(guān)鍵技術(shù)

在檢測系統(tǒng)建設(shè)過程匯總，重點解決了如下關(guān)鍵科學和技術(shù)問題。

2.1 5G+MEC云/邊端協(xié)同技術(shù)

采用5G、邊緣計算、云計算技術(shù)，現(xiàn)場部署5G網(wǎng)關(guān)和終端，實現(xiàn)數(shù)據(jù)高速傳輸、生產(chǎn)事件秒速響應(yīng)；邊緣端海量數(shù)據(jù)處理、高效協(xié)同，減少現(xiàn)場部署成本；中心云與邊緣端核心數(shù)據(jù)實時同步，減少云端數(shù)據(jù)儲存以及計算量。所有的視覺算法都部署在云端，對后期視覺軟件、算法的升級以及存儲信息的集中管理更加方便[10]。

2.2 深度學習算法，結(jié)合大數(shù)據(jù)訓練智能模型技術(shù)

率先將卷積神經(jīng)網(wǎng)絡(luò)等算法在工業(yè)領(lǐng)域應(yīng)用，可以通過上千萬實際產(chǎn)品缺陷圖像樣本訓練算法模型，不斷學習，自我進化升級。“聯(lián)邦學習+區(qū)塊鏈”的聯(lián)邦智能知識發(fā)現(xiàn)方法，解決了本地更新模型的問題，保障了數(shù)據(jù)的安全性、完整性和隱私性[11]。同時利用安全魯棒的聯(lián)邦智能知識發(fā)現(xiàn)新機制，實現(xiàn)多模態(tài)信息的有效融合，解決了數(shù)據(jù)可信問題以及神經(jīng)網(wǎng)絡(luò)模型泛化性問題，大大提升了檢測柔性，進一步提升了企業(yè)產(chǎn)品的市場競爭力。

2.3 基于卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)圖像與視頻的工業(yè)多源數(shù)據(jù)異常分析與預(yù)警

對于視頻圖像，根據(jù)不同的檢測識別任務(wù)，通過卷積神經(jīng)網(wǎng)絡(luò)(如：Res-Net，VGG等深度神經(jīng)網(wǎng)絡(luò))進行特征提取，并在特定的任務(wù)當中引入注意力機制(Attention Model)，以提高檢測性能，最后使用目標檢測(如：FaterRCNN，YOLOR等)與追蹤技術(shù)(如：DeepSORT，Tracktor 等)實現(xiàn)基于圖像與視頻的質(zhì)量管控智能化與數(shù)字化，達到對產(chǎn)品質(zhì)量的實時監(jiān)控，構(gòu)建圖像視頻智能分析預(yù)警模型[12]。

3 系統(tǒng)工作原理及功能

3.1 系統(tǒng)工作原理

系統(tǒng)檢測流程如圖2所示。

圖2 系統(tǒng)檢測主要流程

系統(tǒng)的主要特點如下：

(1)系統(tǒng)集成線掃、面陣相機，采用多組合方式，適應(yīng)現(xiàn)場檢測需求。

(2)采用合適的定位系統(tǒng)，保證檢測的可靠性。

(3)同時集成印刷品檢測系統(tǒng)，對印刷品的型號進行防錯檢測。

(4)使用數(shù)據(jù)采集系統(tǒng)，實時上傳檢測數(shù)據(jù)。

(5)采用AI算法，持續(xù)迭代更新。

(6)所有檢測結(jié)果可以上傳生產(chǎn)信息系統(tǒng)，同時可以按要求導(dǎo)出各種質(zhì)量報表，方便對生產(chǎn)進行有效的質(zhì)量管理。

3.2 系統(tǒng)功能

(1)檢測自動化。產(chǎn)品到達后，因觸發(fā)裝置自動停位，運動控制及機械手協(xié)同視覺檢測裝置實現(xiàn)產(chǎn)品的在線自動檢測。

(2)檢測柔性化。產(chǎn)品到達后，識別產(chǎn)品攜帶的唯一身份RFID成品碼，通過識別“身份”，匹配檢測路徑，實現(xiàn)產(chǎn)線柔性檢測及產(chǎn)品數(shù)據(jù)的綁定。

(3)檢測智能化。對視覺檢測系統(tǒng)采集的圖像及視頻流數(shù)據(jù)，通過算法去噪、算法融合及智能識別、深度學習訓練等算法，實現(xiàn)產(chǎn)品缺陷的高精準度檢測反饋。

(4)檢測結(jié)果數(shù)據(jù)化?；贏I及大數(shù)據(jù)分析的質(zhì)量追溯系統(tǒng)打通數(shù)據(jù)鏈，構(gòu)建3個連接：市場不良與檢測工位關(guān)聯(lián)；各工序質(zhì)量檢測數(shù)據(jù)與MES，WMS等系統(tǒng)互聯(lián)；產(chǎn)品信息與供應(yīng)商出廠檢測、產(chǎn)業(yè)入廠檢測、過程檢測、下線檢測等關(guān)聯(lián)。

4 典型應(yīng)用場景

4.1 場景案例1：某大型輪胎公司輪胎外觀(外側(cè)+內(nèi)測)質(zhì)量檢測場景

輪胎生產(chǎn)檢測工藝流程如圖3所示。

圖3 輪胎生產(chǎn)檢測工藝流程

4.1.1 痛點問題

輪胎作為汽車的重要部件，其質(zhì)量的好壞直接關(guān)系到汽車的安全行駛問題。為此，在輪胎的制造過程中實時檢測輪胎的質(zhì)量是至關(guān)重要的。傳統(tǒng)輪胎人工檢測質(zhì)檢勞動強度大，檢測速度慢、檢測準確率不穩(wěn)定(隨著人眼檢測時間的增加，檢測準確率明顯下降)、不同質(zhì)檢員的檢測水平、責任心和狀態(tài)，都會直接影響產(chǎn)品的品質(zhì)。

4.1.2 應(yīng)用情況

緊密結(jié)合某大型輪胎生產(chǎn)企業(yè)實際情況，檢測系統(tǒng)結(jié)合成熟的5G，AI，MEC等相關(guān)技術(shù)方案，針對“輪胎質(zhì)量檢測”進行云化方案應(yīng)用。

缺陷檢測：統(tǒng)一檢測標準，通過AI檢測算法滿足生產(chǎn)線對接頭搭接、偏心、接頭間隙、接頭偏歪以及氣泡等缺陷的檢測要求。

柔性檢測：滿足柔性生產(chǎn)的需求，全型號匹配，通過維護軟件檢測模板，檢測系統(tǒng)根據(jù)產(chǎn)品型號自動匹配，調(diào)取相關(guān)型號檢測參數(shù)。

實時保存：通過工業(yè)相機和5G網(wǎng)絡(luò)實時保存檢測對象，分類分時存儲。

實時反饋：通過人機界面和全覆蓋5G網(wǎng)絡(luò)實時分享檢測數(shù)據(jù)，并聯(lián)人人質(zhì)量系統(tǒng)，真正做到質(zhì)量到人、實時到人。

算法共享：使用5G技術(shù)，算法實時、遠程迭代。

檢測系統(tǒng)的應(yīng)用可實現(xiàn)輪胎缺陷的實時在線檢測、缺陷類型判定，極大地提高了輪胎缺陷檢測的效率和準確率。通過對企業(yè)輪胎質(zhì)量的管理及數(shù)據(jù)分析，檢測系統(tǒng)有效實現(xiàn)生產(chǎn)線上缺陷產(chǎn)品的精確管理。運行6 個月后，有效提升產(chǎn)品質(zhì)量，降低廢品率7%，防止批量缺陷產(chǎn)品的產(chǎn)生；同時提升產(chǎn)品檢測效率80%，產(chǎn)品生產(chǎn)周期縮短15%，實現(xiàn)了企業(yè)營收20%的增加，客戶滿意度提升20%。

4.2 場景案例2：某家電公司產(chǎn)品包裝檢測

4.2.1 痛點問題

隨著當代社會經(jīng)濟的不斷發(fā)展，人們對于產(chǎn)品的包裝需求逐漸有所提升。具備廣告促銷、美化產(chǎn)品及保護產(chǎn)品等不同功效的包裝為產(chǎn)品實體的關(guān)鍵構(gòu)成部分，產(chǎn)品的功效、價值、質(zhì)量及總體形象等均能夠通過產(chǎn)品包裝體現(xiàn)[13]。若包裝具有缺陷則會令消費者的滿意度降低，且對于產(chǎn)品品牌的信譽度與價值均帶來影響，而完美無缺陷的產(chǎn)品包裝能夠提高消費者對產(chǎn)品品牌的信任度與依賴感，提升消費者的感官享受。利用檢測系統(tǒng)，企業(yè)可以高效率地完成對產(chǎn)品的包裝檢測，還可以正確讀取產(chǎn)品的包裝信息，從而對產(chǎn)品進行有效追蹤。

4.2.2 應(yīng)用情況

針對某家電公司產(chǎn)品包裝檢測的需求，檢測系統(tǒng)應(yīng)用光機電一體化、機器視覺、編碼識別及通信等技術(shù)，利用基于機器視覺的計量封印在線質(zhì)量檢測系統(tǒng)，在高速生產(chǎn)線中對外包裝安全條進行快速有無的判斷，以確保安全包裝條無缺失。憑借其出色的讀碼能力，可以準確、迅速地讀取各種包裝材質(zhì)上的字符。實現(xiàn)家電包裝、標志、安裝質(zhì)量的全自動、高速、高精度在線識別與檢測，并進行瑕疵分類處理，旨在為家電行業(yè)產(chǎn)品包裝檢測及管理提供完整的在線檢測與處理方案，實現(xiàn)自動化、智能化、信息化檢測與管理。在某大型家電公司生產(chǎn)工廠應(yīng)用后，產(chǎn)品包裝檢測效率及響應(yīng)速度提高2倍，產(chǎn)品誤檢率<2.5%，包裝質(zhì)量提升，顧客滿意度增加；同時，現(xiàn)場檢測人員減少4人/班組，預(yù)計人力成本每年減少100萬元以上。

4.3 場景案例3：某汽車零件廠曲軸連桿檢測

4.3.1 痛點問題

發(fā)動機曲軸連桿的外形有很高的相似度，不同發(fā)動機所使用的連桿之間，甚至于一個連桿的正反兩面往往也只有幾個特征點有明顯不同。半成品的曲軸連桿在進入加工中心進行精加工前，需要使用視覺傳感器代替人工鑒別檢測。利用檢測系統(tǒng)可以自動對不同類型的曲軸連桿進行辨別，助力自動化生產(chǎn)線的高效運行。

4.3.2 應(yīng)用情況

通過對某汽車零件廠曲軸連桿的型號檢測及管理，檢測系統(tǒng)有效實現(xiàn)生產(chǎn)線上曲軸連桿的精確管理。運行3 個月后，產(chǎn)品檢測效率提升2倍，產(chǎn)品入庫周期縮短10%；同時產(chǎn)品缺陷率降低5%，直接經(jīng)濟效益達到數(shù)百萬元。

5 結(jié)語

本文提出了一種基于機器視覺、5G、MEC等技術(shù)的表面質(zhì)量檢測系統(tǒng)。該系統(tǒng)一方面創(chuàng)建新的運作模式，通過端、邊、云協(xié)同發(fā)揮各自優(yōu)勢，即將工業(yè)相機在生產(chǎn)線部署，視覺算法部署在工廠，MEC、模型設(shè)計部署在云端，實現(xiàn)相機設(shè)備、視覺算法、模型訓練等本地分離。另一方面，將傳統(tǒng)孤立視覺系統(tǒng)(包含視覺控制器、視覺應(yīng)用軟件和工業(yè)相機)轉(zhuǎn)化為“集中處理+分布采集”的控制模式，多個工位不同的視覺檢測工程，同時在MEC側(cè)運行，并將檢測結(jié)果返回到工位控制端。系統(tǒng)可將檢測結(jié)果匯集成數(shù)據(jù)庫，并融合MES，WMS等系統(tǒng)數(shù)據(jù)、產(chǎn)品物料數(shù)據(jù)、市場反饋追蹤數(shù)據(jù)，對缺陷類型、產(chǎn)生原因進行深入研究，為生產(chǎn)線優(yōu)化升級提供合理建議，保證企業(yè)優(yōu)質(zhì)出品，減少廢品。