基于深度學習與工業服務器的云檢測系統應用研究

趙衛東,秦 鋒

(1.滁州職業技術學院 信息工程學院,安徽 滁州 239000;2.安徽工業大學 計算機科學與技術學院,安徽 馬鞍山 243002)

隨著國際競爭的日益嚴重、人工勞動成本不斷升高,制造行業自動化設備亟待智能化升級[1-2]。在國內大部分工廠已經引入自動化,甚至智能化設備,以電路板行業為例,業界熟知的有AOI設備,用于對電路板表面缺陷的檢測。AOI設備雖然解決了一部分問題,但是仍然存在痛點問題一直沒有解決:AOI設備為了保證不漏檢,把評判標準定得很低,大量的良品,被判為不良品,導致誤判率很高、人工復檢壓力很大。為了解決這個問題,本文提出云檢測系統,接入AOI設備所在局域網,對AOI檢出的不良圖片進行二次過濾,達到提高直通率、降低誤判率的目的。

在云檢測方面,張慶[3]等人設計了云檢測平臺,基于XML和Web Service將云端硬件映射為云資源,該研究雖解決部分問題,但沒有對檢測算法應用展開研究,在實際落地中,往往不能達到工程目的。王海濤[4]等人通過特征提取,信息補全,將云端深層特征與本機淺層特征結合,以更好地實現云檢測,但該研究未考慮算法與網絡系統之間穩定調用的問題。徐少壯[5]等人基于U-Net網絡特征和云檢測影像特征,提升系統魯棒性,提高云檢測精度,但其未考慮算法與網絡系統兼容的問題。

為了提高云檢測系統的性能,本文提出一種新的檢測方法,主要是對AOI誤判的產品進行過濾,減少人員復判工作量。整個過程分為兩部分:過濾算法的AI模型實現、局域網系統與算法調用的集成。本文結合網絡系統與AI模型,設計并實現了一套耦合算法與網絡系統的缺陷云平臺檢測系統。最后,借助實際項目來測試所提系統的效果。

1 云檢測系統設計

在實際應用場景中,比如工廠中某車間有5臺AOI設備,每天都會產出大量的誤判圖片,需要質檢作業員復判,1臺AOI設備后面拖5個VRS復判工位,需要5位作業員,三班排程,光一臺AOI設備的復判作業就需要25人,總共需要75人的人力成本。本文開發出一套云檢測系統,能夠過濾掉80%的誤判圖片,即減少60人的人力成本,這是AI研發落地于工業生產降本增效的目標實現。

本文云檢測系統流程設計如圖1所示,AOI輸出待復判圖像,通過局域網實時傳輸給云檢測系統中的GPU分析計算模塊,經過計算得到檢測結果,保存于系統數據庫,并經過局域網將檢測結果和圖片傳輸給VRS,即剩下的誤判圖片給人員二次確定即可。

圖1 云檢測系統流程設計

待復判原圖如圖2所示,為良品圖像,圖中沒有缺陷,交由AI系統檢測,本文后續將對其進行檢測和討論。

圖2 待檢測的復判圖像

1.1 AI過濾算法

工廠中的AOI設備一般已經用了很多時間,且積累了大量圖像數據,這些數據是訓練AI過濾模型的肥料。本文收集了1萬張良品圖片和1萬張不良品圖片,共計2萬張圖片,進行AI過濾模型訓練。本文的過濾算法主要分為兩個部分:基于圖像比對的傳統方式、基于深度學習的AI分類模型。傳統方式:建立標準模板圖,與實際待測圖像,進行逐個像素的比對計算,算出相似度,當相似度高于某閾值,則判為良品,反之則判為不良品,這種方式往往基于經驗,算法泛化能力有限,因此只作為本文算法體系中權重較小的一支,在本節不予以贅述。本節主要討論基于深度學習的AI過濾模型。

為了展開過濾模型訓練工作,將待訓練圖片,統一大小為512*512像素。訓練庫覆蓋各個細分領域的圖片,為了達到樣本庫全面覆蓋性。

其中的激活函數是:Sigmoid、tanh、ReLU[6-8],表達式如式(1)-式(3)所示。

(1)

tanh=tanh(x)

(2)

ReLU=max(0,x)

(3)

式(1)-式(3)中,x代表輸入值,左側為輸出值。深度過濾神經網絡的本質是權值乘以輸入值加上偏移值[9-10]。

本文的循環過濾神經網絡采用特定標準差來初始化節點權重,在反向傳播過程中限制梯度不超過某個閾值。循環過濾神經網絡采用早停止模式,增強模型魯棒性。

如圖3所示,本研究采用AI過濾模型技術檢測了誤判圖像,檢測結果為良品,與實際標記一致,可見檢測準確,為人工復判減輕了壓力。

圖3 復判圖像檢測結果

1.2 云檢測系統設計

基于web技術,開發一套局域網服務器端軟件系統,即云檢測平臺,類似于一個網站,對應復判圖片過濾需求。因為云檢測平臺是網絡系統,所以支持跨系統跨平臺。本系統經過硬件選型與資源整合,具有高并發、穩定響應的性能。云檢測平臺接收到圖片,就調用算子或模型,完成過濾作業。服務器端:同時接收來自幾個或十幾個機臺PC的圖像文件(文件名格式如:機臺號_產品號_生產號_圖像編號.JPG);基于AI過濾模型完成圖像檢測;檢測結果返回對應的機臺PC(結果信息格式如:機臺號_產品號_生產號_圖像編號_OK/NG類型)。設備PC端:發送圖像文件至服務器指定目錄,接收服務器端檢測結果信息。系統架構示意圖如圖4所示(以1臺服務器負責5個設備PC為例)。

圖4 本文系統架構

本系統采用前后端分離進行設計,前端技術:頁面采用JSP、HTML,樣式采用css3,腳本采用Javascript、jquery,UI采用amazeui/layui,圖表庫采用echarts,彈層組件采用layer;后端技術:開發語言采用Java,框架采用springmvc、spring,持久化采用hibernate/dbutils,緩存采用ehcache/redis,消息隊列采用acitveMQ;前后端數據傳輸:采用websocket、HTTP;接口:第三方SDK采用云文件存儲服務等,消息采用郵件、短信、微信消息,類庫管理采用maven,數據庫使用MySQL,web服務采用nginx+tomcat。本系統網絡方面的技術路線清晰,開發出的系統穩定且易于維護。

本系統含有的一級模塊:系統框架、系統管理、權限管理、通用信息管理、服務狀態、產品檢修、標準任務、統計信息、消息管理等,二級模塊數量更多,在此不一一贅述。本系統網絡方面的模塊分門別類,每個模塊都是獨立開發,具有低內聚、高耦合的特點。

數據流管理方面,AOI設備上部署數據傳輸軟件,自動掃描文件夾,上傳NG圖像到GPU服務器或映射到局域網環境,web服務器調用GPU服務器上的算法,對NG圖像進行過濾,并上傳到VRS設備。數據傳輸軟件設置和工作流程如下。

(1)配置掃描文件夾路徑。

(2)設置文件夾大小,超過大小自動清空時間較久的文件。

(3)上傳可調整為直接映射到局域網環境中,局域網內通過url路徑直接訪問到圖片。

(4)開放上傳接口,供GPU服務器上傳文件,或也直接部署在GPU服務器。

(5)文件管理功能,查看各批次文件名及文件產生時間等信息,手動上傳或刪除文件。

在本文系統中,網絡系統用Java語言作為后臺語言,算法用C++語言開發,涉及跨語言調用,即Java語言調用C++的DLL,對于兩種語言的調用機制,進行了統一化處理,對字符串傳輸亂碼問題,也進行了測試和經驗處理,達到了多種語言協同穩定工作的目的。

由圖4可知,AOI設備輸出誤判圖像,并且把設備號、生產號、產品號、圖像編號等數據生產信息,一起傳輸給云檢測系統,然后經過AI分析計算后,過濾掉誤判的圖像,即實際良品圖,AOI誤判為不良品圖,將剩下的誤判圖像傳輸給VRS,交由人工復判。

如圖5所示,將分割AI模型、分類AI模型,都整合進了網絡系統。

圖5 系統標注與復判界面

2 實驗與討論

本文系統的AI模型基于libtorch1.7實現,產品化過程基于VS2019、QT5.6.2實現;網絡系統前端基于javascript腳本語言實現,后端基于java實現。硬件組成:一臺服務器(內存128G,CPU 5218,帶raid)、插4張獨立顯卡2080TI(最多對應20臺設備PC的數據計算)、配置一個機柜(帶UPS、散熱、大小約2.5～3臺工控機堆大小),整個系統界面如圖6所示。

圖6 本系統界面

待檢測的復判圖像,如圖7所示,待識別的復判圖像為良品圖像,AOI誤判為不良品圖像。本研究耦合AI過濾算法和云平臺系統,如圖8所示,可見本研究檢測正確,判為良品,為VRS復判工位減少了一個工作量。

圖7 待檢測復判圖像

圖8 本研究檢測結果

經過比對實驗,文獻[3]的技術系統,如圖9所示,依然誤判。文獻[4]從算法展開討論,未考慮實際落地需要配套系統問題,效果不能達到工程要求。如圖10所示,依然誤判,沒有能夠為VRS人工復檢減少工作量。

圖9 文獻[3]識別結果

圖10 文獻[4]識別結果

最后調出本系統量產統計曲線圖,即誤判去除率,可見曲線總體向上,即誤判去除率呈上升趨勢,越來越多地可以減少人工復判的壓力。

結語

為了解決AOI設備誤判多、人工復檢壓力大的問題,本文分別從云平臺網絡系統和AI過濾檢測,結合兩者優勢,并進行串并聯,建立起一套健壯的云檢測機制。本研究將AI中過濾模型,進行打包升級,部署在云端服務器上,可以處理來自各個AOI端的誤判圖片。開發出完整的云檢測系統,對圖片數據信息進行有效的管理和傳輸,對AI算法進行穩定的調用,并行化的對實際場景中誤判圖片進行并行化檢測[11-13]。

在后續計劃研究中,將建立一個能夠過濾多個工廠誤判圖片的云檢測系統,以提升系統并行過濾能力。