基于工業互聯網的在線視覺檢測系統

沈 航，孫 煜，林詩美，陳 超

（1. 廣東省工業邊緣智能創新中心，廣東 深圳 518057；2. 研祥智能科技股份有限公司，廣東 深圳 518107）

1 引言

作為數字經濟與實體經濟融合發展的關鍵支撐，以工業互聯網、工業大數據和人工智能等技術為手段推動工業設備上云、上平臺，提升生產數據利用效率，提高智能產線、智能工廠的數字化管理和運營能力，成為當前產業轉型升級的核心驅動。在智能制造領域，面對新型顯示、工業電子等產品的質量檢測，以往采用的方式包括通過人工進行檢測、通過視覺檢測系統進行檢測。人工檢測的方式效率低、品質難以保障且人工管理成本高。傳統視覺檢測系統通過機器視覺、圖像分析等技術，在提升缺陷檢測精度、檢測效率和產品品質方面具有顯著改善，但在數據高效利用、設備智能運維和品質改進管理等方面，還存在進步的空間。開發基于工業互聯網的在線視覺檢測系統[1]，以數字化、智能化手段，能夠提升生產效率，提高產品品質，保障生產制造的穩定運行。

2 視覺檢測系統

視覺檢測系統在產品加工、測試、組裝和包裝等生產環節中使用。通過智能工業相機完成對產品信息的采集，并通過智能網關對采集的數據進行傳輸，系統的服務器支持視覺檢測微服務等功能，對數據進行計算分析，最后通過APP進行相關展示[2]。視覺檢測系統架構如圖1所示。

圖1 視覺檢測系統架構圖

3 基于工業互聯網的在線視覺檢測系統

3.1 硬件設施

系統由設備側、邊緣側、平臺側和應用側四部分構成。設備側主要包括智能工業相機、信號發生器、對接系統和控制器等現場設備[3]。邊緣側通過智能網關對現場數據進行采集，再傳輸至邊緣云。邊緣云負載視覺算法、視覺檢測軟件和數據處理等功能，完成一些實時性要求較高的輕量級數據處理任務。平臺測主要提供服務器、存儲等硬件資源的支持，支持各視覺檢測的微服務、視覺算法機理模型、工業檢測軟件組件、數據建模和分析、工業數據清洗，以及管理和分析。應用側提供各類缺陷檢測、模組檢測、整機檢測和功能檢測等工業APP，以完成系統應用。系統根據制造企業規模和對檢測線的要求，能夠進行靈活部署。基于工業互聯網的在線視覺檢測系統如圖2所示。

圖2 基于工業互聯網的在線視覺檢測系統圖

3.2 軟件設計

（1）軟件平臺 整個軟件平臺采用分層架構，一共分兩層來實現，中間件層和交互層。

中間件層采用按功能分模塊的扁平化架構，一個功能對應一個模塊，一個模塊對應一個動態庫文件。模塊與模塊之間遵循高內聚低耦合的軟件設計規則，各模塊，只獨立完成某一個特定的子功能。模塊與模塊之間的接口，遵循少而簡單的規則。如果劃分后某兩個模塊間的關系仍然比較復雜，繼續進一步劃分直到模塊間無關聯為止。這樣有利于分工合作、模塊集成及后期的維護升級。根據類別劃分為算法庫，相機庫和通信庫。

交互層劃分為界面設計器、邏輯設計器、相機管理、用戶管理、數據存儲及授權管理，平臺主要應用在工業領域，對性能要求比較高，交互層選擇執行高效的開發平臺VS2012 MFC 多文檔框架及GDI+來實現，算法庫基于開源OpenCV來實現。界面設計器：提供所看見的界面配置，為用戶提供個性化的自定義工具。邏輯設計器：為相機提供實時調試的邏輯組態編輯和算法工具。相機管理：提供相機工程管理、參數設置、實時圖預覽等多種管理工具。用戶管理：提供用戶權限管理方法。數據存儲：導入和保存工程，工程數據串行化。授權管理：提供授權方法；運行版，一機一碼，授權后在本機上可以永久使用；試用版，一機一碼，提供30天的免費試用授權。

從實現功能來看，整個軟件平臺分5大功能，分別為采集、處理、評估、通信和系統。

1）采集功能分為從相機獲取和從文件獲取兩種模式。從相機獲取，指連接相機取圖，支持目前主流相機的連接，如basler、保盟等。從文件獲取，指本地讀入圖片，支持bmp、jpg、png、dib、pbm、pgm、ppm、sr、ras和tif等圖片格式的讀入。

2）處理分為圖像預處理、目標定位、識別、測量和檢測5個部分。圖像預處理是指對輸入的圖像進行二值化、濾波（高斯濾波、中值濾波和均值濾波）、腐蝕和膨脹等操作。目標定位是指通過對圖像設定模板區域，然后在其他圖像中尋找與模板區域相同的圖像特征。通常通過目標定位后，再對物體進行下一步的識別、測量和外觀檢測。識別包括字符識別、二維碼識別、條形碼識別和顏色識別。測量指的是對物體的尺寸測量，包括點到點、點到線、點到圓、線到線、線到圓、圓到圓、角平分線、夾角測量和卡尺測量等功能。檢測包括瑕疵檢測、缺陷檢測、劃痕檢測和差異檢測。

3）評估分為評估輪廓、評估區域、評估表達式和條件分支4類。評估輪廓指對輪廓進行評估，是否符合設定的規則。評估區域指對區域的面積、長度和寬度等信息進行評估，是否能夠滿足設定閾值。評估表達式指對輸入的表達式進行評估，看能否滿足設定要求。條件分支指不同的條件執行不同的任務。

4）通信包括數字I/O通信、串口通信、文件通信及套接字通信。支持雷賽數字I/O通信，如通過數字I/O卡輸入端口控制相機的外部觸發拍照，軟件檢測任務的完成信號可以通過數字I/O的輸出端口發送到PLC等設備。支持通過串口與第三方通信，通過規定好的協議，機械手可通過串口發送指令讓軟件執行某項檢測任務，執行后軟件通過串口把檢測結果發送給機械手，機械手根據接收的結果進行下一步動作。會事先規定好數據傳輸的協議，包括數據頭、數據尾的定義及數據中間段的各個參數的含義，通過人機交互界面來配置。支持文件通信，可讀寫文件，比如把識別到的條碼寫入指定文本。

5）系統包含延遲執行和停止執行兩個部分。延遲執行是指延遲一段時間后再執行下一個任務。延遲時間可通過人機交互界面進行設置。停止執行，顧名思義就是停止執行。

（2）軟件算法 考慮開發套件主要應用在工業領域，對性能要求比較高，交互層選擇執行高效的開發平臺VSMFC 多文檔框架及GDI+來實現，算法庫基于開源OpenCV來實現。圖像算法首先對圖片進行預處理，然后通過Blob分析從背景中分離出目標，提取感興趣區域，只對感興趣部分進行圖像變換處理，這樣大大提高處理速度。然后根據檢測端口類型，確定是用字符識別還是模板匹配方法對圖片進行下一步處理。進行字符識別方法處理后，需對識別出的字符與預先設定的字符進行字符匹配；進行模板匹配方法處理后，得到的模板匹配度需與預先設定的匹配度進行大小比較。

系統核心算法是圖像處理算法，主要功能包括圖像預處理、目標定位、圖像分割、圖像識別和缺陷檢測。圖像處理流程如圖3所示。

圖3 圖像處理流程圖

針對小目標不易標注、可利用特征少、現有數據集中小目標占比少及樣本不均衡等小目標高精度識別和定位難題，軟件能夠提供相應高級算法解決。其中，基于線掃描的條碼識別算法，能夠解決工業現場中多類碼讀取、反光、流動高速、缺損遮擋及超小碼識別等難題，達到檢測精度RGB子像素級。

4 面向大型企業的視覺檢測解決方案

面向大型企業的視覺檢測解決方案如圖4所示。平臺部署多選擇私有云或混合云的部署方式[4]，在部署上建設融合中臺，通過與制造企業MES、ERP等實現數據互通，解決訂單計劃和生產計劃信息的斷點問題，解決執行管控和質量監控的斷點問題。融合5G網絡技術實現設備現場數據、運維檔案等工業數據實時傳輸，實現集中管理、實時感知和遠程監控。

圖4 面向大型企業的視覺檢測解決方案

基于工業互聯網平臺和微服務組件庫，進行視覺檢測、設備監控和生產管理等工業APP開發和應用，整合企業生產、辦公系統，集成生產全流程信息，進行設備全生命周期管理，打造可視化智能管理模式。注重產線安全，建設設備接入系統，控制設備接入的安全。同時通過建設綜合管控平臺實現對數字化和智能化制造車間、工廠的協同管控。

本解決方案在深圳某企業液晶電視產線落地實施。部署智能檢測裝備，將檢測設備數據接入平臺，對接ERP、MES，實現檢測環節設備與智能產線的互聯互通，以及電視多功能、多種信號的智能檢測分析，提升液晶電視產線自動化和智能化水平，檢測準確率提高到99.0%以上，檢測效率提高200%，設備維護成本降低55%。

5 面向中小企業的輕量型視覺檢測解決方案

面向中小型企業的視覺檢測解決方案如圖5所示，在建設和部署上受投入成本、生產規模等影響，只需要購買或租賃視覺檢測設備，同時在平臺多選擇公有云。公有云提供視覺檢測、設備監控和生產管理等工業APP，企業不需要自建平臺，不需要部署服務器，只需要購買和訂閱相關的應用服務即可完成應用的下載和升級。

圖5 面向中小企業的輕量型視覺檢測解決方案

本解決方案在深圳某企業液晶面板生產線落地實施。部署模組檢測等全流程檢測設備、智能讀碼器和工業相機等邊緣設施，改造升級原有人工檢測環節，替換部分人工工位，上線視覺檢測應用軟件，可視化展示檢測狀態，產線檢測情況一目了然，實現液晶面板快速、準確、可靠且連續地全自動檢測，大幅提高檢測精度和效率，整體誤判率小于1‰，生產效率提升約30%，產能提升約20%，節省人力約80%。

6 結束語

系統開發出具有國際先進水平的機器視覺算法庫，具有圖像預處理、視覺定位、幾何尺寸測量、產品缺陷檢測、OCR識別和視覺跟蹤等功能。并在多個操作系統平臺之間實現無縫移植。用戶能夠快速高效地進行二次開發。產線自動化、智能化程度快速提升，生產檢測效率大幅提升。企業核心競爭力提高。部署本解決方案后，能夠提高視覺檢測線的集中管理能力，實現制造、管理各系統和工業設備互聯互通，實現了檢測智能化、通信實時化、協同多方化和預案數字化，提高工廠智能化管理水平。根據客戶數據統計，檢測效率提高200%，設備維護成本降低約50%，生產效率提升約30%，產能提升約20%。