基于增強現實的制造數據記錄系統設計與實現

孫卓見，李紅衛，左 康，趙 飛，梅雪松

(1.西安交通大學 機械工程學院，西安 710049；2.西安飛機工業(集團)有限責任公司，陜西 閻良 710089)

0 引言

智能制造現已成為各國制造業發展的重要方向，我國在2015年推出“中國制造 2025”戰略。智能工廠作為工業 4.0 的核心，已成為了各國研究的重點。

在傳統加工制造業的車間生產過程中，許多工藝流程的過程記錄涉及設備儀表數據的讀取。制造過程數據是生產質量管理和控制的重要信息來源。但由于目前我國工廠內現存老舊設備較多，改造阻力大，多數生產流程還采用人工記錄紙質表格的方式傳遞冗雜的數據，這種方式耗時耗力，并存在不透明短板，已經成為工廠生產工作的痛點。智能工廠建設離不開數字化依托，制造數據是實現數字化車間的關鍵所在，設計一種數字化制造數據管理系統，規范制造過程數據記錄流程備受關注。

近年在多數工業4.0和智能制造的規劃文件中，增強現實(AR，augmented reality)技術都被屢次提起[1]。增強現實技術的理念旨在將虛擬系統信息和現實世界融合顯示，將增強現實技術應用于生產制造過程中，解決工作痛點，提高工作效率是近年的熱門方向。增強現實應用多見于生產培訓、輔助裝配檢修和遠程指導等場景，作為獨立環節的輔助工具。德國卡爾斯魯厄理工學院提出了基于顯示屏的產線AR裝配引導方案[2]，給予了增強現實在實際生產中應用很好的啟發；坦佩雷理工大學展示了一種基于 AR 的實驗室場景人機識別與交互模型[3]，探索了工業環境下的人機交互方式；倫敦帝國學院在工業條件下的 AR 導航路徑規劃做出了實驗和探索[4]，為AR應用的拓展做出了良性探索。

隨著大數據、云計算技術的加入，智能工廠的概念已經日益擴充為龐大的體系框架，在工業數字化轉型實現智能制造的過程中，AR工具不僅是孤立環節的輔助工具，更是數字孿生系統與個人虛實交互的媒介[5]。業界期盼成熟的AR應用出現在生產過程中，助力減少工作量，充分發揮人的作用，提高生產效率，促進加工產線向網絡化、自動化、智能化方向發展。

為解決上述問題，提出了基于增強現實的設備運行狀態監測系統，系統通過軟件架構設計和人工智能方法的應用，實現了設備運行狀態的自動化識別、上傳和錄入。結果表明：系統切實提高了生產效率，輔助了生產質量管控，在加工制造業有一定的可靠性。

1 系統結構及原理

1.1 系統總體架構設計

制造技術的發展需求變化，帶來制造業核心競爭力的深刻變化，制造需求向多品種多批量、高質量低成本、柔性制造快速響應、節能環保發展。我國工業自動化基礎薄弱，雖然各企業進行了自動化流程投入，部署了不同的制造管理系統，但大部分企業自動化沒有為信息化布局，造成數據采集、管理、利用的難題，沒有真正實現系統融合。企業數字化轉型的現狀面臨著設備龐雜、系統多元異構、通訊協議規范不統一的現實問題。從系統架構的角度分析，采用前后端分離架構，使工業系統的各功能模塊解耦，在一種通用的連接協議下實現交互是提高系統開發效率，實現程序復用的有效方式，也是實現良好兼容，打通系統信息孤島的可持續發展模式。

旨在使延遲和網絡交互最小化，同時使組件實現的獨立性和拓展性最大化，系統方案采用RESTful[6]風格的前后端分離架構。采用HTTP方法基于統一接口和通用載體，通過數據庫、應用和RESTful API的交互來完成各種事務功能的實現，統一采用JSON格式作為載體承載數據，即使應用客戶端與服務器端技術構造不同，也不會影響通信。架構基本形式如圖1所示。

圖1 系統總體架構

設備儀表圖像通過架設工業相機采集，通過工業網關存入服務端工藝數據庫。工藝數據庫存儲生產任務信息、生產工藝流程信息、工作人員信息、工廠設備信息、制造過程數據等多維度數據，以支持多工藝流程制造和廠房設備人員變動情況下的生產過程數據記錄。另外，服務端部署基于深度學習的OCR識別模塊和后臺數據庫管理模塊，利用服務器算力優勢減少終端負載，通過RESTful風格，其他模塊只需要向API發出抽象的請求而不用關心相應的數據庫邏輯實現，各應用模塊之間實現了解耦，可以運用靈活的技術棧實現需求功能。工作人員在生產過程中通過AR終端登錄系統，按照生產任務提示操作，即可完場制造過程數據的記錄保存，企業ERP系統通過與服務器端的API交互同步數據，即可獲得制造數據，實現了生產流程中過程數據記錄的數字化。

1.2 工藝數據庫及管理系統設計

工藝數據庫是系統的重要組成模塊，基礎數據用于支撐系統功能邏輯的實現，生產過程數據的存儲和交互完成記錄流程的數字化。工藝數據庫包含多維度的制造數據信息，其中生產任務信息實時與企業的訂單管理相關系統同步更新，實時監聽并生成系統內部任務，派發至指定車間和工作人員；生產過程工藝流程及相關規范數據通過數據庫后臺管理系統錄入，按數據庫格式形成工藝執行文件，以便根據產品類型提取，在生產中實現引導式呈現；工作人員信息、工廠設備信息等工廠基本信息通過對企業已有系統的數據交換或后臺錄入，以支撐系統角色權限管理和任務下發；制造過程數據包括生產中所需記錄的圖像信息，識別結果，數據曲線圖，數據表等形式，分別來源于相機采集，識別模塊和AR終端。工藝數據庫的關鍵數據如圖2所示。

圖2 工藝數據庫設計

后臺管理系統使用REACTJS編寫，用于工藝數據庫與其他系統同步數據與系統多維信息的手動錄入和維護，僅限管理員用戶登錄。除工廠基本設備、人員信息，工藝執行文件外，后臺管理系統還維護系統額外鋪設的相機和終端信息，給予了系統良好的拓展性。

2 關鍵技術闡述

生產過程中除了需要記錄日期、時間等基本數據，多數流程還涉及設備儀表的讀取，通過工業相機實現自動化圖像采集，可以減少一線工作人員的記錄負擔。由于實際工作場景干擾因素較多，使用傳統的數字圖像處理方法魯棒性較差。因此采用深度學習的方法處理圖像，以達到較好的檢測識別效果，并為系統向多工藝流程的推廣奠定基礎。

字符識別分為字符的檢測和識別兩個具體步驟，分別采用改進的CTPN[7]神經網絡框架和CRNN循環神經網絡實現，編程語言為Python。

2.1 儀表文本檢測和預處理算法

結合文本行一般以水平長矩形的形式存在，而且文本行中每個字都有間隔的特點，近年的文本檢測論文中提出了文本檢測任務拆分的思想：首先檢測某小部分是否屬于文本行，最后將屬于同一文本行的部分合并，便得到預測線框[8-10]。一個完整的文本框中多個小文本框集合可以視作序列模型，可以使用RNN模型。因為一個小文本框的預測同時依賴于左右兩邊的預測結果，因此采用BiLSTM做預測準確率會大大提升。

圖3 文本檢測算法流程

傳統的CTPN網絡采用VGG16網絡作為特征提取框架，而后來出現的殘差神經網絡(ReaNet)能更好地防止模型退化，增強學習效果。使用 ResNet50[11]的前5層卷積層作為特征提取骨干網絡,用于提取圖像空間的語義信息,得到特征圖。卷積后的特征將送入BiLSTM繼續學習，最后接一層全連接層輸出參數：2k個縱向坐標y，用于小邊框定位；2k個評分，分別是該線框內容是文本或背景的評分，用于評估文本置信度；k個x的水平偏移量，用于水平邊緣修正，提高線框精確度。

文本行構建過程將置信度 >0.7的連續選區相連接。定義一個選區 Bi的鄰居Bj：Bj水平距離上離Bi最近；該距離效應50像素；二者垂直重疊 >0.7。如果Bi、Bj同時互相滿足鄰居關系，兩個選區聚集為一個線框，文本行由連續具有相同選區的線框連接構建。對最終獲得的文本行區域分割結果進行過濾，得到儀表數據區域，對其進行灰度和二值化處理，以提高后續識別的精確度。處理后的圖片如圖4所示。

圖4 圖像分割和預處理結果

2.2 文本識別算法

文本識別分為單字切割和分類兩步[12]，采用CRNN+CTC識別機制。如圖5所示。

圖5 文本識別算法流程

卷積層CNN網絡用于提取輸入圖像特征圖，在VGG16的第3第4個最大池化層CRNN采取的是1×2的矩形池化窗口，有別于經典的VGG16的2×2的正方形池化窗口，因為文本圖像多數都是高較小而寬較長，所以其特征圖也是這種高小寬長的矩形形狀；循環網絡層RNN是一個深層雙向LSTM網絡，在卷積特征的基礎上繼續提取文字序列特征。對于RNN輸出如果使用常見的Softmax Loss將帶來巨大的標記對其樣本工作量，所以采用CTC Loss訓練網絡。CTC本質是一種通過遞推，快速計算梯度的計算方法，不需要額外對齊樣本。

3 系統軟件設計

3.1 RESTful API設計

RESTful API基于NestJS框架進行搭建開發，并使用TypeORM與數據庫連接，編程語言為TypeScript。API函數處理關系流程如圖6所示。

圖6 API函數處理流程

NestJS是一個Node.js服務器端的應用程序框架，支持TypeScript，可以配合數據庫關系映射TypeORM快速開發接口網關。隨著時間的推移，應用程序會變得越來越大，因此類型檢查非常重要。TypeScript是一種強類型語言，彌補了JavaScript的弱類型特點給數據庫交互帶來的不便。TypeORM是連接數據庫的關系映射工具。數據庫的邏輯實現和管理交互都可以通過ORM中間件，實現使用面向對象的編程操作關系型數據庫，減小業務量的同時便于更新維護。

3.2 AR端軟件設計

為了不限于硬件情況使用，AR終端應用基于移動端廣泛的Android平臺編寫，支持包括AR眼鏡、平板電腦、手機等多種終端設備進行交互。系統用戶角色分為普通工作人員和管理員。工作人員負責生產過程中使用本系統進行圖像采集和數據記錄，管理員負責檢視數據記錄，管理異常記錄。系統交互和角色關系如圖7所示。

圖7 AR端應用邏輯流程圖

移動端應用程序作為系統前端應用，為了獲取最大的設備兼容性和跨平臺能力，沒有使用Android原生的Java/Kotlin語言進行應用開發。而是基于當前流行的Vue.js語言前端框架，按應用邏輯編寫了Html5頁面及其腳本，頁面數據的請求和獲取完全通過與前文API的交互實現。利用JavaScript在前端領域的優勢，通過盡可能簡單的 API 實現響應的數據綁定和組合的視圖組件，可以快速構建包括動態圖表元素的用戶界面。

然而瀏覽器模式的應用往往在性能方面表現不佳，工程中往往采用第三方打包工具將前端轉換為原生應用。目前常用的uni-app頁面靈活性較差，因此采用了APICloud工具打包，利用 “混合渲染”和模塊化機制，為APP提供與原生幾乎一致的性能。程序功能包括但不限于任務監聽、用戶登錄、任務與工藝的匹配、工藝流程的引導式呈現、多維數據錄入，網絡通訊等功能。

工人攜帶AR終端進入生產車間，登錄系統后根據生產任務，在車間制造場景中通過應用程序操作提示進行生產操作并記錄過程數據，采集相應圖片信息，服務器端實時分析輸出識別結果，通過無線網絡呈現在AR終端，實現場景信息的虛實融合，工人可以對結果進行人工修正和添加備注。管理員登錄后可以查看各項生產任務的數據提交情況和圖像信息，并有權改變提交記錄的生效狀態，對錯誤作業進行駁回。

4 實驗結果與分析

4.1 實驗步驟和方法

實驗以熱處理生產線為試點對象，探索在設備與涉密生產管控網絡隔離條件下，研究傳統生產線設備基于機器視覺識別的生產過程控制和原始記錄的留存方法，避免對傳統設備改造的復雜過程和高成本的付出。在一定程度上提高生產效率，減輕一線員工的工作負擔，實現如下目標：

通過數據同步的方式，同步園區網和工業網數據，實現生產任務下達，工藝規程數據同步、任務數據提交的功能。部署數據管理服務，組織和重新映射同步過來的生產數據，統一管理視覺識別設備、虛擬設備，實現整個生產過程需要的數據組織管理的功能。部署視覺識別服務、生產過程執行管控與操作指導服務，進行數據實時采集、識別、反饋，實現生產管控和記錄的功能。

4.2 系統部署與應用實現

在實際熱處理流程中，根據生產訂單的不同，各種類型的熱處理工藝流程不盡相同，工人需要根據當前生產任務選擇合適的熱處理方法，查閱工藝流程卡片或說明書，進行實際生產操作并手動記錄過程數據填寫紙質表格。

在部署本AR系統后，后臺管理系統支持數據同步，按約定的數據表和字段，將數據進行編碼，實現多表數據同步，同步數據包括但不限于系統用戶、用戶卡號、基于組織機構與設備管理層次的設備類別、設備、設備安裝位置、配置儀表、儀表示數、結構化工藝執行文件、任務數據。實現了生產任務、工藝流程、生產設備、人員的自動對應。支持將系統本身的數據訪問能力以第三方接口的方式提供給用于二次開發的用戶，以配置的方式接入到其他相關業務場景中，實現和其他系統的低耦合集成。

移動終端支持按用戶名和密碼或刷卡方式登錄。系統提供菜單導航功能，顯示當前登錄用戶的任務狀態及任務數據統計。系統提供任務列表功能，以卡片的形式展示任務列表，顯示任務的簡單信息。按當前登錄用戶角色顯示當前任務列表，可在導航菜單中查看和篩選當前的任務。系統提供工序列表功能，展示當前任務所屬工藝執行文件的詳細說明和工序的列表，以顏色區分工序狀態，顯示該工序所需要記錄的記錄信息。系統提供多種實測數據記錄方式供配置選用，記錄方式包括：文本框、日期選擇框、下拉選擇框、設備獲取、電子曲線等。根據原始記錄中的各理論值與對應實際值的關系，自動判斷熱表處理過程的合格與否，自動進行后續處理。

4.3 實驗結果分析

經過培訓后，熱處理試點車間工作人員開始將AR系統應用到實際生產中，在按規范提示生產作業的同時通過系統記錄相應數據，進行多型號產品混線生產，并通過后臺將數據提交至西飛質量管控系統。

使用基于AR設備的設備狀態檢測系統，解放了工作人員的雙手，只需按AR端引導操作，點擊記錄按鈕，在規范生產流程的同時即可實時記錄各種所需的過程數據，并保存相應的現場證據以供查證，減少人工環節提高效率的同時減少了失誤率，實現了無紙化流程。

由于工廠設備環境下字體固定，視角扭曲較少，識別任務較為簡單，儀表數據基本達到無誤差識別。結果文本與處理后的圖片一起存儲入庫，與該任務其他相關數據形成記錄表，以供檢驗查詢。企業的質量管控系統通過后臺的數據庫同步便可直接獲得真實的制造數據，所有流程都基于電子設備和網絡通訊完成，初步實現了生產過程數據數字化。

5 結束語

在西安飛機工業(集團)有限責任公司基于AR的設備運行狀態監測研究項目中的應用結果表明，本文涉及的基于AR的設備運行狀態監測系統，利用AR終端設備解放雙手，結合深度學習方法實現圖像識別，通過虛實信息融合進行生產引導和數據記錄、通過數據庫聯動實現生產訂單的智能處理和與質量系統的數據交互，提供了全方位的生產過程數據記錄解決方案，規范了多工藝混線生產流程，實現了無紙化操作，提高了飛機生產車間工作效率和記錄準確率，具有重要的現實意義和應用價值。

介紹了基于AR的設備運行狀態監測系統及其在飛機制造廠商的應用。該系統采用AR 增強現實技術，構建了標準化生產車間多維數據的工藝數據庫，引入了深度學習算法，結合LSTM和CTC算法，發揮增強現實技術在虛實融合、智能引導、手勢語音交互等方面的技術優勢，用于車間生產工作人員的輔助，可以解決傳統生產車間數據記錄工作中操作冗雜、人員效率低、數據存在真實性疑問、響應時間慢等質量管理痛點，提高了現場作業的規范性；可大幅減少人工記錄的工作量，提高車間生產工作效率和數據記錄準確率。