基于NCNN的特種設備原始記錄便捷化采集方法的設計與應用

鄒山青

摘要：文中通過分析特種設備原始記錄采集過程中遇到的問題，提出一種基于CNN卷積神經網絡和NCNN高性能神經網絡前向計算框架的圖像文字識別方法的應用，通過對識別的結果進行近義詞分析、數據分類及數值規約保證了數據的準確性及識別結果的高可用性，從而有效提高檢驗人員現場采集原始記錄的效率。

關鍵詞：卷積神經網絡；高性能神經網絡前向計算框架；近義詞分析；原始記錄

Design and Application of an NCNN-Based Efficient Collection Method for Original Records of Special Equipment

ZOU Shanqing

（Fujian Special Equipment Inspection and Research Institute， Fuzhou 350008， Fujian， China）

Abstract： By analyzing the problems existing in the collection process of original records of special equipment， it proposes the application of an image text recognition method based on CNN convolutional neural network and NCNN high-performance neural network forward computation framework. This approach ensures data accuracy and recognition result availability through the analysis of semantic proximity， data classification， and numerical statute validation. The method effectively improves the efficiency of inspectors' on-site collection of original records， enhancing overall operational efficiency.

Key Words： Convolutional neural network; High-performance neural network forward computation; Synonyms; Original record

0 引言

近年來，隨著我國經濟持續發展，特種設備的數量與種類也在日益增長，人機比矛盾日益突出，因此如何在傳統檢驗過程中應用新技術來提高檢驗檢測的效率、提升檢驗檢測的質量，一直是各檢驗機構努力的方向。

在傳統的檢驗過程中，檢驗人員的工作流程一般是到現場執行檢驗任務，對照現場的技術資料和設備檢驗情況在紙質的檢驗原始記錄上進行填寫，在結束檢驗后根據檢驗原始記錄進行檢驗報告的出具。這種模式存在較多可改進空間，第一是檢驗過程中無法查閱相關檢規、調閱特種設備的參數信息及歷史檢驗數據，無法為檢驗員的現場判斷提供幫助；第二是紙質的檢驗原始記錄在檢驗完成后需要再次錄入系統，增加了檢驗人員的工作量，而且在手工錄入的過程中還可能由于人為因素引起誤差或錯誤；第三是紙質的原始記錄在檢驗質量管理或是歷史數據追溯的過程中，均不便于檢索，打印的大量紙質原始記錄也存在資源的浪費。

為了解決以上問題，潘健鴻提出了基于Microsoft Office Excel的特種設備電子原始記錄采集方法，有效地解決了紙質原始記錄編輯效率低、浪費資源、歷史數據檢索不便的問題[1]；2020年，朱繼青基于國家標準 GB/T 33190-2016《電子文件存儲與交換格式版式文檔》的開放版式文檔 （Open Fixed-layout Document，簡稱 OFD）實現了基于信創的國產自主可控的原始記錄采集方法[2]。2020年底，邱夢華提出了一種基于Android的特種設備檢驗系統設計及實現方案[3]實現了現場電子原始記錄的編輯、上傳，該系統支持在現場查看設備基礎信息、特種設備安全技術規范、相關法律法規及收費標準等信息，結合智能錄入和校驗功能極大地提高了檢驗人員現場錄入原始記錄的效率。該系統還支持離線編輯、自動生成報告、電子簽章、現場生成檢驗意見通知書等功能，基本上解決了傳統檢驗過程中遇到的問題。

然而在此基礎上，仍有亟待解決的問題和改進的空間。特種設備檢驗中最常見的兩種檢驗類型為監督檢驗和定期檢驗，監督檢驗指的是特種設備的安裝、改造、重大修理過程中進行的檢驗，定期檢驗指的是特種設備在日常使用過程中，在安全檢驗合格有限期屆滿前一個月進行的檢驗。其中定期檢驗原始記錄可以從首次的監督檢驗原始記錄或上一次的定期檢驗原始記錄中獲取歷史數據，進行數據的填充和現場比對完善，然而安裝或制造監督檢驗對于檢驗員來說往往是白紙一張，許多設備的參數要從現場的設備銘牌及廠家提供的紙質資料中獲取和填寫。一份檢驗原始記錄包括設備基礎信息、檢驗儀器信息、檢驗項目結果、不合格內容、觀測數據等內容，填寫數據量達幾百余項，導致檢驗員的工作非常繁重。為了緩解檢驗人員的工作壓力，提高現場數據采集的效率，文中提出了一種基于NCNN的圖像識別方法，用于快速識別和提取廠家提供的紙質資料和現場拍照獲取的設備銘牌中的數據，可有效提升特種設備原始記錄的現場數據采集效率。

1 圖像文字識別技術的發展與選擇

圖像文字識別技術的研究早在1950年就已經開始了，一般是識別字母、數字和符號，從印刷文字識別到手寫文字識別。早期的圖像識別技術是手動提取圖像特征，通常采用SIFT（Scale Invariant Feature Transform）或SURF（Speeded-Up Robust Features）等算法進行圖像特征提取和匹配，但是手動特征提取的局限性在應用中也逐漸顯現。隨著計算機技術的飛速發展，人們開始探索更加自動化的特征提取方法，其中卷積神經網絡（Convolutional Neural Network CNN）成為主流。在卷積神經網絡模型中通過學習和使用卷積核對圖像進行特征提取和分類，其解決了傳統圖像識別技術無法應對大規模數據的問題，并且在準確性和效率上表現出色。例如在ImageNet大規模視覺識別比賽中，使用卷積神經網絡的方法取得了顯著的優勢。而現在，越來越多的機器學習方法，例如循環神經網絡（Recurrent Neural Network RNN）、深度學習（Deep Learning）等都被應用在圖像識別上，并不斷推動著圖像識別技術的發展[4]。

文中所采用的圖像文字識別技術是基于開源項目Chineseocr_lite，該項目在開源項目Chineseocr的基礎上進行了改進，采用了輕量級的主干網絡 PSENet、輕量級的 CRNN 模型和行文本方向分類網絡 AngleNet，實現了中文自然場景文字檢測及識別的超輕量級中文OCR。該項目提供了基于NCNN的JVM開發包及安卓開發包，支持在PC端及鴻蒙/安卓手機/平板端調用，完全可以滿足原有系統架構的需求。NCNN是一個為手機端極致優化的高性能神經網絡前向計算框架，無第三方依賴，支持跨平臺。通過使用NCNN，開發者能夠將深度學習算法輕松移植到手機端高效執行。

2系統設計與實現

通過在原有的基于鴻蒙/安卓端的特種設備檢驗系統的編制記錄模塊中增加“智能識別”功能，進行現場拍照或選擇圖片的方式輸入要識別的圖片，然后調用基于NCNN的圖像識別方法進行圖像文字識別，對識別出來的結果結合開源中文近義詞工具包Synonyms進行識別和歸類，對識別出的數值按照特種設備的類型和參數規范進行數值修約，得出的最終數據以參數窗口的形式展現，由現場檢驗員進行確認，確認后的數據寫入原始記錄數據文件，完成現場數據采集。

2.1圖片采集

在基于鴻蒙/安卓端的特種設備檢驗系統投入使用后，檢驗人員赴現場檢驗過程中均配備了平板電腦，可在現場通過拍照的方式采集特種設備的銘牌、標簽，以及安裝單位提供的紙質技術資料。識別的目標以印刷體的中文字符及數字、字母、符號單位為主，不需要考慮手寫體的識別。影響識別效果的主要因素在于采集的環境可能造成圖片的變形、傾斜或遮擋；已投用時間較長的特種設備銘牌上可能有劃痕、油污、灰塵、印刷體褪色等問題，拍攝前應清潔銘牌表面，并盡量避免反光、遮擋或傾斜，盡量保證拍攝圖片的清晰度，以提升識別的準確率。

2.2文本檢測與識別

首先通過YOLO V3進行多尺寸特征目標檢測，然后采用Non-Maximum Suppression（NMS）非極大值抑制技術保留得分最高的檢測框，再根據文本碎片框及其得分、圖像尺寸，使用文本線構造法獲得文本行及其得分，保留得分最高的文本行，進行進一步的文本識別。文本識別的過程主要包括通過CNN提取圖像卷積特征，然后通過深層雙向LSTM網絡進一步提取圖像卷積特征中的序列特征，最后通過CTC Loss引入blank字符解決訓練時字符無法對齊的問題。LSTM（long short-term memory）長短期記憶網絡是RNN的一種變體，RNN由于梯度消失的原因只能有短期記憶，LSTM網絡通過精妙的門控制將加法運算帶入網絡中，一定程度上解決了梯度消失的問題。

文本識別的結果以鍵值對的方式進行對應展示，對于圖片不夠清晰或劃痕等導致的識別結果不準確的，經過人工確認并修正數據，確認后的數據可以離線保存為本地數據，并在恢復在線環境時通過調用服務器接口進行上傳。

2.3數據分類及修約

不同的特種設備生產廠家對于同一參數的描述和數值都可能是不一樣的，例如：額定速度，有的廠家可能描述為額定梯速或速度；額定速度有的標識為105m/min，有的標識為1.75m/s。且企業提供的紙質技術資料和銘牌中的參數信息并不是全部都需要，只需要關注檢驗原始記錄中需要填寫的技術參數。

為了采集數據的標準化，以電梯為例，依據TSG T7001-2023中要求必須采集的設備技術參數以及原始記錄中需要采集的技術參數建立采集參數配置表，對需要采集技術參數的原始記錄模板號、參數的中英文描述、值類型、計量單位、浮點數小數位數進行定義。通過采集參數配置表，使得模型能夠快速地識別出需要采集的參數。首先識別的結果通過開源中文近義詞工具包Synonyms進行識別和歸類，例如：額定梯速可以歸類到額定速度。然后對識別出的數值按照采集參數配置表中定義的值類型和參數規范進行數值修約。例如：速度值105m/min可修約為1.75m/s，約定額定速度的數值為浮點型，保留小數點后兩位。

經過處理后的數據，直接依據采集參數配置表的字段名對應寫入原始記錄的數據文件，檢驗人員在原始記錄編輯時可以查看或修改。

2.4數據存檔

由于檢驗人員現場檢驗的環境常常處于偏遠地區、坑道或封閉的機房內，信號不太穩定，因此需要支持離線編輯功能。文中所使用的圖像識別算法支持離線進行圖像文字識別，文本識別結果在檢驗人員確認保存后，會存放在本地設備中，待網絡恢復正常時，通過調用服務器接口進行數據上傳，以json格式寫入文字識別歷史數據表，與原始記錄的報告號關聯。識別的圖片通過調用服務器接口上傳到云存儲，接口返回的路徑寫入文字識別歷史數據表。

識別的圖片文件和識別結果存檔的目的在于：一方面，由于紙質資料不易存放、容易損壞，電子資料是對技術資料審查過程中的紙質資料的備份，便于檢驗人員后期的資料檢索和查看；另一方面，在質量監督過程中監督人員需要對檢驗人員的報告記錄進行檢查，核對報告記錄中的數據是否正確，填寫和操作是否規范。當對數據內容有疑問的時候，通過查閱存檔的圖片文件即可獲取到最原始的信息，以達到防篡改的效果。

3 圖像識別算法的訓練及優化

通過收集圖像識別過程中需要人工修改識別結果的圖片集，對圖片進行分割，將需要修改識別結果的區域進行分割處理并編號，形成訓練圖像集合。對于識別結果修正后的數據存儲為對應的真值（ground truth）標簽序列。通過在成對的圖像和序列上進行端到端的訓練，使得圖像識別算法可以快速地收斂。在120張驗證圖片的測試情況下，兩輪訓練結束之后準確率就達到了83.5%，經過30輪的訓練，準確率可以穩定在97.2%左右。針對特種設備銘牌及參數表中文字序列搭配較為固定和規范的場景下，經過訓練后的模型在真實圖像上表現得很好。

4 結語

文中基于日益成熟的OCR技術應用提出一種基于NCNN的圖像識別方法，有效提升了特種設備原始記錄的現場數據采集效率，解決了大量人工輸入問題，速度快、準確率高。通過對識別的數據進行分類和規約實現了數據采集的程序化與標準化。通過電子資料存檔，實現了記錄數據的可追溯和不可篡改。

隨著科學技術的進步，檢驗現場的數據采集也一定會有進一步優化的空間。譬如，在特種設備檢驗檢測的工具及測量儀器實現了數字化輸出時，可以通過制定傳輸協議標準，實現與各類檢測工具的信息交互，完全實現數據自動采集。這一階段需要注意的問題是，檢測工具測出的數據必須經過校準與可靠性測試，自動采集上來的數據要與原設備實驗數據定期或周期性比對，以保證電子數據的可靠性。

參考文獻

[1]潘健鴻.基于通用Office的機電類特種設備智能檢驗

系統的實現[J].質量技術監督研究.2009（06）：32-36.

[2]朱繼青.基于OFD的特種設備檢驗原始記錄采集和

編輯系統的設計[J].中國電梯.2021，32（11）：40-

42+45.

[3]邱夢華.基于Android的特種設備現場檢驗系統設

計[J].機電技術.2022（06）.16-18.

[4]賀小琳.OCR文字識別在人行征信查詢服務中的應用

探析[J].金融科技時代. 2023，31（01）：60-64.