基于機器視覺的萬用表數字識別技術研究

彭 誠 丁 蔚 侯旭瑋 李 軍

(北京東方計量測試研究所，北京 100086)

1 引 言

機器視覺一般是軟、硬件結合的一套系統，通過機器的成像系統將光信號轉換成電信號，從而識別出所需的圖像信號，進行圖像處理后，獲得特征信息用于實現指引、判斷、檢測等功能，在某些特定的場合完全可以替代人眼的功能，現已成為人工智能領域當中不可或缺的重要力量[1]。

機器視覺相比人工檢測而言具有響應處理速度快、識別率高、工作時間長等特點，絕對優勢明顯，且還能有效地降低人為的主觀因素影響[2]。因此在電子制造、汽車、制藥等領域中，尤其是車牌識別[3]、人臉識別等方面得到廣泛應用。

在電學參數計量中，手持式數字萬用表(以下簡稱“萬用表”)是應用最為廣泛的通用電參數測試設備，由于沒有程控通訊接口，因此在自動化測試技術不斷發展的今天，針對此類萬用表的絕大多數校準工作仍依賴人工手動的方式完成，只有極個別高端萬用表才可以通過“專用紅外轉換接口”實現少量數據傳輸，完成半自動校準工作，校準過程耗時費力，人工錯誤率較高，勞動效率低下[4]，針對此類問題，羅政元等人提出了一種基于圖像識別算法進行自動測試的萬用表校準系統，能夠提高一定的測試效率，但是其整體智能化程度較低，還需要人工參與換線[5]。另外，隨著技術的不斷發展，各條生產線規模不斷擴大，萬用表的校準需求也在相應增加，直接導致計量服務的人工成本居高不下。因此，需要進一步通過研究機器視覺字符識別技術，實現萬用表的全自動校準問題。

2 機器視覺硬件系統

機器視覺識別硬件系統主要由工業數字相機和光源共同組成，用以代替人類“眼睛”的部分功能，并與相應配套的圖像處理軟件共同完成圖像數據的獲取、處理、判定等工作，實物如圖1所示。

圖1 機器視覺系統實物圖Fig.1 Physical chart of machine vision system

2.1 工業數字相機

若只考慮像素關鍵參數，同級別的民用相機比工業數字相機具有壓倒性的價格優勢，但其在圖像穩定性、環境抗干擾性和數據傳輸性上處于絕對的劣勢。因此，在工業控制領域，選擇合適的工業數字相機是機器視覺設計的關鍵。

工業數字相機重要的指標有像素分辨率、位深度和拍攝速度(幀率)。根據被檢萬用表的具體拍攝參數需求，本部分選用600萬像素的COMS工業數字相機，分辨率3 072×2 048，8位黑白位深度，幀率17fps，128MB板上緩存，數據傳輸支持最新的千兆以太網(GigE Vision V1.2)版本協議。在機器視覺字符識別系統中，利用其靜止拍照功能獲取數字圖像(約6MB數據容量)，通過千兆網線接口向計算機傳輸數據。

2.2 光源

光源的設計與選型好壞將直接決定工業數字相機成像的最終效果，為避免增加不必要的后期數字圖像預處理，在工業數字相機前置位安裝了環形LED白色定制光源，用于照亮被拍攝目標區域，從而達到提高拍攝照片亮度均勻性，最大限度克服外界環境光照影響，保障圖像穩定等特點。

3 機器視覺字符識別技術

萬用表需要識別的字符部分包括正負號、數字、小數點、附加信息字符，正確識別以上數顯內容可以實現計量校準的自動化數據獲取，就能獲取數字萬用表的測量結果，進而完成計量校準中數據采集獲取任務，配合工業機器臂的操控機構，從而實現手持式數字萬用表計量校準的全自動化校準解決方案，機器視覺識別技術的方法框圖如圖2所示。

圖2 機器視覺字符識別三種方法原理對比框圖Fig.2 Block diagram of three methods character recognition in machine vision comparison

當下機器視覺字符識別技術法多種多樣，本文將介紹三種主流的技術，分別為圖像灰度閾值法、傳統方法的目標分類字符識別、基于深度學習下的CNN字符識別。在萬用表的數字識別過程中三種技術方式可以靈活組合應用，并不局限于某種方式的單一應用，下面簡要論述一下它們各自的主要技術特點。

3.1 圖像灰度閾值法

圖像灰度閾值法是三種方法中最為簡單易用的，在本文前面提到過8位A/D的黑白工業數字相機拍攝的數字圖形中單點像素為從0(暗)～256(亮)個灰度級數值，通過判斷某目標區域中平均灰度數值來判斷該區域中圖形的有無狀態，并且可以進一步組合形成具體字符的識別判斷。

圖像灰度閾值法應用最廣泛的主要是LCD/LED顯示七段數碼管的線灰度識別，當數碼管關斷時，灰度等級處于高位，打開時處于低位，通過整合7段數碼管的狀態信息即可確定具體的讀數結果[6]，如圖3所示。

圖3 使用線灰度識別數碼管顯示結果圖Fig.3 Recognition of digital tube display result by line gray level

3.2 傳統方法的目標分類字符識別

傳統方法的目標分類字符識別(以下簡稱OCR)，在各行業有著最為廣泛的應用，例如可靠地識別在整個價值鏈中的工件和產品上印刷或沖壓字符。

如圖4所示，OCR從基本原理上來說就是不斷的在執行分類和訓練(也可理解為學習)兩個過程，二者之間也是一種動態匹配的過程，隨著訓練的增加，特征分類庫也必然增加。OCR是指機器視覺自動從圖像中識別文字字符的過程，OCR程序先通過圖像預處理、標識識別興趣區域(以下簡稱ROI)功能選取合適的待識別字符，再與特征分類庫中的字符進行篩選對比，返回一個特定的字符值，該返回值即是OCR識別出來的字符值。

圖4 通用訓練和分類識別階段流程圖Fig.4 Flow charts for two stages of general training and classification and recognition

3.3 基于深度學習下的CNN字符識別

深度學習(Deep Learning)是機器學習當中逐漸演變出來的一種新算法，常見的模型有深度置信網絡(DBN)、卷積神經網絡(以下簡稱CNN)、卷積深度置信網絡(CDBN)等等，其中CNN常被用于判斷輸入的圖像是否包含字符[7]，并從中剪取有效的字符片斷后，再進行字符識別的任務。

CNN最初是從視覺皮層的生物學上獲得啟發，即視覺皮層有小部分細胞對特定部分的視覺區域敏感，而且一起工作才能產生視覺感知，具有極強的關聯性。CNN的一般結構模型如圖5所示，包括卷積層、池化層、全連接層三個主要部分，選擇適合的卷積層與池化層進行匹配，形成多個卷積組(或卷積核)，按照順序完成特征值的提取，通過若干個全連接層實現重組，最后依靠傳統神經網絡完成分類等任務。

圖5 CNN結構模型圖Fig.5 CNN structural model

深度學習模型需要對大量的樣本(被標識過的訓練集)進行訓練才能提高其識別準確率。與前面兩種字符識別方法相對比，深度學習下的CNN字符識別可以完全不需要進行圖像預處理，它是通過構建一個多層神經網絡，在此網絡上自動學習并得到數據隱含在內部的關系，從而提取出更高維、更抽象的數據，使學習到的特征更具有表達力[8]，識別效率更快、識別泛化能力更強。

4 方案實施

本章節將以Fluke的15b+作為被識別對象，分別采用兩種不同的方案進行設計與開發。其中，方案一采用圖像灰度閾值法與傳統目標分類字符識別相結合的方法；方案二采用深度學習下的CNN字符識別方法。

4.1 方案一

本方案中機器視覺開發采用基于NI LabVIEW開發平臺的Vision Development Module (VDM)軟件模塊，該模塊內置圖像灰度閾值算法以及目標分類字符識別(OCR)工具集，并且可以通過Vision Acquisition Software (VAS)驅動軟件完成對數字相機的通信控制。

機器視覺圖像處理的過程為圖像拍攝，預處理，LCD灰度檢測完成數字、小數點、負號的讀取，OCR對特定區域的單位字符處理與識別，最后完成數字字符和單位字符的字符格式化合并輸出，最后返回數值顯示結果，具體的系統流程圖如圖6所示。

圖6 圖像字符識別系統流程圖Fig.6 Flow chart of image character recognition system

4.1.1預處理

在實際識別工作過程中對數字表的視覺識別效果造成最大影響的因素就是外部光線的變化，為減小亮度均勻性的影響[9]，需要對相機拍攝的照片進行二值化預處理，如圖7所示，提高LCD/LED的圖像識別準確性。通過采用VDM軟件算法庫包中的Threshold函數實現單灰度區間的圖像分割。

圖7 照片二值化預處理效果圖Fig.7 The effect of binary image preprocessing

4.1.2數字識別

通過VDM軟件算法庫包中的IMAQ Get LCD ROI和IMAQ Read LCD兩個函數就可以很方便的在短時間內搭建好萬用表數字識別系統。其中LCD/LED數字識別的基本原理就是前面講解的圖像灰度閾值法，對圖像的灰度影響比較大的包括亮度、對比度、噪聲等，若灰度識別不準確將直接影響讀數的準確性。

4.1.3正負號及小數點識別

萬用表的顯示習慣遵循人們的認知常識，所以一般正數前面的“+”默認情況下是不需要顯示的，只有負數前面才會顯示“-”。因此，萬用表只需完成負號“-”的識別，正數無需識別；另外通過對數顯表頭的觀察可知，小數點只出現在固定的三個位置，故只需通過選取正確的ROI，通過自編的“三選一”條件判斷算法即可識別小數點是否存在以及具體位置。

4.1.4字符識別

萬用表功能強大，包含交直流電壓、交直流電流、直流電阻等常見的5功能參數，因此相應的屏幕顯示也包含了“m，M，k，μ，Ω，V，A”等倍數詞頭和單位符號，為了進一步獲得測量數據的實際數據，就不能單單獲取數字的識別結果，還需要對以上字符信息進行有效識別。這些字符信息的識別無法簡易地應用圖像灰度閾值法，必須使用目標分類字符識別技術，如圖8所示。

圖8 OCR訓練界面圖Fig.8 Interface of OCR training

通過VDM軟件模塊中的Vision OCR Training工具包軟件就能夠很方便的進行訓練功能，OCR讀取過程如圖9所示。

圖9 OCR讀取過程界面圖Fig.9 Interface of OCR read

4.1.5數值合成

經過以上步驟識別出來的數值、負號、小數點詞頭和單位，在LabVIEW開發平臺全部是以字符串的形式進行單值存儲，因此最后需要進行必要的字符串合并來顯示完整的數據測量結果：一個典型的數值由數字部分(含負號、小數點、)和字符部分共同組成，字符識別結果如圖10所示。

圖10 方案1字符識別結果圖Fig.10 Plan 1 character recognition result chart

4.1.6自動錯誤處理

本文開發的自動校準系統軟件中還包含自動錯誤處理功能，具備單點復測的容錯能力，防止機器誤判，如圖11所示。此功能可有效剔除測試過程中的識別異常值，從而增加系統的健壯性。

圖11 自動錯誤處理功能界面圖Fig.11 Interface of automatic error handling function

4.2 方案二

在深度學習下的CNN字符識別方案中，采用?？低暪狙邪l的深度學習識別模塊系統，該模塊內置于圖形化開發機器視覺應用環境Vision Master中，并細分為DL字符識別、DL缺陷檢測、DL訓練工具三大功能，如圖12所示，根據前述深度學習的方法，本方案需要先訓練完模型，才能完成分類識別的任務。

圖12 深度學習識別系統界面圖Fig.12 Interface of deep learning recognition system

4.2.1DL訓練工具

深度學習字符訓練工具通過添加訓練集樣本圖片(建議大于100張)，并需要手動框選ROI，人工進行字符標記，然后點擊訓練即可，如圖13所示。

圖13 深度學習字符訓練界面圖Fig.13 Interface of deep learning character training

4.2.2DL字符識別

訓練完成后生成模型庫文件，即可進行字符識別，其基本流程是：從拍攝原始圖像輸入開始，設置ROI，選擇訓練好的模型庫文件，設置置信度參數，即可開始數字表的深度學習識別，識別完成后，同樣需要進行數據格式化，最后通過TCP客戶端傳輸識別字符串信息給上層的軟件自動測試系統進行后繼數據處理。

為達到更高識別置信概率，需要更多人工已標識完畢的圖片對模型訓練優化，為降低時間成本和硬件資源消耗，本方案更注重數字部分信息識別，數字部分識別結果如圖14所示，其余部分識別均可通過以上方法實現。

圖14 方案二數字識別結果圖Fig.14 Plan 2 digital identification result chart

4.3 方案對比

兩種方案實際對比結果見表1，經分析可知，兩個方案的數字識別率均可達到99.8%，具有良好的實際工程應用效果?，F實生活中大多數問題卻是小樣本數據，此時方案一就可以直接處理；方案二需要大量的訓練數據作為支撐，消耗的計算機算力、人工標識等資源多，才能達到理想效果，此時不宜使用方案二。

表1 兩種方案實際對比結果Tab.1 The actual comparison results of the two schemes方法識別率資源使用率容錯性算法難度方案一99.8%少較差簡單方案二99.8%多高復雜

另外，方案二的算法較為復雜，應用門檻較高，其模型訓練過程是在黑盒環境下進行的，計量自動化測試工程師可控可調余地較小，因此在識別效果相同的情況下，建議優選方案一，但不可否認的是方案二可以獲取更深層次的圖像特征，容錯性更好，是未來的重點發展方向。

5 結束語

本文通過詳細的分析比對，兩種方案均能準確有效地完成萬用表字符識別功能，使測試效率大幅提高，但在計算能力與資源占比，冗余度以及開發效率上二者有著顯著差異。隨著當前社會的不斷發展，機器視覺技術也必然會掀起新一輪的革新浪潮，將更加廣泛地應用在計量測試領域，助力人類不斷提高生產效率。