計算機視覺在儀表數(shù)字識別中的應用

岳志豪,趙明冬,周 斌,馬金輝

(鄭州科技學院,河南 鄭州 450064)

0 引言

在20 世紀70—80 年代,隨著數(shù)字圖像處理技術與計算機性能的提升,計算機視覺技術已經得到快速發(fā)展,現(xiàn)已被廣泛應用于生產生活中的各個領域。 在儀表圖像識別與處理方面的應用中,國內外部分學者已經取得重大研究成果。 2005 年段會川等[1]提出了一種基于模糊識別最大隸屬原則自動定位分割儀表圖像中數(shù)字區(qū)域的方法,該法可以實現(xiàn)自動讀數(shù),但是對于復雜或模糊的儀表圖像,由于識別的不確定性,會導致誤識率較高;2006 年雷麗婷等[2]提出了多種自適應算法和協(xié)同模式識別算法,實現(xiàn)了數(shù)字儀表自動識別,但該算法會消耗大量計算機資源,導致識別速度較慢;2018 年蔡夢倩等[3]通過構建卷積神經網絡用于數(shù)字儀表識別的方法,有效提高了識別精度,并且降低了算法的復雜度,具有較強的泛化能力,不過利用已有的數(shù)據(jù)庫無法涵蓋所有數(shù)字儀表類型與場景,也會對識別結果產生影響。

為進一步優(yōu)化識別系統(tǒng),提升系統(tǒng)魯棒性與識別準確性,本文首先從待識別圖像質量著手,對硬件設備如相機、鏡頭及光源進行選擇調試,然后將待識別圖像進行灰度化、輪廓波變換、二值化和定位切割處理,從而提高識別準確性;其次,收集各類、各場景數(shù)字儀表圖像,建立自己的樣本庫并對其進行不斷擴充以提高系統(tǒng)魯棒性;最后,優(yōu)化卷積神經網絡結構,增加網絡深度,提高網絡識別率和魯棒性。

1 硬件系統(tǒng)

該系統(tǒng)硬件主要包含相機、鏡頭及光源3 部分,硬件系統(tǒng)結構如圖1 所示。 高質量的源圖像在一定程度上簡化了圖像處理和識別算法,提升了整個系統(tǒng)的魯棒性。

圖1 硬件系統(tǒng)方案

1.1 相機選擇

相機選擇130 萬像素的CMOS 工業(yè)相機,可以獲得更高分辨率的圖像,從而更清晰地顯示數(shù)字儀表上的數(shù)字。

1.2 鏡頭選擇

鏡頭選擇16 mm 的變焦工業(yè)鏡頭,可以調整視場角度,適應不同大小、不同距離的儀表,提高圖像采集的靈活性。

1.3 光源設置

為保證光源均勻照射在儀表上且防止距離較近或較遠產生陰影,本研究采用了線性的白色光源。 光源擺放在距離儀表30 cm 處并且呈45° 夾角。 通過線性的白色光源提供均勻的照明條件,可以保持物體真實顏色的同時減少陰影和反射對圖像的影響,從而突出儀表細節(jié)特征,獲得更加清晰、真實的圖像,提高識別準確性。

2 樣本庫建立與網絡模型

2.1 樣本庫建立

在項目前期,研究組成員已經采集了一定數(shù)量的樣本數(shù)據(jù),并利用第三方標注工具Labellmg 進行標注,構成了最初的識別樣本庫,后期隨著系統(tǒng)的完善會繼續(xù)收集樣本、進行標注,以擴充樣本庫,提高識別準確度。

2.2 卷積神經網絡

傳統(tǒng)的神經網絡在理論上能很好地分析圖像,但由于現(xiàn)實中計算機的資源有限,導致識別精度不足,而卷積神經網絡的問世使得上述問題得到了較好的解決。 卷積神經網絡是一種多層前饋型神經網絡[4],從功能上分為特征提取和分類識別兩個階段。 特征提取階段能夠提取輸入數(shù)據(jù)的特征并作為分類識別依據(jù),提取網絡由卷積層與池化層堆疊而成,具體結構如圖2 所示,較前的幾層能夠捕獲局部細節(jié)信息,較后的幾層則捕獲更加高層抽象的信息;分類識別階段由全連接層作為分類器,依據(jù)所提取的特征完成分類識別。

2.2.1 卷積層

卷積層是卷積神經網絡的核心層之一,用于提取水平與垂直兩個方向上的圖像特征,具有兩方面特點,一方面是多個卷積核對圖像進行卷積后能得到多個特征圖,另一方面是層層遞進可以逐步減少網絡的參數(shù)量和計算量,從而達到提高網絡的訓練效率和泛化性能的目的,卷積層計算方法如下:

其中,?為卷積運算符,X 為輸入,Mj為神經元輸入特征圖集,l 為層數(shù),i 為神經元標號,k 為卷積核,b為神經元的偏置。

在進行卷積操作時,由于卷積核不能擴展到邊緣區(qū)域以外,邊緣處只能檢測到部分像素點,可能導致無法充分提取所有特征。 為解決這個問題,本文使用Padding 擴充法,對原始圖像進行擴充,然后對其進行卷積運算,防止部分特征沒有被提取出來。

2.2.2 池化層

圖像經卷積層輸出后進入池化層,該層用于壓縮數(shù)據(jù)和參數(shù),在保證提取圖像特征的同時,可以優(yōu)化圖像過度擬合的問題,從而提高算法的計算速度和特征提取的魯棒性。 池化操作分為MAX 和AVERAGE兩種,本文采用MAX 池化,其過程如圖3 所示,池化后的數(shù)據(jù)保留了原始數(shù)據(jù)最精準的特征。

圖3 MAX 池化過程

2.2.3 全連接層

卷積層與池化層的輸出經扁平化處理后,把數(shù)據(jù)轉化為一維的數(shù)據(jù)條,并作為全連接層的輸入,而全連接層的作用是對之前卷積層與池化層所提取的特征進行分類或回歸,其中任意神經元都與前層所有神經元相關聯(lián),能夠實現(xiàn)特征的高層次表示,該過程用于完成后續(xù)的分類或回歸。

2.2.4 輸出層

在輸出層增加激活函數(shù),可以提高網絡的非線性。 使用Softmax 函數(shù)實現(xiàn)輸出0~9 各個數(shù)字的概率,以便于計算損失函數(shù)并進行反向傳播更新模型參數(shù),其所有輸出概率合為1。 計算公式為:

式中,Si為第i 個節(jié)點輸出的概率值,e ≈2.71 為常數(shù),yi 為第i 個節(jié)點的輸出值,j 為分類的類別個數(shù)。

2.3 卷積神經網絡模型訓練

卷積神經網絡模型的訓練過程為:首先,對圖像數(shù)據(jù)進行卷積、池化等操作得到特征圖像;然后,將其交由全連接層進行分類識別;最后,判斷是否符合期望,符合則作為結果直接輸出,此為前向傳播過程。如果判斷與期望不符,需要調整卷積核與神經元的權值,降低下次傳播的分類誤差,從而減小整體誤差,此為反向傳播[5]。 神經網絡訓練流程如圖4 所示,經過前向傳播和反向傳播多次迭代可以使得誤識率不斷降低且趨向于某一固定值,其中,訓練迭代次數(shù)關系到模型的準確率和收斂速度[6],訓練后的神經網絡能夠對圖像進行更高精度的分類識別,識別過程是通過前向傳播進行的,最后輸出相應分類概率。

圖4 卷積神經網絡模型流程

3 數(shù)字儀表圖像優(yōu)化處理

由于采集的圖像色彩和大小不一、灰度模糊、光照不均,嚴重影響識別準度,需對圖像進行優(yōu)化處理,其主要步驟是在RGB 圖像灰度化基礎上進行輪廓波變換和圖像二值化,最后進行數(shù)字定位和切割。

3.1 輪廓波變換

圖像在采集和傳輸時會不可避免地存在噪聲干擾,為能進一步保留原彩色圖像的局部對比度與特征信息、增強圖像識別精度,需采用相應算法對圖像進行細節(jié)增強處理。

輪廓波變換是由拉普拉斯金字塔(Laplacian Pyramid,LP)和方向濾波器(Directional Filter Bank,DFB)共同完成多尺度分解與分析,其變換原理如圖5所示,拉普拉斯金字塔將采集到的圖像分為低頻子帶和帶通子帶,低頻子帶由原始圖像經過低通濾波和下采樣后形成,高頻子帶是由原始圖像減去經上采樣和低通濾波后得到的低頻分量形成的。 方向濾波器對高頻子帶進行方向濾波,得到2n個方向子帶( n 為正整數(shù)),對低頻子頻重復上述操作,可以實現(xiàn)原始圖像的多分辨率和多方向分解。

圖5 輪廓波變換原理

以輪廓波變換[7]算法為基本原理,對彩色圖像和初步灰度化圖像進行多尺度、多方向的輪廓波分解,調節(jié)局部色彩對比度比值來增強圖像細節(jié)的對比度;通過逆變換后得到細節(jié)增強圖像,再將初步灰度化圖像與細節(jié)增強圖像進行疊加,得到最終的灰度圖像,變換結果如圖6 所示。

圖6 輪廓波變換結果

3.2 數(shù)字定位切割

由于灰度圖像經二值化處理后,可進一步減少圖像中的無用信息,增強特征信息,所以本文采用最大類間方差算法(Otsu 算法)對圖像先進行二值化處理。

將處理過的圖像進行區(qū)域定位,確定數(shù)字在儀表中的位置和范圍,分割算法如下:

(1)將寬度大于數(shù)字最大寬度的區(qū)間進行分割,使其寬度(wc)在wc/2 到wc 區(qū)間內,利用迭代法再次分割,將區(qū)間分割成基本單位;

(2)將具有明顯的左弧右弧特性且寬度滿足條件的區(qū)間進行合并;

(3)將1/7 等具有明顯高寬比與無弧特性的數(shù)字進行特殊處理。

考慮到數(shù)字的寬度、高度和數(shù)字串的長度具有一定范圍的特性,充分利用這些特性是進行定位的關鍵所在。 從左到右、從下到上對圖像進行掃描,由于大多數(shù)字存在左弧右弧的特性[8],左弧區(qū)間不能與左邊的區(qū)間重合,右弧區(qū)間不能與右邊的區(qū)間重合,因此,利用這一特性可以大大提高分割正確率(見圖7)。

圖7 定位切割后的圖像

4 數(shù)字識別結果

實驗中數(shù)字的識別過程如下:將實時采集的圖像進行優(yōu)化處理后,輸入訓練好的神經網絡,通過前向與反向的循環(huán)操作,最后由輸出層輸出各個數(shù)字的概率,概率值最大且達到97%及以上即為最終識別結果。 對于識別概率達不到標準的錯誤結果,可以作為樣本數(shù)據(jù)擴充到樣本庫中,增強系統(tǒng)的識別能力。

將前期建立的數(shù)據(jù)樣本庫作為訓練集進行模型訓練,把隨機采集的圖像進行上述的預處理優(yōu)化與分割,輸入網絡模型進行模型對照,可以得到最終的識別結果。 經過多次實驗,數(shù)字0~9 的識別正確率如表1 所示,平均正確識別率可達到97%,滿足預期期望,魯棒性好,精準度高。

表1 數(shù)字識別正確率

5 結語

本文基于計算機視覺,建立并不斷擴充樣本庫、訓練卷積神經網絡、優(yōu)化圖像處理方法,從而達到提高數(shù)字識別精準度的目的,在一定程度上解決了人工讀數(shù)存在的弊端。 該方法魯棒性高,成本低,能夠適應各類監(jiān)測環(huán)境,滿足無人化工作發(fā)展需求,具有良好的經濟應用前景。