包玉樹 黃亞龍 孫軍 胡永建 吳劍
關鍵詞: 數字儀表; 校驗系統; 結構特征; LLE算法; 圖像處理; 降維
中圖分類號: TN873+.5?34; TP391 ? ? ? ? ? ? ? ? 文獻標識碼: A ? ? ? ? ? ? ? ? 文章編號: 1004?373X(2018)24?0010?04
A digital meter calibration system based on structural features and LLE algorithm
BAO Yushu1,2, HUANG Yalong2, SUN Jun3, HU Yongjian2, WU Jian2
(1. School of Electrical Engineering, Southeast University, Nanjing 211189, China; 2. Jiangsu Frontier Electric Technology Co., Ltd., Nanjing 211102, China;
3. Wuhan Pandian Science & Technology Incorporated Company, Wuhan 430100, China)
Abstract: Since there exist errors in manual reading data during digital meter calibration, a digital meter calibration method based on the combination of multi?features and local linear embedding (LLE) algorithm is proposed. The character images are converted from RGB to HSI color space. Image segmentation is conducted in the I space. The single character is segmented by using the projection method. The structural features of character images are extracted. As the simple structural features cannot sufficiently describe the characters, the recognition accuracy is low. Therefore, the LLE algorithm is used in this paper to reduce the dimensionality of character binary images. The pixel features after dimensionality reduction and structural features are combined. The support vector machine (SVM) is used to recognize the character features. The experimental results show that the proposed method can improve the character recognition rate of the calibration system.
Keywords: digital meter; calibration system; structural feature; LLE algorithm; image processing; dimensionality reduction
儀表是進行測量和監視的計量設備,在使用過程中,由于各種因素的影響,導致測量誤差增大,因此在使用過程中需要定期校驗[1]。在校驗過程中,由于儀表字符刷新頻率高、人眼辨別能力和易疲勞等因素的影響,不能實時同步準確地讀取并記錄標準儀表與待測儀表讀數。基于機器視覺的自動校驗方法能夠對儀表快速刷新的數字進行自動識別,記錄并對比待測儀表與標準儀表的讀數,從而達到儀表校驗的目的[2]。儀表字符識別可以分為圖像采集、字符圖像分割和字符識別等過程[3]。在字符分割的研究中,研究者大多對字符圖像進行形態學變換后,利用閾值分割直接對字符圖像完成二值化處理[4?6]。劉丹等對二值化圖像利用投影的方法進行字符區域的定位和單個字符的分割[4];該方法只是分割7位數碼管,背景相對簡單。洪濤等將圖像經過中值濾波降噪后,采用閾值分割對字符圖像進行二值化處理,并在二值化前對圖像進行圖像增強,弱化背景的同時突出字符信息[5]。在字符識別的研究中,劉自立等采用模板匹配法對分割后的儀表字符進行識別,達到了良好的識別效果[7];Gunasekaran M等利用BP神經網絡對文字與字符進行識別,識別效果良好,但BP神經網絡需要大量字符樣本訓練網絡,不適合小樣本的儀表字符訓練[8];李智成等對字符提取改進的結構特征,然后利用K近鄰分類器識別字符,K近鄰算法在識別時需要反復計算測試字符與訓練字符特征的距離,大量重復的計算降低了識別速度[9];KO D G等人利用深度學習算法識別字符,得到了較高的識別率,但同樣需要大量樣本進行訓練學習[10]。本文提出在亮度空間對字符圖像進行閾值分割,提高了字符圖像的質量。在特征提取部分,文中利用LLE算法對字符二值圖像降維,將降維后的像素特征與結構特征結合起來,并使用SVM對字符樣本分類。實驗結果表明,本文方法有助于提高字符樣本的識別率。
正確有效的字符圖像分割是字符識別的重要基礎。本文首先將原始字符圖像二值化,然后從二值化的字符圖像中提取出單個的字符。
1.1 ?字符圖像二值化
儀表字符由屏幕發光顯示,在對字符進行閾值分割時,目標區域即為亮度較高的區域。色彩模型HSI中的I向量為亮度空間,因此,在進行閾值分割之前將采集到的彩色字符圖像從RGB色彩空間轉換到HSI。在亮度空間向量I進行OTSU閾值分割得到字符的二值圖像。分割結果如圖1所示。由于復雜背景的影響,對灰度圖像直接進行閾值分割時,字符圖像模糊不清。對亮度空間I進行閾值分割時,能夠分割出字符,經過形態學膨脹操作后字符清晰可見。因此,在I向量對儀表圖像進行閾值分割時,能夠有效提高分割效果,減少復雜背景的影響,從而提高字符識別率。
1.2 ?字符圖像分割
二值化有效避免了字符粘連的情況,故在二值化圖像的基礎上,可以直接利用投影分割法對字符圖像進行分割。字符圖像的水平投影直方圖如圖2所示,利用水平投影分割后的字符圖如圖3a)所示;求圖3a)的垂直投影直方圖,如圖4所示,利用垂直投影可以從字符圖像中分割出單個字符,分割結果如圖3b)所示。
目前常用的字符特征有結構特征、粗網格特征以及筆劃密度等特征[11],這些特征用來對字符做粗分類效果較好,當樣本增加時,識別率會降低。為了有效提高儀表校驗中字符識別率,本文提出一種結構特征與LLE算法結合的字符識別算法,具體流程如圖5所示。
2.1 ?字符結構特征提取
本文將分割后的字符圖像尺寸歸一化到64×64,然后提取出字符圖像的外圍特征與穿透特征[12]。
2.1.1 ?外圍特征
外圍特征描述的是字符圖像的外輪廓特征,其表示從圖像邊緣到第一個白像素點以及第二個白像素點的距離,即為像素數,具體步驟為:
1) 利用n條均分掃描線從二值化后的圖像左邊緣開始掃描;
2) 計算每一條掃描線從圖像左邊緣黑色像素點到第一次由黑變白的長度,得到一組一次外圍特征F1i(i=1,2,…,n);
3) 再計算每一條掃描線從圖像左邊緣至第二次由黑變白的長度,得到一組二次外圍特征F2i(i=1,2,…,n);
4) 重復上述步驟,可以得到右、上、下另外三個方向的外圍特征。
以5條掃描線為例,即當n=5時,如圖6和圖7所示。一次外圍特征維數為4×5=20維,二次外圍特征維數為4×5=20維。
2.1.2 ?穿透特征
穿透特征描述的是字符筆劃特征,其表示的是從圖像的邊緣開始,計算像素點由黑變白跳變的次數,具體步驟為:
1) 利用n條均分掃描線從二值化后的圖像左邊緣開始掃描;
2) 記錄每一條掃描線上從圖像左邊緣出發,像素點由黑變白的跳變次數,即可得到一個n維的特征向量Ci(i=1,2,…,n);
3) 重復上述步驟,得到右、上、下另外三個方向的穿透特征。
同樣以5條掃描線為例,如圖8所示。此時,穿透特征為4×5=20維。
2.2 ?降維像素特征
針對結構特征對字符描述不夠充分的問題,本文引入LLE降維算法。算法原理是將高維數據通過核函數映射低緯度空間,利用重構的局部對稱性保持原始數據整體結構[13]。算法計算過程如下:
1) 將二維字符圖像轉換成一列向量xi,N個字符組成的D維數據X,計算每個點與其他點的歐氏距離:
[dij=m=1D(xim-xjm)2]
從距離矩陣中為每個點xi選擇離其距離最近的K個點組成近鄰集合[Xki={xi1,xi2,…,xiK}]。
2) 每個點xi由K個近鄰點對其進行線性表示:
[xi=j=1nwijxj]
式中:權重[wij]表示第j個樣本點對第i個在重構的貢獻值;且若xj不屬于xi鄰域時wij=0;若xj屬于xi鄰域時wij≠0。
3) 通過其近鄰點重構每個樣本局部幾何形狀。重構誤差函數為所有數據點的距離和其重構之間距離的平方:
[εW=i=1nxi-j=1Kwijxj2]
式中:K表示鄰近點個數;xj表示xi的第j個鄰近點;權值矩陣W由wij構成,且其約束為[j=1kwij=1]。
4) 權重矩陣Wn×n是一個n×n的稀疏矩陣,定義對稱矩陣M,M=(I-W)T(I-W)。
5) 求稀疏對稱矩陣M的d+1個特征值。按升序排列,舍去第1個特征值,其余特征值對應的特征向量即為低維輸出Y,d為降維后特征維度,將Y作為字符的低維特征進行識別。
利用LLE算法將64×64維的字符像素特征降低到50維。經過測試,得出當近鄰點個數K=40時,特征識別率最高。
本系統針對各種類型的數字儀表進行校對,主要分為三部分:字符圖像采集、字符識別和識別結果對比與誤差分析。
系統包括兩個工業CCD相機、電腦和校驗軟件,硬件系統如圖9所示。相機用于標準表與被測表的圖像采集,傳輸到計算機并對圖像進行濾波等預處理,再通過圖像分割與字符分割將圖像分割成單個字符。然后輸入到訓練好的字符分類器模型,對字符進行識別。最后,將識別結果保存到數據報表中。軟件界面見圖10。
本文使用8條掃描線分別提取字符的一次、二次外圍特征共64維,穿透特征32維以及經過LLE降維的字符像素特征50維,并將這些特征進行融合組成綜合特征共146維。最后,采用LibSVM對字符進行識別。SVM類型選擇C?SVC,核函數為徑向基(RBF)。其主要參數懲罰因子C=8,核參數γ=0.015 6。
分別計算幾種特征的識別率、特征提取時間和識別時間,實驗結果如表1所示。結構特征的識別率為93.61%。而經LLE降維后的像素特征,識別率為89.37%,均不能滿足儀表校驗對精度的要求。將兩者融合得到的綜合特征對字符進行識別時,識別率得到有效提升,達到了98.56%,有效提高了儀表校驗精度。同時,融合特征的提取與識別時間無明顯增加,不影響儀表識別系統的準確性。
為了改善字符分割效果,本文在HSI中的亮度空間I進行OSTU閾值分割,最后使用投影法對二值圖像進行字符分割;在字符識別的研究中,提取字符結構特征,并使用LLE算法對字符像素特征降維,將字符結構特征與降維紋理特征結合,以減少字符誤識率;最后,使用LibSVM分類器訓練得到的模型對特征進行識別。實驗結果表明,本文提出的字符識別算法有效地降低了字符的誤識率。同時,特征融合后的識別時間無明顯增加,在數字儀表校驗系統中具有良好的實用性。
參考文獻
[1] 臧景茹,楊曉琰,劉晶.數字儀表自動校驗系統開發[J].華北電力技術,2006(2):34?37.
ZANG Jingru, YANG Xiaoyan, LIU Jing. Development of automatic calibration system for digital meter [J]. North China electric power, 2006(2): 34?37.
[2] 郭爽.數碼管數字儀表自動識別方法的研究[J].通信技術,2012,45(8):91?93.
GUO Shuang. Study on automatic identification method of digital tube [J]. Communications technology, 2012, 45(8): 91?93.
[3] 張海波,段會川,張曙光,等.一種數字儀表顯示值快速識別方法[J].計算機工程與應用,2005,41(4):223?226.
ZHANG Haibo, DUAN Huichuan, ZHANG Shuguang, et al. A rapid recognition approach for the display value of digital meters [J]. Computer engineering and applications, 2005, 41(4): 223?226.
[4] 劉丹,穆林麗,余曉鍔.一種七段數碼管式醫用儀表的自動識別方法[J].科學技術與工程,2010,10(16):4037?4039.
LIU Dan, MU Linli, YU Xiaoe. A new method of medical digital meter′s computer automatic reading [J]. Science technology and engineering, 2010, 10(16): 4037?4039.
[5] 洪濤,梁偉建,盧玉鳳.標牌粘連字符自適應定位分割重建與識別[J].中國圖象圖形學報,2014,19(6):886?895.
HONG Tao, LIANG Weijian, LU Yufeng. Merged characters segmentation reconstruction and recognition of labels based on adaptive location [J]. Journal of image and graphics, 2014, 19(6): 886?895.
[6] 申小陽,唐軼峻,姜柏軍,等.儀表的數字字符識別系統[J].儀表技術與傳感器,2005(6):55?57.
SHEN Xiaoyang, TANG Yijun, JIANG Bojun, et al. Numeral characters recognition system of instrument [J]. Instrument technique and sensor, 2005(6): 55?57.
[7] 劉自立,周洪,余力,等.基于投影矩陣法的儀表字符實時識別系統[J].儀表技術與傳感器,2008(8):98?100.
LIU Zili, ZHOU Hong, YU Li, et al. Real?time instrument character recognition system based on projective matrix method [J]. Instrument technique and sensor, 2008(8): 98?100.
[8] GUNASEKARAN M, GANESHMOORTHY S. OCR recognition system using feed forward and back propagation neural network [J]. SSRN electronic journal, 2013(10): 52?60.
[9] 李智成,李文婷,梅術正,等.基于機器視覺的高壓計量數顯表自動校對系統[J].電測與儀表,2017,54(20):105?109.
LI Zhicheng, LI Wenting, MEI Shuzheng, et al. Automatic calibration system of high voltage measuring digital display instrument based on machine vision [J]. Electrical measurement & instrumentation, 2017, 54(20): 105?109.
[10] KO D G, SONG S H, KANG K M, et al. Convolutional neural networks for character?level classification [J]. IEEE transactions on smart processing & computing, 2017, 6(1): 53?59.
[11] 楊芳,李紅睿,田學東.基于RBF神經網絡的漢字粗分類方法[J].計算機工程與應用,2009,45(6):170?172.
YANG Fang, LI Hongrui, TIAN Xuedong. Coarse classification scheme for Chinese character based on RBF neural network [J]. Computer engineering and applications, 2009, 45(6): 170?172.
[12] 張好好,吳游,于睿,等.一種基于壓縮感知的數字圖像水印算法[J].現代電子技術,2014,37(22):10?13.
ZHANG Haohao, WU You, YU Rui, et al. A digital image watermark algorithm based on compressive perception [J]. Modern electronics technique, 2014, 37(22): 10?13.
[13] 丁嬌,梁棟,閻慶.基于D?LLE算法的多特征植物葉片圖像識別方法[J].計算機工程與應用,2015,51(9):158?163.
DING Jiao, LIANG Dong, YAN Qing. Recognition method of multi?feature plant leaves based on D?LLE algorithm [J]. Computer engineering and applications, 2015, 51(9): 158?163.