融合字符及字符排列特征的銘牌識別方法

尹遠+余正濤

摘 要： 傳統銘牌字符識別主要通過計算銘牌字符圖片的灰度平均值來判定，由于銘牌字符具有筆畫方向特征、輪廓特征，同時字符之間存在著一定的排列特征。提出融合字符及字符排列特征的銘牌識別方法，首先對銘牌字符圖片分別進行橫、豎、撇三個方向上的小波變換，求出三個方向上的小波平均能量，再提取出字符的邊緣方向直方圖，以小波平均能量和邊緣方向直方圖構成特征向量，用支持向量機分類器訓練并構建候選字符識別模型，得到候選字符，然后利用銘牌字符排列特點和銘牌的樣本數據訓練構建N階馬爾科夫字符排列模型，借助于模型對候選字符進行約束獲得銘牌識別結果，最后對電力設備銘牌進行識別實驗。結果表明，提出的方法表現了很好的效果，比OCR軟件識別的準確率提高了12.6%。

關鍵詞： 設備銘牌； 字符識別； 筆畫方向特征； 輪廓特征； 字符排列特征

中圖分類號： TN919?34 文獻標識碼： A 文章編號： 1004?373X（2016）22?0006?03

0 引 言

銘牌字符不同于具有白色背景的普通文檔字符，它一般出現在彩色背景中，字符可能出現傾斜，而且字符數量遠遠少于普通文檔，一般同時包含文字、數字和字母，識別這種字符對于設備的管理具有重要意義[1]。目前的銘牌字符識別是提取字符特征建立模版，利用模版匹配來進行字符識別。其中，字符特征的提取和匹配是最關鍵的部分。對于特征的提取，Yang等人提出以字符的孔洞數[2]、字符每一行由白到黑跳變的像素個數以及字符經過Gabor[3]變換之后的紋理特征來作為字符的識別特征；Chen等人提出以字符的小波能量[4]作為字符識別特征的方法，其中小波能量是一種細節特征，可以較好地體現字符在不同筆畫方向上的頻譜能量[5]；Wei等人利用字符的開閉環特征[6]訓練BP神經網絡[7]來進行字符的識別，通過判斷字符的形狀有沒有構成封閉的區域，以構成不同類型的封閉區域作為字符的識別特征。對于銘牌字符模版的匹配，傳統方法是將字符分割成很多小塊，然后計算出所有小塊的灰度平均值[8]來進行匹配，字符中的漢字、數字和字母筆畫彎折的部分具有豐富的筆畫方向特征[9]，通過小波變換可以把字符筆畫方向的變化這一局部細節信息反映在頻譜的高頻部分，同時銘牌字符的輪廓線條存在著很多方向突變，具有豐富的形狀輪廓信息，邊緣方向直方圖[10]可以體現字符的整體形狀輪廓信息。銘牌上的內容一般是某一領域的相關術語，字符只有通過固定的排列才能構成這些術語，通過N階馬爾科夫方法[11]構建的字符排列模型可以體現出字符之間的特定排列特征。所以本文將它們融合在銘牌識別的特征提取和結果匹配中，提高銘牌字符識別的準確率。以電力設備銘牌識別實驗為例，其結果也驗證了本文提出方法的有效性。

1 銘牌字符預處理

在進行銘牌字符識別之前，需要對銘牌上的字符做預處理，包括字符圖像的二值化、字符圖像的去傾斜、以及字符圖像的分割。設備銘牌的圖像通常是彩色的，為了方便對字符的分割以及識別，首先要對字符圖像進行二值化，本文采用全局最大方差閾值法來確定對字符圖像進行二值化的灰度閾值K。設灰度圖像的灰度級區間為[0，M]，某一灰度級K將該區間分為兩組，分別為[0，K]和[K+1，M]，記為C0和C1，則這兩個灰度區間之間平均灰度的方差為：

[δ2K=ω0μ0-μ2+ω1μ1-μ2=（μω（K）+μ（K））2ω（K）（1-ω（K））] （1）

式中：μ0和μ1分別為C0和C1的平均灰度；ω0和ω1分別為C0和C1所占像素點數量與總像素點數量的比值。在[0，M]之間不斷變換K的值，直到求出式（1）中δ2（K）為最大值時的K值，這個值就是對字符圖像進行二值化的灰度閾值K。到此，完成了設備銘牌上字符的灰度二值化。

由于拍攝角度的原因，設備銘牌上的字符會與水平線之間存在一個微小的夾角θ。為了方便特征的提取，需要對字符圖像進行去傾斜。由于銘牌上的字符是橫排書寫的，即從左往右書寫，對字符圖像分別進行x軸和y軸方向上的投影，其投影長度分別為L1和L2，然后檢測y軸上灰度值為1的起始點的坐標，其到x軸的距離記為L3，設字符圖像的去傾斜角度為θ，則：

[θ=arctan L2-L3L1] （2）

對于設備銘牌上的字符，如果最左側字符的y軸投影坐標大于最右側字符的y軸投影坐標，則將整個字符的投影區域逆時針旋轉去傾斜角θ即可，反之，則順時針旋轉去傾斜角θ即可。在進行字符圖像的二值化和去傾斜之后，接下來進行字符圖像的分割和歸一化。設備銘牌字符的分割可分為行分割與字間分割，首先進行的是銘牌字符的行分割，對銘牌字符進行y軸方向的投影，可以得到銘牌字符在y軸方向的像素分布，在像素分布圖中有一些地方為零，它們對應兩行之間的空白，可以根據y軸方向的像素分布來計算每一行的寬度以及行與行之間的距離，在進行字符圖像的行分割之后，再進行每一行字符圖像的字間分割。與行分割類似，只需要對某一行字符圖像做x軸方向的投影，可以得到銘牌字符在x軸方向的像素分布，在像素分布圖中有一些地方為零，它們對應兩個字之間的空白，可以根據這個空白的距離對一行字符做字間分割。對于字符圖像，本文將采用線性歸一的方法將其壓縮為32×32的像素點陣，在歸一化的過程中，若某一個方向先歸一化達到32點陣，另一個方向的歸一化即停止，這樣可以使得在歸一化的過程中不會造成字形的破壞。

2 候選字符的識別與排列

本文選取小波能量和邊緣方向直方圖作為銘牌字符識別的特征，它們對字符的細節、紋理、頻譜有較好的表現能力，并使用這些特征訓練支持向量機（SVM）分類器，通過被訓練的分類器得到識別出的候選字符，并對候選字符進行排列得到最終的銘牌識別結果。

2.1 候選字符的識別

本文將預處理之后的字符圖像進行小波分解，獲取其在橫、豎、撇這三個方向上的平均能量。將字符圖像的平均能量記為Eav，則：

[Eav=1MNx=0M-1y=0N-1f（x，y）2] （3）

式中：f（x，y）表示某個字符的圖像；[fx，y]表示該圖像像素值的絕對值；M和N表示該圖像的寬和高。設經過小波分解后得到的低頻分量圖像為A（f），它包含了字符的輪廓信息，高頻分量圖像為Bd，j（f），則它們的平均能量為：

[Af： Eav（A（f））=1MNx=0M-1y=0N-1A[f（x，y）]2] （4）

[Bd，jf： Eav（Bd，j（f））=1MNx=0M-1y=0N-1Bd，j[f（x，y）]2] （5）

式中：d=1，2，3表示橫、豎、撇三個方向；j=1，2，3表示進行小波分解的次數。這樣，高頻分量圖像就有9個能量特征，再加上低頻分量圖像的能量特征，就得到了一個字符圖像的10維能量特征向量，即：

[EavEavAf，EavB1，1f，EavB1，2f，EavB3，3f] （6）

提取字符圖像的邊緣方向直方圖需要先提取字符的邊緣形狀。本文提取字符的邊緣圖像使用的是Canny算子。Canny算子的實現是一個多階段的處理過程，首先對于圖像進行高斯平滑，然后對于平滑后的圖像用Roberts算子進行變換，對變換后的圖像，將360°的角度空間均分為72級，計算圖像中邊界點處法向量的方向角分別落在這72級空間中的頻率，這樣就得到了字符圖像的邊緣方向直方圖向量。提取字符圖像的特征之后，本文構建并訓練支持向量機分類器來識別候選字符。設訓練字符圖像為B，其小波能量特征向量為B=（B0，B1，B2，…，B9），邊緣方向直方圖向量為Y=（Y0，Y1，Y2，…，Yn），待識別的字符圖像為A，其小波能量特征向量為A=（A0，A1，A2，…，A9），邊緣方向直方圖向量為X=（X0，X1，X2，…，Xn），T1和T2為設定的閾值，則當：

[DX，Y=i=0n（Xi-Yi）2

同時成立時，字符B被識別為字符A的一個候選字符，候選字符可能有多個。下一步就需要對候選字符做正確排列，得到最終的銘牌識別結果。

2.2 候選字符的排列

根據銘牌所用的領域術語，構建字符排列模型，通過模型對候選字符進行正確的排列。設由k個候選字符組成的排列（m1，m2，...，mk）組成術語S的概率為P（S），根據N階馬爾科夫模型，術語S出現的概率僅僅與前面n-1個術語有關，則：

[PS=P（m1，m2，...，mk）=i=1kN（mi-n+1，...，mi）N（mi-n+1，...，mi-1）] （8）

式（8）即為N階馬爾科夫字符排列模型。其中N（mi-n+1，...，mi）和N（mi-n+1，...，mi-1）分別表示候選字符排列（mi-n+1，...，mi）和（mi-n+1，...，mi-1）在所有候選字符排列中出現的次數。對這k個候選字符，根據式（8）求出其按不同排列組成不同術語的概率，并將這些概率從高到低排列，然后將組成概率最大的那個術語作為最終的銘牌識別結果。

3 實驗與結果分析

本文以電力設備銘牌字符識別實驗為例，選取了360張電力設備的銘牌圖片作為實驗樣本，其中有120張為純漢字銘牌圖片，120張為包含漢字、字母、數字的銘牌圖片，120張為包含字母、數字的銘牌圖片。在實驗樣本中與OCR識別軟件的對比實驗結果如表1所示。

從表1可以看出，本文的方法在識別銘牌字符的綜合準確率上比OCR軟件提升了12.6%。為了進一步說明本文提出的方法的有效性，設計了兩個實驗，用一款OCR文字識別軟件的實驗結果作為對比。

實驗一：識別字符數較少的設備銘牌實驗（銘牌內容為“110 kV下倉線端子箱”）。

實驗二：識別字符傾斜的設備銘牌實驗（銘牌內容為“電池組Ⅱ”）。

從兩個實驗結果可以看出，本文方法可以正確識別出設備銘牌上的字符，而傳統的OCR軟件在實驗中不能得到識別結果。

4 結 論

本文提出的設備銘牌字符識別方法，以字符的小波能量和邊緣方向直方圖作為其特征向量，用支持向量機分類器來構建候選字符判定模型，通過字符排列模型對候選字符進行最優排列，得到最終的銘牌識別結果。相比傳統OCR識別軟件，識別的準確率得到了提高，更適合用于設備銘牌字符的識別。

參考文獻

[1] WANG Dahan， LIU Chenglin. Learning confidence transformation for handwritten chinese text recognition [J]. International journal on document analysis and recognition， 2014， 17（3）： 205?219.

[2] PAL Arpan， CHATTOPADHYAY Tanushyam， SINHA Aniruddha. Context?aware television?internet mash?ups using logo detection and character recognition [J]. Pattern analysis and applications， 2015， 18（1）： 191?205.

[3] CHIANG Yaoyi， CRAIG A. Recognizing text in raster maps [J]. GeoInformatica， 2015， 19（1）： 1?27.

[4] NAMANE A， GUESSOUM A， SOUBARI E H. CSM neural network for degraded printed character optical recognition [J]. Journal of visual communication and image representation， 2014， 25（5）： 120?127.

[5] CHANG J K， RYOO Seungteak， LIM Heuiseok. Real?time vehicle tracking mechanism with license plate recognition from road images [J]. The journal of supercomputing， 2013， 65（1）： 353?364.

[6] RYU Sangjin， KIM In?Jung. Discrimination of similar characters using nonlinear normalization based on regional importance measure[J]. International journal on document analysis and recognition， 2014， 17（1）： 79?89.

[7] ELAGOUNI Khaoula， GARCIA Christophe， MAMALET Franck. Text recognition in multimedia documents： a study of two neural?based OCRs using and avoiding character segmentation[J]. International journal on document analysis and recognition， 2014， 17（1）： 19?31.

[8] PORWAL Utkarsh， SHI Zhixin， SETLUR Srirangaraj. Machine learning in handwritten arabic text recognition[J]. Handbook of statistics， 2013， 31： 443?469.

[9] MATEI O， POP P C， V?LEAN H. Optical character recognition in real environments using neural networks and K?nearest neighbor[J]. Applied intelligence， 2013， 39（4）： 739?748.

[10] 王愷，李成學，王慶人，等.異態漢字識別方法研究[J].軟件學報，2014，25（10）：2266?2281.

[11] BERTOLDI Nicola， SIMIANER Patrick， CETTOLO Mauro. Online adaptation to post?edits for phrase?based statistical machine translation[J]. Machine translation， 2014， 28（3/4）： 309?339.