基于NDRAM算法的聯(lián)想記憶網(wǎng)絡(luò)在車牌漢字識別中的應(yīng)用

林 青，周俊鵬，王連明

(1.電子科技大學(xué)圖書館，四川 成都 611731；2.國家電網(wǎng)四川樂山供電公司，四川 樂山 614000；3.東北師范大學(xué)應(yīng)用電子技術(shù)研究所，吉林 長春 130024)

基于NDRAM算法的聯(lián)想記憶網(wǎng)絡(luò)在車牌漢字識別中的應(yīng)用

林 青1，周俊鵬2，王連明3

(1.電子科技大學(xué)圖書館，四川 成都 611731；2.國家電網(wǎng)四川樂山供電公司，四川 樂山 614000；3.東北師范大學(xué)應(yīng)用電子技術(shù)研究所，吉林 長春 130024)

提出了一種基于NDRAM算法的車牌漢字識別方法.分別采用基于外積法和偽逆法的Hopfield網(wǎng)絡(luò)和NDRAM算法對加有不同噪聲水平的椒鹽噪聲的車牌漢字和具有不同程度缺失的車牌漢字進(jìn)行了仿真識別.結(jié)果表明，NDRAM方法具有更高的識別率和更強(qiáng)的自適應(yīng)性.

NDRAM；聯(lián)想記憶；模式識別；漢字；車牌

車牌識別在交通領(lǐng)域具有廣泛的應(yīng)用需求.目前我國使用的車牌由漢字、字母、數(shù)字組成，由于漢字結(jié)構(gòu)復(fù)雜，因此是車牌識別中的難點(diǎn)與重點(diǎn).在實(shí)際應(yīng)用中，由于污損或光照等因素影響，待識別車牌漢字通常帶有一定的缺損或噪聲，要求識別系統(tǒng)具有一定的容噪能力.傳統(tǒng)的漢字識別的方法主要有人工神經(jīng)網(wǎng)絡(luò)、模板匹配、特征識別、支持向量機(jī)等[1].

人工神經(jīng)網(wǎng)絡(luò)在模式識別應(yīng)用中屬于比較成熟、有效的工具，除了最為廣泛使用的BP神經(jīng)網(wǎng)絡(luò)外[2]，還有SOM神經(jīng)網(wǎng)絡(luò)、MLP網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)等也被用于模式識別.BP神經(jīng)網(wǎng)絡(luò)通常采用多層結(jié)構(gòu)，所使用的神經(jīng)元數(shù)量較多，[3]它用于漢字識別時(shí)，首先需要提取漢字特征對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，因此處理過程相對復(fù)雜，識別效果也主要取決于所提取的特征是否合理，同時(shí)BP神經(jīng)網(wǎng)絡(luò)對干擾比較敏感，容易陷入局部極小值.

NDRAM是近年來提出的遞歸人工神經(jīng)網(wǎng)絡(luò)算法[4]，它具有無監(jiān)督學(xué)習(xí)、容噪能力強(qiáng)、容量大等特點(diǎn)[5].根據(jù)車牌識別中對容噪能力的要求，本文應(yīng)用NDRAM算法具有聯(lián)想記憶的特性對車牌漢字進(jìn)行識別.此外，使用NDRAM算法進(jìn)行處理，還具有無須對字符進(jìn)行特征提取，生成的吸引子位于全局最小值等優(yōu)點(diǎn)[6]，克服了人工神經(jīng)網(wǎng)絡(luò)容易陷入局部極小值的缺陷.

1 NDRAM算法

NDRAM(Nonlinear Dynamic Recurrent Associative Memory)是2005年由Sylvain Chartier提出的算法[7]，其作用函數(shù)為非線性的S型函數(shù)，并可記憶雙極型{-1,1}和非雙極型吸引子.在網(wǎng)絡(luò)結(jié)構(gòu)上，作為全互聯(lián)的單層神經(jīng)網(wǎng)絡(luò)，通過權(quán)值的連接，所有神經(jīng)元的輸出都將反饋用做下一次的輸入，網(wǎng)絡(luò)迭代直至收斂，形成一個(gè)動態(tài)的遞歸網(wǎng)絡(luò).

該算法可實(shí)現(xiàn)聯(lián)想記憶，對加噪或缺失的模式進(jìn)行恢復(fù)，從而達(dá)到識別的目的.網(wǎng)絡(luò)的輸出由輸入、權(quán)值、作用函數(shù)、迭代次數(shù)共同決定.該算法實(shí)現(xiàn)分為學(xué)習(xí)、回憶兩大階段.學(xué)習(xí)階段根據(jù)記憶模式生成權(quán)值，回憶階段對輸入進(jìn)行識別.

圖1為NDRAM網(wǎng)絡(luò)的結(jié)構(gòu)，其中W為n×n對稱矩陣，代表權(quán)值矩陣,n為神經(jīng)元個(gè)數(shù)，W的對角線不為零，具有自反饋.Xi(i=1,2，…，n)代表第i個(gè)神經(jīng)元；X(t)代表t時(shí)刻神經(jīng)元的狀態(tài).

圖2為NDRAM神經(jīng)元結(jié)構(gòu)，第i個(gè)神經(jīng)元第t+1時(shí)刻的狀態(tài)Xi(t+1)由權(quán)值、其他神經(jīng)元的上一時(shí)刻狀態(tài)Xi(t)、作用函數(shù)、權(quán)值共同決定.Wij代表第i個(gè)、第j個(gè)神經(jīng)元之間的連接權(quán)值，是權(quán)值矩陣W中第i行第j列的分量.網(wǎng)絡(luò)運(yùn)行中，神經(jīng)元采用并行更新的方式.

圖1 NDRAM網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

圖2 NDRAM神經(jīng)元結(jié)構(gòu)

NDRAM神經(jīng)元的作用函數(shù)如公式(1)所示，其函數(shù)曲線如圖3所示，NDRAM神經(jīng)元作用函數(shù)的域值范圍為[-1,1].其中，當(dāng)自變量為[-1,1]時(shí)，對應(yīng)的映射部分為非線性.作用函數(shù)在網(wǎng)絡(luò)的學(xué)習(xí)階段與回憶階段均需使用，δ為傳遞參數(shù)，通常δ=0.1.該作用函數(shù)保證了算法的收斂，使其生成的吸引子為漸進(jìn)穩(wěn)定點(diǎn)[8].

(1)

NDRAM神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程如圖4所示.在學(xué)習(xí)階段，輸入記憶模式，初始權(quán)值為0，根據(jù)記憶模式與神經(jīng)元迭代后狀態(tài)的差值進(jìn)行學(xué)習(xí)并更新權(quán)值.

圖3 NDRAM作用函數(shù)

圖4 NDRAM學(xué)習(xí)過程

最終權(quán)值大小由記憶模式、迭代次數(shù)共同決定，如公式(2)和(3)所示.

(2)

X(p)=f(W×X(p-1)).

(3)

其中：X(0)表示神經(jīng)元的初始狀態(tài)，即需要記憶的模式；X(p)代表通過作用函數(shù)的p次迭代后的神經(jīng)元狀態(tài)；η為學(xué)習(xí)參數(shù)，通常η=0.01，控制權(quán)值對差值的學(xué)習(xí)速率.

在回憶階段，輸入為待識別對象，將輸入送入網(wǎng)絡(luò)，各神經(jīng)元狀態(tài)將隨時(shí)間變化，經(jīng)過數(shù)次迭代后收斂到該動態(tài)系統(tǒng)的吸引子，網(wǎng)絡(luò)將輸出相應(yīng)的記憶模式，完成模式的識別.

2 車牌漢字識別仿真實(shí)驗(yàn)

噪聲定義：類比實(shí)際應(yīng)用的噪聲情況，我們使用隨機(jī)位置的椒鹽噪聲.噪聲水平?jīng)Q定了噪聲像素點(diǎn)的總量.在確定噪聲水平后，隨機(jī)地將相應(yīng)數(shù)量的像素取相反值.

本文使用我國車牌中常用的37個(gè)漢字作為記憶模式,記憶模式全部取自實(shí)際車牌的截圖.圖片大小為32像素×16像素，使用{-1，1}作為神經(jīng)元狀態(tài).將模式由矩陣變換為向量，向量的每個(gè)分量對應(yīng)一個(gè)神經(jīng)元，共512個(gè)神經(jīng)元.

類比實(shí)際應(yīng)用的缺損情況，以不同邊長的方陣作為缺損噪聲，邊長代表噪聲水平，方陣中所有像素值為1，噪聲隨機(jī)分布于待識別對象中.

記憶的標(biāo)準(zhǔn)模式、加不同噪聲水平的椒鹽噪聲后的待識別車牌和帶缺損噪聲后的待識別車牌見圖5—7，圖片上方的數(shù)字代表了相應(yīng)的缺損噪聲邊長.

圖5 記憶的標(biāo)準(zhǔn)模式

圖6 帶椒鹽噪聲的待識別對象

圖7 帶缺損噪聲的待識別對象

相同噪聲水平下，為去除隨機(jī)性的影響，共進(jìn)行20次實(shí)驗(yàn)，取錯(cuò)誤率代表當(dāng)前噪聲下的網(wǎng)絡(luò)識別水平.當(dāng)輸出與相應(yīng)記憶模式完全相同時(shí)視作正確識別.錯(cuò)誤率定義為

(4)

其中：ep為錯(cuò)誤率，取值范圍為[0,1]；xerrors為當(dāng)前噪聲水平下所有模式進(jìn)行加噪實(shí)驗(yàn)中未正確識別的次數(shù)；ysum為當(dāng)前噪聲水平下所有模式進(jìn)行加噪實(shí)驗(yàn)的總次數(shù).

離散Hopfield網(wǎng)絡(luò)是遞歸神經(jīng)的典型代表，其權(quán)值可利用外積法、偽逆法等生成，輸出的作用函數(shù)使用符號函數(shù).因此，將NDRAM結(jié)果與離散Hopfield網(wǎng)絡(luò)的識別結(jié)果進(jìn)行對比，其結(jié)果見圖8—9.

圖8中橫軸代表椒鹽噪聲的像素總量，縱軸代表相應(yīng)算法時(shí)的網(wǎng)絡(luò)識別錯(cuò)誤率.圖9中橫軸代表缺損噪聲邊長，縱軸與圖8相同.

圖8 加椒鹽噪聲時(shí)3種算法識別的錯(cuò)誤率

圖9 加缺損噪聲時(shí)3種算法識別的錯(cuò)誤率

基于外積法的傳統(tǒng)離散Hopfield網(wǎng)絡(luò)運(yùn)算簡單，然而，樣本間是否兩兩正交，每個(gè)樣本中各分量取(1，-1)的概率、各樣本間差異等因素與網(wǎng)絡(luò)表現(xiàn)密切相關(guān)[9].在實(shí)際應(yīng)用中，由于樣本不能完全滿足以上要求，導(dǎo)致網(wǎng)絡(luò)容量與吸引域大大減小,因此,外積法設(shè)計(jì)的網(wǎng)絡(luò)不適于大容量的聯(lián)想記憶網(wǎng)絡(luò)[10].

基于偽逆法的傳統(tǒng)離散Hopfield網(wǎng)絡(luò)，權(quán)值非對稱，當(dāng)記憶模式線性相關(guān)時(shí)，外積法存在的問題用偽逆法依然無法解決.由于存在求逆運(yùn)算，過程較繁瑣.當(dāng)神經(jīng)元個(gè)數(shù)、記憶模式數(shù)較多時(shí)，計(jì)算有困難.此外，該算法的權(quán)值不能由網(wǎng)絡(luò)學(xué)習(xí)生成，識別過程中容噪能力不高.

由圖8和9可知，NDRAM在識別過程中的容噪能力明顯高于基于外積法和偽逆法的傳統(tǒng)離散Hopfield網(wǎng)絡(luò)，當(dāng)椒鹽噪聲總量低于181像素、缺損噪聲邊長小于11像素(總量低于121像素)時(shí)，網(wǎng)絡(luò)能完全正確地進(jìn)行識別.NDRAM具有自適應(yīng)性、識別率高、運(yùn)算較為簡單等優(yōu)點(diǎn).

3 總結(jié)與展望

NDRAM是近年來針對遞歸神經(jīng)網(wǎng)絡(luò)提出的識別效果較好的算法，具有無監(jiān)督、容噪能力強(qiáng)的特點(diǎn).為了改進(jìn)車牌漢字的識別效果，本文應(yīng)用NDRAM算法進(jìn)行識別，對該系統(tǒng)進(jìn)行了深入的分析，通過仿真實(shí)驗(yàn)驗(yàn)證了該算法的容噪能力，充分說明了其優(yōu)越性.

在后續(xù)的研究中，將嘗試采用NDRAM對傾斜字符進(jìn)行識別，并通過改進(jìn)算法，進(jìn)一步提高識別率.

[1] 陳海霞，崔茜.基于Gabor小波和PCA的人臉識別[J].東北師大學(xué)報(bào)(自然科學(xué)版)，2014，46(4):77-80.

[2] 孟繁靜，王連明.視頻人臉識別系統(tǒng)中的最佳人臉捕獲[J].東北師大學(xué)報(bào)(自然科學(xué)版)，2015，47(3):90-95.

[3] 石偉，孫永榮.BP神經(jīng)網(wǎng)絡(luò)在車牌識別技術(shù)中的應(yīng)用[J].工業(yè)控制計(jì)算機(jī)，2010，23(4):17-19.

[4] 叢爽. 面向MATLAB工具箱的神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用[M].合肥：中國科學(xué)技術(shù)大學(xué)出版社，2009:118-158.

[5] 閻平凡，張長水.人工神經(jīng)網(wǎng)絡(luò)與模擬進(jìn)化計(jì)算[M].北京：清華大學(xué)出版社，2005：360-381.

[6] HéLIE S. Energy minimization in the nonlinear dynamic recurrent associative memory[J]. Neural Networks，2008，21(7):1041-1044.

[7] CHARTIER S，PROULX R. NDRAM nonlinear dynamic recurrent associative memory for learning bipolar and nonbipolar correlated patterns[J]. Neural Networks，IEEE Transactions on，2005，16(6):1393-1400.

[8] HéLIE S，CHARTIER S，PROULX R. Are unsupervised neural networks ignorant? sizing the effect of environmental distributions on unsupervised learning[J]. Cognitive Systems Research，2006，7(4):357-371.

[9] SUN R，HéLIE S. Psychologically realistic cognitive agents taking human cognition seriously[J]. Journal of Experimental & Theoretical Artificial Intelligence，2013，25(1)：65-92.

[10] HENRI COHEN，CLARIE LEFEBVRE. Handbook of categorization in cognitive science[M].Netherlands:Elsevier，2005:794-814.

(責(zé)任編輯：石紹慶)

Recognition of license plate Chinese character based on associative memory of the NDRAM algorithm

LIN Qing1，ZHOU Jun-peng2，WANG Lian-ming3

(1.Library of University of Electronic Science and Technology of China，Chengdu 611731，China；2.Power Supply Company of Leshan，State Grid Corporation of China，Leshan 614000，China；3.Institute of Applied Electronics，Northeast Normal University，Changchun 130024，China)

This paper proposes a method based on the NDRAM algorithm to recognize the Chinese characters on the license plates. After adding different levels of salt and pepper noise and different levels of partial loss on the Chinese characters，Hopfield neural network using Hebb rule，pseudo-inverse method and NDRAM are applied to recognize respectively.Simulation results show that comparing with the other two methods，NDRAM exhibits higher recognition rate and greater adaptability.

NDRAM；associative memory；pattern recognition；Chinese character；license plate

1000-1832(2015)04-0064-05

10.16163/j.cnki.22-1123/n.2015.04.014

2013-12-06

吉林省科技發(fā)展計(jì)劃項(xiàng)目(20130103028JC).

林青(1989—)，女，碩士研究生；通訊作者：王連明(1972—)，男，博士，教授，主要從事智能信息處理及嵌入式系統(tǒng)研究.

TP 391.1 [學(xué)科代碼] 520·6040

A