基于負(fù)相關(guān)神經(jīng)網(wǎng)絡(luò)集成的貨幣識(shí)別算法研究

伍 鵬，謝 凱，陳傳波，賀建飚

(1.長(zhǎng)江大學(xué) 電子信息學(xué)院，湖北 荊州434023;2.華中科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，湖北 武漢430074;3.中南大學(xué) 信息科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙410083)

1 貨幣識(shí)別系統(tǒng)簡(jiǎn)介

隨著經(jīng)濟(jì)的快速發(fā)展，人們生活節(jié)奏的加快，對(duì)自助設(shè)備的需求量快速增長(zhǎng)，自助設(shè)備的應(yīng)用領(lǐng)域從最初的金融行業(yè)擴(kuò)展到現(xiàn)在的交通、郵電、娛樂、商業(yè)、醫(yī)療、餐飲業(yè)等各個(gè)領(lǐng)域。各類自助設(shè)備應(yīng)運(yùn)而生，單單銀行的自助設(shè)備就包括自動(dòng)取款機(jī)(ATM)、自動(dòng)存款機(jī)、自動(dòng)存取款機(jī)、自助繳費(fèi)機(jī)等，另外還有如自動(dòng)售票機(jī)、自助掛號(hào)繳費(fèi)機(jī)、自動(dòng)充值機(jī)等，這些設(shè)備無(wú)一例外需要用到貨幣識(shí)別系統(tǒng)這一核心模塊。

貨幣識(shí)別系統(tǒng)是一種接收貨幣信息并做出貨幣分類決策的一種智能裝置，它通過某種途徑如光、電、磁傳感器采集貨幣(通常指紙幣)上的特征數(shù)據(jù)［1］，經(jīng)特征提取［2-3］貨幣隱性主要特征，利用各種識(shí)別算法對(duì)貨幣的幣種、面額、真?zhèn)芜M(jìn)行識(shí)別和分類，并以適當(dāng)形式作分類決策報(bào)告［4］。一個(gè)貨幣識(shí)別系統(tǒng)的結(jié)構(gòu)遵循模式識(shí)別系統(tǒng)的基本構(gòu)成包括信息采集、數(shù)據(jù)預(yù)處理、特征提取和選擇、分類器設(shè)計(jì)與決策，如圖1所示［4-5］。

圖1 模式識(shí)別系統(tǒng)的基本組成

分類器設(shè)計(jì)是指用一定數(shù)量的樣本(訓(xùn)練集)確定某個(gè)判別規(guī)則，使得按這種判別規(guī)則對(duì)待識(shí)別對(duì)象進(jìn)行分類所造成的誤識(shí)率最小或引起的損失最小。貨幣識(shí)別處理系統(tǒng)必須做到精確、快速和穩(wěn)定。本文采用基于負(fù)相關(guān)的神經(jīng)網(wǎng)絡(luò)集成進(jìn)行分類器設(shè)計(jì)，并通過實(shí)驗(yàn)仿真與單一神經(jīng)網(wǎng)絡(luò)比較，驗(yàn)證了所提方法的可行性和深入研究?jī)r(jià)值。

2 人工神經(jīng)網(wǎng)絡(luò)算法

神經(jīng)網(wǎng)絡(luò)由于其學(xué)習(xí)和適應(yīng)、自組織、函數(shù)逼近和大規(guī)模并行處理等能力，因而具有智能系統(tǒng)的潛力。神經(jīng)網(wǎng)絡(luò)用于貨幣識(shí)別也已經(jīng)有多個(gè)成功的先例，神經(jīng)網(wǎng)絡(luò)一般都用于分類器設(shè)計(jì)與決策(也可稱之為分類實(shí)現(xiàn))。用一定數(shù)量的樣本(訓(xùn)練集)輸入網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，使得神經(jīng)網(wǎng)絡(luò)能根據(jù)目標(biāo)或訓(xùn)練樣本自動(dòng)調(diào)整網(wǎng)絡(luò)權(quán)值以達(dá)到分類器效果，此即為分類器設(shè)計(jì)。然后就可用所設(shè)計(jì)的分類器按設(shè)計(jì)階段所得的分類規(guī)則對(duì)待識(shí)別的樣本進(jìn)行分類決策。分類器設(shè)計(jì)，分類器的優(yōu)劣直接影響識(shí)別的速度和精度，它是模式識(shí)別過程中很重要的一步。

神經(jīng)網(wǎng)絡(luò)模型非常之多，下面列出兩種應(yīng)用最廣泛的模型:

1)學(xué)習(xí)矢量量化(LVQ)網(wǎng)絡(luò)。它具有自適應(yīng)學(xué)習(xí)能力，有存儲(chǔ)信息的特征;LVQ網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、能用比較小的計(jì)算代價(jià)來處理大量數(shù)據(jù)的輸入［6-7］。

2)反向傳播(BP)網(wǎng)絡(luò)。它是一種多層映射網(wǎng)絡(luò)，它通過反向傳遞修正誤差。BP網(wǎng)絡(luò)是目前應(yīng)用最廣的網(wǎng)絡(luò)之一，這是由于它在選取合適的參數(shù)時(shí)能收斂到較好的均方差。它的不足在于訓(xùn)練時(shí)間較長(zhǎng)，且容易陷入局部極小。

3 基于負(fù)相關(guān)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)集成算法

負(fù)相關(guān)學(xué)習(xí)是通過一個(gè)懲罰項(xiàng)加強(qiáng)集成網(wǎng)絡(luò)中個(gè)體網(wǎng)絡(luò)之間的差異度，文獻(xiàn)［8］對(duì)負(fù)相關(guān)學(xué)習(xí)進(jìn)行了研究。下面對(duì)該算法作簡(jiǎn)單說明。

假定有N個(gè)樣本的訓(xùn)練集S

式中:x是輸入向量，與輸入向量x同組的d是對(duì)應(yīng)的期望輸出。考慮將上述訓(xùn)練集的輸入與輸出之間的關(guān)系用一個(gè)集成神經(jīng)網(wǎng)絡(luò)來近似表示，這個(gè)集成神經(jīng)網(wǎng)絡(luò)可以這樣來構(gòu)造

集成的輸出F(n)取各子網(wǎng)絡(luò)輸出Fi(n)的平均，其表示如式(2)，其中M表示集成網(wǎng)絡(luò)中子網(wǎng)個(gè)數(shù)，n代表訓(xùn)練樣本個(gè)數(shù)。在負(fù)相關(guān)學(xué)習(xí)算法中各子網(wǎng)的誤差函數(shù)Ei用下式表示

式中:Ei(n)指的是在第n個(gè)輸入模式下第i個(gè)子網(wǎng)絡(luò)的誤差函數(shù)值。式(3)中的第一項(xiàng)是子網(wǎng)i的經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)，第二項(xiàng)的pi(n)是由式(4)式給出的相關(guān)懲罰函數(shù)

在第n個(gè)輸入模式下，第i個(gè)子神經(jīng)網(wǎng)絡(luò)的誤差函數(shù)Ei(n)對(duì)各自的輸出Fi(n)的偏導(dǎo)數(shù)計(jì)算、變形如下

從式(5)可看出，負(fù)相關(guān)算法實(shí)質(zhì)上是對(duì)標(biāo)準(zhǔn)BP算法的簡(jiǎn)單擴(kuò)展［9］。事實(shí)上，在BP算法的基礎(chǔ)上，唯一需要修改的就是在誤差反向傳播時(shí)，為第i個(gè)網(wǎng)絡(luò)額外計(jì)算形如λ(Fi(n)-F(n))的項(xiàng)。在訓(xùn)練過程中，通過誤差函數(shù)中的懲罰項(xiàng)，整個(gè)集成神經(jīng)網(wǎng)絡(luò)相互影響，每個(gè)子網(wǎng)絡(luò)不僅最小化了本網(wǎng)絡(luò)輸出與預(yù)期輸出的差異，還使得集成整體的輸出與預(yù)期輸出更接近。

算法完整流程:

1)M賦值為所需子網(wǎng)個(gè)數(shù)。

2)然后獲得訓(xùn)練集:S={(x(1)，d(1));(x(2)，d(2));…;(x(n)，d(n))}。

3)對(duì)S中每個(gè)訓(xùn)練樣本n=1至N執(zhí)行以下步驟:

(2)對(duì)每個(gè)子網(wǎng)絡(luò)i=1至M，用下式完成子網(wǎng)絡(luò)i的每個(gè)權(quán)值的更新

重復(fù)執(zhí)行3)，直到達(dá)到希望的迭代次數(shù)。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)的選擇

人民幣有很多防偽特征，許多學(xué)者在貨幣研究中需要的原始數(shù)據(jù)是通過其防偽特征表現(xiàn)出來的某些特性來確定的。一旦選取好某些特征組合，就可以通過多種方式多種途徑采集樣本數(shù)據(jù)以供機(jī)器計(jì)算得到最終分類結(jié)果。在本文實(shí)驗(yàn)中，使用紫外光照射下的第五版人民幣圖像作為原始數(shù)據(jù)，圖2是經(jīng)灰度化處理后的紫外光下的紙幣圖片，分別為1元、5元、10元、20元、50元和100元。

圖2 紫外線下的人民幣圖像

4.2 分類器實(shí)驗(yàn)及結(jié)果

為了提高分類器的準(zhǔn)確率，在選擇訓(xùn)練樣本時(shí)考慮了每種面額的紙幣有不同程度的噪聲的情況，選擇6種面額紙幣在不同噪聲下的樣本共300個(gè)作為訓(xùn)練樣本，樣本特征數(shù)為300，分別用LVQ神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)和集成神經(jīng)網(wǎng)絡(luò)進(jìn)行分類器實(shí)驗(yàn)。下面將對(duì)各分類器的實(shí)驗(yàn)結(jié)果進(jìn)行分析和比較。

4.2.1 LVQ分類器

LVQ分類器的結(jié)構(gòu)是這樣確定的:LVQ分類器的輸入節(jié)點(diǎn)與樣本特征數(shù)是一樣的，在這里是300，輸出層節(jié)點(diǎn)則與樣本總體類別數(shù)一致，人民幣有6種面額，故輸出層有6個(gè)節(jié)點(diǎn)，根據(jù)經(jīng)驗(yàn)隱含層節(jié)點(diǎn)一般是輸出節(jié)點(diǎn)的3～5倍，本文取5倍也即30個(gè)隱含層節(jié)點(diǎn)數(shù)，圖3是這次訓(xùn)練的迭代-誤差曲線圖。

圖3 LVQ訓(xùn)練迭代-誤差曲線

用另外的120個(gè)樣本作為網(wǎng)絡(luò)測(cè)試數(shù)據(jù)，測(cè)試它對(duì)未知樣本的分類決策情況，表1為L(zhǎng)VQ網(wǎng)絡(luò)仿真實(shí)驗(yàn)結(jié)果。

表1 LVQ分類器識(shí)別結(jié)果

由實(shí)驗(yàn)結(jié)果可知，LVQ網(wǎng)絡(luò)速度很快，但是可靠性不是很理想，這對(duì)貨幣識(shí)別領(lǐng)域來說是個(gè)很大的缺陷。

4.2.2 BP分類器

本文選用的BP網(wǎng)絡(luò)結(jié)構(gòu)為三層，根據(jù)式n1=，在此，a取值為10，隱含層節(jié)點(diǎn)數(shù)為20，傳遞函數(shù)選S型正切函數(shù)，用前面介紹的動(dòng)量BP算法來訓(xùn)練網(wǎng)絡(luò)，得到對(duì)應(yīng)的訓(xùn)練誤差曲線圖，如圖4所示。

圖4 BP分類器訓(xùn)練曲線

以下是BP網(wǎng)絡(luò)分類器的仿真結(jié)果，如表2所示。

表2 BP分類器識(shí)別結(jié)果

從圖4和表2可以看出，BP分類器可靠性很高(誤識(shí)率低)，可靠性高是貨幣識(shí)別研究的追求，但BP網(wǎng)絡(luò)的收斂速度太慢，又制約了它的普遍應(yīng)用。

4.2.3 負(fù)相關(guān)集成網(wǎng)絡(luò)分類

本次實(shí)驗(yàn)中集成神經(jīng)網(wǎng)絡(luò)子網(wǎng)個(gè)數(shù)為3，各子網(wǎng)的隱含層神經(jīng)元數(shù)相同，并且沒有對(duì)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)目作特別的優(yōu)化，各個(gè)體網(wǎng)絡(luò)結(jié)構(gòu)同上一節(jié)，用負(fù)相關(guān)學(xué)習(xí)算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，圖5是訓(xùn)練曲線圖，對(duì)比圖4可發(fā)現(xiàn)集成神經(jīng)網(wǎng)絡(luò)的可靠性很高。

圖5 負(fù)相關(guān)學(xué)習(xí)的迭代-誤差曲線

表3給出了基于負(fù)相關(guān)集成網(wǎng)絡(luò)分類器對(duì)120個(gè)測(cè)試樣本的識(shí)別情況。

表3 負(fù)相關(guān)神經(jīng)網(wǎng)絡(luò)集成的識(shí)別仿真情況

將負(fù)相關(guān)集成網(wǎng)絡(luò)的分類識(shí)別率與LVQ分類器、BP分類器的識(shí)別率綜合對(duì)比，如圖6所示，可看出集成神經(jīng)網(wǎng)絡(luò)的識(shí)別率比單個(gè)網(wǎng)絡(luò)的識(shí)別率平均高4%。

圖6 綜合識(shí)別率對(duì)比圖

5 結(jié)論

集成神經(jīng)網(wǎng)絡(luò)通過組合多個(gè)子網(wǎng)絡(luò)的結(jié)果，可以顯著提高神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和泛化能力，負(fù)相關(guān)學(xué)習(xí)可以減弱各子網(wǎng)間的相關(guān)性，獲得盡量大的泛化水平。通過對(duì)LVQ分類器、BP分類器和基于負(fù)相關(guān)學(xué)習(xí)的集成神經(jīng)網(wǎng)絡(luò)分類器的性能對(duì)比，發(fā)現(xiàn)基于負(fù)相關(guān)學(xué)習(xí)的集成神經(jīng)網(wǎng)絡(luò)分類器的貨幣識(shí)別率比單個(gè)網(wǎng)絡(luò)的識(shí)別率平均要高4%。

［1］HASSANPOUR H，F(xiàn)ARAHABADI P M.Using hidden Markov models for paper currency recognition［J］.Expert Systems with Applications，2009，36(6):10105-10111.

［2］HASSANPOUR H，F(xiàn)ARAHABADI P M.Using hidden Markov models for paper currency recognition［J］.Expert Systems with Applications，2009(36):10105-10111.

［3］HASSANPOUR H，YASERI A，ARDESHIRI G.Feature extraction for paper currency recognition［C］//Proc.2007 9th International Symposium on Signal Processing and its Applications(ISSPA 2007).［S.l.］:IEEE Press，2007:1-4.

［4］GARCíA-LAMONT F，CERVANTES J，LóPEZ A.Recognition of Mexican banknotes via their color and texture features［J］.Expert Systems with Applications，2012，39(10):9651-9600.

［5］THEODORIDIS S，KOUTROUMBAS K.Pattern recognition［M］.4th ed.Beijing:China Machine Press，2009.

［6］PERES R T，PEDREIRA C E.A new local–global approach for classification［J］.Neural Networks，2010，23(7):887-891.

［7］BLACHNIK M，DUCH W.LVQ algorithm with instance weighting for generation of prototype-based rules［J］.Neural Networks，2011，24(8):824-830.

［8］TANG K，LIN M，MINKU F L，et al.Selective negative correlation learning approach to incremental learning［J］.Neurocomputing，2009，72(13-15):2796-2805.

［9］DEBNATH K K，AHMED S U，SHAHJAHAN M.A paper currency recognition system using negatively correlated neural network ensemble［J］.Journal of Multimedia，2010，5(6):560-567.