基于Mackey-Glass混沌儲(chǔ)備池計(jì)算的種子圖像識(shí)別

岳荷荷 張麗 劉彩玲

摘 要：作為一種新型神經(jīng)網(wǎng)絡(luò)，單節(jié)點(diǎn)的儲(chǔ)備池計(jì)算由于其結(jié)構(gòu)簡(jiǎn)單、易于實(shí)現(xiàn)、處理速度快且數(shù)據(jù)容量大，近年來(lái)越來(lái)越受到學(xué)者們的關(guān)注。目前基于混沌儲(chǔ)備池計(jì)算的圖像識(shí)別研究中，主要是對(duì)0～9這10個(gè)手寫數(shù)字進(jìn)行簡(jiǎn)單識(shí)別。使用Matlab工具對(duì)Mackey-Glass混沌電路儲(chǔ)備池計(jì)算進(jìn)行了仿真，首次對(duì)較復(fù)雜的圖片即種子圖像識(shí)別進(jìn)行了研究。通過(guò)探索模型中各參數(shù)對(duì)系統(tǒng)結(jié)果的影響，最終將模型中的參數(shù)設(shè)置為p=7，?=3，?=20。首先嘗試對(duì)2種不同類型的種子圖片進(jìn)行識(shí)別，取得了準(zhǔn)確率為100%的識(shí)別效果;隨后將種子類別增至5，取得了準(zhǔn)確率為90%的識(shí)別效果;最后將種子類別增至10及以上，識(shí)別準(zhǔn)確率降至80%，但仍有較好的識(shí)別效果。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò);混沌儲(chǔ)備池計(jì)算;種子圖像識(shí)別;Matlab;識(shí)別準(zhǔn)確率;無(wú)損檢測(cè)

中圖分類號(hào)：TP183文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2095-1302（2019）03-00-04

0 引 言

儲(chǔ)備池計(jì)算（Reservoir Computing）是對(duì)傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的改進(jìn)[1]，主要包含一個(gè)由大規(guī)模稀疏連接的模擬神經(jīng)元構(gòu)成的隨機(jī)網(wǎng)絡(luò)結(jié)構(gòu)，即“儲(chǔ)備池”。但是儲(chǔ)備池在產(chǎn)生時(shí)的隨機(jī)性也成為了制約儲(chǔ)備池實(shí)際應(yīng)用的一個(gè)重要因素，因此在實(shí)際應(yīng)用中，歐盟的一個(gè)科研項(xiàng)目組提出了一種由單個(gè)節(jié)點(diǎn)和一段延時(shí)線構(gòu)成的儲(chǔ)備池[2]。儲(chǔ)備池計(jì)算方法一經(jīng)提出，就在不同領(lǐng)域得到了廣泛應(yīng)用，比如時(shí)間序列預(yù)測(cè)[3-5]、模式分類[6-7]、圖像處理[8-9]等。

目前的混沌儲(chǔ)備池計(jì)算主要有混沌電路儲(chǔ)備池計(jì)算、光電儲(chǔ)備池計(jì)算、全光儲(chǔ)備池計(jì)算和光電波長(zhǎng)混沌儲(chǔ)備池計(jì)算[10]。這幾類混沌儲(chǔ)備池計(jì)算的應(yīng)用主要集中在時(shí)間序列預(yù)測(cè)[11]、波形識(shí)別[12]、光分組頭識(shí)別[13]和手寫數(shù)字識(shí)別[14]等方面。手寫數(shù)字識(shí)別主要基于0～9這10個(gè)比較簡(jiǎn)單且特征值明顯的圖片，識(shí)別準(zhǔn)確率為87%。本文通過(guò)對(duì)電路混沌儲(chǔ)備池計(jì)算的模擬仿真，首次對(duì)較復(fù)雜的圖片進(jìn)行了特征值提取，并實(shí)現(xiàn)了對(duì)10種不同種子圖像的識(shí)別。

1 Mackey-Glass混沌儲(chǔ)備池計(jì)算模型

傳統(tǒng)的儲(chǔ)備池計(jì)算模型如圖1所示，包括輸入層、儲(chǔ)備池和輸出層三部分。輸入層的數(shù)據(jù)在進(jìn)入儲(chǔ)備池之前會(huì)進(jìn)行固定的加權(quán)處理，中間的儲(chǔ)備池部分由隨機(jī)生成的節(jié)點(diǎn)構(gòu)成，節(jié)點(diǎn)之間的連接權(quán)重固定。唯有儲(chǔ)備池到輸出層之間的連接權(quán)重是根據(jù)訓(xùn)練所得。

對(duì)傳統(tǒng)的儲(chǔ)備池計(jì)算進(jìn)行簡(jiǎn)化后，由單個(gè)非線性節(jié)點(diǎn)和一段延時(shí)線構(gòu)成的儲(chǔ)備池計(jì)算原理模型如圖2所示。與傳統(tǒng)儲(chǔ)備池不同，這種形式的儲(chǔ)備池結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)，同樣只需在輸出層對(duì)權(quán)值進(jìn)行訓(xùn)練。其中的非線性節(jié)點(diǎn)可以通過(guò)電路設(shè)備、光電設(shè)備等實(shí)現(xiàn)。本文主要對(duì)基于電路非線性節(jié)點(diǎn)的混沌儲(chǔ)備池計(jì)算進(jìn)行了仿真，借助非線性節(jié)點(diǎn)由Mackey-Glass混沌電路實(shí)現(xiàn)。

Mackey-Glass混沌儲(chǔ)備池計(jì)算中的儲(chǔ)備池由電子器件構(gòu)成非線性節(jié)點(diǎn)實(shí)現(xiàn)[2]，混沌電路儲(chǔ)備池計(jì)算系統(tǒng)的構(gòu)成如圖3所示。圖中的輸入數(shù)據(jù)I（t）在輸入層與模板M一起進(jìn)行預(yù)處理，即加模板操作，之后再被轉(zhuǎn)換為串行數(shù)據(jù)加入增益后輸入至電路儲(chǔ)備池中。電路儲(chǔ)備池對(duì)數(shù)據(jù)進(jìn)行數(shù)模轉(zhuǎn)換后經(jīng)過(guò)作為非線性節(jié)點(diǎn)的混沌電路產(chǎn)生系統(tǒng)狀態(tài)，再利用放大器和濾波器對(duì)數(shù)據(jù)進(jìn)行放大和濾波后轉(zhuǎn)換為數(shù)字信號(hào)。數(shù)字信號(hào)經(jīng)延時(shí)τ后與輸入信號(hào)結(jié)合反饋給混沌電路。從系統(tǒng)的延時(shí)線中將系統(tǒng)狀態(tài)取出后進(jìn)行訓(xùn)練獲得訓(xùn)練權(quán)值Wi，再進(jìn)行濾波和判決等后期處理最終得到輸出y（t）。

在混沌電路儲(chǔ)備池計(jì)算中，利用Mackey-Glass延時(shí)反饋振蕩器來(lái)描述整個(gè)系統(tǒng)，其數(shù)學(xué)模型見(jiàn)式（1）[2]：

2 種子圖像識(shí)別的實(shí)現(xiàn)過(guò)程

本文選取了10種不同種子的圖片，每張種子圖片均從不同的角度拍攝，能夠全方位反映該種子的特性。具體圖片如圖4所示（本文使用的每個(gè)種子圖片為40張，共400張圖片，這里只對(duì)部分圖片進(jìn)行展示）。

2.1 特征提取

特征提取是圖像識(shí)別中的一個(gè)重要步驟，通過(guò)映射或變換的方法將模式空間的高維特征轉(zhuǎn)換為特征空間的低維特征。通過(guò)特征提取可以將系統(tǒng)要處理的數(shù)據(jù)量降低，從而提高系統(tǒng)的學(xué)習(xí)效率和識(shí)別準(zhǔn)確率。與普通的神經(jīng)網(wǎng)絡(luò)一樣，儲(chǔ)備池計(jì)算在對(duì)數(shù)據(jù)進(jìn)行處理前也需要對(duì)初始數(shù)據(jù)進(jìn)行特征提取。不同的地方在于，儲(chǔ)備池計(jì)算對(duì)數(shù)據(jù)進(jìn)行特征提取時(shí)，實(shí)質(zhì)上是對(duì)數(shù)據(jù)進(jìn)行了稀疏化處理，即圖3中的預(yù)處理。

本文在對(duì)種子圖像數(shù)據(jù)進(jìn)行處理時(shí)，只使用了其灰度值。在提取了種子圖片的灰度圖像數(shù)據(jù)后，利用一個(gè)模板矩陣M對(duì)數(shù)據(jù)進(jìn)行提取。比如將圖像進(jìn)行灰度化處理后所得到的圖像數(shù)據(jù)為一個(gè)大小為110×80的矩陣，模板矩陣（模板矩陣中只包含了三個(gè)值，即0，0.51和0.49，并且0所占比例達(dá)80%）設(shè)置為200×110（模板矩陣中的200與系統(tǒng)中的時(shí)延相互對(duì)應(yīng)），將模板矩陣與圖像數(shù)據(jù)矩陣相乘，即特征提取后形成的矩陣大小為200×80。所得矩陣便是特征提取的結(jié)果。

2.2 仿真及訓(xùn)練過(guò)程

本文通過(guò)Matlab對(duì)式（3）的模型進(jìn)行仿真。當(dāng)不存在外部輸入時(shí)，優(yōu)于存在延時(shí)反饋，Mackey-Glass延時(shí)反饋振蕩器仍然能表現(xiàn)出其非線性特征。圖5～圖8分別給出了當(dāng)延時(shí)反饋系數(shù)η不變時(shí)，系統(tǒng)波形隨著非線性系數(shù)p的改變而產(chǎn)生的變化。從圖中可以看出，當(dāng)p=3時(shí)，系統(tǒng)產(chǎn)生的波形的非線性特征已基本不存在;當(dāng)p=5時(shí)，非線性特征存在但不太明顯;隨著p值的增加，系統(tǒng)的非線性特征也表現(xiàn)得更加強(qiáng)烈。本文在使用Mackey-Glass混沌儲(chǔ)備池計(jì)算時(shí)主要利用系統(tǒng)的非線性特征，因此在仿真中選擇p的值為7，反饋系數(shù)值為3。

對(duì)種子圖片進(jìn)行識(shí)別時(shí)，本文選取了10個(gè)種子，每個(gè)種子都有40張圖片。在對(duì)每張種子圖片進(jìn)行預(yù)處理后，得到一個(gè)200×80的矩陣，該矩陣便是式（3）中的J（t）。將經(jīng)過(guò)Mackey-Glass混沌模型所得的數(shù)據(jù)進(jìn)行訓(xùn)練。在對(duì)圖像進(jìn)行識(shí)別時(shí)，本文首先對(duì)10個(gè)種子進(jìn)行1～10編號(hào)，并給出每張圖片識(shí)別后相應(yīng)的期望值。隨機(jī)抽取其中的380組數(shù)據(jù)進(jìn)行訓(xùn)練，用20組數(shù)據(jù)進(jìn)行測(cè)試。考慮到非線性系統(tǒng)的延遲時(shí)間對(duì)系統(tǒng)狀態(tài)的影響，本文選取了200個(gè)虛擬節(jié)點(diǎn)進(jìn)行仿真，每個(gè)節(jié)點(diǎn)之間的時(shí)間間隔為歸一化系統(tǒng)響應(yīng)時(shí)間T的1/5，即θ=0.2。

3 仿真結(jié)果及分析

判斷儲(chǔ)備池計(jì)算實(shí)現(xiàn)圖像識(shí)別的性能指標(biāo)，歸一化均方根誤差（Normalized Root of Mean Square Error，NRMSE），表達(dá)式見(jiàn)式（4）[2]：

在實(shí)現(xiàn)對(duì)種子圖像識(shí)別的過(guò)程中，本文首先對(duì)兩個(gè)種子的圖片進(jìn)行了識(shí)別，其中使用每個(gè)種子的圖片40張，訓(xùn)練所用的圖片比例為80%，測(cè)試所用的圖片比例為20%，所得的測(cè)試結(jié)果中NRMSE=0.082 1，經(jīng)winnertakesall算法[15]優(yōu)化計(jì)算后，識(shí)別正確率為100%，識(shí)別結(jié)果如圖9所示。其中圖片中的縱坐標(biāo)表示2個(gè)種子的不同編號(hào)（1和2），每個(gè)序號(hào)所對(duì)應(yīng)的條狀圖為矩陣圖中值的大小，當(dāng)顏色越接近紅色時(shí)，說(shuō)明矩陣中的值越大。圖中的上半部分表示期望輸出的結(jié)果，下半部分則是對(duì)應(yīng)的測(cè)試結(jié)果。

在對(duì)2個(gè)種子的圖片識(shí)別取得很好的識(shí)別效果后，本文將種子的類別增加至5個(gè)，使用每個(gè)種子的圖片40張，訓(xùn)練所用的圖片比例為80%，測(cè)試所用的圖片比例為20%，所得的測(cè)試結(jié)果中NRMSE=0.082 1，經(jīng)winnertakesall算法優(yōu)化計(jì)算后，識(shí)別正確率為90%，識(shí)別結(jié)果如圖10所示。其中圖片中的縱坐標(biāo)表示5個(gè)種子的不同編號(hào)（1～5），每個(gè)序號(hào)所對(duì)應(yīng)的條狀圖為矩陣圖中值的大小，當(dāng)顏色越接近紅色時(shí)，說(shuō)明矩陣中的值越大。圖中的上半部分表示期望輸出的結(jié)果，下半部分則是對(duì)應(yīng)的測(cè)試結(jié)果。

在對(duì)5個(gè)種子的圖片識(shí)別取得很好的識(shí)別效果后，本文將種子的類別增加至10個(gè)，使用每個(gè)種子的圖片40張，訓(xùn)練所用的圖片比例為80%，測(cè)試所用的圖片比例為20%，所得的測(cè)試結(jié)果中NRMSE=0.082 1，經(jīng)winnertakesall算法優(yōu)化計(jì)算后，識(shí)別正確率為80%，識(shí)別結(jié)果如圖11所示。其中圖片中的縱坐標(biāo)表示10個(gè)種子的不同編號(hào)（1～10），每個(gè)序號(hào)所對(duì)應(yīng)的條狀圖為矩陣圖中值的大小，當(dāng)顏色越接近紅色時(shí)，說(shuō)明矩陣中的值越大。圖中的上半部分表示期望輸出的結(jié)果，下半部分則是對(duì)應(yīng)的測(cè)試結(jié)果。從圖中可以看出，測(cè)試結(jié)果和期望結(jié)果基本相同。當(dāng)然，在測(cè)試結(jié)果中使用winnertakesall算法計(jì)算后，測(cè)試結(jié)果可以直接作為結(jié)果輸出。在使用混沌電路儲(chǔ)備池計(jì)算對(duì)種子圖像進(jìn)行識(shí)別時(shí)，識(shí)別正確率可達(dá)80%。

對(duì)比以上識(shí)別結(jié)果可以看出，隨著種子類別的增加，識(shí)別準(zhǔn)確率逐漸下降。主要是由于種子類別有所增加但每個(gè)種子的圖片數(shù)量卻并未增加，導(dǎo)致系統(tǒng)中某幾類相似種子圖片的細(xì)節(jié)無(wú)法體現(xiàn)，從而增加了識(shí)別難度。

4 結(jié) 語(yǔ)

本文通過(guò)Matlab軟件對(duì)Mackey-Glass混沌電路儲(chǔ)備池計(jì)算進(jìn)行了仿真，首次對(duì)較復(fù)雜的圖片即種子圖像識(shí)別進(jìn)行了研究。分別研究了識(shí)別種子從2類增至5類再增至10類時(shí)的情形，取得了識(shí)別準(zhǔn)確率為100%，90%和80%的結(jié)果。主要原因在于本文使用的種子圖片數(shù)量有限，如果適當(dāng)加大測(cè)試所用的圖片數(shù)量，便可以提高識(shí)別準(zhǔn)確率。另外，本文在識(shí)別圖片時(shí)只提取了圖片的灰度值，未考慮圖片中不同種子的顏色這一參數(shù)，如果將種子的顏色也作為識(shí)別種子圖片的參數(shù)，將可以得到更好的識(shí)別效果。

參 考 文 獻(xiàn)

[1] VERSTRAETEN D，SCHRAUWEN B，HAENE M D，et al. An experimental unification of reservoir computing methods[J]. Neural networks，2007，20（3）：391-403.

[2] APPELTANT L，SORIANO M C，SANDE G V，et al. Information processing using a single dynamical node as complex system[J].Nature communications，2011（2）：468.

[3] SHI Z，HAN M. Support vector echo-state machine for chaotic time-series prediction[J]. IEEE transactions on neural networks，2007，18（2）：359-372.

[4]史志偉，韓敏.ESN嶺回歸學(xué)習(xí)算法及混沌時(shí)間序列預(yù)測(cè)[J].控制與決策，2007，22（3）：258-261.

[5]韓敏，王亞楠.基于Kalman濾波的儲(chǔ)備池多元時(shí)間序列在線預(yù)報(bào)器[J].自動(dòng)化學(xué)報(bào)，2010，36（1）：169-173.

[6] JAEGER H，LUKO?EVI?IUS M，POPOVICI D，et al. Optimization and applications of echo state networks with leaky-integrator neurons[J]. Neural networks，2007，20（3）：335-352.

[7] EMBRECHTS M J，ALEXANDRE L A，LINTON J D. Reservoir computing for static pattern recognition[C]// Esann 2009，European Symposium on Artificial Neural Networks，Bruges，Belgium，April 22-24，2009，Proceedings. DBLP，2009：101-124.

[8] VERSTRAETEN D，SCHRAUWEN B，STROOBANDT D，et al. Isolated word recognition with the liquid state machine： a case study[J]. Information processing letters，2005，95（6）：521-528.

[9]裴承丹.回聲狀態(tài)網(wǎng)絡(luò)及其在圖像邊緣檢測(cè)中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2008，44（19）：172-174.

[10]趙清春，殷洪璽.混沌光子儲(chǔ)備池計(jì)算研究進(jìn)展[J].激光與光電子學(xué)進(jìn)展，2013，50（3）：23-29.

[11]梁曄.基于儲(chǔ)備池計(jì)算的混沌時(shí)間序列預(yù)測(cè)方法研究[D].蘭州：蘭州大學(xué)，2012.

[12]包秀榮，岳荷荷，殷洪璽，等.基于Mackey-Glass混沌儲(chǔ)備池計(jì)算的多波形識(shí)別[J].大連理工大學(xué)學(xué)報(bào)，2018，58（2）：174-179.

[13]靳雨.光電反饋混沌儲(chǔ)備池計(jì)算及其識(shí)別應(yīng)用的研究[D].大連：大連理工大學(xué)，2016.

[14]秦杰.基于光反饋混沌儲(chǔ)備池計(jì)算的分組頭識(shí)別研究[D].大連：大連理工大學(xué)，2017.

[15] HELLMAN J S. Winners take all： the politics of partial reform in postcommunist transitions[J].World politics，1998，50（2）：203-234.