基于Hopfield神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類

【文章摘要】

本文研究Hopfield神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，并結(jié)合進(jìn)化算法或啟發(fā)式算法，設(shè)計(jì)出一個(gè)基于Hopfield神經(jīng)網(wǎng)絡(luò)的混合分類算法，并在實(shí)際數(shù)據(jù)集進(jìn)行驗(yàn)證，以期提出的算法既具有一定魯棒性，又要具有較高的分類精度，并且能夠充分發(fā)揮Hopfield神經(jīng)網(wǎng)絡(luò)的自聯(lián)想特性，具有較好的容錯(cuò)性和普適性。

【關(guān)鍵詞】

Hopfield神經(jīng)網(wǎng)絡(luò)；粒子群優(yōu)化算法；自聯(lián)想特性

隨著信息產(chǎn)業(yè)的普及，數(shù)據(jù)存儲(chǔ)的增大，數(shù)據(jù)挖掘技術(shù)作為一種前沿技術(shù)，越來(lái)越受到人們的重視。分類算法作為一種重要的數(shù)據(jù)挖掘算法，在各個(gè)領(lǐng)域中都有著重要的應(yīng)用。

本文采用BV算法，一定程度上克服了離散型Hopfield神經(jīng)網(wǎng)絡(luò)本身所具有的局限性，并且保留了其在自聯(lián)想等方面的優(yōu)點(diǎn)，設(shè)計(jì)出帶有粒子群優(yōu)化過(guò)程的Hopfield分類算法（下文簡(jiǎn)稱PSO-HOP算法）。

1 數(shù)據(jù)預(yù)處理

使用離散型Hopfield神經(jīng)網(wǎng)絡(luò)進(jìn)行分類首先就要解決如何在神經(jīng)網(wǎng)絡(luò)中反映各個(gè)屬性值及類標(biāo)號(hào)的問(wèn)題。

2 Hopfield訓(xùn)練過(guò)程

為了克服傳統(tǒng)Hopfield的不足，本文采用了BV算法。該算法能夠克服傳統(tǒng)訓(xùn)練算法容量低的問(wèn)題，并且保留原有算法的優(yōu)點(diǎn)。該方法是基于局部的，而且對(duì)模式的要求較少，但是該方法要求對(duì)訓(xùn)練樣本進(jìn)行一定數(shù)量的呈現(xiàn)，以保證訓(xùn)練模式的穩(wěn)定性。通過(guò)有限次數(shù)的展示后，該算法確保對(duì)于每個(gè)模式找到一個(gè)合適的權(quán)重矩陣（如果該矩陣存在）。

3 Hopfield評(píng)價(jià)方法

這里描述的Hopfield評(píng)價(jià)方法即為類標(biāo)號(hào)確定方法，在前面提到的Hopfield訓(xùn)練過(guò)程中、后面PSO優(yōu)化過(guò)程中的適應(yīng)值計(jì)算以及最后對(duì)該分類算法進(jìn)行測(cè)試的過(guò)程中都要采用該方法。其中主要體現(xiàn)了離散型Hopfield神經(jīng)網(wǎng)絡(luò)的自聯(lián)想特性，使之能夠從噪聲數(shù)據(jù)中聯(lián)想出有意義的模式。

4 PSO優(yōu)化過(guò)程

雖然前文介紹的分類算法和測(cè)試算法已經(jīng)能夠初步地實(shí)現(xiàn)了分類，但是由于神經(jīng)網(wǎng)絡(luò)容易出現(xiàn)陷入局部最優(yōu)值的情況，從而影響分類算法的精度。為此本文引入了離散型粒子群優(yōu)化算法用來(lái)優(yōu)化Hopfield神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，提高分類精度。

使用離散型粒子群優(yōu)化算法優(yōu)化神經(jīng)元分配的具體流程為：首先，初始化粒子，每個(gè)粒子包括使用個(gè)體最佳值，個(gè)體當(dāng)前值，個(gè)體最佳值的位置，一個(gè)使用浮點(diǎn)數(shù)表示的當(dāng)前位置，以及一個(gè)使用0-1變量表示的當(dāng)前狀態(tài)，1表示被分配神經(jīng)元而0表示未被分配神經(jīng)元。然后隨機(jī)化用浮點(diǎn)數(shù)表示的當(dāng)前位置。隨后開(kāi)始循環(huán)，每個(gè)粒子根據(jù)式（3-3）更新浮點(diǎn)數(shù)位置，再使用式（3-4）生成0-1當(dāng)前狀態(tài)，并對(duì)其進(jìn)行一定的約減和增補(bǔ)，使之不超過(guò)最大可分配的神經(jīng)元數(shù)目。再跟據(jù)屬性狀態(tài)，生成Hopfield神經(jīng)網(wǎng)絡(luò)，并進(jìn)行訓(xùn)練和測(cè)試，根據(jù)測(cè)試的結(jié)果更新個(gè)體當(dāng)前適應(yīng)值，并比較個(gè)體當(dāng)前適應(yīng)值和個(gè)體最優(yōu)值以及群體最優(yōu)值。若個(gè)體當(dāng)前適應(yīng)值優(yōu)于個(gè)體最優(yōu)值則，更新個(gè)體最優(yōu)值及其位置，若個(gè)體當(dāng)前適應(yīng)值優(yōu)于群體最優(yōu)值，則更新群體最優(yōu)值及其位置，并將重新隨機(jī)生成該粒子的當(dāng)前位置以防止陷入局部最優(yōu)值。通過(guò)這樣循環(huán)下去，即可找出在當(dāng)前可分配神經(jīng)元數(shù)目下的最優(yōu)神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

5 算法整體流程

PSO-HOP算法的整體流程如圖1所示，其中，讀取分類信息是指程序讀取樣本的屬性信息，包括屬性的個(gè)數(shù)、每個(gè)屬性的所有可能值以及訓(xùn)練樣本數(shù)等。而在讀取訓(xùn)練集和讀取測(cè)試集的過(guò)程中，程序會(huì)根據(jù)分類信息以及當(dāng)前神經(jīng)元的分配方案將讀取的數(shù)據(jù)集轉(zhuǎn)換成和神經(jīng)網(wǎng)絡(luò)一樣的結(jié)構(gòu)并進(jìn)行數(shù)據(jù)預(yù)處理以方便后面的訓(xùn)練和測(cè)試。

本文通過(guò)對(duì)Hopfield神經(jīng)網(wǎng)絡(luò)的改進(jìn)，實(shí)現(xiàn)了使用Hopfield神經(jīng)網(wǎng)絡(luò)作為分類算法，設(shè)計(jì)出了PSO-HOP算法。該算法具有較高的分類精度和魯棒性，并可以通過(guò)建模結(jié)果了解數(shù)據(jù)集的不同屬性的重要程度，有助于們對(duì)于數(shù)據(jù)集的理解和研究。

【參考文獻(xiàn)】

[1]Han J W，Micheline K.Data Mining[M].北京：機(jī)械工業(yè)出版社，2007.285-382.

[2]張青貴.人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論[M].北京：中國(guó)水利水電出版社，2004.11-124.

【作者簡(jiǎn)介】

邵天馳（1989年5月—），男，遼寧沈陽(yáng)市人，同濟(jì)大學(xué)軟件學(xué)院碩士研究生。