陳國燦,高茂庭
上海海事大學(xué)信息工程學(xué)院,上海 201306
ART2神經(jīng)網(wǎng)絡(luò)的一種改進(jìn)
陳國燦,高茂庭
上海海事大學(xué)信息工程學(xué)院,上海 201306
自適應(yīng)共振理論(Adaptive Resonance Theory,ART)神經(jīng)網(wǎng)絡(luò)是一種自組織、無監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)[1-3],具有能夠迅速自組織地進(jìn)行對輸入模式的識別并聚類,并且能夠把陷入在各種噪聲背景里的近似信號挑出來并進(jìn)行加強(qiáng)等優(yōu)點[2,4]。
但傳統(tǒng)的ART2神經(jīng)網(wǎng)絡(luò)[2,5]在對輸入模式進(jìn)行識別聚類時,由于只利用了輸入模式的相位信息,而忽視了其幅度信息的作用[6-7],在處理相位相同而幅度不同的輸入模式簇時,難以將它們區(qū)分開,聚類效果不理想;同時,它還對輸入模式中各神經(jīng)元取值存在著一定的限制,在F1層中將輸入模式中非正實數(shù)統(tǒng)一作為0處理,導(dǎo)致輸入模式的部分信息丟失,影響了聚類結(jié)果。
本文對傳統(tǒng)的ART2網(wǎng)絡(luò)從幾個方面進(jìn)行改進(jìn),一方面,在輸入模式進(jìn)入網(wǎng)絡(luò)學(xué)習(xí)的同時,既考慮它的相位信息,同時也計算其到各個簇的中心點的最短距離,綜合考慮其幅度信息;另一方面,還對非線性變換函數(shù)(濾噪)做了相應(yīng)的處理,使其能正確地處理負(fù)數(shù)的輸入,并在F1層穩(wěn)定后仍保持其負(fù)數(shù)形式,不會導(dǎo)致輸入模式的信息丟失;再一方面,為了消除離群點對聚類結(jié)果的影響,本文還對輸入模式進(jìn)行了離群點的判定。最后,通過實驗驗證了這種改進(jìn)方法的可行性和有效性。
2.1 ART2神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
ART2神經(jīng)網(wǎng)絡(luò)的基本思想是競爭學(xué)習(xí)機(jī)制和自穩(wěn)學(xué)習(xí)機(jī)制[2],ART2神經(jīng)網(wǎng)絡(luò)為兩層結(jié)構(gòu)[5,8],分別為F1層和F2層,其中F1層有n個輸入節(jié)點,F(xiàn)2層有m個輸出節(jié)點。網(wǎng)絡(luò)的兩層之間既存在從F1層到F2層的前饋連接權(quán)wij(i=1,2,…,n;j=1,2,…,m),也存在從F2層到F1層的反饋連接權(quán)tij(i=1,2,…,n;j=1,2,…,m),此外,網(wǎng)絡(luò)還包含一個復(fù)位信號R來實現(xiàn)F2層的重置。ART2神經(jīng)網(wǎng)絡(luò)中單個神經(jīng)元的典型結(jié)構(gòu)如圖1所示。

圖1 ART2神經(jīng)網(wǎng)絡(luò)中單個神經(jīng)元結(jié)構(gòu)圖
ART2神經(jīng)網(wǎng)絡(luò)也可以分成注意子系統(tǒng)和取向子系統(tǒng)。注意子系統(tǒng)完成自下向上矢量的競爭選擇及矢量間相似度的比較,取向子系統(tǒng)檢查相似度能否達(dá)到滿意的標(biāo)準(zhǔn),并作出相應(yīng)的動作。
2.2 ART2神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法


其中公式(3)中函數(shù)f(x)是非線性處理函數(shù),用于對傳送的信號進(jìn)行非線性變換,歸一化處理和非線性處理的結(jié)合確定了噪聲判定標(biāo)準(zhǔn),并使網(wǎng)絡(luò)能夠從噪聲中分離出信號,非線性處理函數(shù)f(x)的非線性程度決定了對比增強(qiáng)和噪聲抑制的程度,函數(shù)f(x)定義為:


F2層選擇出獲勝神經(jīng)元j并送回一個反饋信號,然后計算STM變量P和U的匹配度‖‖R,也就是F1層中經(jīng)過處理的STM信號與激活的LTM(Long Time Memory)信號之間的匹配度,計算公式如下:

當(dāng)‖R‖大于規(guī)定的警戒值ρ時,LTM信號進(jìn)入學(xué)習(xí)階段,即

反之,取向子系統(tǒng)發(fā)出重置信號,F(xiàn)2層神經(jīng)元重新競爭,相似度第二大的神經(jīng)元獲勝。
傳統(tǒng)的ART2神經(jīng)網(wǎng)絡(luò)是按相位信息聚類的,與幅值信息無關(guān)[9-15]。傳統(tǒng)的ART2神經(jīng)網(wǎng)絡(luò)在處理相同相位信息而幅值信息不同的兩個簇時,效果很不理想。一些文章中也提到了通過比較權(quán)值和輸入樣本的模來恢復(fù)幅度信息[7],但這種權(quán)值并不能反映模式原型的幅度信息,所以仍然無法利用幅度信息。
對原始數(shù)據(jù)有正有負(fù)的數(shù)據(jù)樣本,由于傳統(tǒng)的ART2網(wǎng)絡(luò)存在輸入域的限制[13],傳統(tǒng)的ART2網(wǎng)絡(luò)的F1層中將樣本數(shù)據(jù)的非正實數(shù)抑制為0,因此傳統(tǒng)的ART2網(wǎng)絡(luò)不能將位于第二、三、四象限的數(shù)據(jù)樣本進(jìn)行有效地分類。
同時,傳統(tǒng)的ART2神經(jīng)網(wǎng)絡(luò)對離群點的存在不敏感,為了盡量消除離群點對聚類結(jié)果的影響,本文改進(jìn)算法通過將離群點另外作為一類,以減小離群點對聚類結(jié)果的影響。
針對傳統(tǒng)ART2神經(jīng)網(wǎng)絡(luò)存在的上述不足之處,本文通過在輸入激活過程中,計算其到各個簇的中心點的最短距離,綜合考慮其幅度信息,若相位和幅度兩者均超過相應(yīng)的警戒閾值時,才發(fā)生諧振并調(diào)整權(quán)值;對非線性變換函數(shù)(濾噪),也做了相應(yīng)的處理,使其能正確地處理負(fù)數(shù)的輸入,并在F1層穩(wěn)定后仍保持其負(fù)數(shù)形式,以免導(dǎo)致輸入模式的信息丟失;為了消除離群點對聚類結(jié)果的影響,本文還對輸入模式進(jìn)行了離群點的判定,并增加一個閾值R_dis來檢測離群點。改進(jìn)的ART2神經(jīng)網(wǎng)絡(luò)相位與幅度匹配如圖2所示。

圖2 改進(jìn)的ART2神經(jīng)網(wǎng)絡(luò)中相位與幅度匹配
該方法的主要思想是:在數(shù)據(jù)樣本進(jìn)入F1層,經(jīng)過F1層的自穩(wěn)學(xué)習(xí)后,幅度信息原型Ii通過進(jìn)行競爭學(xué)習(xí)找出獲勝神經(jīng)元,與其距離最短的神經(jīng)元獲勝。獲勝神經(jīng)元自上向下反饋一個信號強(qiáng)度,反饋的信息P=(p1,p2,…,pn)與F1層中穩(wěn)定的輸入模式的相位信息U=(u1,u2,…,un)進(jìn)行相位匹配度計算以及離群點檢測,若兩者有一個不符合所設(shè)定的閾值要求,則重新開辟一個簇,否則將輸入模式歸入獲勝神經(jīng)元所在的簇。改進(jìn)的ART2神經(jīng)網(wǎng)絡(luò)算法流程如圖3所示。

圖3 改進(jìn)的ART2算法流程圖
改進(jìn)后的ART2網(wǎng)絡(luò)也包含注意子系統(tǒng)和取向子系統(tǒng)。注意子系統(tǒng)包括F1和F2兩個短期存儲單元STM以及連接F1和F2層的長期存儲單元LTM即連接權(quán)向量Wn×m和Tn×m,此時自下向上的連接權(quán)向量wij記錄的是簇的中心點幅度信息,其中第j列表示第j類的中心點。取向子系統(tǒng)的作用是計算輸入模式與記憶模式間相位匹配程度,即F1層穩(wěn)定的中間模式U與獲勝神經(jīng)元自上向下的反饋模式P進(jìn)行相位匹配,以及對輸入模式進(jìn)行離群點檢測,以此來決定網(wǎng)絡(luò)接下來的動作:共振或重置。
首先,對網(wǎng)絡(luò)進(jìn)行初始化設(shè)置。改進(jìn)的ART2網(wǎng)絡(luò)中F1層的初始化以及自上向下的權(quán)向量Tn×m的初始化和傳統(tǒng)的ART2網(wǎng)絡(luò)相同。簇的個數(shù)m設(shè)置為1,自下向上的連接權(quán)向量Wn×m初始化第一個輸入模式作為第一個簇的中心點,即同時還需要設(shè)定兩個閾值ρ和R_dis,ρ作為相位匹配度的警戒值,R_dis作為離群點判定的警戒值。
當(dāng)n維輸入模式I=(I1,I2,…,In)進(jìn)入F1層后,通過公式(1)~(6)計算F1層的穩(wěn)定狀態(tài),由于傳統(tǒng)的ART2網(wǎng)絡(luò)將非正實數(shù)統(tǒng)一作為0處理,非線性轉(zhuǎn)換函數(shù)將其作為噪聲處理,使得網(wǎng)絡(luò)丟失了該部分的信息,影響了整個聚類結(jié)果。因此需要調(diào)整非線性處理函數(shù)以便能正確地處理非正實數(shù),防止將有用的信息誤作為噪聲處理。非線性處理函數(shù)調(diào)整為:

F1層達(dá)到穩(wěn)定狀態(tài)后,輸入模式I經(jīng)過自下向上的連接權(quán)向量Wn×m傳入F2層并進(jìn)行競爭學(xué)習(xí),找到與其距離最短的神經(jīng)元作為獲勝神經(jīng)元,即獲勝神經(jīng)元被激活,其他神經(jīng)元則處于抑制狀態(tài),F(xiàn)2層選擇出獲勝神經(jīng)元j并送回一個反饋信號,并計算F1層中經(jīng)過處理的STM信號U與激活神經(jīng)元的LTM信號的反饋值P之間的相位匹配度‖‖R。由于‖‖R反映的是P和U的整體匹配程度,而不管P和U的各分量之間的差異,在這里本文仍采用公式(11)進(jìn)行相位匹配計算。若匹配度‖‖R大于所設(shè)定的閾值ρ,則對輸入模式進(jìn)行離群點判定,即若kj大于預(yù)先設(shè)定的閾值R_dis,則將該輸入模式作為離群點處理,將該輸入模式作為單獨的一個類,將輸入模式劃入第j類中,網(wǎng)絡(luò)進(jìn)入學(xué)習(xí)階段,自下向上的權(quán)向量wij更新為第j類的新的中心點即第j類所有數(shù)據(jù)樣本的各分量的均值,自上向下的權(quán)向量tij按公式(13)進(jìn)行更新。
對于傳統(tǒng)ART2網(wǎng)絡(luò),當(dāng)輸入模式進(jìn)入F1層后,進(jìn)行共振直到F1層處于穩(wěn)定狀態(tài),由于輸入模式進(jìn)入F1層時,F(xiàn)2層無反饋信息進(jìn)入,實際上只需要1~2次共振使得F1層處于穩(wěn)定狀態(tài),再進(jìn)入F2層,計算與F2層m個神經(jīng)元的相似度,最大相似度神經(jīng)元獲勝,獲勝神經(jīng)元反饋一個信號,并進(jìn)行匹配計算,如果匹配度小于預(yù)先設(shè)定的閾值則F2層重置,尋找次勝神經(jīng)元,最壞情況下F2層重置次數(shù)為m次,否則網(wǎng)絡(luò)進(jìn)入學(xué)習(xí)階段,因此,算法時間復(fù)雜度O(mn),其中,n為輸入模式的個數(shù);改進(jìn)的ART2網(wǎng)絡(luò)在F1層仍只需要進(jìn)行1~2次共振就能達(dá)到穩(wěn)定狀態(tài),F(xiàn)1層穩(wěn)定后輸入模式傳遞至F2層,計算出與m個神經(jīng)元的距離,距離最短的神經(jīng)元獲勝,獲勝神經(jīng)元反饋一個信號,并進(jìn)行匹配計算,如果匹配度小于預(yù)先設(shè)定的閾值則F2層重置,尋找次勝神經(jīng)元,最壞情況下F2層重置次數(shù)為m次,否則網(wǎng)絡(luò)進(jìn)行一次離群點判定,改進(jìn)算法F2層的判定次數(shù)要比傳統(tǒng)的ART2的判定次數(shù)多一次,即F2層重置次數(shù)的最壞情況為m+1次,故改進(jìn)算法的時間復(fù)雜度仍為O(mn)。雖然改進(jìn)算法的復(fù)雜度在數(shù)量級上無變化,但在處理相同相位不可分的情況下的準(zhǔn)確率要比傳統(tǒng)ART2網(wǎng)絡(luò)有明顯提高。
本文利用上述算法針對橫、縱坐標(biāo)在[0,1]的范圍內(nèi)隨機(jī)生成的5個特征明顯的類,每類包含30個數(shù)據(jù)樣本進(jìn)行聚類。分別用傳統(tǒng)的ART2與改進(jìn)后的ART2網(wǎng)絡(luò)對該數(shù)據(jù)樣本進(jìn)行聚類,聚類結(jié)果分別如圖4和圖5所示,其中各個參數(shù)設(shè)置如表1所示,其中參數(shù)a、b、c、d、e的取值均參照文獻(xiàn)[2]中的參數(shù)設(shè)置,這些參數(shù)還可通過實驗經(jīng)驗來取值。

圖4 傳統(tǒng)ART2網(wǎng)絡(luò)聚類結(jié)果

圖5 改進(jìn)后ART2網(wǎng)絡(luò)聚類結(jié)果

表1 網(wǎng)絡(luò)參數(shù)設(shè)置表

圖6 傳統(tǒng)ART2的四個象限內(nèi)數(shù)據(jù)聚類

圖7 改進(jìn)后四個象限內(nèi)數(shù)據(jù)樣本的聚類
傳統(tǒng)的ART2網(wǎng)絡(luò)在數(shù)據(jù)處理過程中將樣本數(shù)據(jù)進(jìn)行歸一化處理,只保留了數(shù)據(jù)的相位信息,相位信息通過競爭學(xué)習(xí)進(jìn)行聚類后,得到的聚類結(jié)果只考慮了數(shù)據(jù)樣本的相位信息而忽略了數(shù)據(jù)的幅度信息,將相位信息相同或相近的樣本數(shù)據(jù)劃分在同一個類中。由圖4可以看出,相位相同或相近的數(shù)據(jù)樣本被劃分在同一個類中,無法將相位相同或相近的兩個類區(qū)分開來。改進(jìn)后的ART2網(wǎng)絡(luò),在數(shù)據(jù)處理的過程中不僅將數(shù)據(jù)進(jìn)行歸一化處理,同時還保留了數(shù)據(jù)原型的幅度信息。在競爭學(xué)習(xí)時,通過將幅度和相位信息兩者結(jié)合,能夠有效地對相位相同而幅度不同的兩個類進(jìn)行正確聚類。由圖5還可看出,改進(jìn)后的ART2網(wǎng)絡(luò)能對離群點進(jìn)行有效地識別,類別6表示該數(shù)據(jù)點與其他5個類的中心點的最短距離要大于設(shè)定的閾值R_dis,該數(shù)據(jù)點被作為離群點處理。
對原始數(shù)據(jù)有正有負(fù)的數(shù)據(jù)樣本,由于傳統(tǒng)的ART2網(wǎng)絡(luò)存在輸入域的限制,傳統(tǒng)的ART2網(wǎng)絡(luò)的F1層中將樣本數(shù)據(jù)的非正實數(shù)抑制為0,因此傳統(tǒng)的ART2網(wǎng)絡(luò)不能將位于四個象限的數(shù)據(jù)樣本進(jìn)行有效的分類。改進(jìn)后的ART2網(wǎng)絡(luò)的非線性變換函數(shù)能處理負(fù)數(shù)的輸入,并在F1層穩(wěn)定后仍保持其負(fù)數(shù)形式,所以該網(wǎng)絡(luò)還能對分別位于四個象限內(nèi)的數(shù)據(jù)樣本進(jìn)行有效地聚類。
本文針對傳統(tǒng)的ART2網(wǎng)絡(luò)和改進(jìn)后的ART2網(wǎng)絡(luò)對分別位于四個象限的數(shù)據(jù)樣本的聚類作了一個對比分析,數(shù)據(jù)樣本是橫、縱坐標(biāo)在[-1,1]范圍內(nèi)隨機(jī)生成的5個特征明顯的類,每類包含30個數(shù)據(jù)樣本進(jìn)行聚類。網(wǎng)絡(luò)的各個參數(shù)設(shè)置見表1。由圖6可以看出,傳統(tǒng)的ART2網(wǎng)絡(luò)對位于四個象限內(nèi)的數(shù)據(jù)樣本的聚類效果很差,而圖7是使用改進(jìn)后的ART2網(wǎng)絡(luò)對其進(jìn)行聚類,顯而易見,改進(jìn)后的ART2網(wǎng)絡(luò)可以對四個象限的數(shù)據(jù)進(jìn)行很好的分類。
通過上述理論和實驗結(jié)果,表明本文提出的一種改進(jìn)的ART2神經(jīng)網(wǎng)絡(luò)在處理相同相位的兩個簇時,性能優(yōu)于傳統(tǒng)的ART2。該網(wǎng)絡(luò)同時考慮了數(shù)據(jù)的相位信息和數(shù)據(jù)原型的幅度信息,并消除了離群點對聚類結(jié)果的影響。通過變換非線性變換函數(shù),改進(jìn)后的ART2網(wǎng)絡(luò)能夠處理負(fù)值數(shù)據(jù),對四個象限的數(shù)據(jù)能夠進(jìn)行有效地聚類。通過實驗表明改進(jìn)的ART2網(wǎng)絡(luò)在處理需要考慮幅度信息以及離群點的數(shù)據(jù)樣本時性能要明顯優(yōu)于傳統(tǒng)的ART2網(wǎng)絡(luò)。
[1]Carpenter G A,Grossberg S.A massively parallel architecture for a self-organizing neural pattern recognition machine[J].ComputerVision,GraphicsandImageProcessing,1987,37(1):54-115.
[2]Carpenter G A,Grossberg S.ART-2:self-organization of stable category recognition codes for analog input pattern[J].Applied Optics,1987,26(23):4919-4930.
[3]Carpenter G A,Grossberg S.ART-3:hierarchical search usingchemicaltransmittersinself-organizingpattern recognition architectures[J].Neural Networks,1990,3(2):129-152.
[4]馬銳,人工神經(jīng)網(wǎng)絡(luò)原理[M].北京:機(jī)械工業(yè)出版社,2010.
[5]Frank T,Kraiss K F,Kuhlen T.Comparative-analysis of fuzzy art and ART2A network clustering performance[J]. IEEE Trans on Neural Nerwork,1988,9(3):544-549.
[6]Li Liangjun,Zhang Bin,Che Yuanyuan.The improved algorithm of ART2 in data mining[C]//2009 1st International Workshop on Database Technology and Applications. Washington,DC:IEEE Computer Society,2009:177-180.
[7]顧民,葛良全.一種ART2神經(jīng)網(wǎng)絡(luò)的改進(jìn)算法[J].計算機(jī)應(yīng)用,2007,27(4):945-947.
[8]Hagan M T,Demuth H B.神經(jīng)網(wǎng)絡(luò)設(shè)計[M].戴葵,譯.北京:機(jī)械工業(yè)出版社,2002.
[9]申岸偉,俞斌.一種提高ART-2神經(jīng)網(wǎng)絡(luò)分類器性能的方法[J].信號處理,1996,12(1):28-32.
[10]唐紅衛(wèi),桑農(nóng),曹治國,等.ART-2神經(jīng)網(wǎng)絡(luò)的研究和改進(jìn)[J].紅外與激光工程,2004,33(1):101-106.
[11]徐永成,溫熙森,易曉山,等.ART-2A的同相位不可分問題及其解決方法[J].數(shù)據(jù)采集與處理,2001,16(4):393-396.
[12]從爽,鄭毅松,王怡雯.ART-2神經(jīng)網(wǎng)絡(luò)的改進(jìn)及建模實現(xiàn)[J].計算機(jī)工程與應(yīng)用,2002,38(14):25-27.
[13]黎明,嚴(yán)超華,劉高航.具有更嚴(yán)格警戒測試準(zhǔn)則的ART-2神經(jīng)網(wǎng)絡(luò)[J].中國圖象圖形學(xué)報,2001,6(1):81-85.
[14]姚關(guān)順.ART-2神經(jīng)網(wǎng)絡(luò)的缺點及其改進(jìn)[J].儀器儀表用戶,2008,15(2):112-113.
[15]楊興,朱大奇,桑慶兵.一種改進(jìn)的ART型神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[J].計算機(jī)技術(shù)與發(fā)展,2006,16(9):27-29.
CHEN Guocan,GAO Maoting
College of Information Engineering,Shanghai Maritime University,Shanghai 201306,China
While the matching measure of the pattern in clustering is only about the phase information and neglects the effects of the amplitude information of the patterns,traditional ART2 neural network can not cluster well for two clusters with the same phase but different amplitudes,and it also has limitation problem for inputs domain.As to the above disadvantages,an improved ART2 algorithm is put forward.The amplitude information of the patterns is also saved during the input pattern entering the network in the learning process,and the limitation is relaxed in a nonlinear transformation of negative numbers,and the shortest distance from the input pattern to the center of each cluster is taken into consideration. At the same time,a threshold to judge outliers is added to eliminate the influence of outliers on clustering results.Experimental results demonstrate that the performance of the improved ART2 is superior to the traditional ART2 when they cluster the two clusters with the same phase.
Adaptive Resonance Theory(ART)2 neural network;clustering;phase information;amplitude information
傳統(tǒng)ART2神經(jīng)網(wǎng)絡(luò)在聚類過程中模式的匹配度量僅僅與模式的相位信息相關(guān),這種匹配度量忽略了模式的幅度信息的作用,在對相位信息相同而幅度信息不同的兩個簇進(jìn)行聚類時,效果很差;同時,它還存在輸入域限制的問題。針對這些不足之處,提出了一種改進(jìn)的ART2神經(jīng)網(wǎng)絡(luò),在輸入模式進(jìn)入網(wǎng)絡(luò)學(xué)習(xí)過程中,保存其幅值信息,放寬對負(fù)實數(shù)的非線性轉(zhuǎn)換,并考慮輸入模式到各個簇的中心點的最短距離,同時增加一個閾值對離群點進(jìn)行判定,消除了離群點對聚類結(jié)果的影響。實驗驗證,改進(jìn)的ART2網(wǎng)絡(luò)在對相同相位的兩個簇聚類時,性能明顯優(yōu)于傳統(tǒng)的ART2網(wǎng)絡(luò)。
自適應(yīng)共振理論(ART)2網(wǎng)絡(luò);聚類;相位信息;幅度信息
A
TP391
10.3778/j.issn.1002-8331.1210-0155
CHEN Guocan,GAO Maoting.Improvement for ART2 neural network.Computer Engineering and Applications, 2014,50(18):137-141.
上海市科委科技創(chuàng)新項目(No.12595810200);上海海事大學(xué)科研項目(No.201100051)。
陳國燦(1990—),男,碩士研究生,CCF學(xué)生會員,主要研究領(lǐng)域為數(shù)據(jù)挖掘;高茂庭(1963—),男,博士,教授,CCF高級會員,主要研究領(lǐng)域為數(shù)據(jù)挖掘、數(shù)據(jù)庫與信息系統(tǒng)。E-mail:gcc1990@163.com
2012-10-16
2012-12-03
1002-8331(2014)18-0137-05
CNKI網(wǎng)絡(luò)優(yōu)先出版:2013-01-11,http://www.cnki.net/kcms/detail/11.2127.TP.20130111.1111.028.html