帶質(zhì)心的K最近鄰增強模糊最小最大神經(jīng)網(wǎng)絡(luò)的集成方法

2021-10-19 03:14:14趙建成余肖生

重慶理工大學(xué)學(xué)報(自然科學(xué)) 2021年9期

陳鵬，趙建成，余肖生

(三峽大學(xué) 計算機與信息學(xué)院，湖北宜昌 443002)

解決穩(wěn)定性-可塑性難題是ANN學(xué)習(xí)中的關(guān)鍵問題，尤其是當(dāng)數(shù)據(jù)樣本的數(shù)量隨時間增加時，ANN模型必須以自主和增量的方式學(xué)習(xí)這些樣本。為了解決穩(wěn)定性-可塑性難題[1]，Simpson[2]提出了2種混合的ANN模型(Fuzzy Min-Max(FMMN)網(wǎng)絡(luò))，即模式分類的監(jiān)督模型；模式聚類的無監(jiān)督模型[3]。FMMN使用超盒模糊集在其網(wǎng)絡(luò)結(jié)構(gòu)中創(chuàng)建和存儲知識，即作為隱藏節(jié)點，該網(wǎng)絡(luò)已經(jīng)得到了廣泛的研究與應(yīng)用，尤其是在分類任務(wù)上[2]。為了提升FMMN網(wǎng)絡(luò)的性能，Mohammed等[4]提出了增強的模糊最小-最大神經(jīng)網(wǎng)絡(luò)(EFMMN)，該算法在解決超盒的重疊測試和收縮測試時都更加有效。為了避免在獲勝超盒附近產(chǎn)生過多的小超盒，從而降低FMMN的網(wǎng)絡(luò)復(fù)雜度，Mohammed等[5]提出了K最近鄰超盒展開規(guī)則的改進的模糊最小最大神經(jīng)網(wǎng)絡(luò)，實驗表明通過該網(wǎng)絡(luò)可以有效地降低網(wǎng)絡(luò)的復(fù)雜度。Nandedkar等[6-7]提出了通用反射模糊最小-最大神經(jīng)網(wǎng)絡(luò)(GRFMN)。 GRFMM將FMM聚類和分類算法以及人體反射機制的概念組合到一個通用框架中，以解決重疊問題。劉金海等[8]提出了一種基于數(shù)據(jù)質(zhì)心的模糊最小最大神經(jīng)網(wǎng)絡(luò)分類方法，該方法能夠根據(jù)實際數(shù)據(jù)的質(zhì)心特征自適應(yīng)地調(diào)節(jié)超盒隸屬度，從而來提高分類的精準率。

為了使FMMN實現(xiàn)半監(jiān)督的能力，Ngan等[9]提出了模糊最小最大神經(jīng)網(wǎng)絡(luò)中的半監(jiān)督聚類。Liu等[10]提出了一種基于模糊最小最大神經(jīng)網(wǎng)絡(luò)的半監(jiān)督分類方法(SS-FMM)。在SS-FMM中，對模糊最小最大網(wǎng)絡(luò)進行了修改，以處理標記和未標記的數(shù)據(jù)。

現(xiàn)有的FMMN及其變體，在訓(xùn)練網(wǎng)絡(luò)以及進行最終預(yù)測時，都沒有考慮之前訓(xùn)練的樣本位于該超盒內(nèi)的大體分布情況，僅計算樣本點的隸屬度的高低來選擇擴展的超盒，這樣不利于超盒更加準確的收縮以及最終精準的預(yù)測。同時，現(xiàn)有方法都過于依賴擴展系數(shù)的選擇，如果選擇糟糕的擴展系數(shù)，則會導(dǎo)致模型性能變差，另外對于每個數(shù)據(jù)集選擇最佳的擴展系數(shù)也是非常耗費時間的事情。因此，提出了帶質(zhì)心的K最近鄰增強模糊最小最大神經(jīng)網(wǎng)絡(luò)的集成方法(ensemble method ofk-nearest neighbor enhancement fuzzy minimax neural networks with centroid，簡稱為E-CFMM)，該方法考慮了每個超盒數(shù)據(jù)集中的位置，即增加質(zhì)心的同時，又集成了5個不同的擴展系數(shù)的弱分類器，并將5個弱分類器的預(yù)測結(jié)果作為隨機森林的輸入數(shù)據(jù)進行再訓(xùn)練。這樣既可以不用考慮擴展系數(shù)的問題又能提高整體網(wǎng)絡(luò)的預(yù)測性能。

1 K最近鄰增強模糊最小最大神經(jīng)網(wǎng)絡(luò)

1.1 基本的模糊最小最大神經(jīng)網(wǎng)絡(luò)(FMMN)

FMMN的網(wǎng)絡(luò)結(jié)構(gòu)由3層組成，如圖1所示。首先，F(xiàn)a是輸入層，其輸入節(jié)點數(shù)等于輸入要素數(shù)。其次，F(xiàn)b是超盒層，每個Fb節(jié)點代表一個超級盒子模糊集。Fa和Fb節(jié)點之間的連接是最小和最大點，它們存儲在2個矩陣V和W中，而隸屬函數(shù)是Fb的傳遞函數(shù)[2]。第三，F(xiàn)c是輸出層，其節(jié)點數(shù)等于輸出類數(shù)。

圖1 FMMN網(wǎng)絡(luò)結(jié)構(gòu)

FMMN學(xué)習(xí)算法包括3個過程，即超盒擴展、超盒重疊測試和超盒壓縮[11]。在FMMN是通過使用一組數(shù)據(jù)樣本Ah來進行學(xué)習(xí)的，其中h=1…N，N是訓(xùn)練樣本的總個數(shù)。根據(jù)訓(xùn)練樣本，F(xiàn)MMN逐步創(chuàng)建許多超盒。每個超盒由單元超立方體(In)中n維空間中的一組最小和最大點表示。每個超盒模糊集定義為[5]：

Bj={Ah，Vj，Wj，f(Ah，Vj，Wj)}，?Ah∈In

(1)

式中：Bj是超框模糊集；Ah=(ah1，ah2,…,ahn)是輸入數(shù)據(jù)；Vj=(vj1，vj2， …，vjn)和Wj=(wj1，wj2，…，wjn)分別是Bj的最小值和最大值。

當(dāng)訓(xùn)練數(shù)據(jù)樣本包含在超盒中時，則該數(shù)據(jù)樣本具有該超盒的完全隸屬度。超盒的大小由擴展系數(shù)控制，擴展系數(shù)的大小為θ∈[0，1]。每個Fc節(jié)點代表一個類別，F(xiàn)c節(jié)點的輸出代表Ah在輸出類別k中的適合程度。Fb和Fc節(jié)點之間的連接是二進制值來表示。

1.1.1隸屬度函數(shù)

當(dāng)提供新的訓(xùn)練樣本時，F(xiàn)MMN使用隸屬度函數(shù)，其取值范圍為0～1，用于表示樣本相對于超盒的擬合度，查找最匹配的超盒。隸屬度函數(shù)使用式(2) 計算[2]：

max(0，1-max(0，γmin(1，vji-ahi)))]

(2)

式中：Bj表示第j個超盒；Ah=(ah1，ah2，…，ahn)∈In是第h個輸入樣本，并且γ是一個靈敏度參數(shù)，用于調(diào)節(jié)隸屬函數(shù)隨著Ah與Bj之間的距離增加而減小的速度。

1.1.2擴展規(guī)則

在訓(xùn)練階段，執(zhí)行超盒擴展過程以將輸入數(shù)據(jù)包括在各自的超盒中。當(dāng)超盒Bj擴展為包括輸入模式Ah時，必須滿足以下約束[2]：

(3)

如果輸入數(shù)據(jù)不屬于任何超盒，即不滿足式(3)中的約束，則創(chuàng)建了一個新的超盒以便輸入數(shù)據(jù)被網(wǎng)絡(luò)學(xué)習(xí)。如果輸入數(shù)據(jù)滿足式(3)中的擴展要求，則通過式(4)更新該超盒。公式如下：

(4)

1.1.3重疊測試

重疊測試是確定是否有不同類別的重疊的超盒。由于擴展過程中可能會導(dǎo)致現(xiàn)有超盒之間存在重疊的情況，所以需要通過測試來確定是否存在重疊。這個測試主要考慮以下4種情況[2]。如果滿足其中任意一個情況，就認為超盒之間存在重疊。

情況1：

Vji

(5)

情況2：

Vki

(6)

情況3：

Vji

min(min(Wki-Vji，Wji-Vki)，δold)

(7)

情況4：

Vki

min(min(Wji-Vki，Wki-Vji)，δold)

(8)

最初假定δold=1。如果δold-δnew>0，則Δ=i&δold=δnew。這表明重疊檢測到第一個維度，測試繼續(xù)進行下一個維度。如果不存在其他重疊區(qū)域，則測試停止，并通過設(shè)置Δ=-1，即將下一個收縮步驟表示為“不必要”[12]。注意，相同類別的超盒可以存在重疊。

1.1.4收縮規(guī)則

如果來自不同類別的超盒存在重疊，則會啟動超級框收縮過程以消除重疊的區(qū)域。在收縮過程中，通過僅調(diào)整每個重疊的超級盒中n個維度中的一個維度來保持超級盒尺寸盡可能大。即，通過最小化調(diào)整每個超級框來消除重疊區(qū)域。

1.2 增強的模糊最小最大神經(jīng)網(wǎng)絡(luò)(EFMMN)

增強的模糊最小最大神經(jīng)網(wǎng)絡(luò)主要在擴展規(guī)則、重疊測試以及收縮方面進行了改進。

在擴展規(guī)則方面，為了解決現(xiàn)有FMMN擴展過程中可能會導(dǎo)致后續(xù)過程中的不同類的超盒超范圍擴展這一難題[13]。Mohammed 等[4]提出如下的新擴展規(guī)則：

maxn(Wji，Ahi)-minn(Vji，Ahi)≤θ

(9)

根據(jù)式(9)，第j個超級框的每個維度都經(jīng)過獨立測試，以調(diào)節(jié)其是否超過擴展系數(shù)(θ)。當(dāng)所有超盒尺寸不超過θ時使用擴展。

在重疊測試和收縮方面，在超盒重疊測試期間，使用FMMN模型中給出的當(dāng)前4種情況不足以識別整個覆蓋范圍。為了解決此難題，Mohammed 等[4]進一步完善了重疊測試的情況，將重疊測試和收縮由4種情況修改為如下的9種情況：

情況1：

Vji

δnew=min(Wji-Vki，δold)

(10)

情況2：

Vki

δnew=min(Wki-Vji，δold)

(11)

情況3：

Vji=Vki