增量構(gòu)造負(fù)相關(guān)異構(gòu)神經(jīng)網(wǎng)絡(luò)集成的方法

傅向華　馮博琴　馬兆豐　何　明

摘要：基于負(fù)相關(guān)異構(gòu)網(wǎng)絡(luò)，提出了一種增量構(gòu)造異構(gòu)神經(jīng)網(wǎng)絡(luò)集成(NNE)的方法．該方法在訓(xùn)練成員網(wǎng)絡(luò)時，不僅調(diào)整網(wǎng)絡(luò)的連接權(quán)值，而且動態(tài)調(diào)整網(wǎng)絡(luò)的結(jié)構(gòu)，從而在提高單個網(wǎng)絡(luò)精度的同時增加各成員網(wǎng)絡(luò)之間的差異度，減小網(wǎng)絡(luò)集成的泛化誤差．該方法包括構(gòu)造最佳異構(gòu)網(wǎng)絡(luò)(BHNN)和構(gòu)造異構(gòu)網(wǎng)絡(luò)集成(HNNE)兩個部分，BHNN基于負(fù)相關(guān)學(xué)習(xí)動態(tài)構(gòu)造多個最佳網(wǎng)絡(luò)，HNNE利用訓(xùn)練好的最佳網(wǎng)絡(luò)增量地構(gòu)造異構(gòu)NNE．使用網(wǎng)絡(luò)泛化誤差和集成泛化誤差，整個集成過程可自動完成，無需預(yù)先確定成員網(wǎng)絡(luò)的結(jié)構(gòu)．分別對回歸和分類問題進行了實驗，相對于單個網(wǎng)絡(luò)，該方法在測試數(shù)據(jù)集上的錯誤率降低了17％～85％，與已有的Boosting、Bagging等網(wǎng)絡(luò)集成方法相比，錯誤率也有不同程度的改善．

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)集成；負(fù)相關(guān)學(xué)習(xí)；構(gòu)造性神經(jīng)網(wǎng)絡(luò)；增量構(gòu)造

中圖分類號：TPl8文獻標(biāo)識碼：A文章編號：0253-987X(2004)08-0796—04