增量式神經(jīng)網(wǎng)絡(luò)聚類算法*

劉培磊，唐晉韜，謝松縣，王 挺

(1.國(guó)防科技大學(xué) 計(jì)算機(jī)學(xué)院， 湖南 長(zhǎng)沙 410073；2.國(guó)防信息學(xué)院 信息化建設(shè)系 信息資源管理教研室， 湖北 武漢 430010)

?

增量式神經(jīng)網(wǎng)絡(luò)聚類算法*

劉培磊1,2，唐晉韜1，謝松縣1，王 挺1

(1.國(guó)防科技大學(xué) 計(jì)算機(jī)學(xué)院， 湖南 長(zhǎng)沙 410073；2.國(guó)防信息學(xué)院 信息化建設(shè)系 信息資源管理教研室， 湖北 武漢 430010)

神經(jīng)網(wǎng)絡(luò)模型具有強(qiáng)大的問題建模能力，但是傳統(tǒng)的反向傳播算法只能進(jìn)行批量監(jiān)督學(xué)習(xí)，并且訓(xùn)練開銷很大。針對(duì)傳統(tǒng)算法的不足，提出全新的增量式神經(jīng)網(wǎng)絡(luò)模型及其聚類算法。該模型基于生物神經(jīng)學(xué)實(shí)驗(yàn)證據(jù)，引入新的神經(jīng)元激勵(lì)函數(shù)和突觸調(diào)節(jié)函數(shù)，賦予模型以堅(jiān)實(shí)的統(tǒng)計(jì)理論基礎(chǔ)。在此基礎(chǔ)上，提出一種自適應(yīng)的增量式神經(jīng)網(wǎng)絡(luò)聚類算法。算法中引入“勝者得全”式競(jìng)爭(zhēng)等學(xué)習(xí)機(jī)制，在增量聚類過程中成功避免了“遺忘災(zāi)難”問題。在經(jīng)典數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明：該聚類算法與K-means等傳統(tǒng)聚類算法效果相當(dāng)，特別是在增量學(xué)習(xí)任務(wù)的時(shí)空開銷方面具有較大優(yōu)勢(shì)。

神經(jīng)網(wǎng)絡(luò)；增量學(xué)習(xí)；聚類算法；時(shí)間開銷

隨著互聯(lián)網(wǎng)和社交媒體的廣泛發(fā)展，大量無標(biāo)注的數(shù)據(jù)源源不斷地產(chǎn)生[1-2]。這些數(shù)據(jù)的海量性、無標(biāo)注性、實(shí)時(shí)性等特點(diǎn)給傳統(tǒng)的機(jī)器學(xué)習(xí)模型帶來了很大的挑戰(zhàn)[3]。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型具有強(qiáng)大的問題建模能力，理論上含有足夠多隱藏層神經(jīng)元的神經(jīng)網(wǎng)絡(luò)可以逼近任意函數(shù)。但是主流的學(xué)習(xí)算法如反向傳播(Back Propergating，BP)算法，使用梯度下降的方法進(jìn)行學(xué)習(xí)，是批量監(jiān)督學(xué)習(xí)算法，即所有的訓(xùn)練數(shù)據(jù)必須一次性全部輸入學(xué)習(xí)模型。……