劉培磊,唐晉韜,謝松縣,王 挺
(1.國(guó)防科技大學(xué) 計(jì)算機(jī)學(xué)院, 湖南 長(zhǎng)沙 410073;2.國(guó)防信息學(xué)院 信息化建設(shè)系 信息資源管理教研室, 湖北 武漢 430010)
?
增量式神經(jīng)網(wǎng)絡(luò)聚類算法*
劉培磊1,2,唐晉韜1,謝松縣1,王 挺1
(1.國(guó)防科技大學(xué) 計(jì)算機(jī)學(xué)院, 湖南 長(zhǎng)沙 410073;2.國(guó)防信息學(xué)院 信息化建設(shè)系 信息資源管理教研室, 湖北 武漢 430010)
神經(jīng)網(wǎng)絡(luò)模型具有強(qiáng)大的問題建模能力,但是傳統(tǒng)的反向傳播算法只能進(jìn)行批量監(jiān)督學(xué)習(xí),并且訓(xùn)練開銷很大。針對(duì)傳統(tǒng)算法的不足,提出全新的增量式神經(jīng)網(wǎng)絡(luò)模型及其聚類算法。該模型基于生物神經(jīng)學(xué)實(shí)驗(yàn)證據(jù),引入新的神經(jīng)元激勵(lì)函數(shù)和突觸調(diào)節(jié)函數(shù),賦予模型以堅(jiān)實(shí)的統(tǒng)計(jì)理論基礎(chǔ)。在此基礎(chǔ)上,提出一種自適應(yīng)的增量式神經(jīng)網(wǎng)絡(luò)聚類算法。算法中引入“勝者得全”式競(jìng)爭(zhēng)等學(xué)習(xí)機(jī)制,在增量聚類過程中成功避免了“遺忘災(zāi)難”問題。在經(jīng)典數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明:該聚類算法與K-means等傳統(tǒng)聚類算法效果相當(dāng),特別是在增量學(xué)習(xí)任務(wù)的時(shí)空開銷方面具有較大優(yōu)勢(shì)。
神經(jīng)網(wǎng)絡(luò);增量學(xué)習(xí);聚類算法;時(shí)間開銷
隨著互聯(lián)網(wǎng)和社交媒體的廣泛發(fā)展,大量無標(biāo)注的數(shù)據(jù)源源不斷地產(chǎn)生[1-2]。這些數(shù)據(jù)的海量性、無標(biāo)注性、實(shí)時(shí)性等特點(diǎn)給傳統(tǒng)的機(jī)器學(xué)習(xí)模型帶來了很大的挑戰(zhàn)[3]。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型具有強(qiáng)大的問題建模能力,理論上含有足夠多隱藏層神經(jīng)元的神經(jīng)網(wǎng)絡(luò)可以逼近任意函數(shù)。但是主流的學(xué)習(xí)算法如反向傳播(Back Propergating,BP)算法,使用梯度下降的方法進(jìn)行學(xué)習(xí),是批量監(jiān)督學(xué)習(xí)算法,即所有的訓(xùn)練數(shù)據(jù)必須一次性全部輸入學(xué)習(xí)模型。……