劉培磊,唐晉韜,謝松縣,王 挺
(1.國防科技大學 計算機學院, 湖南 長沙 410073;2.國防信息學院 信息化建設系 信息資源管理教研室, 湖北 武漢 430010)
?
增量式神經網絡聚類算法*
劉培磊1,2,唐晉韜1,謝松縣1,王 挺1
(1.國防科技大學 計算機學院, 湖南 長沙 410073;2.國防信息學院 信息化建設系 信息資源管理教研室, 湖北 武漢 430010)
神經網絡模型具有強大的問題建模能力,但是傳統的反向傳播算法只能進行批量監督學習,并且訓練開銷很大。針對傳統算法的不足,提出全新的增量式神經網絡模型及其聚類算法。該模型基于生物神經學實驗證據,引入新的神經元激勵函數和突觸調節函數,賦予模型以堅實的統計理論基礎。在此基礎上,提出一種自適應的增量式神經網絡聚類算法。算法中引入“勝者得全”式競爭等學習機制,在增量聚類過程中成功避免了“遺忘災難”問題。在經典數據集上的實驗結果表明:該聚類算法與K-means等傳統聚類算法效果相當,特別是在增量學習任務的時空開銷方面具有較大優勢。
神經網絡;增量學習;聚類算法;時間開銷
隨著互聯網和社交媒體的廣泛發展,大量無標注的數據源源不斷地產生[1-2]。這些數據的海量性、無標注性、實時性等特點給傳統的機器學習模型帶來了很大的挑戰[3]。傳統的神經網絡模型具有強大的問題建模能力,理論上含有足夠多隱藏層神經元的神經網絡可以逼近任意函數。但是主流的學習算法如反向傳播(Back Propergating,BP)算法,使用梯度下降的方法進行學習,是批量監督學習算法,即所有的訓練數據必須一次性全部輸入學習模型。……