一種新的Kohonen神經網絡結構優化方法

付 琦

（山東農業工程學院，濟南 250100）

0 引言

Kohonen網絡是T. Kohonen教授于1981年首次提出的，是一種由具有自調整功能的神經元組成的人工神經網絡[1]。Kohonen采用自動分類算法，又稱自組織特征映射神經網絡，是自組織映射（Self-Organising Maps，SOM）思想的起源[2]。網絡的各個神經元之間通過相互的側向交互作用進行競爭，以近鄰者相互激勵、遠鄰者相互抑制的規則自適應地組織而形成針對特殊信息的一個組織結構[3,4]。這種單層無監督學習算法可看成是模式識別和自動分類算法的一種拓展，訓練階段對SOM算法的性能具有重大影響，所以Kohonen網絡架構的選擇是神經網絡研究的一個重要方面[5]。近年來，學術界對人工神經網絡架構的優化問題，尤其是Kohonen網絡架構的優化問題，開始進行研究[6～8]。

本文從混合整數角度對非線性約束條件下的Kohonen網絡架構優化問題進行建模。本文模型的成本函數包括兩項：第1項控制幾何誤差并構建拓撲順序；第2項控制拓撲映射的規模。本文模型可對Kohonne網絡架構進行優化，以該模型為基礎，通過在最小化階段定義一種學習規則，提出了一種新的學習分類方法。由于連續Hopfield網絡（Continuous Hopfield Network，以下簡稱CHN網絡）可有效解決優化問題，所以在分配階段采用了CHN網絡[8]。

1 連續Hopfield網絡建模

1.1 連續Hopfield神經網絡簡介

CHN網絡由Hopfield和Tank提出，是一種結合存儲系統和二元系統的神經網絡，用于解決組合優化問題[9,10]。近年來，CHN網絡在圖像處理、模式識別、生產調度優化以及機器人路徑規劃領域獲得廣泛應用[11～13]。CHN由帶有平滑s形激活函數的互連神經元構成，描述CHN網絡動態特性的微分方程如下：

其中y、v和Ib分別表示神經元狀態、輸出和偏差向量。輸出函數vi=g(yi)為雙曲正切函數，下界為0、上界為1。實數值Ti,j和Iib分別表示從神經元i到j的突觸連接的權重及神經元i的偏置。除此之外，Hopfield還引入了[0,1]n上的能量函數E，定義如下：

如果能量函數E存在，則平衡點也存在[9]。為基于CHN網絡求解組合優化問題，這里將能量函數E(v)進行簡化，如式(3)所示。

1.2 優化模型

為了考慮成本函數、分配約束和傳輸約束等條件，定義式(4)，既可對使用的神經元數量進行優化，又可保持觀測集上定義的領域概念。

2 優化訓練方法

因為優化問題(P)是帶有多項式目標函數的混合整數問題，所以我們分兩步求解該問題：

分配階段：我們固定權重向量然后求解如下問題：整數變量下的多項式分配問題。

最小化階段：我們固定分配向量然后求解如下問題：連續變量條件下的非線性優化問題。

在迭代之前，我們固定第t-1次迭代時獲得的權重向量，并利用CHN網絡求解如下整數變量條件下的優化問題：

為了利用CHN網絡求解(Pt)問題，需要構建合適的能量函數，如式(6)所示：

考慮到u是CHN網絡的神經元輸出，I是網絡偏差，T是能量函數為時網絡中鏈路的權重函數，則第(n+1)N個神經元間鏈路的權重為：

式(8)是約束條件 成立的充分條件：

式中的參數約束條件為：

其中：

利用式(9)可以將約束條件簡化，如下式所示：

已知描述空間和Kohonen拓撲映射的尺寸后，我們通過求解確定最終的參數。在最小化階段，需要固定變量向量u，以此求解連續變量條件下的優化問題，只需要保證在每次迭代時只使用一種簡單的梯度方法即可：

其中，wj(t)表示第t次迭代過成中j的重心。以文獻[14]中的算法為基礎，結合式(7)、式(9)、式(10)、式(11)，提出優化訓練算法如圖1所示，其中初始化過程包括定義輸入變量，以及輸出變量。計算參數值過程包括：根據方程(7)計算T和I，根據方程(9)計算M1和M2，根據方程(10)計算

圖1 優化算法流程圖

3 仿真試驗

為了闡述Kohonen優化架構的優點，我們對得到廣泛應用的Iris虹膜分類數據集運行本文算法，共包括3種目標類型：Setosa（Se），Virginica（Vi）和Versicolor（Ve）。每種類別包括50個數據樣本。在訓練前，利用如下規則對數據進行正規化：

一半數據（75個，每種25個）樣本用于訓練，另外一半用于測試。為了對Iris數據進行聚類，隨機選擇映射的初始尺寸，該尺寸由本文模型目標函數的項控制。表1給出了映射尺寸和迭代次數不同時剩余神經元的均值。通過表1可以看出，對Iris數據進行聚類時神經元數量基本收斂于11。

表1 最佳神經元數量選擇表

本文方法使Kohonen學習算法更加完整，實際上，本文方法同時提出兩個任務：學習任務以及使映射尺寸最小的優化任務。通過3個步驟實現這些目標：分配步驟，決策步驟及最小化步驟。通過這種方法，我們在收斂時只獲得有用神經元，簡化了標識任務。

表2給出了訓練數據的聚類結果，可以看出，本文方法的結果較優，僅有2個數據沒有被成功分類，其他數據均被正確分類。錯誤分類的數據來自Versicolor類別。

表2 測試數據分類的數值仿真結果

圖2和圖3分別從不同角度將本文提出的算法與傳統的EPB、RBF以及SVM等算法進行對比，圖2為不同算法在計算耗時（單位為s）以及迭代次數方面的對比情況，圖3給出了不同算法分類結果的成功率情況。

圖2 不同算法的對比（耗時與迭代次數）

圖3 不同算法對比（成功率）

通過圖2可以看出，四種算法當中，表現較差的是EBP算法，該算法的迭代次數和計算耗時均比較高，RBF和SVM算法分別在迭代次數和計算耗時單方面表現突出，而本文提出的算法同時具有較短的計算耗時（9.5s）和較少的迭代次數（150次），因此，相比而言，本文優化后的算法結果表現更優。除此之外，通過圖3的分類準確率也可以表明，本文提出的方法具有較高的準確率。

4 結論

本文從非線性約束條件下的混合整數優化問題角度，對Kohonen架構的選擇問題進行建模。提出了一種新的模型，以該模型為基礎，通過給出最小化階段的學習規則，提出一種學習分類算法，從而優化Kohonen網絡架構。與Kohonen經典學習算法相比，本文提出的方法可避免映射中的非無用神經元。為了進一步闡述本文方法的優點，我們對Iris常用分類數據集運行本文方法。實驗結果證明了本文方法的優點，尤其是本文方法在分類質量和架構映射優化方面的優勢非常明顯。與EBP、RBF和SVM等方法相比，本文方法可在較短時間內給出高質量分類結果。下一步，我們將把本文方法用于圖像壓縮和語音處理領域。

[1] Kohonen T.Self-organized formation of topologically correct feature maps[J].Biological Cybernetics.1982,43(1)：59-69.

[2] Chung-Chian H, Shu-Han L.Visualized Analysis of Mixed Numeric and Categorical Data Via Extended Self-Organizing Map[J].Neural Networks and Learning Systems, IEEE Transactions on.2012,23(1)：72-86.

[3] 方浩,王艷紅.改進的Kohonen神經網絡航跡關聯算法[J].計算機應用.2013,(05)：1476-1480.

[4] 麻書欽.基于Kohonen神經網絡算法的網絡入侵聚類算法的測試研究[J].中國測試.2013,(04)：113-116.

[5] 李厚強,劉政凱,林峰.基于分形理論和Kohonen神經網絡的紋理圖像分割方法[J].計算機工程與應用.2001,(07)：44-46.

[6] Chung-Chian H.Generalizing self-organizing map for categorical data[J].Neural Networks, IEEE Transactions on.2006,17(2)：294-304.

[7] Talaván P M, Yá?ez J.The generalized quadratic knapsack problem.A neuronal network approach[J].Neural Networks.2006,19(4)：416-428.

[8] Ettaouil M, Elmoutaouakil K, Ghanou Y.The continuous hopfield networks(CHN) for the placement of the electronic circuits problem[J].W.Trans. on Comp.2009,8(12)：1865-1874.

[9] Ghosh A, Pal N R, Pal S K.OBJECT BACKGROUND CLASSIFICATION USING HOPFIELD TYPE NEURAL NETWORK.

[10] J. J. Hopfield P O T N.Neurons with graded response have collective computational properties like those of two-states neurons[C].Proceedings of the National Academy of Sciences,USA,1984.

[11] 張志新,張明廉.基于并行混沌和單純形法的混合全局優化算法[J].系統仿真學報.2004,(01)：35-37.

[12] 修春波,劉向東,張宇河.雙混沌機制優化方法及其應用[J].控制與決策.2003,(06)：724-726.

[13] Steck J E, Balakrishnan S N.Use of Hopfield neural networks in optimal guidance[J].Aerospace and Electronic Systems,IEEE Transactions on.1994,30(1)：287-293.

[14] Talaván P M,Yà?ez J.A continuous Hpfield network equilibrium points algorithm[J].Computers and operations research.2005,(32)：2179-2196.