基于模擬退火算法改進的大腦情感學習模型*

唐 詹 潘建國

（上海師范大學信息與機電工程學院 上海 201400）

1 引言

數據分類技術是數據挖掘領域中最重要的技術之一，迄今為止已有大量的數據分類算法被相繼提出，包括樸素貝葉斯、決策樹、Logistic回歸以及BP神經網絡等方法［1］。然而，隨著數據復雜度的增加，尤其對于維度較高的數據，傳統分類方法已難以滿足對不同類型數據進行快速、準確分類的要求［2］。

大腦情感學習（Brain Emotional Learning，BEL）模型是一種模擬人類情感反應的神經網絡模型，于2001年由瑞典隆德大學的Moren［3］提出，其計算復雜度較低，運算速度快，可以克服傳統神經網絡訓練時間長的缺點，在自動控制和模式識別中有著較為廣泛的應用［4～5］，在無人機姿態控制中也有一定應用［6］，近年來也開始應用于分類和預測問題［7］。

Lotfi等［8］率先提出將遺傳算法（Genetic Algorithm，GA）應用于BEL模型的訓練，替代原始的簡單訓練算法，取得了較為理想的實驗結果，遺傳算法開始成為訓練BEL模型的一種重要手段，也展現了BEL模型在分類問題上的優秀能力。

Sharafi等［9］提出了一種基于區間知識改進的BEL模型的方法，該方法利用區間知識來改變BEL模型杏仁體和眶額皮質的權值，在混沌時間序列預測問題上取得了良好的效果。

Muhammad等［10］結合模糊神經網絡對BEL模型做出改進并應用于模式識別和分類問題中，其分類準確性有了進一步的提高，但局部最優問題仍然制約著訓練速度，且分類準確率不夠理想，其對噪聲的敏感性也不適用于物聯網數據分類。而Javadi B等［11］基于大腦情感學習和模糊推理系統的融合算法，對腦電圖頻譜圖像進行分類，取得了較高的正確率，由于從圖像中提取的紋理特征產生了巨大的矩陣數據，還使用了局部線性嵌入算法（LLA）來減少大矩陣，以降低輸入維度。

梅英等［12］提出GA-BEL模型，采用遺傳算法代替獎勵信號的作用對BEL網絡權值進行優化調整，將BEL網絡權值分布在染色體基因序列上，用適應度函數評估網絡輸出，選出最優染色體，經過解碼后得到最優的網絡權值。該方法在低維數據樣本上的表現已全面超越BP神經網絡等傳統方法，但在高維度數據上表現不佳。

由于BEL模型的特點，數據維度增加，整個模型也隨之變得更復雜，局部最優問題使得模型的分類準確率下降。為進一步提高BEL模型在高維度數據樣本上的分類識別能力，本文提出了一種用模擬退火算法來改進BEL模型學習過程的方法。模擬退火算法是以一定的概率來接受當前狀態的非最優解，賦予搜索過程一種時變且最終趨于零的概率突跳性，從而可有效避免陷入局部極小并最終趨于全局最優。用模擬退火算法改進BEL模型的學習過程，能一定程度上避免因維度增加、神經元增多帶來的局部最優問題。

2 相關理論

2.1 BEL模型

情感是人類大腦的一種特殊能力，它使人類能更好地適應外界環境。假如遭遇對本體有利的外部刺激，能產生積極愉悅的情感，會對造成這種刺激的事物產生更多關注，反之會產生消極、厭惡的情緒，對造成這種刺激的事物失去關注或者避而遠之。而且人腦會對相應的刺激產生記憶，受到同樣刺激的時候會加強記憶，并對相同或相近的刺激產生對應情緒［13］。

這些過程主要是通過大腦內部的杏仁體、眶額皮質等器官實現的。BEL模型就是模擬人腦中的杏仁體和眶額皮質之間的信息傳遞而建立的神經網絡模型，主要由丘腦、感官皮質、眶額皮質、杏仁體四個部分組成，如圖1所示。

圖1 BEL神經網絡模型

對于每個感官輸入p，眶額皮質以及杏仁體中都有相應的節點來處理。設共n個感官輸入，各個感官輸入值為p=［p1，p2，…，pn］，丘腦輸出最大刺激pn+1即感官輸入的最大值：

設杏仁體的權值為v，杏仁體的單個輸出Ai為權值乘上感官輸入及丘腦輸出Ath：

杏仁體的總輸出為A=Ai=Ai+A n+1。

設眶額皮質的權值為w，眶額皮質的單個輸出Oi為權值乘上感官輸入：

設眶額皮質的偏置值為b，則眶額皮質的總輸出為O=Oi+b。

BEL模型的最終輸出為

2.2 BEL模型的訓練算法

近年來的研究常常使用遺傳算法來完成BEL模型的訓練，在分類問題上能取得較好的效果。遺傳算法是一種優化算法，包括選擇、交叉、變異等操作，計算出最優個體來優化適應度函數。將權值及偏置值編碼成染色體：

適應度函數定義為

Ek為BEL模型對第k個輸入樣本的輸出值，Tk為第k個樣本的目標輸出值，n為樣本總數，此適應度函數用來衡量BEL模型對所有訓練樣本的輸出誤差，優化目標為最小化適應度函數（此時通常也稱適應度函數為成本函數）。

2.3 模擬退火算法

模擬退火算法是解決局部最優問題的一個有效方法，它的基本思想是以一定的概率接受某個狀態的非最優解，增加“爬山”能力，接受的概率隨著算法的進行逐漸減小，符合Metropolis準則［14］。通過以概率作為接受新狀態的方法，可以有效避免搜索陷入局部最優的問題，提高尋優能力。設當前狀態為x，其能量為e（x），溫度為T，則接受修改的概率P（x）滿足：

上式中K為波耳茲曼常數。

降低溫度的方式有許多種，為了提高模擬退火算法的性能，有以下三種退火方式最為常用：

式（8）～（10）中t表示模擬退火階段的迭代次數，a表示可調參數，T0表示初始溫度。式（8）的特點是溫度下降緩慢，算法的收斂速度慢；式（9）的特點是高溫區時溫度下降較快，低溫區時溫度下降較慢；式（10）的特點是溫度下降快，算法的收斂速度快。

3 模型的改進方案

3.1 對網絡結構的改進

為了提高擬合能力，發揮模擬退火算法的優勢，給眶額皮質每個節點都增加一個偏置值，進一步復雜化網絡，如圖2所示。

圖2 改進的網絡結構

眶額皮質的單個輸出Oi變為權值乘上感官輸入加上偏置值：

眶額皮質的總輸出為O=Oi。

BEL模型的最終輸出為

這樣的改進使得偏置值的個數隨著數據集特征維度的增加而增加，進一步提高了模型的學習能力，使其擬合能力增強，同時偏置值個數的增加也使得染色體編碼更為復雜，為遺傳算法引入了更多的隨機因素，配合模擬退火算法改進變異過程，改善局部搜索能力，提升模型性能。

3.2 對訓練過程的改進

遺傳算法應用模擬退火的方式有很多種，一種是只應用模擬退火的思想，在遺傳算法運行到后期適應度趨于一致的時候對適應度進行適當的拉伸，放大適應度的選擇作用，使遺傳算法的選擇具備更強的擇優能力。另外一種是用模擬退火算法改進遺傳算法中新個體的產生方式，比如將退火過程作用于交叉、變異或者新個體的保留過程上，允許當前不優解的存在，提高局部搜索“爬山”能力，可以一定程度上避免早熟的出現。針對遺傳算法的主要缺點，本文采用模擬退火算法對交叉和變異過程進行改進，使不能優化適應度的變異個體也有一定概率得到保留，保留的概率隨著訓練過程的進行而下降。用這種方式對模型進行訓練，有助于提高模型的分類準確率。具體改進描述如下。

1）編碼：傳統遺傳算法采用二進制編碼法，但BEL模型中的權值及偏置值均為實數，而二級制數轉換為實數存在著誤差，所以采用實數編碼法，染色體編碼形式為

2）選擇：采用輪盤賭與最優個體保留相結合的方法，父代中的最優個體被保留到子代參與競爭，保證最優個體始終參與遺傳操作，提高算法的搜索速度。

3）交叉：采用多點位單基因交叉方式，采用Srinvivas提出的自適應方法［15］，自適應地更改交叉概率。交叉完成之后計算交叉生成子代的適應度，若子代適應度更小，則用子代進行替換，否則按一定概率決定是否替換，且此概率逐漸減小。

4）變異：用模擬退火思想改進傳統變異方式，計算變異后新的適應度與變異前適應度的差值，若變異后適應度更小，則接受變異；若變異后適應度變大，則按一定概率接受變異，且接受的概率逐漸減小。

算法程序流程圖如圖3所示。

圖3 程序流程圖

首先根據輸入數據樣本的特征維度用隨機值作為初始權值及初始偏置值來初始化BEL模型，并設置模擬退火的初始溫度，然后把眶額皮質和杏仁體的權值以及偏置值以實數方式編碼為染色體作為初始種群。用遺傳算法進行訓練，適應度函數仍定義為式（6），根據適應度的計算進行選擇、交叉、變異等操作，交叉和變異時引入模擬退火算法，以適應度函數值作為能量計算接受概率，若向有利方向改變，則接受這次改變，若沒有向有利方向改變，則按Metropolis準則即式（7）的概率接受這次改變；然后降低溫度對權值及偏置值做新一輪的修改，直到找到最優個體或達到停止條件，停止條件達到最大迭代次數或者適應度函數值停止改變。

4 實驗分析

實驗中采用Intel酷睿i5-7200U處理器，主頻2.5GHz，8G內存，Windows 7操作系統，Matlab 2012a編程環境。選取UCI上6組數據集進行實驗：Glass、Ionosphere、Iris、Wine、Sonar、Vehicle。數據集信息如表1所示。

表1 數據集信息

將70%的數據樣本劃分為訓練集，30%的數據樣本劃分為測試集，對比BP神經網絡、支持向量機（SVM），目前表現最佳的GA-BEL模型及本文模型的分類結果準確率。因所用的樣本數據集中并不存在正負類樣本極度不平衡的情況，所以只對準確率進行對比。每項準確率的得出方式為重復實驗20次取平均值。準確率的實驗結果如表2所示，準確率單位為百分數（%）。

表2 準確率實驗結果

實驗結果表明，本文模型在高維度數據集Ionosphere、Sonar尤其是Vehicle數據集上準確率有較大提升，說明其對高維度數據樣本具有較強的擬合能力。

5 結語

本文提出一種基于模擬退火算法改進的BEL模型，使用模擬退火算法改進BEL神經網絡模型的訓練過程，改善因數據特征維度變高，模型變得復雜而帶來的局部最優問題。通過UCI數據集的實驗驗證得知，采用該方法能在高維數據集上取得較高的分類準確率，具有很好的應用價值。由于模擬退火算法的計算量大，訓練時間仍然較長，因此下一步的工作將對模擬退火算法的計算過程進行優化，進一步提高模型的訓練效率。