單分支神經(jīng)元模型的應(yīng)用

宋振宇 嚴(yán)雪梅 謝琦雯

（泰州學(xué)院計算機科學(xué)與技術(shù)學(xué)院 江蘇省泰州市 225300）

1 研究背景

1943年，McCulloch和Pitts首次提出了神經(jīng)細(xì)胞的數(shù)學(xué)模型來模擬生物神經(jīng)元的計算機制[1]，并作為多層感知器(MLP)的基本單元而被廣泛應(yīng)用。MLP已成功應(yīng)用于模式識別[2]、函數(shù)擬合[3]、設(shè)計優(yōu)化和聯(lián)想記憶[4]等多個領(lǐng)域。近幾十年來，MLP以高性能計算能力和低計算成本等優(yōu)勢，成為一種非常流行的深度學(xué)習(xí)計算工具。即使，該神經(jīng)網(wǎng)絡(luò)模型具有多層隱含層結(jié)構(gòu)，能夠很好地解決非線性問題。然而，MLP的學(xué)習(xí)算為誤差反向傳播(BP)算法，BP算法往往容易陷入局部最優(yōu)或過早收斂的問題，使得該模型在處理高維問題或復(fù)雜優(yōu)化問題顯露出明顯地劣勢[5]。

隨著生物神經(jīng)元計算組織研究的深入，學(xué)者們對單個神經(jīng)元能否解決線性不可分問題展開了激烈的爭論，但是，就目前McCulloch和Pitts提出的單層感知器模型是無法通過單一的神經(jīng)元來解決線性不可能問題的[6]。在神經(jīng)計算研究領(lǐng)域，科學(xué)家們更關(guān)注樹突結(jié)構(gòu)在神經(jīng)元計算中的作用。據(jù)研究發(fā)現(xiàn)，在人類的頭部不同區(qū)域構(gòu)建了105支樹突狀結(jié)構(gòu)分支，而這些區(qū)域能夠高精度地執(zhí)行我們大腦所有功能[7]。受此神經(jīng)科學(xué)初步研究的啟發(fā)，學(xué)者們提出了一些單一的神經(jīng)元計算模型，并應(yīng)用于智能計算[8-10]。與這些主觀構(gòu)建的神經(jīng)元計算模型相比，Legenstein和Maass提出了一種基于現(xiàn)象學(xué)的實驗新模型，該模型可以僅依賴脈沖時間相關(guān)的可塑性和分支強度激活或抑制來成功解決特定的問題，所以該模型仍然不能解決線性不可分的問題[11]。

在本研究中，源于神經(jīng)元機構(gòu)機制的啟發(fā)，我們創(chuàng)新地提出了一個單分支的樹突狀神經(jīng)元模型，著重于模擬樹突狀單分支的計算機制。該模型由突觸層、樹突層和細(xì)胞體三層結(jié)構(gòu)組成。突觸層是連接其他神經(jīng)元的過渡層，在我們的模型中將其視為輸入層。樹突層由單個分支組成，該分支都有其指定的分支偏置閾值。最后，單分支上所有突觸層的信號進(jìn)行相互乘法運算，然后將得到的結(jié)果與分支閾值進(jìn)行比較。這里的乘法運算操作的靈感來自于生物中實際存在的神經(jīng)元結(jié)構(gòu)模型，如視覺系統(tǒng)和聽覺過程等。該計算機制使樹突分布的單個分支在坐標(biāo)上對應(yīng)一個指定的分布，而樹突狀輸入的數(shù)量由問題的特征維數(shù)所決定，這些分布可以有效地對實驗數(shù)據(jù)進(jìn)行分類操作。由于樹突狀層的映射函數(shù)是不可微分的，所以標(biāo)準(zhǔn)BP算法不能很好地訓(xùn)練我們的模型中所有連接的閾值。基于該特點，本研究采用啟發(fā)式算法來代替BP算法作為模型損失函數(shù)的訓(xùn)練算法，而眾多啟發(fā)式智能算法中經(jīng)典的算法為粒子群優(yōu)化算法[12]，針對應(yīng)用分類問題，本文中我們將粒子群算法作為單分支神經(jīng)元模型的學(xué)習(xí)算法，實驗結(jié)果表明，粒子群算法能夠很好的平衡開發(fā)和開采之間的性能，對于分類問題單分支模型能夠達(dá)到很好的分類效果。本文的其余部分組織如下：第二節(jié)詳細(xì)介紹了提出的單分支樹突狀神經(jīng)元模型；粒子群優(yōu)化算法在第三節(jié)中簡單描述；第四節(jié)給出實驗結(jié)果和討論；最后為本研究的總結(jié)和展望。

表1：XOR分類問題

表2：兩個基準(zhǔn)測試問題的結(jié)果

圖1：提出的樹突狀神經(jīng)元模型的結(jié)構(gòu)

2 單分支樹突狀神經(jīng)模型

單分支樹突狀神經(jīng)元模型其形態(tài)結(jié)構(gòu)如圖1所示，由三層組成，分別為突觸層、樹突層和細(xì)胞體。

突觸用來接收來自其它神經(jīng)元軸突傳入的信號，每個輸入信號連接到樹突的分支上，每個輸入都帶有不同權(quán)重和閾值。突觸層的非線性映射函數(shù)計算公式表示為：

其中xi為第i個輸入的信號，wi,m、θi,m分別為樹突分支上突觸的權(quán)值和閾值。需要注意的是，由于所有的輸入xi我們都進(jìn)行了歸一化處理到區(qū)間[0,1]，以此來消除各種問題中不同測度單位的影響。在樹突的獨立分支上，突觸層的輸出會相互相乘，并與分支閾值θbranch進(jìn)行比較，我們在模型中將其設(shè)置為0.52*I。然后將結(jié)果轉(zhuǎn)移到細(xì)胞體后計算出最終的分類類別。對應(yīng)的公式如下：

細(xì)胞體處理完成分支信號后，然后將總計算結(jié)果與閾值進(jìn)行比較，在實驗中閾值設(shè)置為0.5，即可得到如下映射公式：

對應(yīng)不同的權(quán)值和閾值的三種組合，樹突的分支模型將對應(yīng)這三種分布狀態(tài)中的一種，如圖2所示。

圖2：樹狀單分支結(jié)構(gòu)的分布情況圖

由圖2可以看出，權(quán)重的正負(fù)特性決定了分布的形狀，而權(quán)重絕對值的大小則決定了弧的曲率，閾值決定了軸上的位置偏移情況。通過觀察，這些弧線都將平面分為兩部分。因此，基于這種不同的特征，該模型能夠?qū)⒂?xùn)練數(shù)據(jù)映射到不同的分類空間。

在圖2(a)中，第一個分布是一個封閉的平面區(qū)域，在兩個軸上都有上下限。可以得出結(jié)論為這個分支上每個輸入的權(quán)值有不同的正負(fù)特性情況。圖2(b)描述了第二個分布的情況，且一個軸沒有邊界。圖2(c)表示第三個分布情況，指出有兩個軸都沒有邊界。對于n維數(shù)據(jù)的輸入，分布情況產(chǎn)生的個數(shù)應(yīng)為n+1。

需要強調(diào)的是，由于我們在軀體計算中使用了求和運算操作，訓(xùn)練點被分配到同一個分類中，這使得它只需要滿足樹突的單分支的某個分布。所以，需要一個有效的學(xué)習(xí)算法來訓(xùn)練單分支樹突狀模型以便找出合適的權(quán)值參數(shù)，下面一節(jié)我們將對訓(xùn)練算法進(jìn)行闡述。

3 學(xué)習(xí)算法

突觸的權(quán)值和閾值是單分支神經(jīng)元模型中需要設(shè)置的具體參數(shù)。一旦參數(shù)被設(shè)置，拓?fù)湫螒B(tài)則將被確定，模型也就被固定。在訓(xùn)練之前，初始化的解的方案將被假設(shè)為二進(jìn)制字符串序列。對于某個候選解，適應(yīng)度損失函數(shù)定義為估計輸出O與教師信號T之間的均方誤差，如下式所示：

其中j為設(shè)計樣本的個數(shù)。驗證單分支神經(jīng)元模型的過程可以描述如下：首先，進(jìn)化從一個隨機的初始種群開始，然后利用粒子群優(yōu)化算法，生成一個新的種群，保證解的多樣性，隨著算法的迭代，使其找到函數(shù)誤差曲面中的最低點。該過程將迭代進(jìn)行，直到滿足終止條件為止。

4 實驗仿真

通過兩個重要的基準(zhǔn)二分類問題來驗證我們所提出的單分支神經(jīng)元模型的分類性能，分別為異或(XOR)問題和二維螺旋分類問題。這兩個基準(zhǔn)分類問題都是基于二維的生成數(shù)據(jù)集，通過對二維坐標(biāo)系進(jìn)行非線性的劃分來直觀地展示模型分類能力。

4.1 異或XOR問題

經(jīng)典的異或問題是一個著名的非線性基準(zhǔn)問題。有兩個輸入的訓(xùn)練數(shù)據(jù)如表1所示。

4.2 二維螺旋問題

螺旋數(shù)據(jù)集由以下表達(dá)式生成：

其中式中[ac, bc]表示平面坐標(biāo)系中的位置，c∈[0,1]表示螺旋分類，α為弧度角。由公式（5）和公式（6）可將螺旋數(shù)據(jù)集畫成二維平面坐標(biāo)圖。

4.3 實驗結(jié)果

所提出的模型的性能總結(jié)如表2所示，其中單支神經(jīng)元模型的數(shù)量表示了最終結(jié)果用的分布情況的數(shù)量。MSE是學(xué)習(xí)算法的最終訓(xùn)練適應(yīng)度函數(shù)的平均誤差。精確度則表示兩個基準(zhǔn)二分類問題的正確分類率。最終的分布情況圖分別如圖3和圖4所示。經(jīng)過進(jìn)化迭代的訓(xùn)練過程后，異或問題只剩下2個分布，成功地將四個實驗點分類兩大類。而螺旋問題的樹突結(jié)構(gòu)有三種分布。其中大部分為圓形分布，螺旋問題的準(zhǔn)確率為0.96。在圖6中也可以找到相對應(yīng)的遺漏的錯誤點。基于這些實驗結(jié)果表明，我們提出的單分支樹突狀神經(jīng)元模型針對這兩個二分類基準(zhǔn)問題是一個具有競爭里的分類方法模型。

圖3：XOR分類結(jié)果圖

圖4：螺旋問題分類結(jié)果圖

5 結(jié)語

在本研究中，提出了一種單分支的樹突狀神經(jīng)元模型，該靈感來源于神經(jīng)樹突狀計算機制方法的模擬。通過粒子群算法代替?zhèn)鹘y(tǒng)BP算法來訓(xùn)練提出的模型來處理經(jīng)典的XOR和螺旋結(jié)構(gòu)基準(zhǔn)二分類問題，實驗結(jié)果表明，單分支神經(jīng)元模型無論在異或不可分還是螺旋結(jié)構(gòu)分類問題都能表現(xiàn)出強有力的性能，通過分類性能分析得出，該模型在處理二維線性不可分問題能夠表現(xiàn)出較強的競爭力。