樹突神經網絡分析

劉向文 李瑋 葛瑞泉

摘? 要： 樹突神經網絡（DENN）是一種含有局部非線性樹突結構的特殊神經網絡模型。文章研究了DENNs在網絡結構變化的情況下模型的學習行為。在有監督學習任務的實驗中發現，局部非線性結構的DENNs可以提高模型的表達能力，并且在中等樹突分支數量時表達能力最強，在網絡較小的情況下DENNs模型比常規前饋型神經網絡的優勢表現得更加明顯。在隨機噪聲數據集上的實驗中發現DENNs擬合能力的優勢不明顯，這種現象進一步表明，DENNs的容量優勢與自然圖像數據中的冗余有關。

關鍵詞： 樹突神經網絡; 局部非線性; 有監督學習; 網絡表達能力

中圖分類號：TP391? ? ? ? ? 文獻標志碼：A? ? ?文章編號：1006-8228（2019）09-08-05

Analysis on dendritic neural network

Liu Xiangwen， Li Wei， Ge Ruiquan

（School of Computer Science and Technology， Hangzhou Dianzi University， Hangzhou， Zhejiang 310018， China）

Abstract： Dendritic Neural Network （DENN） is a special kind of network with localized nonlinearity. This work studies the learning behavior of DENNs when the network architecture is altered on various aspects. In the experiments of supervised machine learning task， it is found that the locality structure of DENNs can improve the expressive ability， and the expressive ability is strongest when DENNs with mid-size dendrite branch numbers， and DENNs show even greater advantage over the standard feedforward neural networks when network sizes are small. It is found that the fitting ability of DENNs is not obvious in the experiment on noise data learning task， this phenomenon further indicates that the improved model expressivity of DENNs owe to the structural redundancy of natural image data.

Key words： dendritic neural network; local nonlinearity; supervised learning; network expressive power

0 引言

近年來，深度學習算法在很多領域取得了顯著進展。人工神經網絡最初以感知機[1]形式構建，其單元通常被構建為突觸輸入的加權和，通過激活函數得到輸出。幾乎所有現代人工神經網絡都使用了這種模型。然而，生理學領域的實驗和建模發現，生物神經元比上述模型更為復雜。研究表明，樹突結構中包含大量活躍的離子通道[2-3]，突觸輸入可能對其鄰近的突觸輸入產生非線性影響。此外，強有力的證據表明生物學可塑性機制也在樹突內起到局部作用[4]。這些特性極大地促進了局部非線性成分在神經元輸出中的作用，并賦予神經網絡更高的信息處理能力[5-7]。文獻[8]對樹突的局部非線性和可塑性進行了建模，將活躍的樹突結構應用到傳統的人工神經網絡中，構建了樹突神經網絡（Dendritic Neural Network，DENN）模型，本文在文獻[8]的基礎上進一步探索組內稀疏的樹突結構網絡模型在學習過程中的表現。實驗表明DENN與標準前饋神經網絡（Feedforward Neural Network， FNN）相比有較高的網絡復雜性，具體表現為在圖像數據集和隨機標簽圖像數據集上的擬合能力比標準FNN明顯，在高斯噪聲數據集上的優勢相對不明顯。

1 樹突神經網絡

在生物神經網絡信息傳遞和處理過程中，樹突有很強的非線性交互作用，如圖1是神經元之間信號傳遞示意圖。樹突將上游神經元接收過來的突觸輸入傳遞給神經元，經處理后，通過軸突把動作電位信號傳遞給下游鄰近的神經元。

DENN模型構建了含有這種樹突結構的人工神經網絡，其模型結構如圖2（b）所示，與圖2（a）標準的、全連接的FNN模型相似，模型中的每個神經元也接收來自上層的輸出數據，并且模型的最后一層與標準FNN相同。模型把標準FNN的隱藏層分解為兩個階段。在第一階段，樹突分支獲得與輸入稀疏連接的線性加權;在第二階段，所有分支的輸出被非線性地整合輸出。模型確保每個模式學習事件被隔離在樹突分支內部。

● 樹突神經網絡定義

在標準FNN模型中每一個隱藏單元接收其前一層中所有單元的激活信息作為輸入，計算加權和，通過激活函數處理后形成本單元的輸出，表示形式如下：

[outl，j=σi=1nl-1wl，ixl-1，i+b] （1）

其中，[l]表示網絡中第[l]層，[x]為輸入，[w]為權重向量，[b]為偏執向量，[σ]為激活函數。本文激活函數主要考慮用整流線性單元（ReLU）即[σ=max0，outl，j]。

和標準FNN模型相比，DENN由多個樹突層組成，第[l]層具有[nl]個樹突單元，并且每個樹突單元和一個神經元輸出相關聯，每個神經元的輸出是[d]個樹突分支激活信息的最大值。每個樹突分支和上一層的[k]個輸入單元連接。為避免冗余拷貝，連接策略設計為每個分支從[nl-1]個輸入單元中隨機無重復選擇[k=nl-1/d]個輸入單元連接，其中[k≤nl-1]，[k]被稱作分支大小，[d]被稱作分支數量。

在樹突層中每個樹突分支可以表示為如下形式：

[zl，i，j=t=1nl-1（Sl，i，j，t?wl，i，j，t）xl-1，t，i∈[nl]，j∈[d]] （2）

其中，[xl-1]為輸入，[w]為權重向量，[Sl]是0，1矩陣，代表樹突分支和輸入之間是否有連接，0代表沒有連接，1代表有連接。利用預先分配的隨機種子生成[Sl]，使用適當的算法，[Sl]不會產生額外的存儲和傳輸。

每個神經元的輸出是[d]個分支的最大值，表示為如下形式：

[outDl，i=max（zl，i，j）+b，i∈[nl]，j∈[d]] （3）

其中，[b]為偏執向量，當[d=1]時，樹突層與具有線性激活功能的全連接層相同。DENN模型的輸出層[out]與標準FNN模型的輸出層相同。

2 實驗結果與分析

2.1 圖像數據集結果分析

實驗選用有標簽的Fashion-MNIST[9]，CIFAR-10和CIFAR100[10]圖像數據集。Fashion-MNIST數據集中有60，000個訓練樣本和10，000個測試樣本，每個樣本是28×28像素的灰度圖像。CIFAR-10/100數據集由50，000個訓練圖像和10，000個測試圖像組成，每個圖像是32×32的彩色圖像。

我們在實驗中構建了DENN，加入Batch Normalization[11]的標準FNN（BN-ReLU）和加入Layer Normalization[12]的標準FNN（LN-ReLU）三種網絡模型。所有對比實驗的網絡模型都由三層組成，前兩層中每層有[n]個單元，最后一層有10/100類輸出。使用ReLU函數處理所有隱藏單元的輸出，使用Softmax函數生成網絡輸出。實驗中所有網絡模型的參數數量不變。對于DENN，實驗中每個神經元中樹突分支為[d]時，輸入權重的數量被設置為[nd]，以保持輸入的數量與標準FNN隱藏層中的數量相同。DENN的輸出層與標準FNNs一樣。

使用Adam優化方法[13]訓練所有模型100個周期，學習率從1e-2指數衰減至1e-5。為了能更好的觀察在不同的網絡容量下模型學習行為的變化，隱藏層單元大小分別設置為64，128，256和512。在訓練模型前數據集中的樣本均做標準化預處理，訓練過程中不使用任何正則化方法。

圖3顯示出了網絡模型的分支數量和隱藏單元數變化時在圖像數據集上模型訓練準確率和訓練損失結果。圖3（a1），3（b1），3（c1）[8]分別為在Fashion-MNIST，CIFAR-10和CIFAR-100數據集上的訓練準確率;圖3（a2），3（b2），3（c2）[8]分別為在Fashion-MNIST，CIFAR-10和CIFAR-100數據集上的訓練損失。從圖3中可以看出DENNs可以獲得比FNNs更好的網絡擬合能力，網絡模型的擬合能力隨著分支數量的增加首先呈現增加的趨勢，然后下降。樹突分支在中等數量的情況下，擬合能力最強，可獲得比標準FNNs低很多的損失，DENNs在極端樹突分支數量的情況下（比如2，128），造成的損失比中等分支高。

2.2 隨機標簽圖像數據集實驗結果分析

實驗選用隨機標簽的CIFAR-10/100圖像數據。具體描述參見上節的圖像數據集，和圖像數據集不同的是樣本對應的標簽是隨機打亂的，實驗中網絡模型參數設置和圖像數據集相同。

圖4顯示出了網絡模型的分支數量和隱藏單元數變化時在隨機標簽的圖像數據集上模型訓練準確率和訓練損失結果。圖4（a1），4（b1）分別表示在隨機標簽CIFAR-10，CIFAR-100數據集上訓練的準確率;圖4（a2），圖4（b2）分別表示在隨機標簽CIFAR-10，CIFAR-100數據集上的訓練損失。在這樣的數據集上，網絡模型不能利用數據中的通用特征，因此需要更大的模型容量[14]。通過實驗結果對比可以看出，網絡能夠擬合隨機標簽的數據，當網絡單元足夠多時可以獲得接近零的訓練誤差。模型在限制網絡容量壓力情況下，DENNs模型擬合能力明顯優于標準FNNs，尤其是在隱藏單元較小的情況下效果較為明顯。

從圖4（a1）和圖4（b1）的比較結果中可以看出：當網絡隱藏層單元數量達到一定數量（比如512）時，模型在兩個數據集上的比較結果沒有明顯差距。由于網絡擬合CIFAR-100數據集比CIFAR-10數據集需要更大的模型容量，所以較小的隱藏層單元數量的模型在CIFAR-10數據集上的擬合效果比在CIFAR-100上的擬合效果好;由于網絡模型在隨機標簽的數據集上不能夠利用相同標簽數據的共同模式，所以在圖3（b1）與圖4（a1），圖3（c1）與圖4（b1）中網絡模型在圖像數據上的擬合效果比在隨機標簽數據上的擬合效果好。

2.3 高斯噪聲數據集實驗結果分析

數據集使用60，000條隨機產生均值為0方差為1的高斯噪聲數據，每條數據包含784維度信息，以便進一步評估DENNs的擬合能力，實驗中網絡模型的參數設置和圖像數據集相同。

圖4（c1），圖4（c2）顯示出了在高斯噪聲數據集上網絡模型的分支數量和隱藏單元數變化時的訓練結果。圖4（c1）表示訓練的準確率，圖4（c2）表示訓練損失。本數據集消除了數據冗余，網絡模型需要更大的記憶能力擬合整個數據集。實驗結果可以看出，網絡模型能夠擬合隨機高斯噪聲數據。相對于隨機標簽的數據集模型更容易達到接近零的訓練誤差。通過比較可以看出，DENNs擬合能力隨著分支數量的增加先上升后下降，擬合能力仍然在中等分支數量情況下最好。同圖像數據集上實驗結果相比，DENNs比標準FNNs在高斯噪聲數據集上的擬合能力優勢不明顯，這表明 DENNs模型在學習中更能利用數據內部的相關性。同隨機標簽圖像數據集上的實驗結果相比，DENNs比標準FNNs在高斯噪聲數據上的擬合能力優勢不明顯，其中的原因可能是，隨機像素的輸入比自然圖像更加離散，網絡模型更加容易擬合相對離散的噪聲數據。

3 結束語

本文在DENN神經網絡模型的基礎上，進一步研究了模型在改變分支數量和網絡結構的情況下學習行為的變化。實驗表明，DENN能利用數據中的通用特征提高模型的擬合能力，在更大網絡容量壓力下，DENN在圖像數據集和隨機標簽圖像數據集上表現出比標準FNN模型更好的擬合能力。DENN在高斯噪聲數據集上相比標準FNN并沒有表現出明顯的優勢。未來的研究，可以繼續探索DENN學習行為變化的內在原因，同時可以將樹突結構和卷積網絡相結合，應用于計算機視覺領域，進行特征提取提高模型的擬合和泛化性能。

參考文獻（References）：

[1] Rosenblatt F. The perceptron： A probabilistic model for information storage and organization in the brain [J]. Psychological Review，1958.65（6）：386-408

[2] Mel B W.Synaptic integration in an excitable dendritic tree[J].Journal of Neurophysiology，1993.70（3）：1086-101

[3] Greg Stuart，Nelson Spruston， and Michael H?usser. Dendrites[M].Oxford：Oxford University Press，2016.603-639

[4] Losonczy A，Makara J K， Magee J C. Compartmentalized dendritic plasticity and input feature storage in neurons[J]. Nature，2008.452（7186）：436-41

[5] Poirazi P，Mel B W.Impact of Active Dendrites and Structural Plasticity on the Memory Capacity of Neural Tissue [J]. Neuron，2001.29（3）：779-796

[6] Wu X E， Mel B W. Capacity-Enhancing Synaptic Learning Rules in a Medial Temporal Lobe Online Learning Model [J].Neuron， 2009.62（1）：31-41

[7] Poirazi P，Brannon T， Mel B W.Pyramidal Neuron as Two-Layer Neural Network[J].Neuron，2003.37（6）：989-999

[8] Wu X，Liu X.Improved Expressivity Through Dendritic Neural Networks[C]//Advances in Neural Information Processing Systems. 2018：8067-8078

[9] Xiao H， Rasul K， Vollgraf R. Fashion-mnist： a novel image dataset for benchmarking machine learning algorithms[J]. arXiv preprint arXiv：1708.07747， 2017：1-9

[10] Krizhevsky A，Hinton G.Learning multiple layers of features from tiny images[R]. Technical report， University of Toronto，2009：9-53

[11] Ioffe S，Szegedy C.Batch normalization：Accelerating deep network training by reducing internal covariate shift[J]. 2015， arXiv preprint arXiv：1502.03167：1-11

[12] Ba J L，Kiros J R，Hinton G E. Layer normalization[J]. arXiv preprint arXiv：1607.06450，2016：1-14

[13] Zhang C，Bengio S， Hardt M，et al.Understanding deep learning requires rethinking generalization[J].arXiv preprint arXiv：1611.03530， 2016：1-15

[14] Kingma D P，Ba J.Adam：A method for stochastic optimization[J].arXiv preprint arXiv：1412.6980，2014：1-15