基于非聯合型學習機制的學習神經元模型

畢 松，刁 奇，柴小豐，韓存武

(北方工業大學 現場總線技術及自動化北京市重點實驗室，北京 100144)

(*通信作者電子郵箱diaoqi0301@qq.com)

基于非聯合型學習機制的學習神經元模型

畢 松，刁 奇*，柴小豐，韓存武

(北方工業大學 現場總線技術及自動化北京市重點實驗室，北京 100144)

(*通信作者電子郵箱diaoqi0301@qq.com)

針對生物神經細胞所具有的非聯合型學習機制，設計了具有非聯合型學習機制的新型神經元模型——學習神經元。首先，研究了非聯合型學習機制中習慣化學習機制和去習慣化學習機制的簡化描述；其次，建立了習慣化和去習慣化學習機制的數學模型；最后, 基于經典的M-P(McCulloch-Pitts)神經元模型，提出了具有習慣化和去習慣化學習能力的新型神經元模型——學習神經元。經仿真實驗驗證，學習神經元具有典型的習慣化和去習慣化學習能力，為構建新型神經網絡提供良好的基礎。

非聯合型學習機制；學習神經元；習慣化；去習慣化

0 引言

近年來，隨著信息技術的快速發展，獲取大規模數據集的成本逐漸降低，因此，從大規模數據集中自動獲取問題相關知識并解決復雜問題的機器學習技術，已經成為眾多領域中解決復雜任務的有效技術手段。人工神經網絡是機器學習的重要分支，隨著深度網絡等具有優秀學習能力的新型人工神經網絡的涌現，人工神經網絡技術又重新受到機器學習領域研究者的重視。然而，現有人工神經網絡的構造方法主要以模擬生物神經網絡的拓撲結構和突觸可塑性為主，而對生物神經細胞所具有的高級功能的描述和抽象的關注較少。

神經生物學和認知神經學的研究表明：神經細胞所具有的學習能力是生物神經系統完成學習和記憶任務的重要基礎[1]。經典的M-P(McCulloch-Pitts)神經元及其類似神經元模型是現有使用最廣泛的神經元模型，該類神經元模型將神經細胞的信息處理功能抽象為輸入與輸出之間的簡單函數變換，缺乏對生物神經細胞學習機制的模擬。生物神經細胞的學習機制不僅會改變細胞胞體功能還將改變神經突觸工作方式[2]，因此，融合生物神經細胞學習機制的人工神經元模型具有更堅實的生物學基礎。習慣化和去習慣化是生物神經細胞具有的典型非聯合型學習機制[3]，結合上述非聯合型學習機制的人工神經元模型改變了經典神經元的結構和信息處理過程，具有更加堅實的生物學基礎和學習能力。人工神經網絡是對生物神經網絡的抽象和模擬，人工神經元作為人工神經網絡的基礎，基于生物學機制的人工神經元和人工神經網絡的模擬和模型構造方法受到眾多學者關注。近年來國內外學者從神經細胞的不同生物學機制出發，設計了多種神經元模型。

許少華等[4]將突觸信號的時間整合機制引入人工神經元模型，基于突觸信號交換過程是時間過程的原理，擴展了M-P神經元結構，將神經元的輸入方式從幾何點式的瞬時輸入，擴展為一組依賴時間的連續函數輸入。過程神經元網絡在連續信號處理方面具有良好的應用效果[5]，并發展出多種過程神經元模型[6-7]。在解決多值邏輯和多區域非線性劃分等復雜模式識別問題時，以二值或實值函數作為激活函數的神經網絡存在結構較為龐大、學習和收斂速度較慢、容易陷入局部極小等問題。多值神經元具有良好的魯棒性和快速的收斂性[8]。多值神經元的多閾值激活函數部分地模擬了生物神經元的功能可塑機制，使得神經元獲得了多種激活狀態，從而提高神經元的學習能力。量子神經元的加權、聚合、活化和激勵等相關操作可用于模擬神經細胞對輸入刺激的時空整合、興奮、抑制、疲勞和不應期等相關過程[9]，其將生物神經元看為黑盒模型，從量子自身具有的特征映射到神經元的特征，從而構造了量子神經元。隨著對神經元工作機制認識地逐漸深入，一類基于神經元生物學機制的人工神經元模型被相繼提出。班曉娟等[10]基于神經膠質細胞對生物神經元網絡的生長提供能量支持的生物學原理，將神經膠質細胞對神經元能量供給機制引入神經元模型，提出了能量人工神經元模型。該模型具有良好的自組織、自生長能力。錢夔等[11]基于多巴胺和5-羥色胺這兩種神經遞質對學習過程的調節作用，設計了模擬神經遞質調節的神經網絡發育算法，實現了非結構環境的記憶與識別。上述研究工作表明，相關學者從生物神經元的突觸信息傳遞機制、信息整合機制、神經元的內外部工作機制等不同角度設計了神經元模型，但對生物神經元自身所具有的非聯合型學習機制的借鑒和模擬卻未見討論和涉及。

本文在借鑒和模擬生物神經元自身所具有的非聯合型學習機制的基礎上，結合經典的M-P神經元模型，提出并實現了具有典型非聯合型學習機制的學習神經元，建立了學習神經元的數學模型。經實驗驗證，該神經元具有良好的習慣化和去習慣化學習能力。

1 神經元習慣化、去習慣化機制簡化模型

現有神經元模型主要以神經突觸可塑性理論為基礎，將神經細胞功能描述為信息時空整合過程，缺乏對生物神經細胞非聯合型學習機制的借鑒和模擬。

本文對生物神經元具有的信息時空整合、習慣化、去習慣化特性進行簡化，并將簡化后的神經元功能整合到M-P神經元模型中，建立學習神經元模型。其中具有習慣化學習機制結構的學習神經元稱為習慣化神經元，具有去習慣化學習機制結構的學習神經元稱為去習慣化神經元。

處于習慣化模式的神經元對相似輸入的響應逐漸降低，呈靜默狀態，從而系統不響應重復的無害輸入，降低系統能量消耗；去習慣化機制可喚醒已靜默的神經元，使其工作模式從習慣化模式切換到正常模式，從而使系統保持對環境輸入的敏感性。

基于生物神經細胞的習慣化和去習慣化學習機制，可獲得習慣化機制和去習慣化機制的簡化模型如下：

1)生物神經元某通路受到重復的相似刺激且刺激程度較小時，神經元對該刺激的響應逐漸降低從而對該刺激形成習慣化，可獲得如下簡化模型：學習神經元對輸入模式的響應強度與模式出現的頻率成反比。

2)生物神經元對某個刺激形成習慣化后，如果在其他輸入通路接收到強刺激，則神經細胞對已習慣化的刺激產生強烈的響應從而形成去習慣化，可獲得如下簡化模型：能量較高的輸入模式可以加強神經元對已習慣化模式的響應。

2 學習神經元的數學模型

本文在M-P神經元基礎上，分別結合習慣化學習機制和去習慣化學習機制設計了習慣化神經元模型和去習慣化神經元模型。

2.1 習慣化神經元模型

在經典神經元模型基礎上，增加了習慣化參數，構建了習慣化神經元模型，習慣化神經元的結構如圖1所示。

圖1 習慣化神經元結構Fig. 1 Habituation neuron structure

(1)

與經典M-P神經元比較，習慣化神經元增加了習慣化參數。綜上所述，習慣化神經元模型可由下述公式描述：

(2)

(3)

(4)

(5)

2.2 去習慣化神經元模型

在經典神經元模型基礎上，增加了去習慣化參數構建的去習慣化神經元結構如圖2所示。

圖2 去習慣化神經元結構Fig. 2 Dishabituation neuron structure

去習慣化過程將提高神經元的輸出信號強度，因此當強烈刺激出現時神經系統將對已習慣化的輸入刺激產生強烈反應。增強參數βj描述了神經元反應增強過程，βj的變化過程用于模擬神經節中的S神經元，增強過程開始后，神經元輸出在較短時間產生強烈響應，增強參數βj快速增大；但隨時間增加βj逐漸下降，并最終將趨近為1。因此，增強參數可表達為βj=(1+sjλe-λnj)(nj≥0)。其中:λ為去習慣化系數；nj為刺激習慣化系數，用非強烈刺激出現次數表示；sj=g(Ij)為增強化系數；g(Ij)為增強化系數變換函數，且有

(6)

其中IT為刺激強烈程度的閾值。若神經元輸入的刺激強度小于閾值IT，則nj逐漸增大使βj逐漸趨近于1，去習慣化過程消失；若神經元輸入的刺激強度大于閾值IT，則nj為0使βj上升為(1+λ)，去習慣化過程開始。nj可由下式描述：

(7)

去習慣化學習過程的前提是神經細胞接收到強烈刺激，之后，神經細胞對已習慣化的輸入刺激產生強烈反應[12]。神經生物學研究表明，輸入刺激的強烈程度與其包含的信息量和能量有關[13]。信息熵可描述信息輸入的信息量，能量均值可描述刺激的能量，因此刺激的強烈程度可表示為:

Ij=ajHj+(1-aj)Ej

(8)

在經典的M-P神經元基礎之上，去習慣化神經元增加了增強參數。去習慣化神經元的模型可描述為：

(9)

Ij=ajHj+(1-aj)Ej

(10)

(11)

(12)

(13)

3 仿真實驗

為驗證本文提出的學習神經元模型的有效性，構造兩組樣本序列，分別檢驗習慣化神經元和去習慣化神經元的有效性：

1)樣本序列一：具有隨機輸入和相似輸入，分別模擬隨機刺激和相似刺激。驗證在隨機輸入情況下，神經元輸出與經典M-P神經元輸出相同；在相似輸入情況下，神經元輸出逐漸減小，最終趨近于零。

2)樣本序列二：輸入刺激分為刺激強度小于閾值IT的弱刺激和刺激強度大于閾值IT的強刺激兩類，神經元輸入為相似輸入。驗證在輸入刺激為弱刺激的情況下，神經元輸出逐漸減小，趨近于零；在輸入刺激為強刺激的情況下，神經元輸出迅速增大。

為模擬相似輸入、隨機輸入，神經元輸入為常數代表相似輸入，神經元輸入為[0，1]區間隨機均勻分布的隨機數代表隨機輸入。習慣化神經元(樣本序列一)和去習慣化神經元(樣本序列2)參數分別如表1、2所示。

由表1可知，習慣化神經元樣本1～100及201～300為常數，模擬相似刺激；樣本101～200為服從[0，1]區間隨機均勻分布的隨機數，模擬各類隨機刺激，各樣本的歸一化系數D=1，相似度閾值dT=0.01，神經元輸入通路權值ω1=ω2=ω3=2，激活函數為單極性Sigmoid函數，通過兩類不同輸入樣本，觀察神經元輸出區別。

表1 習慣化神經元參數Tab. 1 Habituation neuron parameters

以神經元輸入通路x1為例，由圖3和圖4可以看出:在輸入為常數即相似刺激時，相似刺激計數N1增加；輸入為隨機刺激時，相似刺激計數基本為0，符合習慣化學習過程。

圖3 習慣化神經元輸入Fig. 3 Habituation neuron input

由圖5可以可知，在輸入為相似刺激時，神經元輸出逐漸減小，最終趨近于零，對應于圖4中相似刺激增加過程，模擬生物神經細胞的習慣化過程；在輸入為隨機刺激時，神經元輸出為沒有習慣化過程，對應于圖3中相似刺激基本為0的過程，輸出與經典M-P神經元輸出相同。由圖3～5可知習慣化神經元具有典型的習慣化特性。

表2給出了去習慣神經元的參數，z1、z2、z3為輸入刺激，樣本1～100為弱刺激，樣本101～200為強刺激，樣本201～300為服從[0，1]區間隨機均勻分布的隨機數。一個系統越有序，信息熵就越低；反之，一個系統越亂，信息熵越高。樣本的信息熵根據熵在統計熱力學中的公式H=klnW得出，其中k為玻爾茲曼常數，W為微觀狀態數。在本實驗中，樣本1～200信息均為定值，因此求得信息熵H為0.1；樣本201～300信息包含隨機序列，故信息熵H為0.7。能量均值取輸入刺激的平均值，即E=(z1+z2+z3)/3，a=0.3，IT=0.5，λ=2。神經元輸入設為常數，方便觀察習慣化和去習慣化過程。

表2 去習慣化神經元參數Tab. 2 Dishabituation neuron parameters

由圖6、圖7可知，樣本1～100為弱刺激，nj逐漸增加，βj逐漸趨近于1，不具有去習慣化特性；樣本101～200為強刺激，nj為0，βj上升為(1+λ)，具有去習慣化特性；樣本201～300,為隨機刺激，既有弱刺激也有強刺激，所以nj也是隨機地既有逐漸增加的過程，也有為零的過程。

圖8為去習慣化神經元輸出，可以看出，樣本1～100在弱刺激情況下的神經元輸出逐漸減小，呈現習慣化過程；樣本101～200在強刺激情況下的神經元輸出得到增強，對已習慣化的模式重新產生強烈的響應，從而形成去習慣化過程；樣本201～300在隨機刺激情況下的神經元輸出既有減弱，也有增強。

圖4 相似刺激出現次數Fig. 4 Number of occurrences of similar stimuli

圖5 習慣化神經元輸出Fig. 5 Habituation neuron output

圖6 輸入刺激強烈程度Fig. 6 Degree of input stimulus intensity

圖7 去習慣化程度Fig. 7 Degree of dishabituation

圖8 去習慣化神經元輸出Fig. 8 Dishabituation neuron output

4 結語

本文通過深入分析生物神經細胞的非聯合型學習機制，獲得該機制的簡化描述，并在M-P神經元模型基礎上進行擴展，獲得具有習慣化、去習慣化學習能力的學習神經元模型。經實驗驗證，本文所提的學習神經元模型具有典型的非聯合型學習功能。融合生物神經細胞非聯合學習機制的學習神經元具有更堅實的生物學基礎，其改變了經典神經元的結構和信息處理過程，提高了神經元的學習能力，擴展了人工神經元的功能結構，也為構建具有更強的學習能力和解決復雜問題能力的新型神經網絡提供了良好的基礎

在后續的研究工作中，將會研究生物神經元另一非聯合學習特性——敏感化，并將具有非聯合學習機制的學習神經元應用到人工神經網絡，解決背景建模與運動物體提取問題，而后模擬中樞神經系統的結構和機制，設計中樞模式發生器，應用于機器人步態控制領域。

References)

[1] SWEAT J D. Mechanisms of Memory [M]. 2版. 北京: 科學出版社, 2012: 237-289. (SWEAT J D. Mechanisms of Memory [M]. 2nd ed. Beijing: Science Press, 2012: 237-289.)

[2] NICHOLLS J G. From Neurons to Brain [M]. 5版. 北京: 科學出版社, 2014: 428-436. (NICHOLLS J G. From Neurons to Brain [M]. 5th ed. Beijing: Science Press, 2014: 428-436.)

[3] GAZZANIGA M S, LVRY R B, MANGUN G R. Cognitive Neuroscience: the Biology of the Mind [M]. 3版. 北京： 中國輕工業出版社， 2011: 349-356. (GAZZANIGA M S, LVRY R B, MANGUN G R. Cognitive Neuroscience: the Biology of the Mind [M]. 3rd ed. Beijing: Beijing Light Industry Press, 2011: 349-356.)

[4] 許少華,何新貴.基于函數正交基展開的過程神經網絡學習算法[J].計算機學報,2004,27(5):645-650. (XU S H, HE X G. Learning algorithm of process neural network based on orthogonal function basis expansion [J]. Chinese Journal of Computers, 2004, 27(5): 645-650.)

[5] 李大剛,王小藝,劉載文,等.過程神經網絡水華預測方法研究[J].計算機與應用化學,2011,28(2):173-176. (LI D G, WANG X Y, LIU Z W, et al. Research water-bloom prediction based on process neural network [J]. Computer and Applied Chemistry, 2011, 28(2): 173-176.)

[6] 王兵,李盼池,楊冬黎,等.云過程神經網絡模型及算法研究[J].電子與信息學報,2015,37(1):110-115. (WANG B, LI P C, YANG D L, et al. Research on cloud process neural network model and algorithm [J]. Journal of Electronics and Information, 2015, 37(1): 110-115.)

[7] 王兵,許少華,孟耀華,等.結構自適應的半監督自組織過程神經網絡[J].控制與決策,2015,30(3):507-512. (WANG B, XU S H, MENG Y H, et al. Semi-supervised self-organizing process neural network with self-adaptive structure [J]. Control and Decision, 2015, 30(3): 507-512.)

[8] AIZENBERG I. Periodic activation function and a modified learning algorithm for the multivalued neuron [J]. IEEE Transactions on Neuron Networks, 2010, 21(12): 1939-1949.

[9] LIU C-Y, CHEN C, CHANG C-T, et al. Single-hidden-layer feed-forward quantum neural network based on Grover learning [J]. Neural Networks, 2013, 45: 144-150.

[10] 班曉娟，劉浩，劉卓然.一種基于能量人工神經元模型的自生長、自組織神經網絡[J].自動化學報,2011,37(5):615-622. (BAN X J, LIU H, LIU Z R. An energy artificial neuron model based self-growing and self-organizing neural network [J]. Acta Automatica Sinica, 2011, 37(5): 615-622.

[11] 錢夔,宋愛國,章華濤,等.基于單胺類神經遞質調節發育算法的機器人視覺定位[J].機器人,2014,36(3):362-368. (QIAN K, SONG A G, ZHANG H T, et al. Robot vision location based on developmental algorithm of monoamine neurotransmitters modulation [J]. Robot, 2014, 36(3): 362-368.)

[12] MULLER K J, NICHOLLS J G, STENT G S. In Neurobiology of the Leech [M]. New York: Cold Spring Harbor Laboratory, 1981: 27-34.

[13] 張愛華,顧建文,鄭崇勛.中樞興奮性傳遞的突觸后電位小波熵分析研究[J].西安交通大學學報,2004,38(4):428-431. (ZHANG A H, GU J W, ZHENG C X. Study on neural excitatory transmission by wavelet entropy analysis of presynaptic potentials [J]. Journal of Xi’an Jiaotong University, 2004, 38(4): 428-431.)

This work is partially supported by the National Natural Science Foundation of China (61573024), the Beijing Municipal Education and Technology Commission Project (KM201610009001).

BISong, born in 1983, Ph. D., associate professor. His research interests include artificial intelligence, pattern recognition.

DIAOQi, born in 1993, M. S. candidate. Her research interests include artificial intelligence, neural networks.

CHAIXiaofeng, born in 1991, M. S. candidate. His research interests include artificial intelligence, neural networks.

HANCunwu, born in 1961, Ph. D., professor. His research interests include wireless communication network, networked control system.

Learningneuronmodelbasedonnon-associativelearningmechanism

BI Song, DIAO Qi*, CHAI Xiaofeng, HAN Cunwu

(AutomationandFieldBusKeyLaboratoryofBeijing,NorthChinaUniversityofTechnology,Beijing100144,China)

Biological neurons have non-associative learning mechanisms, and a novel learning neuron with non-associative learning mechanisms was designed, namely learning neuron. Firstly, the simplified description of the habituation learning mechanism and the dishabituation learning mechanism were researched in the non-associative learning mechanisms. Secondly, the mathematical models of habituation and dishabituation learning mechanisms were established. Finally, based on the classical M-P (McCulloch-Pitts) neuron model, the learning neuron model with the ability of habituation and dishabituation learning was proposed. The simulation results verify that the proposed learning neuron has typical habituation and dishabituation learning ability, and provides a good foundation for the construction of new neural network.

non-associative learning mechanism; learning neuron; habituation; dishabituation

TP183

A

2017- 03- 03;

2017- 04- 17。

國家自然科學基金資助項目(61573024)；北京市教科委立項項目(KM201610009001)。

畢松(1983—)，男，北京人，副教授，博士，主要研究方向：人工智能、模式識別； 刁奇(1993—)，女，北京人，碩士研究生，主要研究方向：人工智能、神經網絡； 柴小豐(1991—)，男，河北定州人，碩士研究生，主要研究方向：人工智能、神經網絡； 韓存武(1961—)，男，山東龍口人，教授，博士，主要研究方向：無線通信網絡、網絡化控制系統。

1001- 9081(2017)08- 2229- 05

10.11772/j.issn.1001- 9081.2017.08.2229