M-P模型的背景探究

李源浩

摘? 要： M-P模型是人類歷史上第一個神經元模型，源自1943年麥卡洛克和皮茨所發表的研究論文。這篇論文主要的基礎是當時的神經元生理知識、數理邏輯分析方法以及圖靈等人的研究成果。上述論文及相關內容構成了M-P模型的背景，通過對其進行梳理和分析，可了解麥卡洛克和皮茨的研究思路，認識M-P模型的歷史地位、作用以及更多技術細節。

關鍵詞： M-P模型; 神經元; 神經網絡

中圖分類號：TP18? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）02-08-04

Study on the background of M-P model

Li Yuanhao

（School of Computer & Communication Engineering， University of Science and Technology Beijing， Beijing 100084， China）

Abstract： M-P model is the first neuron model originated from the research paper of the nervous activity made by McCulloch and Pitts in 1943. The basis of the research paper is mainly the physiological knowledge of neurons， analysis method of mathematical logic and the research results of Turing et al. at that time， which constitutes the background of M-P model. By analyzing the research paper and the background， the ideas and methods used by McCulloch and Pitts in the research can be captured to realize the historical role， influence and more technical details of M-P model.

Key words： M-P model; neuron; neural network

0 引言

M-P模型，又稱為麥卡洛克-皮茨模型，是1943年美國科學家麥卡洛克（McCulloch）和皮茨（Pitts）首先提出的一種人工神經元模型。

圖1的M-P模型中，x（i=1，2，…，n）表示來自與當前神經元相連的其他神經元傳遞的輸入信號，w代表從神經元j到神經元[i]的連接強度或權值，θ為神經元的激活閾值或偏置，稱作激活函數或轉移函數。神經元的輸出y可以表示如下：

麥卡洛克和皮茨根據神經元傳遞中的“0，1律”和神經傳遞中信號不但有不同的強度，而且有興奮和抑制兩種情況，將神經元看成是一個有n個輸入和一個輸出的元件，該模型從邏輯功能元件的角度來描述神經元，為神經網絡的理論研究開辟了道路。

作為人類首個神經元模型，M-P模型具有特殊的歷史地位，但由于時間久遠，其背景容易被人們忽視。M-P模型的背景探究，就是對麥卡洛克和皮茨發表于1943年的論文進行梳理和分析。

1 論述

1943年，麥卡洛克和皮茨在《數理生物學通報》（Bulletin of Mathematical Biology）刊物上，發表了一篇名為《神經活動中所蘊含思想的邏輯演算》（A logical calculus of the ideas immanent in nervous activity）的論文[1]，首次提出了M-P模型。

1.1 論文的相關背景

《神經活動中所蘊含思想的邏輯演算》（以下簡稱《神經》）引用的文獻只有以下三份。

⑴ 卡納普（Carnap）的《語言的邏輯句法》（The Logical Syntax of Language）。

⑵ 希爾伯特（Hilbert）和阿克曼（Ackermann）的《數理輯邏基礎》（Gtundz ge der Theoretischen Logik）。

⑶ 羅素（Russell）和懷特海的（Whitehead）的《數學原理》（Principa Mathematica）。

《神經》發表的時期，正是數理邏輯發展日臻成熟的時期，涌現出了一大批像羅素、懷特海這樣的代表人物。他們的著作和思想，廣泛而深刻地影響著同時代的科學家。利用數理邏輯在不同的領域開展研究，在當時屢見不鮮，一些科學家更是取得了開創性的成果。1937年，香農完成了他的碩士論文《繼電器和開關電路的符號分析》[2]。香農在論文中提出，任何電路都可以用一組表達式表示，表達式的演算方法類似于符號邏輯中命題演算。1936年，圖靈完成了他的碩士論文《論可計算數及其在判定性問題上的應用》[3]，在理論上構造出了圖靈機，證明了圖靈機可以完成人類在計算時所能做到的一切工作。任何可以計算的，圖靈機都可以計算。圖靈還設想了可以模仿其他任何圖靈機的通用圖靈機。上述研究成果自然也影響著麥卡洛克和皮茨，并構成了《神經》的研究基礎。

1.2 論文的內容

《神經》共計17頁，分為摘要、正文和文獻三個部分。

摘要部分，麥卡洛克和皮茨直接寫道，由于神經活動具有“全”或“無”的特性，神經系統的事件及內部關系可以用命題邏輯來處理。“全”或“無”是指神經元興奮或抑制這兩種狀態。神經元的狀態也能與邏輯中的真、假對應。更進一步，基于神經元相互聯結組成的神經網絡，就可以用數理邏輯來表示和演算。其文內容分為四個部分。第一部分是引言，麥卡洛克和皮茨介紹了關于神經元的基本認識、前期工作和遇到的問題。

1875年意大利科學家高爾基（Golgi）采用染色體方法對單個神經細胞標識，標志著神經生理學的誕生。1889年西班牙科學家卡哈爾（Cajal）從形態上和結構上對神經細胞或生物神經元進行了詳細的研究，創立了神經元學說。自那之后，關于神經元的生物學特性和相關的電學性質逐漸被人們所認識。但是在二十世紀四十年代，人們對神經元的認識還只是停留在動物實驗的基礎上。雖然發現了神經元存在興奮和抑制的不同電位差，但對神經元的內在機理并不完全掌握。在《神精》正文的引言部分中，麥卡洛克和皮茨坦言某些認識并沒有得到科學證實，還有某些認識只是猜想和假設，例如下文提到的“絕對抑制”。

M-P模型被詬病的最大問題就是神經元的輸入權重不能夠變化，也就是不具備學習能力。在M-P模型之后出現的其他具有里程碑意義的神經網絡模型是權重可以變化的，也就是能夠學習。缺乏學習能力一直是M-P模型給予人的印象。然而事實上，麥卡洛克和皮茨在論文中闡述了神經元的學習功能。麥卡洛克和皮茨認為神經元的學習，主要依靠神經元閾值的調整和聯結的改變。換句話說，在麥卡洛克和皮茨看來，M-P模型的神經元是可以學習的，只是不基于變化的權重，而是基于變化的閾值和聯結。

“絕對抑制”則是另一個后來被證明錯誤的觀點。絕對抑制是指抑制突觸的活動，在任何時間都可以絕對抑制神經元的興奮。換句話說，就是對神經元的興奮擁有“一票否決權”。現在的M-P模型中，已經完全看不到絕對抑制的影子了。如果把絕對抑制寫進今天的M-P模型，那么它的數學表達式⑵應該被改寫成：

這是《神經》論文關于神經元的描述，與現在M-P模型最顯著的區別。需要注意的是，在接下來有關《神經》論文的介紹中，會經常出現絕對抑制。

在《神經》引言部分的結尾處，麥卡洛克和皮茨談到了神經網絡的復雜性給研究工作帶來的困難。由神經元相互聯結構成的網狀神經系統中，通常會有許多的聯結回路，這導致了脈沖傳導的循環，使問題變得復雜。麥卡洛克和皮茨把復雜的神經網絡分成無回路和有回路的神經網絡，并在正文的第二部分和第三部分作分別研究。正文第二部分的研究開始前，麥卡洛克和皮茨首先給出了以下假定。

⑴ 神經元的活動是一個“全或無”的過程。

⑵ 只有一定數量的興奮突觸刺激才可使神經元興奮。

⑶ 神經系統中的延遲只考慮突觸延遲。

⑷ 任何抑制突觸的活動都會絕對地避免神經元興奮。

⑸ 神經網絡的結構不會隨著時間而改變。

在這些假設的基礎上，麥卡洛克和皮茨定義了各種邏輯符號與神經活動的對應關系以及一種時態命題表達式，并對一些符號的使用做了必要說明。

麥卡洛克和皮茨首先推導出了第1個定理—任何網絡都可以表示為下面的時態命題表達式。

N（z）表示神經元在z時的活動，這種活動要么是1，對應興奮;要么是0，對應抑制。等價符號后面，可以拆分成兩個部分。前一部分表示抑制突觸的活動，注意“否”的邏輯符號使用的是“～”。后一部分表示興奮突觸的活動，其中[ki]是指合計超過閾值的興奮突觸數量。這兩個部分實際上就是公式⑶中y=1時的兩個條件判斷，既興奮輸入的累加超過閾值且抑制性輸入為0。當然，這是指N（z）等于1時，如果是其他情況，則其為0。反之亦然，每個時態命題表達式也可以用神經網絡表示，這就是第二個定理。在定理1、2之上，麥卡洛克和皮茨又研究了一些較特殊的情況，例如相對抑制與絕對抑制是否等價、聯結的改變等，并由此演算推導出了另外五個定理。

注意圖2（c）中，第一、二個神經元與第三個神經元分別只有一個聯結點。由前述假定中所列第二條可知，單獨一個聯結是不能使第三個神經元興奮的，需要第一和第二個神經元同時輸出狀態是1。

這些特定聯結的神經元通過進一步的組合，又可以構成更復雜的、實現更多功能的神經網絡，相應的邏輯表達式也可以演算得到。論文中舉了這樣一個例子：如果一個冷的物體，在一段時間內貼在皮膚表面，隨后又被移開，皮膚會感覺到熱;但如果冷的物體過久地貼在皮膚表面，那么即使移開后，皮膚也不會有熱的感覺了。現在假設有二個感知器，分別用于感知熱和冷，并用N和N代表。另外二個神經元的活動N和N分別對應了對熱和冷的神經感覺。對應上例的神經元聯結關系如圖3所示。

第三部分分析了“有回路的神經網絡”。通過遞歸函數和更復雜的邏輯演算，同樣證明了“有回路的神經網絡”也能夠與相應的邏輯表達式對應。麥卡洛克和皮茨還特別指出了，如果給神經網絡裝配上紙帶或是掃描設備的話，它可以像圖靈機一樣工作。圖靈機能夠計算的數，神經網絡也可以計算。麥卡洛克和皮茨認為他們的研究從心理學的角度，再次證明了圖靈等人的學說。

第四部分是結論，麥卡洛克和皮茨基于對神經網絡的研究，嘗試去解釋人類認知方面存在的缺陷以及各種精神疾病可能的原因。麥卡洛克和皮茨還討論了研究成果對相關學科的影響，認為論文中的神經網絡學說對心理學、神經生物學、神經醫學等都起到了推動作用。

麥卡洛克和皮茨指出，適當的神經聯結和神經元閾值，使大腦內神經元的活動成為被感知的外部世界一切初始命題的有限的邏輯組合。

2 結論

通過M-P模型的背景探究，可以得出下面的結論和啟示。

麥卡洛克和皮茨的研究思路是，依據神經元“全”或“無”的特點，將其等同于電路中的邏輯元件，并構建出能夠用數理邏輯表達和演算的神經網絡，并在此基礎上，解釋和模擬人類的神經活動。

麥卡洛克和皮茨利用了當時已經被證明是功能強大的并廣泛應用于各個研究領域的數理邏輯這一工具，借鑒了圖靈等人在信息技術領域的研究成果，并創造性地將它們應用到神經生理學的研究中。

麥卡洛克和皮茨的研究工作，開啟了神經網絡研究的先河，為之后的神經網絡模型發展打下了基礎。他們的研究工作，也引發了那個時代的公眾對神經科學的熱情，影響了許多不同領域的科學家，為后續的人工智能發展創造了環境。論文中涉及到的研究方法和思路，對后來的計算神經科學、信息論、有限狀態機等都起到了推動作用。

《神經》論文涉及了多個學科的研究領域，也體現出了跨學科交流與融合的重要性。正如前蘇聯科學家阿利特舒列爾（Altschuller），在1946年通過大量研究分析后得出的結論：解決本領域技術難題的最有效的原理與方法，往往來自于其他領域的科學知識[4]。麥卡洛克和皮茨借鑒、吸收了那個時代前沿的學術成果，應用到神經生物學領域中，最終促成了創新性的突破。神經科學家麥卡洛克和數學家皮茨之間的合作也再次證明了學術合作的重要性。

通過對M-P模型的背景探究，也了解到了更多M-P模型的細節，如學習能力、相對抑制、神經聯結等，從而使對M-P模型的認識更加深刻、更加全面。M-P模型最大的特點是簡單，但這種簡單也是相對的，正如下一代神經網絡模型——感知機的提出者羅森布拉特（Rosenblatt）所說：麥卡洛克和皮茨留下的最重要的思想是，神經元是簡單的，然而，適當聯結并嵌入神經系統后卻能獲得強大的計算能力[5]。

M-P模型自1943年提出之后，至今已經出現了幾百種不同的神經元模型[6]，而影響最大的仍然是M-P模型。這也說明M-P模型較準確地反應了神經元的本質特征。

參考文獻（References）：

[1] Warren S. McCulloch， Walter Pitts. A logical calculus of the

ideas immanent in nervous activity[J].Bulletin of Mathematical Biology，1990.52：99-115

[2] Claude Shannon， A Symbolic Analysis of Relay and

Switching Circuits[J]. Transactions of the American Institute of Electrical Engineers，57（1938）

[3] A. M. Turing. On Computable Numbers， With an

Application to the Entscheidungsproblem[J].Proceedings of the London Mathematical Society， Volume s2-42， Issue 1，1937：230-265

[4] 周蘇，張麗娜，陳敏玲.創新思維與TRIZ創新方法（第二版）[M].

清華大學出版社，2018.7

[5] 阮曉鋼.神經計算科學-在細胞的水平上模擬腦功能[M].

國防工業出版社，2006：233

[6] 王萬良.人工智能通識教程[M].清華大學出版社，2020