媲美大腦的新型超導神經網絡

二果

①谷歌AlphaGo由多個TPU組合而成

②網傳李世石和李昌鎬的二李午餐

生物神經元的工作原理

為了理解超導神經元，首先讓我們了解一下它所模仿的生物神經元的工作原理。神經元其實就是神經細胞，它的形狀有些獨特，由長長的軸索及多個突起構成（圖3）。

神經元細胞編碼并傳遞信息的方式是通過動作電位的形式來實現的。神經元的細胞膜（細胞表層）在沒有受到刺激的時候，細胞膜內外兩側會形成外正內負的電位差，即所謂的靜息電位（Resting Potential，RP），它是一切生物電產生和變化的基礎。一旦神經元細胞受到了超過一定閾值水平的刺激后，靜息電位就會產生電位變化，而且這個變化是沿著神經元的軸突定向移動的，這一過程被稱為動作電位，又被稱作神經沖動（圖4）。

④上方是靜息電位示意圖，下方是動作電位變化的示意圖，按照一定的方向達成信息傳送

小提示

神經元細胞通過動作電位傳遞信息的動態示意圖，可參見http：//tinyurl.com/yyoh2bgz。

超導神經元的工作原理

人工神經元要想盡可能真實地模擬出人腦的生物神經元，就需要設計出極為復雜的電路。對于電路材質的選擇，Toomey和他的同事們找到一種超導納米線（Nanowires），它具有非常特殊的非線性特性——當電流流過納米線的時候，如果電流超過了某個閾值，這時納米線的超導性就會神奇地崩潰，而由超導變成了電阻。電阻突然增大即會產生電壓脈沖，這個脈沖正好和神經元細胞中的動作電位非常相似，它可以導致第二根超導納米線產生另外一個脈沖，從而形成一個類似多個生物神經元特性的超導電路（圖5）。

⑤來自Toomey論文中的超導納米線電路的示意圖，一個超導神經元電路由主振蕩器和控制振蕩器兩組納米線組成

生物神經元細胞除了觸發閾值外，還有一個是不應期（Refractory period）的特性，即在一定的時間內重復刺激的話將不給予反應，這是電流傳遞有序化的一個保證。超導神經元不但有一個觸發閾值，也具備不應期的特性，從而能夠根據電路特性來調整運行時間。最關鍵的是，這種超導神經元能夠觸發或抑制其他神經元，從而能夠形成一個“扇形”傳遞，創建出一個網絡，這是目前其他超導神經元設計還沒能實現的。

從時鐘頻率入手節省能耗

實現了生物神經元功能的模擬，那么功耗的問題又如何解決呢？這就涉及到一個概念——時鐘頻率（Clock rate）。時鐘頻率是為了讓處理器協同工作的各個部件之間能夠同步起來的時間基準，它的單位是Hz（赫茲），以單位時間內運轉周期的次數來計算，每秒運轉1個周期就是1Hz，每秒運轉2個周期就為2Hz，以此類推。顯而易見，頻率越高就代表處理器的運行速度越快。

如果將我們人類的大腦比作一臺計算機，那么它實際也是有時鐘頻率的。一般人可能認為人類大腦的頻率會很快，恰恰相反，大腦的時鐘頻率往往只有幾Hz，和動不動就有數以GHz的現代微處理器比起來，實在是太慢了，不過這也正是大腦功耗低的最關鍵的因素。頻率極低的人腦采用了一種“人海戰術”，就是通過它特有的神經網絡，每秒并行運算10億次左右，從而在低功耗的情況下，形成了計算機難以企及的運行能力。

如前所述，超導神經元的特性是它的神經網絡計算功能，所以它才可以像人腦一樣，不靠時鐘頻率的速度，而是以并行運算的能力取勝，在每秒僅需1W功率的情況下管理著1014個突觸的操作，幾乎已經和人類的大腦相匹配了。雖然超導神經元離真正的生物神經元尚有極大的距離，但僅從功耗和速度來看，它已經很有競爭力了。

超導神經元的未來

超導神經元是一個起點，在低功耗人工神經網絡的發展領域中潛力巨大。一旦超導神經網絡成為未來全新計算機硬件的基礎，那么芯片散熱將不再是個問題。而一旦大規模神經形態處理器得以形成，那么像模式識別這類更為復雜的任務也就能夠輕松完成，從而在許多領域完全代替人類的工作了。（本文編譯自國外網上資料，參考文獻https：//arxiv.org/abs/1907.00263：使用超導納米線的高效人工神經元）