《人工神經網絡與深度學習》課程中的堅持與否定

賈振堂 李鳳勤 王計元

（上海電力大學電子與信息工程學院 上海 200090）

我國的教育歷來講究“教書育人”，教書和育人是不能割裂開的。如今“課程思政”再次強調了將立德樹人貫徹到高校課堂教學全過程之中的觀念，與思想政治理論課程一起共同構建全課程育人格局。那么如何在專業課程中做好“課程思政”，需要根據課程的內容進行挖掘。這里作者根據在《人工神經網絡與深度學習》課程教授過程中的體會，談談人工神經網絡的發展過程中所體現的“堅持與否定”的科學精神。

1 人工神經網絡的曲折歷程

從古至今，人們都對生命的原理充滿好奇并不斷地進行著探索。經過來自醫學、生物學、心理學、物理、化學、數學等領域的工作者不斷努力，在1900年人們認識到神經細胞是神經系統的基本功能單位，并逐步揭示了大腦的基本結構和神經細胞間信息傳遞的基本生物化學原理。

從麥卡洛克和皮茲建立的MP人工神經元模型，到達特茅斯會上“人工智能”這一術語的確立，再到羅森布拉特提出的感知機模型，終于在1950年代末，人工神經網絡掀起了第一次熱潮。這時，人們一度認為具備人工智能的機器很快就會普及，甚至有學者為：“二十年內，機器將能完成人能做到的一切”。而實際上，限于當時的計算機水平以及有限的數據量，多年后人工神經網絡依然無法在實際生產中得到應用。特別是”異或”問題和《萊特希爾報告》的打擊，致使人工神經網絡的應用前景遭到質疑，研究經費迅速枯竭。1960年代末，以人工神經網絡為代表的人工智能研究進入了低谷。1980年代，人工智能之火又重新燃起，不過這一次站在主流舞臺上的不是人工神經網絡，而是“專家系統”，這一輪熱潮持續到到了80年代晚期。

到了21世紀的今天，人工智能再次在全世界范圍內火爆起來，而且主角又回到了人工神經網絡，或者說是深度學習（即多層的人工神經網絡）。深度學習應用到圖像識別、目標檢測、語音識別、語言翻譯、自動駕駛、自動控制等等很多領域，都非常成功。

2 曾經的尷尬處境

從1960年代末開始，人工神經網絡的發展經過了漫長的默默耕耘過程。科學的發展向來都是跌宕起伏的，意志不堅定的人被無情地淹沒，而隱忍前行的人則可能到達成功的彼岸。

雖然在2006年之前，人工神經網絡的發展并沒有停止，陸續有新的算法提出，但成功的民用的項目很少，因此在普通民眾心中“人工神經網絡”（以及“人工智能”）僅僅是少數人的游戲。在這段時間內，人工神經網絡技術不再有頭上的光環，大量的研究人員離開這個方向，幾乎沒人再相信人工神經網絡的前景。Yann LeCun回憶說：“20世紀60年代后期，人工智能背景下的統計學習方法就像被判了死刑，人們或多或少地放棄了它。”，這里統計學習方法當然包括人工神經網絡方法。人工神經網絡曾經遭遇“異或問題”、“自動學習問題”、“梯度消失/爆炸問題”、“局部最優問題”、“過擬合”問題等一些列難題。20世紀末，其他類型的淺層學習技術得到發展，他們的效果甚至一度超過了多層神經網絡。

1995，Jackel和Vapnik打賭時，Vapnik（SVM的提出者）堅信：到2005年，沒人會使用他們在10年前就擁有的神經網絡架構，然而每個人都會使用SVM。可見當時人工神經網絡尷尬的地位。

3 堅持到成功

令人欣慰的是，“連結主義”者們沒有放棄他們的陣地。2006年，這個局面開始改變。這一年，Hinton和他的學生在《Science》上發表了一篇文章，將“逐層預訓練+全局微調”的思想引入多層人工神經網絡，提出深度信念網絡 (Deep Belief Network，DBN)。雖然DBN在之后并沒有被廣泛應用，但它提出了一種人工神經網絡深度學習（Deep Learning）的方法，增強了人們的信心。就在同一年，還有兩個團隊也在深度學習上取得了成功。深度學習的序幕就此拉開。如今，各種花樣的深度學習模型層出不窮，深度學習的成果廣泛應用于各個領域，各方投資蜂擁而至，世界各國紛紛把新一輪的人工智能提升到國家發展的戰略高度。借助于深度學習架構，人工神經網絡技術重新成為了科學生活的主角。

觀念決定態度，態度決定行為，行為決定結果。思想是行動的先導，堅定的科學信念是創造創新性學術成果的內動力。Hinton的堅持從研究生階段就開始了，據說他的導師反對他做這個方向，而他一再堅持。他說：“我從沒懷疑過，因為大腦必然是以某種方式工作的，但絕對不是以某種規則編程的方式工作的。”。的確，Hinton的判斷是正確的，他堅定的科學信念帶來了巨大成功。2019年3月27日，美國計算機協會（ACM）宣布把2018年的圖靈獎（Turing Award）頒給深度學習的三位先驅Geoffrey Hinton、Yoshua Bengio和Yann LeCun，以表彰他們為當前人工智能的發展所做出的貢獻。

4 人工神經網絡的缺陷

目前，人工神經網絡的成功，主要得益于誤差反向傳播(BP)算法。BP算法是基于梯度下降的迭代求解方法。如果你對BP算法還不了解，可以想想鐵匠打鐵的過程。BP神經網絡的訓練就好比是打鐵，看著哪里不行就來一錘子，到處反復打，最后你就得到了你想要的東西。

這個打鐵的方法，本質上就是“頭疼醫頭，腳疼醫腳”的思路。牽一發而動全身，局部的治療可能會對全局帶來不可預測的影響。你敲一錘子下去，這個地方砸下去了，別的地方可能就會鼓起來了。我們通常會不贊成這樣做，而更贊成全局的方法，就是在整體考慮后給出總綜合的治療方案。所以，也難怪最初很多人并不看好BP這個方法。但是，實踐證明，這個方法確實可以打造出你想要的東西，因此就得到了眾人的認可，被大家拿來打造各種各樣的產品，有人打造“人臉識別”系統、有人打造“語音識別系統”，還有人打造“自動駕駛系統”，等等。這就是人工神經網絡的現行技術，一兩層的淺層神經網絡也好，幾百層深度神經網絡也好，都是這個道理。

按照BP算法進行訓練，人工神經網絡會出現遺忘癥，學著新知識會忘掉老知識，這種可塑性與穩定性的矛盾是一個還無法破解的難題。神經網絡缺乏系統的數學理論，他的預測結果具有“黑盒子”特性，經過完好訓練的神經網絡有可能對某些輸入樣例得到完全錯誤的輸出結果，即所謂的“對抗樣本”問題。基礎理論并不成熟的工程應用會帶來極大的隱患。有人說人工神經網絡更像是一種藝術，而不是科學。

5 勇敢地否定

深度學習之父Geoffery Hinton說，他想把反向傳播算法(Back propagation algorithm，簡稱BP算法)扔掉、從頭再來（“My view is throw it all away and start again.”）。他是“深度學習”的支柱人物，而BP是目前深度學習的基礎，他能夠這樣說，需要足夠的勇氣。

對自己的信念要堅持，對于現有的成果和權威則要敢于懷疑和否定。科學精神就包括懷疑、批判、不斷自我揚棄的精神。當今社會，以深度學習為代表的的人工智能充斥這社會的各個角落，被廣大民眾特別是媒體人士津津樂道，大力宣揚，甚至人們開始為人工智能“不可控”而擔憂，這一幕讓我不禁回想起1960年代的人工神經網絡熱潮和1980年代的專家系統，何等相似。我們需要冷靜思考，保持懷疑、批判的科學精神，認識到現有方法的不足和局限性，從而為開拓新思路提供動力，這是很有必要的。

6 繼續前行

生物神經網絡是一個復雜的系統，人工神經網絡的發展依賴于腦科學、神經生理、認知心理學的共同發展。而目前的深度學習不管有多深，它很可能僅僅是生物神經系統中的一個零件一個步驟，距離真正能夠自我獲取知識的智能機器相比還有很大的距離。無論是CNN、LSTM、Attention、ResNet還是GAN，都還不能解釋大腦智能的原理，特別是意識的產生過程。Hinton近幾年推崇的膠囊網絡模型，采用神經細胞團組方法，受啟發于祖母細胞的概念。膠囊網絡依據對上層單元輸出的貢獻度來調節他們之間的連接強度，初步顯示了較好的性能，有待進一步研究。

沉舟側畔千帆過,病樹前頭萬木春。連接主義的一代又一代信奉者將繼續努力，揭示人類大腦和人工神經網絡的更多奧秘。