青山遮不住，畢竟東流去

張志華

深度學習這個術語自2006年被正式提出后，在最近10年得到了巨大發展。它使人工智能（AI）產生了革命性的突破，讓我們切實地領略到人工智能給人類生活帶來改變的潛力。2016年12月，麻省理工大學出版社出版了Ian Goodfellow、Yoshua Bengio和Aaron Courville三位學者撰寫的《深度學習》（Deep Learning）一書。三位作者一直耕耘于機器學習領域的前沿，引領了深度學習的發展潮流，是深度學習眾多方法的主要貢獻者。該書正應其時，一經出版就風靡全球。

該書包括三個部分，第一部分介紹基本的數學工具和機器學習的概念，它們是深度學習的預備知識。第二部分系統深入地講解現今已成熟的深度學習方法和技術。第三部分討論某些具有前瞻性的方向和想法，它們被公認為是深度學習未來的研究重點。因此，該書適用于不同層次的讀者。我本人在閱讀該書時受到啟發良多，大有裨益，并采用該書作為教材在北京大學講授深度學習課程。

這是一本涵蓋深度學習技術細節的教科書，書中也蘊含了作者對深度學習的理解和思考，處處閃爍著深刻的思想，耐人回味。

作者在書中寫到：“人工智能的真正挑戰在于解決那些對人來說很容易執行、但很難形式化描述的任務，比如識別人們所說的話或圖像中的臉。對于這些問題，我們人類往往可以憑直覺輕易地解決。”為了應對這些挑戰，他們提出讓計算機從經驗中學習，并根據層次化的概念體系來理解世界，而每個概念通過與某些相對簡單的概念之間的關系來定義。由此，作者給出了深度學習的定義：“層次化的概念讓計算機構建較簡單的概念來學習復雜概念。如果繪制出表示這些概念如何建立在彼此之上的一幅圖，我們將得到一張‘深（層次很多）的圖。由此，我們稱這種方法為AI深度學習。”

作者指出：“一般認為，到目前為止深度學習已經經歷了三次發展浪潮：20世紀40年代到60年代深度學習的雛形出現在控制論（cybernetics）中，20世紀80年代到90年代深度學習以聯結主義（connectionism）為代表，而從2006年開始，以深度學習之名復興。”

談到深度學習與腦科學或者神經科學的關系，作者強調：“如今神經科學在深度學習研究中的作用被削弱，主要原因是我們根本沒有足夠的關于大腦的信息作為指導去使用它。要獲得對被大腦實際使用算法的深刻理解，我們需要有能力同時監測（至少是）數千相連神經元的活動。我們不能夠做到這一點，所以我們甚至連大腦最簡單、最深入研究的部分都還遠遠沒有理解。”值得注意的是，我國有些專家熱衷倡導人工智能與腦科學或認知學科的交叉研究，推動國家在所謂的“類腦智能”等領域投入大量資源。且不論我國是否真有同時精通人工智能和腦科學或認知心理學的學者，至少對交叉領域，我們都應該懷著務實、理性的求是態度。唯有如此，我們才有可能在這一波人工智能發展浪潮中有所作為，而不是又成為一群觀潮人。

深度學習和人工智能不是飄懸在我們頭頂的框架，而是立足于我們腳下的技術。我們誠然可以從哲學層面或角度來欣賞科學與技術，但過度地從哲學層面來研究科學問題只會導致一些空洞的名詞。關于人工神經網絡在20世紀90年代中期的衰落，作者分析到：“基于神經網絡和其他AI技術的創業公司開始尋求投資，其做法野心勃勃但不切實際。當AI研究不能實現這些不合理的期望時，投資者感到失望。同時，機器學習的其他領域取得了進步。比如，核方法和圖模型都在很多重要任務上實現了很好的效果。這兩個因素導致了神經網絡熱潮的第二次衰退，并一直持續到2007年。”

“其興也悖焉，其亡也忽焉”。這個教訓也同樣值得當今基于深度學習的創業界、工業界和學術界等警醒。