深度學習“開掛”十年谷歌人工智能負責人剖析未來發展方向

自計算機出現后，人類就期盼能夠進一步創造出“會思考的機器”。1956年，美國計算機科學家、認知科學家約翰·麥卡錫首次提出“人工智能”的概念，試圖通過讓機器使用語言形成概念和邏輯，來解決各種問題并不斷改進自身。

此后的50年里，科學家開發了“基于邏輯、規則和神經網絡” 的各類人工智能系統。然而，這些將人類知識編碼成機器可讀內容的工作，即使耗費了大量人力、物力等資源，仍未能讓機器在自主學習方面取得重大進展。

直到2011年左右，人工智能及機器學習開始在眾多領域取得各項成就，不僅解決了一系列世界難題，還為新型的計算體驗和互動開辟了途徑。

近日，谷歌人工智能負責人杰夫·迪恩就深度學習這十年來的進展作了深入剖析，包括推動機器學習的計算硬件和開源軟件框架、機器學習的眾多應用以及未來的發展方向，并將相關文章發表在美國文理學會會刊Dae alus的人工智能與社會特刊上。

據了解，迪恩在本科階段就對神經網絡有濃厚的興趣，并以神經網絡并行訓練為課題進行了深入研究。當時他得出， 相對于1990年的計算機，需要多100萬倍的計算能力，神經網絡才能開始在挑戰性的問題上有所突破。

21世紀初，研究人員開始在深度學習算法中使用圖形處理單元（graphics processingunit，簡稱GPU）來作為硬件設備，GPU比CPU的浮點計算率相對更高。自此之后，深度學習在圖像識別、語音識別和語言理解等方面進展飛速，這促使研究人員開始設計比GPU更匹配深度學習算法需求的專用硬件設備。

關于構建專用硬件，深度學習算法具備兩個關鍵的特點，一是其對低精度的容忍度很高，二是其計算基本是由矩陣及向量的各種線性代數操作序列組成。因此，專門用于低精度線性代數計算的芯片和系統，有助于使深度學習算法的性能得到極大提升。

早期的這類芯片有谷歌的第一個張量處理單元（TPUv1），其針對深度學習推理的8位整數計算，在速度和每瓦性能方面比當代CPU和GPU有一到兩個數量級的改進，使谷歌在語音識別的準確性、語言翻譯和圖像分類系統方面有了巨大的改進。

伴隨其專用硬件的發展，推動深度學習研究的開源軟件框架出現了，這讓深度學習模型和計算的表達變得更加容易，同時幫助深度學習在更加廣泛的領域得以應用。

2015年，谷歌通過整合Theano和DistBelief 等早期強調規模和性能的框架，開發并開源可表達機器學習計算的TensorFlow，讓全世界的個人和組織在機器學習方面有了更多的發展機會。

由于硬件性能的不斷提升和開源軟件工具的普及，機器學習領域的研究產出及其應用激增。現在，機器學習領域的研究者，正在積極與神經科學、氣候科學、分子生物學以及醫療保健等方面的科學家合作，幫助解決一系列重要的問題，不僅帶來社會效益，而且推動了人類發展。

例如，機器學習可以幫助研究人員更多地了解基因構成，最終更有效地解決基于基因的疾病;機器學習可以幫助研究人員更好地了解天氣和環境，特別是預測日常天氣和洪水等氣候災害;機器學習也提供了幫助檢測和診斷疾病的新方法，當應用于醫療圖像時，計算機視覺可以幫助醫生更加快速、準確地分析判斷一些嚴重的疾病，甚至比醫生自己的能力更強。

值得一提的是，今天的機器學習技術也讓科學家對疾病的傳播方式有了更準確的了解，讓全球有更好的機會進行疾病預防。

最后，迪恩指出了機器學習的未來。他表示，“機器學習領域正在興起一些有趣的研究方向，如果將它們結合起來， 可能會更加有趣。”

第一是稀疏激活模型，如稀疏門控專家模型， 其顯示了如何建立非常大的容量模型，其中只有一部分模型為任何給定的例子“激活”。該模型的研究人員表明，這種方法的訓練效率是原來的9倍，推理效率是原來的2.5倍，而且更加準確。

第二是自動機器學習，如神經架構搜索或進化架構搜索等技術，能夠自動學習機器學習模型及其組件的各個方面，以優化特定任務的準確性， 通常涉及運行許多自動實驗，其中每個實驗可能涉及大量的計算。

第三是多任務機器學習，在幾項到幾十項相關任務的適度范圍內進行多任務訓練，或者從為相關任務訓練的大量數據中轉移學習，然后在為新任務訓練的少量數據中進行微調，已被證明在各種問題上非常有效。

如果將這3種技術方向結合起來，構建在大規模機器學習加速器硬件上運行的系統，這樣訓練出的單一模型可能是由許多不同結構的組件組成，可以處理數百萬任務，并且能夠自動學習成功地完成新任務。

建立一個能在機器學習的所有應用領域獨立處理新任務的系統，需要許多方面的專業知識和進步，橫跨機器學習算法、負責任的人工智能、分布式系統和計算機架構等領域。這是一個真正的巨大挑戰，但這將極大地推動人工智能的發展。

需要注意的是，雖然人工智能有能力在生活的許多方面幫助我們，但所有研究人員和從業人員都應確保這些方法的開發是負責任的，比如仔細審查偏見、公平、隱私及其他可能影響他人和社會的行為。E4A5341D-5141-4FAE-8EFE-B2C60D95CF7F