AI發展的三個火槍手

何寶宏

人工智能是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學，隨著AI的發展，新數據、新算法和新算力（如GPU），是AI取得重大突破的“三大主力”。

人工智能是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學，隨著AI的發展，新數據、新算法和新算力（如GPU），是AI取得重大突破的“三大主力”。

三大主力推進AI發展

第一大主力就是改進的算法。

神經網絡誕生于上世紀60年代，最初只包括輸入層、隱藏層和輸出層。輸入層和輸出層通常由應用決定，隱藏層包含神經元可供訓練。2006年，Geoffrey Hinton的團隊在《科學》上發表了一篇文章，提出了深度學習的概念，指出可以用更多隱藏層做算法訓練，因為實驗效果顯著，開啟了學界和產業界AI的新浪潮。相比傳統的機器學習，深度學習可以讓機器自動學習，無需人工事先設定。另外，針對不同的應用場景，傳統機器學習算法需要把軟件代碼重寫一邊，而深度學習只需要調整參數就能改變模型。這好比計算機的可編程性，早期指“硬件編程”，現在則指軟件編程；早期機器學習是軟件編程，深度學習則是“參數編程”。

第二大主力則是海量的數據。

深度學習是數據驅動的，用數據來做訓練。一般而言，學習的深度越深和廣度越大，需要的數據量就越大，需要的數據種類就越多。深度學習與大數據有交叉但不重疊。深度學習強調的是算法，大數據強調的資源，而算法是用于處理數據的。

深度學習的訓練分兩種。一種是有監督的，就是人工為數據加了標簽，計算機知道正確答案，這種方法的缺點是，現實世界中被打了標簽的數據太少了。另外一種是無監督的，只有數據沒有人工的標簽，計算機不知道正確答案就可以訓練。

最后的主力則是老硬件的新應用。

AI的新算法和新數據，都以大幅增加對計算資源的消耗為前提。業界找到的新動力，或者說新的計算資源，就是GPU（圖形處理單元）。60多年來AI市場規模一直很小，支撐不起AI專用芯片的市場。因此早期的機器學習，只能基于廉價而廣泛存在的CPU提供計算資源，CPU是通用處理器，要兼顧計算密集型和數據密集型應用。CPU為了照顧數據密集型的應用，設計了很多緩存，相應的計算能力就被削弱了。

GPU誕生于上世紀90年代，設計專用于高并發計算、大量浮點計算和矩陣計算能力的視頻游戲和圖形渲染等應用，即計算密集型應用。深度學習正好就是計算密集型的。在2008年-2012年，業界逐步摸索到了，如何將深度學習與GPU有機結合起來的工程方法，直接將深度學習的速度加快了數百倍，讓產業界看到了把AI實用化的希望。

GPU之于AI，就像x86之于PC、ARM之于智能手機，前者是供給側，后者是需求側。

AI外圍的“三股勢力”

如果說，新數據、新算法和新算力（如GPU），是AI取得重大突破的“三大主力”。那么，云計算、開源和摩爾定律就是AI外圍最重要的“三股勢力”，同樣至關重要。

經過10年的發展，云計算已經走過了概念驗證（POC）的階段，進入了規模落地的時期，正在發展成為新時期的關鍵信息基礎設施。云計算就像20多年前TCP/IP那樣，正在改變這個世界。云計算不僅直接推動了大數據的興起，也正在讓AI as a Service（AaaS） 成為現實。產業界云計算“大佬”紛紛推出“GPU/FPGA/算法/數據as a Service”業務，可以通過云端直接租用資源，方便用戶做深度學習。

如果說20多年前以Linux為代表的開源主要是在模仿商業軟件的做法，那么今天開源已經能夠引領技術發展的潮流了。近10年來，不僅是軟件定義世界，而且是開源軟件定義世界。如果說2017年AI技術最大的變化是專用硬件的設計潮，那么2016年AI技術的最大變化則是巨頭們紛紛開源了深度學習框架，比如Facebook的Torch和Caffe，谷歌的Tensorflow，亞馬遜的MXnet，微軟的CNTK，IBM的SystemML等。10年前，Google開源了Android操作系統，成功打造了智能手機的Android生態。現在，Google等紛紛開源AI框架，希望打造“AI優先”時代的新生態，重現往日輝煌。

摩爾定律說，同樣成本每隔18個月晶體管數量會翻倍，反過來同樣數量晶體管成本會減半。50多年來，半導體行業的發展一直遵循著摩爾定律，并且已經擴展到了存儲、功耗、帶寬和像素等。當今世界約有30多億人使用的智能手機，每部的性能都超過上世紀80年代占據整個房間的超級計算機。近年來摩爾定律雖然有所減速，但仍然是CPU、GPU和TPU等快速發展的基礎。雖然Google號稱TPU把摩爾定律加速了7年，但摩爾定律仍然支配著CPU、GPU和TPU的性能曲線。endprint