人工智能與深度學習

張淳杰

人工智能與深度學習

張淳杰

（中國科學院自動化研究所，北京 100190）

人工智能（Artificial Intelligence，AI）是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。作為計算機科學的一個分支，它企圖了解智能的實質，并生產出一種能智能地做出反應的機器。相關的研究內容包括機器人、語言識別、圖像/視頻分析、自然語言處理等。人工智能是一門極富挑戰性又十分廣泛的科學。

人工智能；深度學習；循環神經網絡（RNN）；生成對抗網絡（GAN）

人工智能正成為推動人類進入智能時代的決定性力量。全球產業界充分認識到人工智能技術引領新一輪產業變革的重大意義，紛紛轉型發展，搶灘布局人工智能創新生態。世界主要發達國家均把發展人工智能作為提升國家競爭力、維護國家安全的重大戰略，力圖在國際科技競爭中掌握主導權。習近平總書記在十九屆中央政治局第九次集體學習時深刻指出，加快發展新一代人工智能是事關中國能否抓住新一輪科技革命和產業變革機遇的戰略問題。錯失一個機遇，就有可能錯過整整一個時代。新一輪科技革命與產業變革已曙光可見，在這場關乎前途命運的大賽場上，必須搶抓機遇、奮起直追、力爭超越。

1 人工智能發展歷史

1956年夏，麥肯錫（MCKINSEY）、明斯基（MINSKY）、羅切斯特（ROCHESTER）和香農（SHANNON）等科學家在美國達特茅斯學院（Dartmouth College）開會研討“如何用機器模擬人的智能”，首次提出“人工智能”這一概念，標志著人工智能學科的誕生。人工智能研究目的是使機器會聽（語音識別和機器翻譯等）、會看（圖像識別與視頻分析等）、會說（語音合成與自動問答等）、會思考（人機博弈與推理求解等）、會學習（知識表示）、會行動（智能機器人與自動駕駛等）。

國內外很多研究機構都在進行相關技術的研究。例如，美國的麻省理工學院、斯坦福大學、普林斯頓大學、卡內基美隆大學、加州大學伯克利分校、伊利諾伊大學香檳分校、康奈爾大學、哥倫比亞大學、耶魯大學等，英國的劍橋大學、牛津大學、帝國理工大學，法國國家信息與自動化研究所（INRIA），瑞士蘇黎世聯邦理工學院，新加坡國立大學、南洋理工大學，香港科技大學等。國內也有很多機構和大學進行相關研究工作，包括中國科學院自動化研究所、清華大學、北京大學、中國科學技術大學、復旦大學、上海交通大學、哈爾濱工業大學、廈門大學、西安交通大學、西安電子科技大學等。

人工智能的研究歷史充滿了曲折起伏。自1956年以來，人工智能已經走過了63個春秋。其發展歷程曲折反復，按照中國科學院譚鐵牛院士的劃分，人工智能的發展歷程有六個階段：第一個階段是起步發展期（1956年至20世紀60年代初），在人工智能概念提出后，取得了一系列的研究成果，如機器定理證明、跳棋程序等，掀起人工智能發展的第一個高潮；第二個階段是反思發展期（20世紀60年代到70年代初），初期的突破性進展提升了人們的期望，人們開始提出了一些不切實際的研發目標，然而，接二連三的失敗和預期目標的落空（例如，無法用機器證明兩個連續函數之和還是連續函數），人工智能發展開始走入低谷；第三個階段是應用發展期（20世紀70年代初至80年代中），20世紀70年代出現了專家系統，通過模擬人類專家的知識和經驗解決特定領域的問題，專家系統在醫療等多個領域取得成功，推動人工智能走入應用發展的新高潮；第四個階段是低迷發展期（20世紀80年代中葉至90年代中葉），隨著人工智能的應用規模不斷擴大，專家系統應用領域狹窄、缺乏常識性知識、知識獲取困難等問題逐漸暴露，相關研究進展緩慢；第五個階段是穩步發展期（20世紀90年代中葉至2010年），隨著互聯網技術的發展，數據開始大規模累加計，促進了人工智能的創新研究，使得人工智能技術走向實用化；第六個階段是蓬勃發展期（2011年至今），隨著大數據、云計算、互聯網、物聯網等信息技術的發展，推動了以深度神經網絡為代表的人工智能技術飛速發展，廣泛應用于圖像分類、語音識別、知識問答、人機對弈、無人駕駛等領域，迎來爆發式增長的新高潮。

從應用的任務來看，人工智能可以分為專用人工智能和通用人工智能。對人工智能的相關技術研究涉及眾多的學科與技術，如模式識別、數據挖掘、機器學習、腦科學等。真正意義上的人工智能系統應該是一個通用的智能系統，但是通用人工智能研究與應用剛剛起步。專用人工智能系統面向特定任務，需求明確、應用邊界清晰、領域知識豐富、建模相對簡單，容易被突破，取得超越人類的性能。例如，阿爾法狗（AlphaGo）在圍棋比賽中戰勝人類。專用人工智能取得突破性進展的重要原因是機器學習相關技術，特別是深度學習的快速發展。

2 深度學習技術發展狀況

最早的神經網絡的思想起源于1943年的MP人工神經元模型，其設計理念是用計算機來模擬人的神經元反應的過程。通過將神經元簡化為輸入信號線性加權、求和、非線性激活（閾值法）三部分。1958年ROSENBLATT發明感知器（perceptron）算法。通過使用MP模型使用梯度下降法從訓練樣本中自動學習更新權值，對輸入的多維數據進行二分類。在1986年，HINTON發明了BP（back propagation）算法，通過采用Sigmoid函數進行非線性映射，解決了非線性分類問題。1989年，LECUN發明了卷積神經網絡LeNet，在數字識別任務取得良好成績。1997年，適用于序列建模的LSTM模型被提出。1995年，VAPNIK提出線性支持向量機（SVM），該方法的數學理論基礎較為完備（統計學與凸優化等）并且符合人的直觀感受。2000年，核化SVM（Kernel SVM）被提出來解決原始空間表示線性不可分的問題。2001年，圖模型被提出。

人們大多把2006年看作是是深度學習元年。這年，HINTON提出了深層網絡訓練中梯度消失問題的解決方案。其主要思想是先通過自學習的方法學習訓練數據的結構（自動編碼器），之后在該結構上進行有監督訓練。相比于手動設計的特征或淺層的特征表示，多層卷積結構是當前計算機視覺領域最先進、最具吸引力的結構之一。相關的研究內容也在快速發展中。2011年，ReLU激活函數被提出來抑制梯度消失問題。2012年，AlexNet網絡取得ImageNet比賽的冠軍，吸引到了研究者的注意。AlexNet網絡采用ReLU激活函數增大收斂速度；通過擴展LeNet5結構，添加Dropout層減小過擬合，LRN層增強泛化能力；并采用GPU進行加速。其主要包含局部感知、權值共享、卷積和池化四個部分。在局部感知環節，由于圖像局部的像素聯系緊密，而距離遠的像素相關性較弱。因此，每個神經元其實只需對局部區域進行感知。而權值共享則可以大大減少卷積神經網絡的參數數量。卷積是利用卷積核對圖像進行特征提取。最重要的就是卷積核的大小、步長設計和數量的選取，個數越多提取的特征越多，但網絡復雜度也在增加。池化層一般在卷積層后，通過池化來降低卷積層輸出的特征向量維數。采用的池化方法是平均池化（mean pooling）和最大池化（max pooling）。

受AlexNet的啟發，針對圖像分類任務出現了大量新的網絡結構。改進思路主要是增大網絡的規模，包括深度和寬度。但是，網絡參數增加之后更容易出現過擬合，計算量也隨之增加。在眾多改進的網絡中，比較有代表性的是GoogleNet、VGG和ResNet。GoogLeNet由Google在2014年提出，其主要創新引入了Inception機制對圖像進行多尺度處理，大幅減少了參數數量。通過將多個不同尺度的卷積核，池化層進行整合，形成一個Inception模塊。VGG網絡由牛津大學視覺組（Visual Geometry Group）于2014年提出。VGG結構簡潔、拓展性強、泛化性好。整個網絡都使用了同樣大小的卷積核尺寸（3×3）和池化尺寸（2×2）。ResNet（殘差網絡）用跨層連接擬合殘差項來解決深層網絡難以訓練的問題，將網絡的層數推廣到了前所未有的規模（152層），深度是VGG網絡的8倍但復雜度卻更低。

在這些網絡的基礎上，又有很多改進版本的網絡結構出現。Inception-V2基于GoogleNet的基本結構進行了改進。加入了BN層，用2個3×3的conv替代Inception模塊中的5×5，既降低了參數數量，也加快了計算速度。Inception-V3將7×7的卷積核分解成兩個一維的卷積。這樣做既可以加速計算，減少參數規模，又可以將1個卷積拆成2個卷積，使得網絡深度進一步增加，增加了網絡的非線性。傳統的提高模型準確率的做法，都是加深或加寬網絡，但是隨著超參數數量的增加，網絡設計的難度和計算開銷也會增加。ResNeXt的設計目的為在不增加參數復雜度的前提下提高準確率。它采用了VGG堆疊的思想和Inception的split-transform-merge思想，但是可擴展性比較強，在增加準確率的同時基本不改變或降低模型的復雜度。DenseNet是一種具有密集連接的卷積神經網絡。在該網絡中，任何兩層之間都有直接的連接。DenseNet的優點是網絡更窄，參數更少。同時這種連接方式使得特征和梯度的傳遞更加有效，網絡也就更加容易訓練。以上網絡的計算量都很大。為了在手機等嵌入式設備上進行應用，Google提出了一種輕量級的深層神經網絡MobileNets。其設計的核心為Separable Convolution，可以在犧牲較少性能的基礎上有效減少參數量和計算量。Separable Convolution將傳統的卷積運算用兩步卷積運算代替：Depth-wise convolution與Pointwise convolution。后續的MobileNet-v2增加了殘差結構，并在Depth-wise convolution之前添加一層Pointwise convolution，優化了帶寬的使用，進一步提高了性能。

循環神經網絡（RNN）是用于處理序列數據相關任務的多層神經網絡模型。它可以看作是神經網絡的一種特殊類型，隱藏單元的輸入由當前時間步所觀察到的數據中獲取輸入以及它在前一個時間步的狀態組合而成。雖然循環神經網絡是一類強大的多層神經網絡模型，但其主要問題是模型對時間的長期依賴性，由于梯度爆炸或梯度消失，這種限制將導致模型訓練過程在網絡回傳過程中誤差的不平穩變化。長短期記憶網絡（LSTM）在一定程度上解決了這個問題。LSTM 包含遺忘門，使得網絡能夠刪除一些不必要的信息。生成對抗網絡（GAN）是2014年首次引入的一種新型多層神經網絡模型。雖然生成對抗網絡并沒有多種不同的網絡構建模塊，但這種網絡結構具有一些特殊性。通過引入無監督學習，模型的訓練不再依賴大量標記數據。一個標準的生成對抗模型主要由兩部分子網絡組成：生成網絡和判別網絡，兩個子網絡都是預先定義好的多層網絡結構。自提出以來，生成對抗網絡就得到了廣泛的關注和研究。

盡管各種精心設計的卷積模型在多個應用中取得了優異表現，但在模型結構的工作方式理解及探索這些結構的有效性方面則進展緩慢。現有的用于理解卷積結構的方法可以分成三個方向：卷積可視化、消融學習、網絡最小化學習。

卷積可視化有兩種方法：①以數據集為中心，采用反卷積（DeConvNet）操作。一個卷積結構接收來自數據集的幾個圖像并記錄數據集中輸入的特征映射最大響應，這些特征地圖使用反卷積結構，通過反轉卷積操作模塊，將卷積操作中學習到的濾波器特征進行轉置來執行“解卷積”操作，從而實現卷積的可視化分析。②以網絡為中心，通過合成圖像來實現。網絡消融通過隔離卷積結構的不同部分組成網絡，查看刪除或添加某些模塊如何模擬整體的性能。消融研究能夠指導研究者設計出性能更優的網絡結構。網絡最小化學習在網絡設計時添加先驗知識，從而最大限度地減少所需學習的模型參數。

3 總結與展望

人工智能經過60多年的發展已取得了重大進展，但總體上還處于初級階段。人工智能既具有巨大的理論與技術創新空間，也具有廣闊的應用前景。一方面，中國人工智能發展的總體態勢良好。黨中央、國務院高度重視并大力支持發展人工智能。習近平總書記在黨的十九大、2018年兩院院士大會、全國網絡安全和信息化工作會議、十九屆中央政治局第九次集體學習等場合多次強調要加快推進新一代人工智能的發展。2017-07，國務院發布《新一代人工智能發展規劃》，將新一代人工智能放在國家戰略層面進行部署。2019-03，中央全面深化改革委員會第七次會議審議通過了《關于促進人工智能和實體經濟深度融合的指導意見》。中國發展人工智能具有市場規模、應用場景、數據資源、人力資源、智能手機普及、資金投入、國家政策支持等多方面的綜合優勢。當前是中國加強人工智能布局、收獲人工智能紅利、引領智能時代的重大歷史機遇期。中國已成為全球人工智能投融資規模最大的國家，中國人工智能企業在人臉識別、語音識別、安防監控、智能音箱、智能家居等應用領域處于國際前列。另一方面，也應該看到差距和困難。發達國家通過人工智能技術創新掌控了產業鏈上游資源，難以逾越的技術鴻溝和產業壁壘有可能進一步拉大發達國家和發展中國家的生產力發展水平差距。目前中國在人工智能理論創新方面尚處于“跟跑”地位，大部分創新偏重于技術應用，在基礎研究、原創成果、頂尖人才、技術生態、基礎平臺、標準規范等方面與世界領先水平還存在明顯差距。人工智能對工業、交通、醫療等傳統領域的滲透和融合是個長期過程，很難一蹴而就。

TP18

A

10.15913/j.cnki.kjycx.2019.13.011

2095－6835（2019）13－0025－03

張淳杰，中國科學院自動化研究所副研究員，碩士生導師，人工智能開放創新平臺聯合學者，研究方向為計算機視覺和人工智能。

〔編輯：張思楠〕