掀起人工智能熱潮的重要技術

佚名

熱潮人工智能很熱，最重要的技術之一就是深度學習技術。今天談到深度學習的時候，其實已經可以看到各種各樣的應用，包括圖像、視頻、聲音、自然語言處理等。大多數人認為，深度學習就等于深度神經網絡。

什么是深度學習

給大家看一個例子。有一個非常著名的學會是國際工業與應用數學學會，他們有一個報紙叫 SIAM News。去年 6 月份的頭版上有一篇文章，它里面的重點說的就是深度學習是什么？它（深度學習）是機器學習的一個子域（subfield），這里面要用深度神經網絡。

要談深度學習，首先要從神經網絡開始。神經網絡并不是一個新生事物，人們已經研究了超過半個世紀。但以往我們會用這樣的神經網絡，就是中間有一個隱層或者有兩個隱層。在這樣的神經網絡里面，它的每一個單元是什么樣的呢？是個非常簡單的計算模型。

比如說一個計算模型，實際上半個多世紀以前我們就已經總結出來了。我們收到一些輸入，這些輸入通過一些連接放大，到了細胞之后，它的“加和”如果超過一個閾值，這個細胞就激活了。

今天說深度神經網絡的時候指的是什么？其實簡單來說就是用的神經網絡有很多層，很深很深。大概多少？看一個數據，2012 年深度學習剛剛受到大家的重視的時候，一個 ImageNet 競賽的冠軍用了 8 層，2015 年 152 層，2016 年 1207 多層，這是一個非常龐大的系統。

要把這個系統訓練出來難度非常大，但有一個非常好的消息，真正的神經網絡里的計算單元，它最重要的激活函數是連續的，是可微的。以前在神經網絡里面經常用 Sigmoid，它是連續可微的，現在在深度神經網絡里，經常用 tanh 或者 tanh 的變體，它也是連續可微的。有了這么一個性質以后，會得到非常好的結果，這個結果就是可以很容易計算系統的梯度。因此就可以很容易用著名的 BP 算法（注：反向傳播算法）來訓練這系統。

通過這樣的算法，神經網絡已經取得了非常多的勝利，但實際上在學術界大家一直沒有想清楚一件事情，就是為什么要用這么深的模式？可能今天有很多人會說深度學習已經取得了很多的成功，但一個很大的問題就是理論基礎不清楚，理論上還說不清楚它到底怎么做？為什么會成功？這里面的關鍵是什么？其實根本不知道該從什么角度去看它。

深度學習成功的關鍵

機器學習模型的復雜度實際上和它的容量有關，而容量直接決定了它的學習能力，所以說學習能力和復雜度是有關的。如果能夠增強一個學習模型的復雜度，它的學習能力就能夠提升，那么怎樣去提高復雜度呢？

對神經網絡這樣的模型來說有兩條很明顯的途徑，一條是把模型變深，一條是把它變寬。但是如果從提升復雜度的角度來講，變深會更有效。當變寬的時候，只不過增加了一些計算單元、增加了函數的個數，而在變深的時候不僅增加了個數，還增加了嵌入的層次，所以泛函的表達能力會更強。從這個角度來說，應該嘗試變深。既然要變深，為什么現在才開始做呢？其實這就涉及到另外一個問題，我們在機器學習里面把學習能力變強了，這其實未必真的是一件好事。因為機器學習一直在斗爭的一個問題，就是我們經常會碰到擬合。

給定一個數據集，我們希望把數據集里的東西學出來，但是有時候可能把這個數據本身的一些特性研究出來，而這個特性卻不是一般的規律。當把研究出來的錯誤東西當成一般規律用的時候，就會犯巨大的錯誤，這種現象就是過擬合。為什么會把數據本身的特性研究出來？就是因為我們的模型研究能力太強了。

所以以往我們不太用太復雜的模型，為什么現在我們可以用這樣的模型？其實有很多因素，第一個因素是現在有很大的數據，那么比如說我手上如果只有 3000 多數據，研究出來的特性就不太可能是一般規律。但是如果有3000萬、甚至3000億的數據，那么這些數據里的特性本來就是一般規律，所以使用大的數據本身就是緩解過擬合的關鍵條件。

第二個因素，今天有很多很強大的計算設備，所以才能夠訓練出這樣的模型，同時通過領域里很多學者的努力，有了大量關于訓練這樣復雜模型的技巧和算法，所以這使得使用復雜模型成為可能。按照這個思路來說，其實有三件事：第一，今天有更大的數據；第二；有強力的計算設備；第三，有很多有效的訓練技巧。

這導致我們可以用高復雜度的模型。而深度神經網絡恰恰就是一種很便于實現的高復雜度的模型。所以這么一種理論，好像能告訴我們為什么現在能用深度神經網絡。為什么它能成功？就是因為復雜度大。如果從復雜度解，就沒有辦法說為什么扁平的或者寬的網絡做不到深度神經網絡的性能？因為事實上把網絡變寬，它的效率不是那么高，但是它同樣也能起到增加復雜度的能力。實際上在 1989 年的時候就已經有一個理論證明，說神經網絡有萬有逼近能力：只要你用一個隱層，就可以以任意精度逼近任意復雜度的定義在一個緊集上的連續函數。這里面要引用一個說法，神經網絡有萬有逼近能力，可能是有的人會認為這是導致神經網絡為什么這么強大的一個主要原因，其實這是一個誤解。

在機器學習里用到的所有模型，它必須具有萬有逼近能力。如果沒有這個能力，根本不可用。其實只要有一個隱層，加無限度的神經元進去，它的能力也會變得很強，復雜度會變得很高。但是這樣的模型無論在應用里面怎么試，都不如深度神經網絡好。深度神經網絡里最本質的東西到底是什么？今天我們的答案可能是要做表示學習的能力。以往我們用機器學習，首先拿到一個數據，比如這個數據對象是一個圖像，我們就用很多特征把它描述出來，比如說顏色、紋理等等，這一些特征都是人類專家通過手工來設計的，表達出來之后再去進行學習。

而今天我們有了深度學習之后，不再需要手工設計特征，把數據從一端扔進去，模型從另外一端出來，中間所有的特征完全通過學習自己來解決，這是所謂的特征學習或者表示學習，這和以往的機器學習技術相比是一個很大的進步，不再需要完全依賴人類專家去設計特征了。

工業界認為這里面有一個很重要的概念叫做端到端學習。其實這一件事情要分兩個方面來看：一個方面當把特征學習和分類器學習聯合起來考慮，可以達到聯合優化的作用，這是好的方面；但另一方面，這里面發生什么我們不清楚時，端到端的學習不一定真的好，因為可能第一部分往東，第二部分往西，合起來看往東走的更多一些，其實內部有一些東西已經抵消了。實際上機器學習里面早就有端到端學習，比如說做特征選擇，但這類方法是不是比其他特征選擇的方法要強？不一定，所以真正重要的還是特征學習或者表示學習。

表示學習的關鍵

表示學習的關鍵是逐層的處理。當拿到一個圖像的時候，如果把神經網絡看做很多層的時候，首先在最底層看到的是一些像素的東西，當一層一層往上的時候，慢慢的有邊緣，再往上有輪廓等等，在真正的神經網絡模型里不一定有這么清晰的分層，但總體上是在往上不斷做對象的抽象。

而這個特點，我們現在認為是深度學習真正成功的關鍵因素之一，因為扁平神經網絡能做很多深層神經網絡所做的事，但是有一點它做不到：當它是扁平的時候，就沒有進行一個深度加工，所以深度的逐層抽象可能很關鍵。

以前有很多逐層處理的東西，比如說決策樹，它就是逐層處理，這是非常典型的模型。這個已經有五六十年的歷史了，但它為什么做不到深度神經網絡這么好呢？

首先它的復雜度不夠，因為決策樹的深度，如果只考慮離散特征，其最深的深度不會超過特征的個數，所以它的模型復雜度有上限；第二整個決策樹的學習過程中，它內部沒有進行特征變化，始終是在一個特征空間里面進行，這可能也是一個問題。

大家如果對高級一點的機器學習模型有所了解，可能會問，現在很多 Boosting 模型也是一層一層往下走，為什么它沒有取得深度學習的成功？首先復雜度還不夠。其次，它始終在原始空間里面做事情，所有的這些學習器都是在原始特征空間，中間沒有進行任何的特征變換。