未來人工智能自主學習網絡的構建

摘 要 我們在摸索人工智能自主學習網絡構建方案的最優解過程中，由Norbert Wiener創立的控制論（Cybernetics）意在模仿人類思考過程到Geoffrey Hinton提出人工智能的自主學習應構建在類人神經網絡之上再到近年來深度學習（Deep Learning）與強化學習（Reinforcement Learning）的熱潮，再到目前人工智能發展進入瓶頸期，于此本論文希望將對人工智能如何在未來實現自主學習網絡的構建加以淺析。

【關鍵詞】強化學習 神經網絡 深度學習 人工智能 Capsule理論

1 傳統人工智能深度學習方式的困局

Frank Rosenblatt在1957年提出最早的神經網絡Perceptron開始了人類邁向仿生人類機器智能的第一步，但是其局限在于僅僅擁有兩層神經元（一個輸入層與一個輸出層）同時對于更多神經元的層數的加入及神經網絡的訓練方法上，此網絡難以應用于實際問題中，隨后Geoffrey Hinton通過BP（Backpropagation）誤差反向算法與最優化方法結合使用來作為訓練人工智能的手段，但是BP有一定局限性如學習速度慢且學習過程不穩定，而且容錯率低，于是徑向基網絡：RBF網絡應用而生，比起BP的多層單元，RBF將層數降低至3層同時使用了不同的激活函數使得RBF網絡具有“局部映射”特性，每個神經元相互影響效應甚微，可以看作由一個個負責不同“職能”的神經元結合在一起，然而RBF網絡的缺陷在于其僅僅是一個運算網絡的執行者，只能執行命令而自身沒有能力去解釋該命令背后的邏輯，例如我們現在使用的所謂智能助手，讓我們誤以為“他們“”具有一定程度人工智能，因為“他們”的回答無不模仿人類的語言構詞習慣，但是事實上智能助手更像是一個人類對話交流語言數據提取庫，通過大量的歸納重復，選擇其中的一些特定語句作為自己的標準答案來應答，并且進行同一問題的連續對話時，標準答案之間可能會毫不相干。我們使“他們”更多執行的是有明確任務趨向的指令式對話，雖然識別成功率很高但是距離其自主學習相距甚遠，他們甚至無法學會最簡單的“異或”邏輯，正如了解某一件事的名稱，并不等同于真正理解它一樣，在1997年擊敗人類國際象棋冠軍的IBM的“深藍”（Deep Blue）與2016年擊敗人類國際圍棋冠軍的Deep Mind的AlphaGo，“深藍”的勝利依靠的是其每秒高達幾億次的暴力運算窮舉，可以看作“只知其名”，而后者可以“會其意”但是“不明其理”雖然依靠的是深度學習體系---蒙特卡洛樹搜索（Monte Calro Tree Search）與價值網絡和策略網絡的結合，基于模擬的數百萬數千萬次自我獨立博弈，從中發揮強化學習的最大效力，借由蒙特卡洛樹搜索在與動態環境的“交互反饋”中尋求最優解，但是在處理R.Bellman提出的“維數詛咒”即現實世界中，強化學習要納入數百甚至數千個變量進行考慮，并且強化學習會消耗大量數據同時，自身依靠對于能夠進行模擬的案例，成功率更高，進而現實中均陷入一定的困局。

2 未來人工智能神經網絡的構建方向

對于機器又是如何完成“自我學習”這件事情，先前的BP類的構架更像是從粗鉑金到精鉑金的“提純”，而深度學習與強化學習像是從原礦石中獲取鉑金，不可避免的是需要大量的原礦石，這是深度學習與強化學習所需要的大量的數據，雖然深度學習與強化學習能夠得到很多基于大數據分析得到的“經驗公式”，執行“化繁為簡”的工作而不能做到“舉一反三”等。所以其深度學習模仿人腦行為的程度，只能停留在一個淺薄的層面，雖然不可否認目前深度學習在圖像處理，語音、模式識別這些領域仍處于絕對領先的地位，但是這并不是我們認知人工智能自主學習網絡的本質，如Geoffrey Hinton所言：目前人工智能局限性的關鍵在于搭建“一個連接計算機科學和生物學的橋梁”，受大腦皮層中的微柱體（mini-column）的啟發，近期他正式在論文中提出了更加成熟的Capsule理論，Capsule稱為膠囊，每一個Capsule表示的是它所檢測到的類型的一個多維實體的存在和實例化參數，作為一組神經元向量替代現在神經網絡的layer中作為簡單的標量neuron。Capsule其向量長度表征了某個實例（物體，視覺概念或者它們的一部分）出現的概率其方向（長度無關部分）表征了物體的某些實例的一些客觀屬性（包括位置、粗糙度、紋理和顏色等等），每一個capsule由對應一個layer中向量neuron構成，其本身可以進行大量運算，多個活躍同一層級預測一致的capsule輸出一個經過「squashing」的非線性函數（該非線性函數確保短向量的長度能夠縮短到幾乎等于零，而長向量的長度壓縮到接近但不超過 1 的情況）“壓縮”（通過變換矩陣）獲得的更高級別的capsule的預測向量，簡單的capsule系統已經能在分割重疊數字任務中表現出空前強大的性能，在識別高度重疊數字上比卷積神經網絡（CNN）的性能優越很多，更趨近于利用高維度向量neuron來進行多模態機器學習。靈感同樣來自于對人類大腦視覺皮層對于物體的輪廓（contour）和表面（surface）的識別思考，遞歸皮層網絡（Recursive Cortical Netowks）的誕生整合了實驗神經科學結論的概率生成模型，RCN在多個CAPTCHA數據庫中，獲得了極佳的成績（reCAPTCHA：66.6%， BotDetect 64.4%， Yahoo： 57.4%， PayPal： 57.1%），整體上以300倍的數據有效性（data efficiency）將深度學習的卷積網絡模型遠遠甩開。其中，在reCAPTCHA上，對于每個字母，RCN僅使用5個訓練樣本，而CNN模型達到相似的成績使用了二百三十萬個訓練樣本。此外，RCN在多個任務（如單樣本和小樣本識別、手寫數字生成等）中，均取得了優異的結果，RCN進一步融合了系統神經科學（systems neuroscience）研究的啟發，特別是視皮層中的側連接把物體表示為邊緣和面的組合，生成式組成模型的進步，此外，RCN還可以將中低層的語義表達“具體圖形化”的基本概念單元通過側向連接來分享給不同高層語義，并且可以被不同的物體邊緣輪廓所共有，大大提高了算法的高效性，算法的可解釋性為其鋪平道路，更是實現了某種意義上的“舉一反三”。

3 綜述

Capsule理論的提出和RCN的不謀而合之處在于將人工智能的發展藍圖寄希望于對人類自我大腦的認知能力的深度模仿，不是源于無數次的“歸納總結”無論是高維度的模擬還是由對人類大腦皮層識別算法的解析，或許未來人工智能自主學習網絡構建的“第一性原理”基于大腦的深度解讀。

作者簡介

董鑫（1999-），男，河北省張家口市下花園區人。河北省張家口市宣化第一中學學生。

作者單位

張家口市宣化第一中學 河北省張家口市 075100