人工神經網絡綜述

桂林電子科技大學信息與通信學院 廣西 桂林 541004

引言

自計算機產生以來，計算機的計算能力已經遠遠超過人類的能力。例如，一臺計算機可以在一秒鐘內完成數十億次的加減運算，但在許多未定義、未分類的人類高級活動中，計算機并不能發揮有效的輔助作用。于是“人工智能”的概念就出現了，麻省理工學院教授溫斯頓曾說過：“人工智能就是研究如何使計算機去做過去只有人才能做的智能工作。”人工智能主要包括自然語言處理、智能搜索、推理、規劃、機器學習、神經網絡等等一系列的方向，是目前計算機科學家們不斷追求的目標，其中神經網絡更是重中之重。

人工神經網絡(ANN)，又稱神經網絡或者類神經網絡，通過模擬信息在人類大腦中的處理方式實現的模擬邏輯算法。每個連接類似于神經元之間的突觸，用于神經元之間進行信息傳遞；神經元和神經元互聯組成神經網絡，從而得到最終的反饋。

2016年舉世矚目的圍棋之戰，阿爾法圍棋（AlphaGo）與圍棋世界冠軍、職業九段棋手李世石進行圍棋人機大戰，以4比1的總比分獲勝。這條新聞頓時引起了軒然大波。AlphaGo采用了很多新技術，其中最重要之一的就是人工神經網絡。作為人工智能的一個重要分支，神經網絡可以模擬人腦處理一些需要高強度學習和計算的問題，從而更好地實現人工智能。

1 關于人工神經網絡

1.1 人工神經網絡的構造

1943年著名學者McCulloch和Pitts提出了一種M-P模型，它是模擬人體生物學上的神經細胞的數學研究。這一個模型的出現標志這人工神經網絡的誕生。隨著BP算法、SVM算法的提出人工神經網絡發展迅速。

目前的人工神經網絡大致可以分為三個層次[1]，輸入層，隱藏層，輸出層。接收外部信息與數據的為輸入層，隱藏層是負責對信息進行處理，不斷調整神經元之間的連接屬性，如權值、反饋等；輸出層負責對計算的結果進行輸出。其中，權值反映了單元間的連接強度;反饋反映了單元間的正負相關性，在單元間的連接關系中，通過這些信息反映出信息的處理過程。由于對整體結果的未知，在隱藏層的權值和反饋需要不斷地調整，最終達到最好的擬合的結果。

2 人工神經網絡重要模型

2.1 卷積人工神經網絡模型

卷積神經網絡（Convolutional Neural Networks，CNN）是一種多層神經網絡，它是一種含有卷積計算的具有深層結構的神經網絡。該網絡是由對個單層卷積神經網絡組成的可訓練的多層網絡結構，可把特征提取、下采樣和傳統的神經網絡整合起來，從而形成一個新的網絡。與其他神經網絡相比，它能夠直接使用圖像的像素進行模式識別，有效降低了傳統識別算法中復雜的特征提取計算過程。與此同時，卷積神經網絡對圖像的平移、縮放和旋轉具有較好的魯棒性。

2.2 遞歸人工神經網絡模型

遞歸網絡(Recurrent Neural Network，RNN)中由于存在輸出變量到輸入端的反饋，因而其變量中包含時間延時網絡，是真正的動態網絡系統[2]。遞歸網絡與靜態神經網絡比較，遞歸網絡不需要預先假定系統的階次，為動態系統的辨識與控制開辟了一個極有前途的領域。動態遞歸神經網絡因其固有的反饋結構，一般只需單層的網絡就可以較好的表達一個復雜的動態系統，逼近系統的動態過程。

3 人工神經網絡實際應用

3.1 機器人導航領域

近年來，由于神經網絡的強大的表征能力，尤其是強化學習與深度神經網絡的結合使得深度強化學習（Deep Reinforcement Learning，簡稱為DRL）廣泛應用到機器人導航領域。然而DRL基于當前感知做出決策，很難具有泛化性和推理能力，并且很難應用于部分觀測環境中，近三年涌現出了各種的記憶神經網絡(Memory Neural Networks，簡稱為MNN)模型，MNN采用外部記憶矩陣實現，將記憶與計算分離開來，采用可微的讀寫機制訪問外部記憶網絡，整個系統可微，允許端對端的訓練。MNN與DRL結合非常適合解決時序列決策問題，將其用于導航領域是非常有前景的新興研究領域。Sukhbaatar曾經提出過MemNN，它是一種無寫操作的記憶結構，記憶存儲是固定的。網絡學到的內容是如何從固定記憶池中去訪問和讀取信息，而不是如何去改寫內容。后續國外有人首次將MemNN與DRL相結合并在三維Minecraft環境中實現導航任務。MemNN+DRL結構采用一個遞歸控制器DRL與外部記憶MemNN進行交互，基于時間上下文實現尋址機制，有效處理了部分觀測、長時依賴導航策略以及相似地圖的知識遷移問題。MemNN+DRL的導航工作機理如下：將機器人最近遇到的M步觀察經過編碼寫入到MemNN中，相當于M步的情節記憶，采用強化學習算法端對端訓練參數，最終獲得導航能力。

3.2 人臉識別

人工神經網絡是人臉識別常用的方法。人臉識別以信息論為基礎，模擬人類大腦的邏輯思維過程對信息進行處理。傳統的人臉識別算法如PCA，在精度和特征等方面有一定不足。由于CNN有權值共享、神經元連接的特性，特別適合處理高維數據。

3.3 天然地震預測

人工神經網絡在處理大量無明顯關聯的數據集時有著自我學習、自我適應的特點，因此，人工神經網絡可以在天然地震預測中充當不可或缺的角色。在天然地震預測中利用BP神經網絡算法的基本原理[3]“梯度下降法”和反饋傳播，通過不斷地調整權值使網絡的總誤差縮小到目標誤差范圍內。對數據進行歸一化處理，將數據輸入到網絡，讓網絡進行訓練，將地震數據作為測試樣本輸入網絡，經過反歸一化的處理，成功得到目標輸出，最后得到預測數據。

3.4 高速通信網智能控制

神經網絡具有很強的自適應學習能力，它可以從實際測量或網絡運行過程的實例中學習，硬件設備可以進行大規模的并行運算，計算速度非常快，而且神經網絡能使學習結果從普遍到前所未有的情況。因為在學習擁塞控制的動態環境中所做的觀察可能是不完整的、延遲的或只是部分可用的。分布式處理的特性使控制系統具有高可靠性或容錯性。另外，利用神經網絡可以方便地設計出一種能夠自動適應網絡新情況的算法。這是利用神經網絡作為工具來測量交通量。將流量劃分為統計特性相似、服務質量要求相近的幾個類別，以預測某一監測時段內ATM網絡的未來特征。神經網絡具有學習輸入輸出真值之間非線性變換的能力。神經網絡自適應學習（并建立模型）非線性多元函數的能力可用于信號非線性預測。ATM業務控制器使用神經網絡進行呼叫級控制，如連接接納控制（CAC），信元級控制（如流量測量）、業務管理和網絡接入點的擁塞控制，用于網絡級控制。

3.5 土面區壓測量

在基于神經網絡的土密實度檢測[4]一文中，學者李細榮明確提出了人工神經網絡在基于神經網絡的土壤壓實度檢測中的可行性。采用土的激光圖像提取數個特征參數如土的吸收系數、散射系數、激光圖像的紋理特征參量，從中提取主要成分因子以此作為輸入特征，在運用BP神經網絡預測密實度。相較于傳統的環刀法，運用神經網絡進行檢測土密實度測量可以進行無損測量，且相較于環刀法的隨機檢測不能代表整層土壤密實度，神經網絡檢測可以全面檢測，不存在漏檢等問題。

3.6 旋轉變形驗證碼識別

驗證碼是用來區分人類和計算機，防止惡意程序攻擊的。驗證碼的識別研究既可以發現驗證碼存在的缺陷，為驗證碼生成程序提供改進意見，又能促進人工智能技術的發展。字符型驗證碼是目前使用較多的一種驗證碼，為了防止被機器識別，一般都要加入一些旋轉變形等處理。而卷積神經網絡就可以實現一種用于識別具有旋轉和變形特點的字符型驗證碼，它分別采用小類和大類字符集的方法訓練神經網絡，再使用不同的學習速率和樣本數量進行訓練。在使用大類神經網絡，選擇適當的學習參數，并且增大樣本數量的情況下，可以有效提高識別率。

4 人工神經網絡發展現狀

4.1 發展現狀

人工神經網絡快速發展，它與現代各門科學與技術緊密結合，相互合作，且在工作時具有高速度和潛在的超高速，具有容錯、容差能力，適合求解難于找到好的求解規則的問題（例如模式識別）。人工神經網絡同樣存在缺點，它難于精確地分析各項性能指標，很難運用于追求正確答案的計算[5]。就BP算法為例，BP網絡能通過學習帶正確答案的實例集自動求解合理的規則，并且具有一定的推廣能力，學習有被“固化”的潛在可能，但它難以解決應用問題的實際規模和網絡規模之間的矛盾。

目前，人工神經網絡正在穩步發展，其應用已經在各個領域普及，2016年阿爾法圍棋擊敗李世石大師的消息，席卷了新聞媒體，如今，人工神經網絡通過模擬熱力學、數學、醫學等其他行業，已經衍生出上百種模型，以獲得數據分析和開發。

近年來，神經網絡算法的研究正在如火如荼地進行。Kaiminghe[1]等人利用殘差學習框架成功地訓練了RESNET（殘差神經網絡）。RESNET有152層，比VGGNET深8倍，但其參數低于GGNET。它以3.57%的錯誤率在ILSVRC2015的比賽中獲得第一名。DenseNet等人提出了密集卷積網絡（DenseNet），在RESNET結構的基礎上進一步擴展了網絡連接。與最新技術相比，該模型在大多數測試集上取得了顯著的改進，減少了所需的計算量，獲得了更高的性能。

4.2 未來發展趨勢

人工神經網絡與邊緣計算的協同發展，在技術的發展中，邊緣計算是發展的趨勢之一。邊緣計算作為物聯網的核心，會接收到大量的本地數據。這些本地數據在邊緣服務器中需要進行處理。將神經網絡系統安裝在外圍服務器上，從而能夠更快速地分析數據，從而能夠更快地輸出信號。

人工神經網絡與人工智能芯片的協同發展，芯片結構是模特神經網絡模型的新芯片編程框架，可模擬人腦的感覺、行為和思維。ASIC目前是芯片開發的主要方向之一。但真正的人工智能芯片未來發展的方向是類腦芯片。類腦芯片研究是非常艱難的，IBM、高通、英特爾等公司的芯片策略都是用硬件來模仿人腦的神經突觸。

人造神經網絡與其他領域的模擬算法的協同發展，以及將神經網絡與其他領域的結合，也是目前的方向之一。如模擬人類對模糊問題的模糊處理方法而提出的混沌神經網絡理論，還有與量子學理論結合產生的量子神經網絡等。通過對其他領域相關模型的模擬，幫助我們在細化領域里訓練神經網絡時，有更優的性能和更高的魯棒性，從而優化神經網絡在專業領域內的應用。

5 結束語

人工神經網絡，從提出到現在已經經過了數十年的長久發展在一定方面已經逐漸趨于完善，慢慢地形成一門完善且全面的技術，為時代發展提供了有力的幫助。在未來，隨著硬件技術的發展，云服務的碎片化、邊緣化，城市的智慧化、信息化，人工神經網絡的應用將會越來越多，應用的范圍也會變得越來越廣泛，人工神經網絡在時代的發展將會扮演一個不可或缺的角色。