深度學習

摘要：為了使機器學習更加接近最初的對象，我們將一種新的研究方向——深度學習，引入到機器學習當中，這個過程即為人工智能。深度學習可以了解樣本數據的內部規律和層次，是一種復雜的機器學習算法，它可以通過進一步學習來幫助解釋所獲得的信息，如文字、圖像和聲音，其最終目標是讓機器人像人類一樣具有分析和研究的能力。而與Ai的另一個方向不同，深度學習的概念始于人工神經網絡的研究，前者是由if-then規則去定義的，而后者的基本特征是模仿人體中神經元傳遞和傳導的方式。由于深度學習的快速發展，特別是卷積神經網絡（CNN）的發展，計算機視覺取得了巨大進展，CNN已經成為了大多數計算機視覺任務的中流砥柱。本文旨在通過講述機器學習背景下的深度學習的定義，引入卷積神經網絡這一概念，描述其中的算法，如何工作，結構以及其在現代工程中的應用。

關鍵詞：深度學習 ;卷積神經網絡; 神經元

卷積神經網絡（CNN）是入門深度學習的基礎，它的靈感來自于大腦。在CNN中，它可以對未知圖像和標準圖像之間的部分進行比較，比較的周期稱為卷積。因此，如果圖像有簡單的傳輸，CNN也可以識別圖像。對于CNN來說，這是一個逐漸比較圖像的情況。這個被用來比較的東西叫做特征。每個特征都是一幅小圖像，可以被看作是二維數組。在每個特征中，卷積可以將特征中的每個元素相乘并相加。例如，這里有3×3元素的原始數據和3×3元素的濾波器。通過對相應位置的卷積，得到新的輸出數據。具體來說，原始數據是輸入的圖像，而濾波器是由一組權重固定的神經元組成的。如果使用不同的濾波器，如陰影和輪廓，研究人員可以得到不同的輸出數據。在CNN中，通過濾波器計算出當前數據窗口中的數據后，數據窗口會滑動，直到計算結束。由此可見濾波器是局部一個窗口地在進行卷積操作，和人的眼睛一樣，只能一次性看見世界的一部分并從中去提取自己想要的信息，這便是卷積神經網絡的局部感知。在此期間，深度表示神經元和過濾器的數量。步長決定窗口可以向邊緣滑動多少步。例如， 這里有輸入數據5×5×3 （ 5×5代表像素/長度和寬度， 而3代表R， G， B三種顏色通道 ）和兩種不同的濾波器 （ 濾波器w0和濾波器w1 ）。隨著窗口的平移滑動， 濾波器w0和w1對不同的局部數據來進行卷積計算。最后，通過w0和w1可以得到不同的輸出數據，就好比人腦一樣，同樣的信息被不同的人接受，他們所形成的反饋是不同的。通過以上的例子，我們可以大概了解到卷積層的計算原理。其中分為三部分，輸入矩陣（四個維度依次為樣本數。圖像高度，圖像寬度，圖像通道數），輸出矩陣（和輸入矩陣一樣也是同樣的四個維度，但是通常情況下后三個的尺寸均會發生變化），權重矩陣（也叫卷積核，四個維度依次是卷積核高度，卷積核寬度，輸入通道數，輸出通道數）。以下是它們之間的計算公式：

由此可見，輸入矩陣，卷積核和掃描方式一起決定著輸出矩陣的寬度和高度，公式中的填充值是為了數據窗口可以在最后滑動到最末端，在邊緣補充若干個0，通俗來講，填充值的目的在于可以讓總長完整除以步長。

在研究CNN如何進行增量學習時，采用了微調的方法。在數據量較小的情況下，為了避免過度重合問題，該方法能快速將模型收斂到理想狀態。首先，研究者應該準備和預處理訓練數據和測試數據，然后再次用同一層的參數，并對新層參數應用隨機初始值。后來通過調整學習率和步長的參數，提高新層的學習率，降低重用層的學習率。最后，通過對最后幾層的參數進行改進，提高了學習率。本質上，CNN是一種從輸入到輸出的映射。它可以學習大量的輸入和輸出之間的映射關系，而不是任何輸入和輸出之間的精確數學表達式。因此，如果按照已知的模式訓練卷積網絡，網絡就能具有映射輸入輸出的能力，從而實現增量學習。

卷積神經網絡中有卷積計算層（主要作用為進行特征提取），激勵層，池化層和全連接層。CNN的關鍵操作如下。首先研究人員應該先輸入圖像，然后CNN將實現卷積運算并使用激活函數。之后，CNN將進行池化操作 （ 平均值池化或最大值池化 ）。在池化過程中，一般取特定區域的平均值或最大值。經過以上步驟，可以得到具有特定特征的圖像。在激活函數中，Sigmoid函數是最基本的。它可以使一個實數減少成為0到1之間的值。例如，如果自變量是一個非常大的正數，函數的值將趨向于1。為了增加增量學習，研究者可以應用另一種激活函數ReLU。Sigmoid的缺點是易于飽和和停止梯度轉移，而ReLU的優點是收斂快、梯度簡單。

CNN可以應用于圖像分類和識別。在2012年ImageNet競賽中，網絡模型AlexNet因使用改進后的CNN，從而獲得冠軍。為了實現圖像識別，CNN可能會用到大量的特征映射，每個特征映射代表局部感知場的權值，反映空間結構。因此，CNN可以研究一些關于空間結構的信息來識別圖像。為了提高準確率，研究者可以增加卷積層、池化層或連接層。此外，研究人員還應用了其他激活功能，使用了更多的訓練數據。CNN的另一個例子是AlphaGo贏了人類棋手。在AlphaGo中，利用19×19大小的圖像傳遞棋盤位置，訓練兩種深度神經網絡 （ 策略網絡和價值網絡 ）。它可以選擇有希望的走法，放棄明顯不好的走法，從而控制所需要的計算量。從本質上講，這與人類玩家所做的是一樣的。同樣，在對自然災害的檢測和預報方面，CNN也發揮著至關重要的作用。根據高分辨率的衛星信息中得到的數據仍然在估計降水方面受到限制，而CNN這種先進的深度學習算法可以適用于此。在2012和2013年夏季，在0.08的空間分辨率和小時時間的標準下評估了該模型的性能。結果表明，CNN在CSI指數中高出PERSIANN-CCS和PERSIANN-SADE高出了54%和23%，由此說明了它的檢測性能。此外，根據國家環境預報中心第四階段的雷達數據，CNN所估計的降雨量平均方差均小于其他方法，說明其超高的估計精度。

參考文獻

[1]Hou， Xianxu， 2018. An investigation of deep learning for image processing applications? PhD thesis， University of Nottingham.

[2]Sadeghi， M. et al， 2019. PERSIANN-CNN： Precipitation Estimation from Remotely Sensed Information Using Artificial Neural Networks–Convolutional Neural Networks. Journal of hydrometeorology， 20（12）， pp.2273–2289.

[3]Pang， Y. et al， 2018. Convolution in Convolution for Network in Network. IEEE transaction on neural networks and learning systems， 29（5）， pp.1587–1597.

作者簡介：張軼涵，生于2001年8月，男，漢族，天津人，本科學歷，專業電子電氣工程及其自動化（研究方向）