激活函數研究綜述

秦禎

摘 要：隨著人工智能熱潮的來臨，越來越多的相關領域學者投身于其理論體系的構建工作之中。激活函數便是人工智能領域的明珠，即深度學習的主要組成部分之一。針對激活函數的研究也越來越多。本文旨在介紹現階段深度學習領域最常用的幾種激活函數，通過介紹其數學原理以及函數特性，針對其優缺點和使用利弊，分析這些激活函數的應用場景以及激活函數的發展趨勢。

關鍵詞：深度學習;激活函數;神經網絡;人工智能

中圖分類號：TP301.6 文獻標識碼：A 文章編號：1671-2064（2019）08-0213-02

0 引言

自從進入21世紀10年代，人工智能技術因為CNN等優秀算法的提出進入到了一個飛速發展的階段，其中人工神經網絡算法作為其核心組成部分也在逐步成熟，其理論體系的不斷完善昭示著AI技術的發展進入到了一個嶄新的階段。而作為人工神經網絡的核心之一，激活函數同樣在不斷的發展與完善，不斷有新的更優秀的激活函數被提出。

在神經網絡中，激活函數用于表示上層輸出和下層輸入之間的非線性函數關系，其作用主要體現在對每一層的輸入進行歸一化以及在一個龐大的線性系統中加入一些非線性元素。前者會將每一層的輸出限制在一個特定的范圍之內，比如0-1（sigmoid函數），防止出現絕對值較大的輸出值影響整層的輸出比重進而對整個網絡的參數更新產生影響;后者則將神經網絡與其他線性算法區分開來，因為神經網絡的本質就是對數據進行非線性擬合，理論上它可以擬合任意函數。

1 經典激活函數研究

1.1 Sigmoid

Sigmoid函數[1]是一個主要適用于生物醫學的S型曲線，因其形狀與特性又被稱為S型生長曲線。而在計算機信息科學中，Sigmoid函數主要被當作激活函數使用，它可以將輸入變量映射到0至1之間。其數學形式表達如下：

由圖1可知，該函數的特點是抑制兩端，但是對中間區域變量的變化敏感，根據這一特性，它能夠很好的識別出對整個網絡模型有利的特征或語義信息。

在神經網絡發展的前期，Sigmoid是使用最多的非線性激活函數，但是近年來，由于其本身不可避免的局限性以及其他優秀激活函數的提出，Sigmoid的使用頻率越來越低。其缺點主要有四個：（1）Sigmoid函數的兩端被嚴重抑制，曲線近乎平緩，導數趨近于0，這會導致此處權重幾乎不被更新;（2）Sigmoid函數的導數值在[0，0.25]之間，由梯度反向傳播的鏈式求導法則可知，如果網絡層數較多，則靠近輸入端的網絡層的參數梯度趨近于0，會出現梯度消失的現象，導致這些層的參數幾乎不被更新;（3）Sigmoid函數不是中心對稱的，會導致在對參數進行更新時，每一層的參數會朝著一個方向變化，即一起增加或一起減少。而在參數更新時，理想的更新狀態是每一層的參數的變化方向是不一致的，類似Sigmoid這種zig zag path形式的參數更新方式則會大大增加更新的消耗，即需要比理想更新方式花費更多的迭代次數才能達到相同的效果;（4）Sigmoid函數表達式中含有冪運算，會大大增加網絡的計算量，在網絡較大較深時，會大大增加訓練時間。

1.2 Tanh

Tanh函數是雙曲函數中的正切函數，與Sigmoid函數相比，Tanh函數可以將輸出變量映射到[-1，1]之間。其數學表達式是：

由圖2和其數學表達式可知，該函數是中心對稱的，故在參數更新時參數的更新方向不會如Sigmoid函數一樣保持一致性給模型訓練帶來困難，該函數的另一個優點是其導數介于[0，1]之間，所以與Sigmoid函數相比其在一定程度上解決了梯度消失問題，但如果網絡深度過深的話，還是會出現梯度消失的問題。

除此之外，Tanh函數存在一些不可忽視的缺點，一是存在兩端抑制的問題，即兩端存在梯度飽和的問題，這在一定程度上會給更新帶來困難;二是其函數表達式中依舊含有冪運算，這會增加模型訓練的時間和算力。

1.3 Relu

Relu函數[2]中文名為線性整流單元（Rectified Linear Unit， ReLU），又稱為修正線性單元，在深度學習飛速發展的今日，Relu函數以及變種已經成為神經網絡中最常用的激活函數[3]，雖然其名為線性，但是其實質上是以斜坡函數為基本代表的非線性函數，斜坡函數的數學表達式為：

Relu函數的優點顯著，Sigmoid和Tanh函數存在的問題Relu都成功避免了，比如Relu函數不存在兩端抑制問題，計算簡單，而且最重要的是其成功解決了梯度消失的問題：（1）由Relu函數的圖像圖3可知，Relu函數不會有兩端抑制問題，但其對負輸入不敏感;（2）由Relu函數的數學表達式可知，Relu函數異常簡單，這大大簡化了網絡的運算量;（3）由于人工神經網絡的飛速發展，網絡的深度在不斷變深，若是依舊使用Sigmoid函數以及Tanh函數的話，需要對網絡進行分段訓練，這不僅會增加網絡的訓練負擔，還會降低網絡的訓練精度。相對而言，Relu函數沒有此類困擾，因為Relu函數在其非飽和區的梯度始終為1，由梯度反向傳播的鏈式法則可知，使用Relu函數不會出現梯度消失以及梯度爆炸的問題，因此Relu函數已逐漸成為當今神經網絡激活函數的主流;（4）Relu函數符合人體生物學原理，科學研究表明人體大腦神經元在通常情況下只有1%到4%是激活狀態，而Relu函數配合層正則化比如Dropout等可以達到相似的效果。

正是由于以上優點，目前Relu函數已經取代了Sigmoid函數成為最常用的激活函數，被廣泛用于諸如圖像識別、目標檢測、語義分割等計算機視覺領域。盡管如此，Relu函數也有其不可忽視的缺點，即Relu函數左端全抑制，其對負輸入不敏感，會將負輸入全部映射為0，因此，近年來，不斷有Relu的變種出現，比如LReLU（Leaky Relu），PRelu，RRelu，Elu，SElu等，其數學表達式分別為：

LReLU，PRelu和RRelu分享相同的表達式但也有細微差別：LRelu表達式中的α為常量，通常設置為0.01;PRelu中的α則是一個未知變量，可以放入網絡中由輸入數據訓練出來;RRelu中的α則是在某一個給定范圍內的隨機取樣值。Elu函數中的α同樣也是一個位置變量，它控制著函數左半邊的飽和區段;SElu函數其實只是在Elu函數的基礎上乘上一個值大于1的λ，其目的是使得網絡達到自歸一化，即通過激活函數后的批樣本歸一化到均值為0、方差為1。綜上所述，以上這5個函數是目前比較常見且被廣泛應用和接受的Relu函數的變種，它們在一定程度上解決了Relu函數的不足之處。

2 激活函數的發展趨勢與應用前景

2.1 發展趨勢

盡管人工智能領域發展迅速，諸如人工神經網絡等深度學習算法的不斷完善使得該領域正在進入黃金時期，但盡管如此，不可否認的是，深度學習甚至人工智能都是一個非常年輕的學科，也就是說，在人工智能領域還有許多亟待開發的部分，其理論體系還亟待完善。作為深度學習算法中不可忽視的一部分，激活函數同樣也遠未成熟，雖然從Sigmoid到Relu，從梯度消失到自歸一化，近年來激活函數方面的研究取得了可喜的成績，其發展也是飛躍性的，但是該理論還是有許多需要完善的部分，全世界依舊有大量的人工智能學者和研究人員在研究激活函數。

雖然目前Relu函數及其變種已經可以滿足當前神經網絡的訓練并能取得較好的訓練成果，但是隨著深度學習領域的不斷發展，激活函數必定需要不斷更新自己以便滿足今后越來越復雜的網絡以及越來越高的精度要求。因此，Relu及其變種依然會是目前的主要研究方向，但可以期待的是會有更加優秀的激活函數出現。

2.2 應用前景

時至今日，在國際發展的大環境下，人工智能領域炙手可熱。國外的眾多研究機構，國內即將落成的幾大人工智能研究中心，都給人工智能領域提供了發展的土壤，可以預見的是，人工智能必將是未來的主要發展方向之一，因此，作為深度學習的基本組成單位，激活函數也必將有廣闊的應用前景，因為無論是在計算機視覺還是自然語言處理領域，它都無處不在。所以，只要人工神經網絡技術沒有發生重大的變革或者出現更加優秀的算法完全取代了人工神經網絡，人工智能鄰域的發展都必將帶動激活函數理論的發展，因此激活函數必將伴隨著人工智能技術不斷革新。

3 結論與展望

作為非線性算法中的佼佼者，人工神經網絡必將統治未來深度學習算法很長的一段時間。而作為人工神經網絡中唯一的非線性元素，激活函數的重要性毋庸置疑。可以說激活函數賦予模型的非線性特性讓人工神經網絡擁有了靈魂，否則一個線性神經網絡的復雜性將毫無意義，其效果與最簡單的感知機相同。

至今，伴隨著人工智能的熱潮，激活函數的理論發展也迎來了爆發期，許多優秀的函數不斷被提出，但這還遠未成熟，其理論體系還亟待完善。

參考文獻

[1] 黃毅，段修生，孫世宇，等.基于改進sigmoid激活函數的深度神經網絡訓練算法研究[J].計算機測量與控制，2017，25（02）：132-135.

[2] 蔣昂波，王維維.ReLU激活函數優化研究[J].傳感器與微系統，2018（2）：50-52.

[3] 王雙印，滕國文.卷積神經網絡中ReLU激活函數優化設計[J].信息通信，2018（1）：42-43.