基于手寫體數字識別的激活函數對比研究

宋倩 羅富貴

摘? 要：針對手寫體數據集在卷積神經網絡訓練時分別使用sigmoid、tanh、relu與mish激活函數進行實驗，對這四種激活函數下訓練集誤差值收斂曲線以及測試集精度曲線進行算法結果分析，實驗結果表明，mish激活函數在手寫體數據集上進行卷積神經網絡訓練時效果更佳，而同樣得出不同的訓練數據集、激活函數的選擇會影響算法對數據的擬合度和神經網絡的收斂性。

關鍵詞：手寫體數字識別；mish激活函數；卷積神經網絡；mnist數據集

中圖分類號：TP391.4；TP183? 文獻標識碼：A 文章編號：2096-4706（2023）04-0095-03

Comparative Study of Activation Functions Based on Handwritten Digital Recognition

SONG Qian， LUO Fugui

（Academy of Big Data and Computer Science， Hechi University， Hechi? 546300， China）

Abstract： For the training of Convolution Neural Network for handwritten data sets， sigmoid， tanh， relu and mish activation functions are used to conduct experiments， and the algorithm results are analyzed for the convergence curve of the error value of the training set and the accuracy curve of the test set under these four activation functions. The experimental results show that the mish activation function performs better in the training of Convolution Neural Network on handwritten data sets. It is also concluded that the selection of different training data sets and activation functions will affect the fitting degree of the algorithm to the data and the convergence of the neural network.

Keywords： handwritten digital recognition; mish activation function; Convolutional Neural Network; mnist dataset

0? 引? 言

近些年，隨著深度學習的大火，特別是計算機視覺有了漸進式發展，我們正邁入了數字化時代。在該時代背景下，手寫體數字識別的研究仍十分重要。盡管當下手寫體數字識別技術的研究正日趨完善，其識別優化準確率，還是相對有提升的空間。特別是在生活中數字與銀行卡密碼、賬戶、賬號以及身份證號息息相關，故而手寫數字識別準確率還是要求極高。此外于其他情景下的文字識別、圖像識別也是有一定的借鑒意義。因此研究高識別率的手寫數字識別算法仍然至關重要[1]。在識別手寫體數字時，不僅識別算法的設計是決定性影響，激活函數的選擇更是不可忽略的一環。深度學習算法有很多激活函數，其任意一個激活函數并非都是萬能的，所以選擇契合應用的激活函數尤為關鍵。

1? 激活函數

卷積神經網絡中的激活函數是輸入信號與輸出信號之間的連接轉換器，其能夠將各輸入信號的總和轉換為各輸出信號的總和[2]。實際輸入信號在計算時，僅通過線性函數是無法解決分類問題，生活中各類數據并非是線性可分的，因而要解決這類數據，無非就是引入非線性因素。為了充分發揮卷積神經網絡疊加層的優勢，解決線性模型的表達和分類能力不佳的問題，激活函數必然要用非線性函數。

激活函數將非線性模型引入神經網絡，增強了神經網絡的模擬和學習能力[3]。激活函數在訓練復雜類型數據中起著非常重要的作用。常用的激活函數有sigmoid、tanh、relu、mish，四種激活函數的曲線圖如圖1所示。

1.1? sigmoid激活函數

在手寫數字識別過程中，文獻[4]采用sigmoid激活函數。sigmoid函數的表達式為：

（1）

函數值F（x）范圍為（0，1），當x趨于負無限時，F（x）無限逼近0，當x趨于正無限時，F（x）無限逼近1。sigmoid函數是連續函數，故函數處處可導。但x趨向±∞時，F（x）變化卻很小，梯度極易丟失，適用于二分類輸出問題[4，5]。

1.2? tanh激活函數

雙曲正切函數tanh與sigmoid函數極為相似。文獻[6]正是采用此tanh激活函數，其表達式為：

（2）

從圖1曲線可看出，tanh函數取值范圍為[-1， 1]，而sigmoid函數的取值非負，導致模型的收斂速度會顯著變慢，與之相比，tanh是0均值，故可加快模型收斂速度，所以在實踐中tanh函數會比sigmoid函數更常用[6]。

1.3? relu激活函數

relu激活函數是目前應用比較多的一個函數，它的公式為：

（3）

該公式可以拆分為：

（4）

從上圖1曲線圖可發現，relu激活函數更像是求最大值的分段函數。當x在小于或等于0范圍內時，relu（x）值總是0，表示relu函數沒有激活；當x值大于0時，函數值是x本身，這表明relu正式激活函數。曲線圖中relu函數沒有飽和區，因此激活函數可以克服梯度消失的問題，從而加快模型訓練的時間。當輸入值x為負時，relu函數不被激活，這意味著只有一些神經元同時被激活，使網絡相對稀疏[7]。

1.4? mish激活函數

目前，激活函數sigmoid、relu被廣泛應用于神經網絡，但兩者各有不足，sigmoid函數容易產生梯度下降消失現象；由于relu的負半軸為零，所以正半軸輸入與輸出相等，針對梯度下降的消散問題優于sigmoid，但權重值無法更新的現象會存在[7，8]。為了彌補前兩者激活的不足，并且緩解改善梯度下降和消失的現象，本文使用mish激活函數可以有效提升模型識別精準度，其公式為：

（5）

mish它是一條光滑的曲線。光滑的激活函數允許更好的信息深入神經網絡，從而獲得更好的準確性和泛化；負值不被完全截斷，允許小的負梯度流入[9，10]。此外，激活函數無邊界的特點避免了飽和等問題，sigmoid激活函數通常存在梯度飽和問題，梯度在兩側極限接近1，mish激活函數巧妙地避免了這一點。另外，由于mish函數也保證了每個點的平滑性，因此它能提升訓練模型的穩定性和準確性。

2? 實驗結果及分析

2.1? 手寫體數據集

本文使用的mnist數據集是廣泛應用的手寫體數據集。該數據集中由6萬個訓練集圖像樣本和1萬個測試集真實數字樣本兩部分構成。第1列是標簽，即0～9手寫的阿拉伯數字的圖像，第2列到第784列是第1列手寫的阿拉伯數字的像素值[11]。

通過構建一個卷積神經網絡模型用于對手寫體數字進行分類，其網絡結構包括兩次卷積conv2d_1和conv2d_2。每個卷積包括卷積層、激活函數層和池化層；兩次池化和三次全連接，通過mish激活函數和sotfmax函數結合，采用dropout防止過擬合，建立平坦層來優化結構。其各層網絡結構如圖2所示。

2.2? 結果分析

實驗采用的卷積神經網絡結構的數據整理至表1中，首次卷積運算會輸出16個28×28的數字圖像，得到416個訓練參數，然后經過首個池化層操作，首次縮減采樣，由16個28×28縮小為16個14×14的圖像，繼續執行卷積操作，由16個圖像變為36個圖像，卷積運算不會改變圖像大小，故而圖像還是14×14的圖像，繼續經歷池化層操作，且加入dropout避免過度擬合，每次訓練迭代時，隨機放棄25%的神經元，同時建立Flatten層，將36個7×7的圖像展平為1維向量，執行2次激活函數的全連接層，中間繼續加入dropout避免過度擬合[12]。

本文實驗是將mnist數據集中的數據劃為80%用以訓練和20%用以測試驗證，分別用acc表示訓練集準確率，loss表示訓練集損失率，val_acc表示測試集準確率，val_loss表示測試集損失率，實驗中數據集訓練周期epoch為50，每個訓練周期使用300項樣本數據，圖3是mish激活函數在整個訓練集上完成訓練時的損失函數收斂曲線，可發現：mish激活函數在epoch訓練前期，loss值急劇下降;整個訓練過程不斷迭代，loss值的下降速度逐漸平穩，在波動幅度不大的情形下近似趨于收斂。與此同時，在測試集上進行評估其準確率為99.45%，如圖4所示。

圖5是四種激活函數所得到的訓練集誤差曲線對比圖，由圖可知，mish激活函數誤差率最小，下降后損失函數收斂曲線平穩，在epoch前期中，所有激活函數的損失曲線相差不大，但隨著迭代次數增加訓練集損失值最先下降且處于最低，由圖可發現mish函數的誤差值較小，訓練的性能更穩定，在手寫數字識別時采用mish激活函數相對精度更高。

從圖6中圖中可知，mish激活函數精度曲線處于最高，而sigmoid函數的精度曲線處于劣勢，是四者中的精確率最低。結合圖5中的訓練集誤差圖像和mish公式，發現選擇mish激活函數時，該算法對數據的適合度較好，預測的精度率更優。間接說明激活函數的選擇尤為重要，選擇好會增加整個算法的效能。

3? 結? 論

本文對四種不同的激活函數進行了分析，即選擇sigmoid、tanh、relu、mish函數，mish激活函數對神經網絡的訓練和預測優于其他三種。而在手寫體數字識別模型進行訓練時，可知樣本的真實值和預測值的差異，既與樣本自身信息密不可分，還與采用的激活函數相關，應根據具體的應用環境選擇合適的激活函數。

參考文獻：

[1] 于文生，張軒雄.改進誤差反向傳播法神經網絡對手寫數字識別 [J].電子設計工程，2021，29（23）：20-24.

[2] 高宇鵬，胡眾義.基于Keras手寫數字識別模型的改進 [J].計算技術與自動化，2021，40（2）：164-169.

[3] 楊善敏.面向異質人臉識別的域不變特征學習方法研究 [D].成都：四川大學，2021.

[4] QIAO J，WANG G，LI W，et al. An adaptive deep Q-learning strategy for handwriteen digit recognition [J].Neural Networks the Official Jourrnal of the International Netural Network Society，2018，107：61-71.

[5] 宋曉茹，吳雪，高嵩，等.基于深度神經網絡的手寫數字識別模擬研究 [J].科學技術與工程，2019，19（5）：193-196.

[6] 楊永翌.基于Keras框架MNIST數據集識別方法研究 [J].汽車實用技術，2019（23）：101-103.

[7] 郭夢潔，楊夢卓，馬京九.基于Keras框架MNIST數據集識別模型[J].現代信息科技，2019，3（14）：18-23.

[8] 郭曉敏，黃新.改進YOLOv3算法在肺結節檢測中的應用 [J].激光雜志，2022，43（5）：207-213.

[9] 樊繼慧，滕少華，金弘林.基于改進Sigmoid卷積神經網絡的手寫體數字識別 [J].計算機科學，2022，49（12）：244-249.

[10] 董慶偉.基于Keras深度學習算法在結構化數據分類中的應用研究 [J].佳木斯大學學報：自然科學版，2022，40（4）：47-49+54.

[11] 郝雅嫻，孫艷蕊.基于手寫體數字識別的損失函數對比研究 [J].電子技術與軟件工程，2022（6）：203-206.

[12] 儲匯，宋陳，汪晨燦.基于Keras卷積神經網絡的多人臉識別抗干擾研究 [J].洛陽理工學院學報：自然科學版，2022，32（1）：62-67.

作者簡介：宋倩（1995—），女，漢族，山東萊陽人，助教，碩士，研究方向：深度強化學習、圖像識別；羅富貴（1984—），女，壯族，廣西來賓人，副教授，碩士，研究方向：數字圖像處理、模式識別。

收稿日期：2022-10-07

基金項目：2022年度廣西中青年教師科研基礎能力提升項目（2022KY0606）；河池學院2021年科研啟動項目（2021GCC013）；2021年度廣西中青年教師科研基礎能力提升項目（2021KY0620，2021KY0615）