關于不同函數組合提高深度學習 預測準確度的探討

趙開宇

（作者單位：四川省廣播電視科學技術研究所）

隨著以大數據、人工智能為代表的數據產業的不斷發展，海量數據的運算對人工智能提出了更高的要求。如何快速、準確、高效地通過深度學習完成機器對數據的自動處理是時下的技術熱點。本文主要針對“Softmax + 二次代價函數”“Softmax +交叉熵代價函數”“Sigmoid + 交叉熵代價函數”三種具有代表性的函數搭配，進行深度學習擬合收斂比較，探討提升深度學習準確率的技術方法。

1 樣本程序（手寫數字識別）介紹

由于人的筆跡各不相同，手寫數字識別的功能就是通過深度學習，準確識別不同筆跡下的正確數字，如圖1所示：

圖1 手寫數字識別效果示例

1.1 程序的編程思路

程序運用的是國際開源社區上成熟的MNIST訓練數據集，該數據包含6萬個數字圖和1萬個測試圖。每個圖由28×28=784位的矩陣組成，將矩陣向量中的每個元素按由“白”到“黑”取0～1的不同數字（保留小數點后1位），代表不同的顏色深度。例如：“0”表示顏色最淺，“1”表示顏色最深。數字轉化矩陣如圖2所示：

圖2 數字轉化矩陣

將每個圖片28×28的矩陣向量轉換成1×784的一維向量，目標標簽取數字0～9的數字，最后通過“one-hot vector”取最大值所在位置索引，得到1×10的一維標簽向量。MNIST訓練集包括60 000張圖片，則可得60 000×784的矩陣向量，通過神經網絡784×10的矩陣向量深度學習，得到60 000×10的目標向量。

1.2 程序的編譯環境

程序使用的Anacoda Navigator 3 搭建的軟件環境，語言為Python 3.9.7，深度學習工具為Tensorflow 2.5，IDE使用Jupyter Notebook。

2 “Softmax+二次代價函數”的特點與運行效果

2.1 Softmax（激活函數）

Softmax的公式：

Softmax是一種歸一化函數，它能將K維實數向量Z壓縮到另一個K維向量σ中，σ中的每個元素表示其對應K元素的概率值，概率值介于0～1，且概率和等于1。

例：設a1=[4.2, 5.3, -1.1, 2.4]，則Softmax（a1）=[0.23955214 0.71965441 0.00119575 0.0395977 ]

Softmax的回歸模型如圖3所示：

圖3 Softmax回歸運算模型

Softmax的函數圖像如圖4所示：

圖4 Softmax函數圖像

2.2 二次代價函數的公式

C表示代價，n表示樣本數，x表示樣本，y表示實際值，a表示輸出值（預測值）。

2.3 使用梯度下降法對二次代價函數進行求導計算

z表示神經元的輸入，σ（z）表示激活函數，C表示代價，y表示實際值，a表示輸出值（預測值），w表示神經網絡權重值，b表示偏執值。

由式（3）、式（4）可知，w和b的梯度與激活函數的梯度成正比（梯度可近似理解為斜率），激活函數的梯度越大，會使得w和b的梯度越大，進而預測值和實際值間的調整越大，擬合（收斂）速度越快。

故，二次代價函數比較適合具有線性特征的數據擬合。

2.4 “Softmax+二次代價函數”具體程序

備注：由于全部數據的損失函數使用梯度下降法太費時，這里引入了batch（批次），使用批量梯度下降法。

2.5 程序輸出結果

“Softmax+二次代價函數”輸出結果如下：

結果顯示：16次訓練，準確率上升到0.911。

3 “Softmax+交叉熵代價函數”的特點與運行效果

3.1 交叉熵代價函數的公式：

C表示代價，n表示樣本數，x表示樣本，y表示實際值，a表示輸出值（預測值）。

3.2 使用梯度下降法對二次代價函數進行求導計算

由式（6）、式（7）可知，w和b的梯度與激活函數的梯度無關，僅與σ（z）輸出值與實際值的差成正比。差值越大，w和b的梯度越大，進而預測值和實際值間的調整越大，擬合（收斂）速度 越快。

故，不同于二次代價函數適合線性關系數據擬合，交叉熵代價函數比較適合非線性數據的擬合。

3.3 “Softmax+交叉熵代價函數”具體程序改動

在“Softmax+二次代價函數”的程序基礎上，將損失函數

“loss = tf.reduce_mean(tf.square(y-prediction))”變更為

“loss =tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=prediction))”

3.4 程序輸出結果

“Softmax+交叉熵代價函數”輸出結果如下：結果顯示：16次訓練，準確率上升到0.9211。

4 “Sigmoid+交叉熵代價函數”的特點與運行效果

4.1 Sigmoid（激活函數）

Sigmoid的公式：

Sigmoid是一種閾值函數（非歸一化函數），與Softmax不同，概率值介于0～1。

例：設a2=[4.2, 5.3, -1.1, 2.4]，則Sigmoid（a2）=[0.98522597 0.9950332 0.24973989 0.9168273]。

Sigmoid的函數圖像如圖7所示：

由圖5可知，Sigmoid函數的梯度變化有一個“慢—快—慢”的過程。

圖5 Sigmoid函數圖像

4.2 “Sigmoid+交叉熵代價函數”具體程序改動

在“Softmax+二次代價函數”的程序基礎上，

激活函數不變依然是Softmax，因為使用交叉熵的前提是對數據進行歸一化處理。

將損失函數

“loss = tf.reduce_mean(tf.square(y-prediction))”變更為

“loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(labels=y, logits=prediction))”

4.3 程序輸出結果

“Sigmoid+交叉熵代價函數”輸出結果如下：

結果顯示：16次訓練，準確率上升到0.8927。

5 三種函數搭配的運行結果比較

對“Softmax+二次代價函數”“Softmax+交叉熵代價函數”“Sigmoid+交叉熵代價函數”三種函數搭配的運行結果進行準確率比較，如表1所示：

表1 三種函數搭配的運行結果比較

結果數據圖形如圖6所示：

圖6 三組函數搭配的準確率效果比較

6 結語

在對輸入數據的適用范圍上，交叉熵代價函數比二次代價函數適用更廣。若神經元數據有線性特點，則二次代價函數效果更佳。

在訓練次數較少的深度學習中，在數據擬合（收斂）效率上Sigmoid不如Softmax。