基于神經網絡的數字信號多分類識別方法

楊栩

基于神經網絡的數字信號多分類識別方法

楊栩

（成都師范學院物理與工程技術學院，四川 成都 611130）

文章針對數字信號的圖像分類識別問題，提出了一種改進的神經網絡算法，該算法利用隨機梯度下降增量規則實現誤差和上層輸出共同影響權重的監督機制，采用softmax激活函數避免出現以很高的概率同時分到不同的類的問題，從而大大提高了識別準確率。

BP神經網絡；隨機梯度下降；多分類；激活函數

引言

圖像分類識別是數字圖像處理中的核心問題，數字多分類識別在現實中有著廣泛的應用，比如車牌識別、手寫數字識別等。神經網絡[1,2,3]是圖像模式識別中的一種重要算法，它模擬生物神經網絡，由輸入節點、隱藏層節點、輸出節點等多層節點組成，無監督學習[4]的神經網絡只有前饋通道至輸出，無法調整神經網絡各層之間的權重，監督學習對于無隱藏層的神經網絡比較有效，一旦加入隱藏層或者多個隱藏層后，輸出節點與正確值之間的誤差可以反向傳播，而隱藏層的誤差如何定義？本文用隱藏層右側鄰近一層的反向傳播的增量的加權和作為隱藏層節點的誤差。權重調整用隨機梯度下降的BP神經網絡實現，實現了對5*5像素的數字的多分類識別。

1 神經網絡建模

神經網絡作為機器學習模型的核心部分，分為訓練和分類兩部分，訓練數據作為神經網絡建立模型的數據來源，經過預處理后的二值化數字圖像數據在隨機梯度下降算法學習規則的作用下訓練神經網絡權重，采用誤差反向傳播的神經網絡。建立神經網絡模型后輸入測試數據觀察訓練效果，神經網絡建模及預測框圖如圖1所示。

圖1 神經網絡建模及預測

1.1 隨機梯度下降學習規則

由于梯度是方向導數最大的方向，用梯度下降算法計算誤差曲面的最快下降方向，隨機梯度下降算法計算訓練數據的誤差并隨機調整權重，激活函數權重更新公式如下：

其中（0<≤1）為學習率，W為兩層極點間的權重，輸出節點i的誤差e=d-y(d為輸出節點i的正確輸出)，輸出節點的激活函數為φ，X為輸入節點j的數據。本文中隱藏層節點采用sigmoid函數（公式2）作為激活函數，它的導數為公式3，它能將范圍很寬的坐標區域投射到[0,1]區域，如圖2所示。

1.2 BP神經網絡

對于單層神經網絡或者不可訓練的神經網絡來說是沒有意義的，隨機梯度下降增量規則在多層神經網絡中應用的最大障礙是隱藏層的正確輸出不得而知，進而隱藏層的誤差不能確定，本文隱藏層誤差用反向傳播的增量的加權和來定義。進而誤差可以反向傳播到輸入層，從而神經網絡的每一層的權重都可以進行調整，BP神經網絡模型如圖3所示。

圖3 BP神經網絡模型

1.2.1 節點的正向傳播計算

假設BP神經網絡模型有n個輸入節點，m個隱藏節點，k個輸出節點，W1為輸入層和隱藏層之間的權重向量矩陣，X為輸入向量，v為隱藏節點加權和，v’為輸出層節點加權和，W2為隱藏層和輸出層之間的權重向量矩陣，Y’為隱藏層節點通過激活函數后的輸出向量。隱藏層節點的加權和為：

隱藏層節點通過激活函數后的輸出為：

輸出層節點加權和為：

1.2.2 誤差的反向傳播計算

計算正確輸出與模型輸出之間的誤差向量e，再計算輸出節點的增量，該增量與節點間權重的加權和作為隱藏層誤差e'，反向傳播至輸入層，進而調整到神經網絡的所有權值。

訓練數據經過正向傳播后形成誤差再反向傳播到輸入層，神經網絡得到了訓練。

2 數字多分類識別

數字分類屬于神經網絡中的多分類問題，這類問題存在線性不可分割的問題，本文將每一個數字標準化為5*5像素的二值化圖像，如圖5所示。該25個像素作為神經網絡的輸入向量，輸出向量個數與分類個數相同，輸出向量個數為10。隱藏層取50個節點。

softmax激活函數不僅考慮到了輸入的加權和，還考慮到了其它輸出節點的輸出值，且滿足條件(v)=1，也即所有輸出節點通過激活函數后會以不同概率分類到每一類，并且所有分類概率之和為1，不會出現重復分類現象，softmax激活函數如圖8所示，輸出節點用softmax激活函數的分類結果如表1所示。

表1 輸出層節點用softmax作為激活函數后的分類結果

通過試驗可以看出，基于隨機梯度下降增量規則的BP神經網絡算法對于數字分類識別具有非常高的識別率。

[1] 陳綿書,于錄錄.基于卷積神經網絡的多標簽圖像分類[J].吉林大學學報.2019(09).

[2] 李松,汪圣利.基于BP神經網絡的雷達點跡分類方法[J].現代雷達.2018(12).

[3] 韋鵬宇,潘福成,李帥.改進人工蜂群優化BP神經網絡的分類研究[J].計算機工程與應用.2018(10).

[4] 楊東海,林敏敏,張文杰,楊敬民.無監督混階棧式自編碼器的圖像分類學習[J].計算機應用.2018(8).

[5] 葛為民,申耀華,王肖鋒.箱梁結構件焊縫表面缺陷特征提取及分類研究[J].儀器儀表學報.2018(10).

[6] 趙鵬,韋興竹.基于多特征融合的田間雜草分類識別[J].農業機械學報.2014(03).

[7] 顧寄南,唐良穎,許悅.機器視覺在網片缺陷檢測與分類中的應用[J]..機械設計與制造.2019(6).

[8] 王鑫,李可.改進的基于深度學習的遙感圖像分類算法[J].計算機應用.2019（2）.

[9] 許飛翔,葉霞.基于SA_BP算法的本體概念語義相似度綜合計算[J].計算機科學.2019(09).

[10] 於海明,徐佳琪.基于高光譜和頻譜特征的注水肉識別方法研究[J].農業機械學報.2019(5).

[11] 楊鎏,舒祥波.基于全局_局部卷積神經網絡的阻生牙分類[J].計算機應用.2019(07).

Multi-Classification Recognition Method for Digital Signals Based on Neural Network

Yang Xu

( School of Physics and Engineering Technology, Chengdu Normal University, Sichuan Chengdu 611130）

Aiming at the problem of image classification and recognition of digital signals, this paper proposed an improved neural network algorithm. The algorithm uses the random gradient descent incremental rule to realize the supervisory mechanism that errors and upper output affect the weight together. Softmax activation function is used to avoid the problem of classifying different signals at the same time with high probability. Thus, the recognition accuracy is greatly improved.

BP neural network;Random gradient descent; Multi-classification;Activation function

B

1671-7988(2019)21-56-03

TN911.72

B

1671-7988(2019)21-56-03

楊栩，男，講師，碩士，就職于成都師范學院物理與工程技術學院。研究方向：智能控制、信號處理、圖像分析等。

10.16638/j.cnki.1671-7988.2019.21.019

CLC NO.:TN911.72