二值化神經網絡的英文手寫體文章識別算法

沈陽理工大學 周 越 夏彩鳳

針對傳統卷積神經網絡在英文手寫體文章識別問題中的諸多固有問題，采用卷積神經網絡與長短時記憶神經網絡相融合的方式將圖像的特征進行充分提取、融合，然后結合上下文的語義信息，并將卷積神經網絡進行二值化處理，內存占用量大幅降低，顯著提高了檢測算法的精度與速度。

現階段卷積神經網絡(CNN)因為其卓越的性能，已成為機器視覺領域領頭羊。遞歸神經網絡(RNN)（Pollack J B.Recursive distributed representations）是傳統神經網絡的一種變形，通過時延反饋連接而具有“記憶”功能。對于一個遠非簡單的分類問題，英文手寫體文章識別（Plamondon R.On-line and off-line handwriting recognition）是一個具有挑戰性的機器學習問題。本文開發了一種將權重值和激活函數二值化的英文手寫體文章識別算法，與優化前相比，在準確率提升的同時，減少了內存消耗并加快了模型的收斂速度。

1 深度神經網絡模型

圖1 二值化的卷積神經網絡模型

圖2 LSTM網絡結構圖

二值化的卷積神經網絡模型分為6個步驟，如圖1所示。首先對輸入的數據集進行預處理，然后與二值化的卷積核進行卷積運算，接著進行批歸一化處理，再通過二值化的激活函數，之后經過最大池化處理，獲得提取到的特征圖，最后將特征圖的空間形狀進行重新排列，送入LSTM網絡中。

LSTM神經網絡（張英,鄭秋生.基于循環神經網絡的互聯網短文本情感要素抽取）是RNN的一種，適合于處理和預測時間序列中間隔和延遲相對較長的重要事件。LSTM的網絡結構如圖2所示。

其中，Xt表示t時刻的輸入，ht表示時刻的輸出。LSTM的結構一般分為三個部分：遺忘門、輸入門和輸出門。遺忘門如式(1)所示：

其中，Wf、Vf為權重矩陣，bf為偏置矩陣，σ為sigmoid激活函數，h(t-1)為上一序列的隱藏狀態，xt為本序列輸入數據。

輸入門負責處理當前序列位置的輸入，輸入門由兩部分組成，如式(2)、式(3)所示：

其中Wi、Vi、Wc、Vc為權重矩陣，bi、bc為偏置矩陣。前面的遺忘門和輸入門的結果都會作用于單元

狀態Ct。Ct由兩部分組成，如式(4)所示：

2 英文手寫體文章識別實驗與結果分析

本文采用公開數據集IAM Handwriting Database（Marti U V,Bunke H.The IAM-database），輸入數據主要是高考英語作文掃描版，數據的標簽為圖片所對應的txt文本形式，數據集樣本示例如圖3所示。

圖3 數據集樣本示例

圖4 數據集増廣效果圖

圖5 圖像傾斜校正效果

圖6 文本區域定位效果

圖7 (a) 準確率對比

圖7 (b) 損失值對比

數據集圖片數量有限，為了擁有更多的數據集，提升模型性能，經過數據集増廣操作，可將數據集擴展多倍。數據集増廣效果如圖4所示。

由于掃描版或拍攝的圖片往往會存在圖像傾斜的情況，將大大降低識別效果，因此需要對圖像進行傾斜校正預處理，效果如圖5所示。

在輸入神經網絡模型前需要做文本區域定位，本文實驗采用基于MSER算法進行改進，效果如圖6所示。

使用二值化的神經網絡與原模型的準確率、損失值變化如圖7(a)、圖7(b)所示。

在圖7(a)、圖7(b)中，紅色曲線代表二值化模型，藍色曲線代表原模型，橫坐標表示訓練步數，共迭代訓練100步，縱坐標表示模型識別的準確率。原模型最終的準確率為84.63%，二值化模型準確率為89.79%，原模型在60步時基本收斂，二值化模型在30步時基本收斂，且最終的準確率與損失值均優于原模型，且在訓練時間與內存占用上二值化模型卻比原模型明顯減少，若繼續訓練，二值化模型與原模型最終準確率會基本相等。

結論：本文提出了一種基于二值化神經網絡的英文手寫體文章識別新算法，采用卷積神經網絡結合LSTM神經網絡的結構，采用二值化的權重值與激活函數，在提高準確率的同時，大幅減少了訓練所需的時間和內存，使網絡訓練更加高效。實驗結果表明，較其它算法，本文提出的網絡模型在英文手寫識別任務中的識別準確率、內存占用和訓練時間上有顯著優勢。