二值化神經(jīng)網(wǎng)絡(luò)的英文手寫體文章識別算法

沈陽理工大學(xué) 周 越 夏彩鳳

針對傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)在英文手寫體文章識別問題中的諸多固有問題，采用卷積神經(jīng)網(wǎng)絡(luò)與長短時記憶神經(jīng)網(wǎng)絡(luò)相融合的方式將圖像的特征進(jìn)行充分提取、融合，然后結(jié)合上下文的語義信息，并將卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行二值化處理，內(nèi)存占用量大幅降低，顯著提高了檢測算法的精度與速度。

現(xiàn)階段卷積神經(jīng)網(wǎng)絡(luò)(CNN)因?yàn)槠渥吭降男阅?，已成為機(jī)器視覺領(lǐng)域領(lǐng)頭羊。遞歸神經(jīng)網(wǎng)絡(luò)(RNN)（Pollack J B.Recursive distributed representations）是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的一種變形，通過時延反饋連接而具有“記憶”功能。對于一個遠(yuǎn)非簡單的分類問題，英文手寫體文章識別（Plamondon R.On-line and off-line handwriting recognition）是一個具有挑戰(zhàn)性的機(jī)器學(xué)習(xí)問題。本文開發(fā)了一種將權(quán)重值和激活函數(shù)二值化的英文手寫體文章識別算法，與優(yōu)化前相比，在準(zhǔn)確率提升的同時，減少了內(nèi)存消耗并加快了模型的收斂速度。

1 深度神經(jīng)網(wǎng)絡(luò)模型

圖1 二值化的卷積神經(jīng)網(wǎng)絡(luò)模型

圖2 LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖

二值化的卷積神經(jīng)網(wǎng)絡(luò)模型分為6個步驟，如圖1所示。首先對輸入的數(shù)據(jù)集進(jìn)行預(yù)處理，然后與二值化的卷積核進(jìn)行卷積運(yùn)算，接著進(jìn)行批歸一化處理，再通過二值化的激活函數(shù)，之后經(jīng)過最大池化處理，獲得提取到的特征圖，最后將特征圖的空間形狀進(jìn)行重新排列，送入LSTM網(wǎng)絡(luò)中。

LSTM神經(jīng)網(wǎng)絡(luò)（張英,鄭秋生.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的互聯(lián)網(wǎng)短文本情感要素抽取）是RNN的一種，適合于處理和預(yù)測時間序列中間隔和延遲相對較長的重要事件。LSTM的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

其中，Xt表示t時刻的輸入，ht表示時刻的輸出。LSTM的結(jié)構(gòu)一般分為三個部分：遺忘門、輸入門和輸出門。遺忘門如式(1)所示：

其中，Wf、Vf為權(quán)重矩陣，bf為偏置矩陣，σ為sigmoid激活函數(shù)，h(t-1)為上一序列的隱藏狀態(tài)，xt為本序列輸入數(shù)據(jù)。

輸入門負(fù)責(zé)處理當(dāng)前序列位置的輸入，輸入門由兩部分組成，如式(2)、式(3)所示：

其中Wi、Vi、Wc、Vc為權(quán)重矩陣，bi、bc為偏置矩陣。前面的遺忘門和輸入門的結(jié)果都會作用于單元

狀態(tài)Ct。Ct由兩部分組成，如式(4)所示：

2 英文手寫體文章識別實(shí)驗(yàn)與結(jié)果分析

本文采用公開數(shù)據(jù)集IAM Handwriting Database（Marti U V,Bunke H.The IAM-database），輸入數(shù)據(jù)主要是高考英語作文掃描版，數(shù)據(jù)的標(biāo)簽為圖片所對應(yīng)的txt文本形式，數(shù)據(jù)集樣本示例如圖3所示。

圖3 數(shù)據(jù)集樣本示例

圖4 數(shù)據(jù)集増廣效果圖

圖5 圖像傾斜校正效果

圖6 文本區(qū)域定位效果

圖7 (a) 準(zhǔn)確率對比

圖7 (b) 損失值對比

數(shù)據(jù)集圖片數(shù)量有限，為了擁有更多的數(shù)據(jù)集，提升模型性能，經(jīng)過數(shù)據(jù)集増廣操作，可將數(shù)據(jù)集擴(kuò)展多倍。數(shù)據(jù)集増廣效果如圖4所示。

由于掃描版或拍攝的圖片往往會存在圖像傾斜的情況，將大大降低識別效果，因此需要對圖像進(jìn)行傾斜校正預(yù)處理，效果如圖5所示。

在輸入神經(jīng)網(wǎng)絡(luò)模型前需要做文本區(qū)域定位，本文實(shí)驗(yàn)采用基于MSER算法進(jìn)行改進(jìn)，效果如圖6所示。

使用二值化的神經(jīng)網(wǎng)絡(luò)與原模型的準(zhǔn)確率、損失值變化如圖7(a)、圖7(b)所示。

在圖7(a)、圖7(b)中，紅色曲線代表二值化模型，藍(lán)色曲線代表原模型，橫坐標(biāo)表示訓(xùn)練步數(shù)，共迭代訓(xùn)練100步，縱坐標(biāo)表示模型識別的準(zhǔn)確率。原模型最終的準(zhǔn)確率為84.63%，二值化模型準(zhǔn)確率為89.79%，原模型在60步時基本收斂，二值化模型在30步時基本收斂，且最終的準(zhǔn)確率與損失值均優(yōu)于原模型，且在訓(xùn)練時間與內(nèi)存占用上二值化模型卻比原模型明顯減少，若繼續(xù)訓(xùn)練，二值化模型與原模型最終準(zhǔn)確率會基本相等。

結(jié)論：本文提出了一種基于二值化神經(jīng)網(wǎng)絡(luò)的英文手寫體文章識別新算法，采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合LSTM神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，采用二值化的權(quán)重值與激活函數(shù)，在提高準(zhǔn)確率的同時，大幅減少了訓(xùn)練所需的時間和內(nèi)存，使網(wǎng)絡(luò)訓(xùn)練更加高效。實(shí)驗(yàn)結(jié)果表明，較其它算法，本文提出的網(wǎng)絡(luò)模型在英文手寫識別任務(wù)中的識別準(zhǔn)確率、內(nèi)存占用和訓(xùn)練時間上有顯著優(yōu)勢。