基于卷積神經網絡的多字體字符識別*

呂 剛

(金華廣播電視大學理工學院，浙江金華 321000)

0 引言

卷積神經網絡(Convolutional Neural Networks，CNNs)是近年發展起來的一種高效識別方法，已經成為眾多科學領域的研究熱點之一，特別是在模式分類領域．由于該網絡避免了對圖像的復雜前期預處理，可以直接輸入原始圖像，因而得到了廣泛的應用．CNNs在字符識別領域的應用一直非常成功．例如，在Mnist字庫的識別上，CNNs一直保持著最佳的識別率．

文獻［1］用一個4層的卷積神經網絡 LeNet-5對Mnist進行識別實驗，獲得了98．4%的識別率，2層BP網絡的識別率是87%;文獻［2］通過對訓練集字符作彈性形變處理，卷積神經網絡在Mnist上的識別率達到99．6%，2層BP網絡的識別率是99．1%，支持向量機(SVM)的識別率是99．4%;文獻［3］運用大規模卷積神經網絡和基于能量模型的稀疏表示在Mnist上達到99．61%的識別率;文獻［4］通過結合大規模神經網絡和2個階段的特征提取獲得了99．47%的識別率．值得一提的是，文獻［4］并沒有對訓練集作彈性形變等預處理．

然而，基本BP算法的收斂速度較慢，往往需要幾百次迭代才能收斂到滿意的結果．本文首先介紹了一個典型的卷積神經網絡——Simard網絡;其次在Simard網絡的基礎上，采用隨機對角Levenberg-Marquardt算法，有效地提高了Simard網絡的收斂速度;以改進后的Simard網絡為基礎進行實驗，分析了網絡結構對網絡性能的影響;最后成功地把改進的Simard網絡應用到多字體字符的識別上，在極大提高識別速度的基礎上取得了較好的識別率．

1 卷積神經網絡

卷積神經網絡可以看成是一個結構化的BP網絡，融合3種結構性的方法實現位移、縮放和扭曲不變性．這3種方法分別是局域感受野、共享權值和空間域或時間域上的次采樣．局域感受野是指每一網絡層的神經元只與上一層的一個小鄰域內的神經單元連接，通過局域感受野，神經元可以提取初級的視覺特征，如方向線段、端點、角點等;權值共享是指同一個特征圖中的神經元共用相同的權值，使得卷積神經網絡具有更少的參數，局域感受野和權值共享使得卷積神經網絡具有平移不變性，每個特征圖提取一個特征，對特征出現的位置不敏感;次采樣可以減少了特征圖的分辨率，從而減少對位移、縮放和扭曲的敏感度．

1．1 Simard 網絡

文獻［1］給出了一個結構比較簡單、規模較小的卷積神經網絡LeNet-5;文獻［5］改進了LeNet-5的結構;文獻［2］則提出了簡化的LeNet-5的結構，以下簡稱Simard網絡．

根據Simard的實驗，邊緣擴充對性能的提高不明顯(實際上Mnist字庫本身留有4個像素的邊緣)，因此，輸入結果變成了29×29的圖像．卷積層和次采樣層作了合并，C5被取消了．這些改進大大減少了網絡規模，提高了單次迭代的速度．

1．2 對Simard網絡的改進

Simard采用基本的BP規則作網絡訓練，網絡的收斂速度較慢，往往需要幾百次迭代［1］．本文采用文獻［5］提出的隨機對角Levenberg-Marquardt算法對網絡作訓練，這一算法需要的迭代次數明顯比基本的BP算法少．隨機對角Levenberg-Marquardt算法的公式為

式(1)中:ε是全局的學習率，一般取初始值0．01，ε太大會使網絡無法收斂，太小則會降低收斂速度，且使網絡更容易陷入局部極小值，訓練過程中可以用啟發式規則改值，根據訓練集的大小可以調整樣本數量，文中隨機選取化過大．

對于單個樣本，計算的誤差是否小于當前平均誤差的1/10，對權值的影響很小，本文對這樣的樣本不計算反向傳播，降低了單次迭代所需的時間．

另外，為了滿足實驗需要，本文輸出層單元數為34．

2 實驗

以百度貼吧驗證碼的識別為例，驗證Simard網絡的多字體字符識別性能．初始學習速度是0．01，若在多次迭代后，網絡性能沒有提高，則降低學習速度;另外，對Simard網絡的各層在規模上作了適度修改，嘗試尋找最佳的網絡規模．

2．1 實驗數據

百度貼吧驗證碼的例子如圖1所示，由4個數字或字符構成的驗證碼，具有旋轉、縮放、扭曲形變、簡單粘連和多字體變化等特點．點擊驗證碼邊上的“看不清楚”按鈕會產生一個新的驗證碼，隨機改變4個字符的旋轉尺度、縮放比例、扭曲程度以及字體大小，但不改變4個字符的編碼．例如，字符“ABCD”，刷新后還是“ABCD”，只是呈現的外觀有所變化．基于這個因素及粘連字符出現的比例不高(實驗中測定的錯誤分割的概率約42%，即平均刷新一次就可以正確分割)，以刷新驗證碼代替粘連分割，如果一個驗證碼不能被分割成4個連通區，就刷新它．

圖1 百度驗證碼例子

因為獲得大量標定樣本的工作量巨大，因此，本文用一個程序模擬生成百度驗證碼字符獲得訓練集，測試集通過已經標定的實際驗證碼獲得．這樣做也提高了訓練集和測試集的獨立性，使得驗證結果更有可信度．

模擬生成訓練集的程序通過以下步驟實現:

1)遍歷系統中的字體，本文為64種字體，排除10種不可用的字體(如Wingdings)，實際采用54種;

2)旋轉字符圖像，角度從 -30～ +30°，以5°為一刻度，共13種;

3)遍歷數字和大寫字母，排除數字0和字符O這2個易混淆且沒在百度驗證碼中采用的字符，共34個字符，依次用0-33標定，獲得訓練集1;

4)修改第3步，只遍歷數字0-9，共10個字符，依次用0-9標定，獲得訓練集2;

5)修改第3步，只遍歷字母A-Z，去掉字母O，共25個字符，依次用0-24標定，獲得訓練集3．

訓練集中每個字符圖像歸一化為20×20大小，居中放在28×28的白色背景中，以Mnist的格式保存．圖2是部分訓練集樣本．

圖2 部分訓練集樣本

測試數據的準備分如下3步:

1)從百度獲得6 000個驗證碼圖片，刪除不能分割成4個連通區的圖片，共獲得3 509個可用的實驗樣本;

2)從剩下的圖片中隨機選取200幅驗證碼圖片，通過求連通區分割得到800個字符圖像，按照訓練集一樣規格制作得到測試集1，作單個字符的識別驗證;

3)從前面第1和第2步選剩下的圖片中再隨機選擇500幅作標定，作整體識別率驗證．

2．2 收斂速度實驗

網絡的收斂速度受多方面因素的影響，如初始權值、訓練集的質量、網絡結構、訓練算法等．本文主要研究了網絡輸出層規模(反映網絡能識別的分類規模)和訓練算法對收斂速度的影響，結果如圖3所示．

圖3中，Mnist、訓練集2、訓練集2-34都是純數字的訓練集，它們的樣本個數不同，但是都只包含數字0-9，即分類規模是10．其中:訓練集2-34中使用的網絡，輸出層有34個單元;其他2個訓練集使用的網絡，輸出層是10個單元．從圖3中可以看出:

1)隨機對角Levenberg-Marquardt算法能極大提高網絡的收斂速度．對于Mnist，采用基本BP算法的網絡收斂到92%的正確率需要21次迭代(曲線Mnist-sdbp)，采用隨機對角Levenberg-Marquardt算法的網絡則只要3次迭代(曲線Mnist);

圖3 不同網絡結構下的網絡收斂速度

2)網絡收斂需要的迭代次數與網絡的輸出層級實際規模有關(曲線訓練集2-34中雖然網絡輸出層有34個單元，實際使用的是10個)，和訓練集的大小無關．

另外，訓練集1-sub是訓練集1的子集，只包含5個字體，共3 525個樣本．圖3中，訓練集1-sub收斂的速度特別慢，進一步的實驗表明，這是全局學習率太大造成的．

如圖4所示，直接采用固定的全局學習率5e-005，比采用從一個較大值逐漸遞減到5e-005的網絡收斂得更快．注意，圖4中，X軸的刻度是10 epochs．這個實驗除了表明固定學習率有時可以獲得比遞減學習率更好的收斂結果外，還進一步驗證了:若訓練集中的類別數增加，則網絡需要更多的迭代才能收斂．

圖4 全局學習率的選擇

2．3 泛化性

文獻［1］提到，在網絡性能達到一定程序后，繼續提高網絡中各層的規模對網絡的識別能力影響不大．本文的實驗也驗證了這一點．對測試集1采用不同的網絡結構進行識別，結果如圖5所示．

圖5中6-50-100表示采用的網絡中C1，C2，H1的規模分別是6，50，100(輸出層都是34)．從圖5可以看出:對于測試集1，需要190 epochs左右才能收斂到最佳結果，繼續訓練，則網絡的泛化能力會表現出在最佳值附近震蕩(即使MSE可以一直減小);減小網絡規模會降低網絡的泛化能力，增大網絡規模，沒有表現出明顯的泛化能力的提高．

圖5 網絡結構對泛化性的影響

2．4 對百度驗證碼的識別結果

根據前面的實驗，本文選擇6-50-100-34的網絡結構對訓練集1作190次迭代訓練;然后將訓練好的網絡對500個驗證碼圖片、共2 000個樣本作識別實驗．獲得的誤識率為1．6%，整體誤識率為6．5%．表明卷積神經網絡能對百度驗證碼進行有效識別，同時也表明，可以把卷積驗證碼擴展到多字體字符的識別領域．部分誤識的樣本如圖6所示．

圖6 部分誤識樣本

從圖6可以看出，造成誤識的主要原因有2個:一個是近似字符，有些易混淆字符即使用人眼也很難辨識;另一個是分割造成的．文中用先求連通區，然后在原圖截取連通區閉包的方法獲得單個字符，實際獲得的單個字符圖像中可能會包含其他字符的一些像素，這個情況在字符“A”上特別明顯，因為閉包是一個長方形，而字符“A”是三角形，所以容易框到其他字符的像素．

3 結論

介紹了一個典型的卷積神經網絡——Simard網絡，在Simard的基礎上，采用隨機對角Levenberg-Marquardt算法提高了Simard網絡的收斂速度，并用改進的Simard在Mnist字庫、程序生成的多字體印刷體字庫以及百度驗證碼進行驗證，結果表明:

1)隨機對角Levenberg-Marquardt算法能有效提高網絡的收斂速度(對Mnist庫是7倍左右，見圖3);

2)Simard網絡能夠很好地適應多字體數字和英文字符的識別問題，文中單字符的識別率達到98．4%(誤識率1．6%)，具有很好的泛化能力;

3)隨著訓練集樣本類別數的增加，網絡需要更多的迭代次數才能收斂，而訓練集的樣本數量和網絡訓練需要的迭代次數之間沒有明顯的關系;

4)在網絡規模滿足樣本空間要求后，進一步提高網絡規模對網絡的識別能力提高很小，但網絡規模與單次迭代的時間成正比，因此，需要控制網絡規模;

5)固定一個較小的全局學習率，有時可以獲得比遞減全局學習率更好的收斂速度．

同時，實驗也表明，隨著訓練集中目標類別數的增加，網絡收斂需要的迭代次數也明顯增加．能否把卷積神經網絡用于大字符集(如中文字符)的識別還需要作進一步的實驗．

［1］Lecun Y．Generalization and network design strategies［R］．Pfeifer:Connectionist Research Group，1989．

［2］Simard P Y，Steinkraus D，Platt J C．Best practices for convolutional neural networks applied to visual document analysis［C］//Proc of the Seventh International Conference on Document Analysis and Recognition．Washington:IEEE，2003:958-962．

［3］Ranzato M A，Poultney C，Chopra S，et al．Efficient learning of sparse representations with an energy-based model［C］//NIPS 2006．Cambridge:MIT Press，2007:1137-1144．

［4］Jarrett K，Kavukcuoglu K，Ranzato M A，et al．What is the best Multi-Stage architecture for object recognition?［C］//Proc of ICCV．Kyoto:IEEE，2009:2146-2153．

［5］Lecun Y，Bottou L，Bengio Y，et al．Gradient-based learning applied to document recognition［J］．Proc of the IEEE，1998，86(11):2278-2324．