基于粗細粒度深度學習的脫機手寫漢字識別

陳 悅 ，黃寄洪

(1.2.梧州學院 信息與電子工程學院，廣西 梧州 543002)

0 引言

由于在拍照文檔、證件、票據、郵政信封、手稿文書等光學字符識別(Optical character recognition，OCR)系統以及手寫文字輸入設備中的廣泛應用，自上個世紀80年代以來，手寫漢字識別一直是模式識別的一個重要研究領域。手寫體漢字識別可以分為脫機(Offline)識別和聯機(Online)識別兩大類，聯機識別所處理的手寫文字是通過觸摸屏或數字手寫板等設備獲取到的在線實時書寫的文字信號，而脫機手寫文字識別所處理的手寫文字是通過掃描儀或攝像頭等圖像捕捉設備獲取到的手寫文字圖片。由于識別的對象不同，使得這兩類手寫識別技術所采用的方法和策略也不盡相同。前者的識別對象是一系列按時間先后排列的采樣點信息，而后者則是丟失了書寫筆順信息的二維像素信息，由于沒有筆順信息，加上在不同光照、分辨率、書寫紙張等條件下進行圖像采集，難免會受到噪聲干擾。一般來說，脫機手寫文字識別比聯機手寫文字識別更加困難，本文研究的是脫機手寫漢字識別。

盡管經過了多年的研究發展，手寫漢字識別目前仍然是一個極具挑戰性的模式識別問題[1]，主要表現在：第一，漢字個數多，僅1980年制定的國標GB2312-80編碼就定義了多達6763類常用漢字，而在2000年發布的國標GB18010-2000則大幅度擴展了字符集，定義了27533類漢字編碼標準，因此漢字識別問題屬于超大規模數據集的模式識別問題。第二，字形變化多，相比較于印刷體漢字，手寫字體的書寫缺乏規范性，隨意性較大而且變化也多樣，如常用的橫、豎、撇、捺、點等筆劃容易變形為其他筆劃，此外不同人的書寫風格各有特點也造成手寫體的變化多種多樣。第三，漢字相似字多，例如：“己-已” “囗-口” “淚-汩-汨”“菜-萊”“睢-雎”“汆-氽”等，這些高度相似的漢字給計算機自動識別帶來極大的挑戰。

經過研究學者們的不懈努力，近年來手寫漢字識別取得了極大的進展，基于鑒別特征提取方法(Discriminative feature learning，DFE)和鑒別學習二次判決函數(Discriminative learning quadratic discriminant function，DLQDF)分類器，在極具挑戰的脫機手寫漢字數據集CASIA-HWDB[2]的DB1.1上，手寫單字識別取得的最高識別率是[3]92.08%；在國際文檔分析與識別大會漢字單字識別競賽(ICDAR 2013 Competition DB)中最高識別率是92.72%。但是近年來基于傳統的“預處理+特征提取+分類器”的手寫漢字識別框架遇到了瓶頸，識別正確率難以得到較大幅度的提升，隨著深度學習的興起以及不斷發展[4-6]，特別是深度卷積神經網絡(CNN)[7-8]、深度置信網絡(Deep belief network，DBN)[4]、深度遞歸神經網絡(Deep recurrent neural network，DRNN)[9]等深度模型在圖像識別及計算機視覺各領域大量突破性成果的涌現，相關的方法也被逐步應用到手寫體文字識別領域[10-12]，并取得了不少突破性發展，例如自2011年起，連續兩屆的ICDAR(International Conference on Document Analysis and Recognition)手寫漢字識別比賽的獲勝者都是采用基于深度學習或神經網絡的方法[13-14]，在2013年的ICDAR手寫漢字比賽中，來自富士通公司的團隊采用改進的CNN網絡，獲得了脫機手寫漢字識別的第一名，因此基于深度學習的方法所取得的結果大幅度領先傳統的方法，顯示出深度學習的強大潛力。

基于深度學習的手寫漢字識別方法相比傳統方法有了質的提高，但離終極目標100%識別正確率還是有一定的差距，而且這只是在給定的標準數據集下得到的最好結果，因此不斷提高手寫漢字的識別率將是今后很長一段時間內的研究重點和難點。基于深度學習方法識別率的提高通常可以通過優化漢字特征提取、加深深度學習網絡的層數、加大深度學習每一層網絡的規模以及增加學習樣本來實現，本文提出一種方法，可以在不對特征提取方法、深度學習網絡結構、學習樣本數量做優化的情況下，僅利用相似漢字之間內在的相似性特性來提高識別正確率，實驗結果表明該方法能夠有效提高識別正確率。

1 深度學習神經網絡的基本結構

用于圖像識別的深度學習神經網絡一般按照輸入層、卷積層、數據采樣層、全連接層、輸出層這樣的基本結構進行設計[15]，其中輸入層接受的是二維圖像數據，為了盡可能減少不必要的干擾因素，輸入圖像首先應該經過噪聲去除、歸一化、二值化甚至特征提取等預處理操作。卷積層使用多個卷積核對輸入的二維圖像數據進行卷積操作，每一個卷積核對應一個或者是一類的漢字特征，卷積之后的結果還是二維圖像。為了防止過度擬合，對于尺寸較大的二維圖像輸出結果還需要進行池化和以一定概率隨機斷開輸入神經元的數據采樣操作，這部分操作放在數據采樣層進行處理。由于卷積和池化操作的輸出仍然是二維圖像，因此卷積層和數據采樣層可以串聯多層，把上一層的輸出作為下一層的輸入。全連接層的輸入是一維向量，因此從最后一層卷積層或者數據采樣層的輸出圖像需要重整為一維向量輸入到全連接層中，與卷積層類似，全連接層同樣可以添加多層。輸出層輸出分類結果，由于漢字識別屬于多分類問題，因此輸出層是一個能實現多分類的分類器，如softmax回歸、多分類支持向量機等。

2 粗細粒度深度學習神經網絡的設計

2.1 粗細粒度深度學習的基本原理

手寫漢字識別是一個多分類問題，采用單層多分類器進行漢字識別的優點在于處理過程簡單和規整，在訓練階段，每一個類別都被平等地對待，每一個樣本都被不加區分地進行學習；在分類階段，一個輸入樣本經多分類器處理后的輸出就是最終的分類類別。然而不同的類別之間的差異并不是均勻的，特別是對于漢字來說，不同漢字之間有的差別非常大，有的卻很小，因此把大量差別不均勻的不同漢字混合在一起進行訓練學習，結果將會是對于特征明顯的、與其他漢字差別較大的漢字識別效果會很好，但是對于特征不明顯的、容易混淆的漢字的分辯能力會因大規模無差別的學習而被削弱，從而導致把相似的兩個或者幾個漢字相互錯誤分類。解決問題的一個方法是，對相近的兩個或者幾個類別設計專門的小類別分類器，這樣一來分類器就可以聚焦在不多的兩個或幾個類別的差異上，從而可以提高識別率。要將一個待分類漢字樣本正確輸送到所對應的小分類器進行識別需要分兩步走，第一步是使用粗粒度的分類器對待分類樣本進行初次分類，如果該漢字樣本被錯誤分類也會以較大的大概率被分類到與它相似的其他漢字類別上，因此可以對漢字集進行分析，找出全部的相似字集，然后對每一個相似字集訓練專門的細粒度分類器；第二步根據初次分類的結果確定待分類漢字所對應的相似字集，然后使用相應的細粒度分類器進行最終的分類。由于細粒度分類器的分類正確率更高，所以能夠糾正相當多一部分原先通過大規模無差別學習得到的分類器進行分類造成的錯誤，從而提高總體識別正確率。

2.2 粗細粒度深度學習的設計

2.2.1粗細粒度分類器

基于粗細粒度深度學習的手寫漢字識別分類器由粗、細粒度兩種深度卷積神經網絡結合而成，其中粗粒度卷積神經網絡由漢字集的全體訓練樣本學習得到；細粒度卷積神經網絡由各個相似字集訓練樣本分別學習得到，有多少個相似字集就學習得到多少個細粒度分類器；不在任何一個相似字集中的所有漢字構成一個非相似字集，在該字集中的漢字被認為互不相似，該字集的全部訓練樣本也學習得到一個非相似字集分類器。

2.2.2識別流程

待識別漢字樣本進行識別的時候首先經過粗粒度分類器進行識別，如果分類后的結果被判定為落在某個相似字集內(包括正確識別的情況)，則使用相應的細粒度分類器進行二次識別，否則如果不落在任何一個相似字集內，則輸入到非相似字集分類器進行二次識別，二次識別后的結果就是該漢字最終的識別結果，識別流程如圖1所示。

圖1 手寫漢字識別流程圖

2.2.3 相似字集的確定

兩個漢字的相似程度可以通過比較兩個漢字向量化之后的距離來確定，為了找到能夠量化漢字集內漢字兩兩之間相似程度的相似度矩陣，相應的計算復雜度是全體漢字個數的平方。另一種確定兩個漢字相似程度的方法是利用訓練好的分類器對兩個漢字的測試樣本進行識別，相互錯誤識別的結果越多也就意味著兩個漢字的相似程度越高，以至分類器難以區分；同樣對全體漢字測試樣本進行識別，識別錯誤結果的分布即構成了相似度矩陣。如表1所示，水平方向的數值是某個漢字通過訓練好的分類器識別為其他漢字的數量，將正方形數字區域沿著“左上-右下”方向的對角線疊加后去除對角線上的數值，剩下的三角區域即可作為衡量漢字兩兩之間相似程度的三角矩陣。

表1 識別結果分布(每種漢字10個測試樣本)

通過一定的算法，可以把互為相似的一系列漢字找到，這些漢字構成一個相似字集，重復這個過程，直到把所有相似字集都找到為止。

2.2.4 識別率提高的條件

一個待識別的漢字樣本使用傳統分類器進行識別的結果可以分成三種情況，一是正確識別；二是錯誤識別但識別為相似字集中的某個漢字；三是錯誤識別并且識別為相似字集外的某個漢字。對于沒有相似字的漢字只需要把第二和第三種情況的相似字集改為非相似字集即可。在原分類器的基礎上結合細粒度分類器的手寫漢字識別方法對上述三種情況的影響是：對于原正確識別的樣本依舊被正確識別；原錯誤識別但識別為相似字集中某個漢字的樣本有相當多一部分能夠被糾正；原錯誤識別并且識別為相似字集外某個漢字的樣本無法糾正，但也不影響識別率。盡管該方法也可能把原來正確識別的樣本變成錯誤識別，但由于這種可能性較低，基本不會降低第一種情況的識別率，加上對第二種情況糾正的樣本數量比糾錯數量要多，因此該方法能夠有效地提高識別正確率。以下給出識別率能夠提高的條件以及提高的數值。

假設使用某分類器對某漢字手寫測試樣本進行識別的正確率為p1，識別錯誤但識別為其他(非)相似字集內漢字的錯誤率為n1，識別錯誤且不識別為(非)相似字集內漢字的錯誤率為n2，則

p1+n1+n2=1

(1)

以該分類器作為粗粒度分類器。在待識別漢字所在的相似字集上訓練得到的細粒度分類器對該漢字的測試樣本進行識別的正確率為p2，則粗細粒度分類器結合之后的最終識別正確率為

(p1+n1)×p2

(2)

由(1)、(2)兩式可得

(1-n2)×p2

(3)

令(1-n2) ×p2>p1，可得p2-p1>p2×n2，由此可知，對某漢字識別正確率提高的條件是：細粒度分類器的識別正確率p2要比粗粒度分類器的識別正確率p1大p2×n2。因為p2<1，所以如果p2-p1>n2也可以推出p2-p1>p2×n2。

假設總字集中共有N個不同的漢字，對于這N個不同漢字的測試樣本，其中第i個漢字的樣本在粗、細粒度分類器(對于無相似字的樣本則對應非相似字集分類器)上的識別正確率分別為p1i、p2i，由(3)式可得使用粗細粒度分類器識別的正確率為(1-n2i) ×p2i, 假設不同漢字的測試樣本數量都一樣，則總的識別正確率提高的百分比為

(4)

(5)

3 實驗結果

3.1 實驗數據的來源

實驗訓練及測試數據來源于中科院自動化研究所的脫機手寫漢字CASIA-HWDB1.1(DB1.1)數據集[2]，DB1.1總共包含GB2312-80標準level-1的3755個漢字，因為本實驗需要驗證的效果和字集規模大小無關，為了節省實驗時間僅選擇部分漢字(140個)進行實驗，選擇的140個漢字為“的一是了我不人在他有這個上們來到時大地為子中你說生國年著就那和要她出也得里后自以會家可下而過天去能對小多然于心學么之都好看起發當沒成只如事把還用第樣道想作種開美總從無情己面最女但現前些所同日手又行意動方期它頭經長兒回位分愛老因很給名法間斯知世什兩次使身者被高已親其進此話常與活正感”。每個漢字有240個訓練樣本以及60個測試樣本，這些訓練樣本以及測試樣本來自300位志愿者的手寫漢字。

3.2 深度學習網絡的參數

實驗使用的工具是Keras[16], Keras是一個高層神經網絡API，Keras由純Python編寫而成并基Tensorflow、Theano以及CNTK后端。

3.2.1 粗粒度深度卷積神經網絡

粗粒度分類器設計為依次由輸入層、32個3×3大小的卷積核構成的卷積層、2×2大小的池化層、64個3×3大小的卷積核構成的卷積層、2×2大小的池化層、以25%概率隨機斷開輸入神經元的隨機采樣層、128個神經元構成的全連接層、以50%概率隨機斷開輸入神經元的隨機采樣層、以softmax作為激活函數的140個神經元構成的全連接輸出層所組成，除了輸出層以softmax作為激活函數以外，其余所有的卷積層和全連接層均使用relu函數作為激活函數，網絡結構及參數如圖2所示。

圖2 粗粒度深度卷積神經網絡

3.2.2 細粒度深度卷積神經網絡

細粒度分類器設計為依次由輸入層、5×5大小的卷積核構成的三層卷積層(卷積核數量分別為：32、64、64，每個卷積層后面都跟有2×2大小的池化層、以20%概率隨機斷開輸入神經元的隨機采樣層)、128個神經元構成的全連接層、以50%概率隨機斷開輸入神經元的隨機采樣層、以softmax作為激活函數的全連接輸出層所組成，除了輸出層以softmax作為激活函數以外，其余所有的卷積層和全連接層均使用relu函數作為激活函數，網絡結構及參數如圖3所示。

圖3 細粒度深度卷積神經網絡

3.3 實驗結果

3.3.1 粗粒度分類器的識別率

粗粒度深度卷積神經網絡經過多次迭代以及反復精細化調節的訓練之后，在測試樣本集上的識別正確率穩定在85.8%左右，如圖4所示，當繼續增加迭代次數以及精細化調節之后已經不能對識別率有進一步的提高了，因此85.8%的識別正確率是在該網絡結構下能達到的最高或者接近最高的識別正確率。

圖4 識別率隨迭代次數增加的變化

3.3.2相似度矩陣以及相似字集

基于粗粒度深度卷積神經網絡的結構，對140個漢字總共33600個訓練樣本的數據集采用五折交叉驗證的方式進行訓練以及識別，找到識別結果分布矩陣，去掉“左上-右下”對角線上的值之后再把上三角矩陣的值疊加到下三角矩陣，得到了140個漢字的相互錯誤識別三角矩陣，用圖像把三角矩陣顯示出來，如圖5所示，每一個黑點代表兩個漢字之間相互錯誤識別的數量，顏色越深代表錯誤識別的數量越多，也就意味著這兩個漢字的相似程度越高。

圖5 140個漢字的相互錯分類分布圖

最終在從140個漢字組成的漢字集中找到前18組最相似的字集，分別為：子-了，她-地，下-不，過-這-進，去-會，對-時，看-著-者，從-以，無-天，手-于，頭-大-長，回-國，給-經，間-同，知-和-如，世-也，已-己，活-話。

3.3.3 細粒度分類器的識別率

細粒度深度卷積神經網絡經過多次迭代以及反復精細化調節的訓練之后，在18組相似字集的測試樣本集上能夠達到的識別正確率分別為：子-了97.5%，她-地90.8%，下-不95.8%，過-這-進96.1%，去-會95.8%，對-時91.7%，看-著-者87.3%，從-以96.7%，無-天96.6%，手-于96.7%，頭-大-長98.3%，回-國94.2%，給-經94.9%，間-同96.6%，知-和-如94.5%，世-也95.8%，已-己76.7%，活-話75.8%。

18個相似字集總共40個漢字，余下的100個漢字組成非相似字集，非相似字集分類器選用和粗粒度深度卷積神經網絡相同的結構，經過多次迭代以及反復精細化調節的訓練之后，在測試樣本集上能夠達到的識別正確率為90.8%。

3.3.4 聯合分類器的識別率

把粗細粒度深度卷積神經網絡聯合起來進行手寫漢字識別，識別正確率由原來的85.8%提高至87.4%，盡管識別率已有了顯著提高，但距離傳統方法在DB1.1數據集上得到最好結果的92.08%仍有不小差距，這是由于構成聯合分類器的粗粒度以及細粒度分類器本身的識別率不高所導致的，接下來要驗證粗細粒度深度學習識別方法在基于更高識別率的粗、細粒度分類器上的更好表現。

3.3.5 聯合分類器識別率的進一步提高

(1)粗粒度分類器和細粒度分類器保持使用原來的結構，而非相似字集分類器則在原結構基礎上加多一層卷積層，從而使得深度神經網絡的深度加深，此時的聯合分類器的識別率由原來的87.4%提高至90.1%，而相比于粗粒度分類器的85.8%更是提高了不少。

(2)在上述(1)的基礎上，粗粒度分類器加多一層卷積層，粗粒度分類器的識別率從85.8%提高至92.3%，已經高于傳統識別方法的最高識別率，聯合分類器的識別率則提高至92.4%，提升幅度較(1)的情形要小很多，原因在于此時的粗、細粒度分類器的結構已經大致相同，因此要獲得比粗粒度分類器高出更多的識別率就需要對細粒度分類器的結構進行進一步的改進，比如增加深度或者使用更多的訓練樣本，這也意味著更高的學習代價——訓練時間更長、需要的計算資源也更多，但基于粗細粒度的深度學習方法較其他方法更有優勢的地方在于構成聯合分類器的粗、細粒度分類器是互不相干可以獨立訓練的個體，細粒度分類器只需要在少數的幾個類別中訓練，即便需要把深度卷積網絡的復雜度提高，把訓練樣本的數量加大，也不會造成過高的時間開銷。

4 結論

實驗結果表明，基于粗細粒度的深度卷積神經網絡用于手寫漢字識別的實驗結果符合理論預期，能夠達到提高識別正確率的目的。