基于CNN 與有限狀態自動機的手寫體大寫金額識別

閆 茹，孫永奇，朱衛國，李宇霞

（北京交通大學計算機與信息技術學院，北京 100044）

0 概述

票據是銀行、單位和個人辦理支付結算和現金收付業務的重要依據，是記載經濟業務和明確經濟責任的一種書面證明。票據數量繁多且非常重要，操作人員稍有不慎便可能造成很大的經濟損失，因此，利用光學字符識別（Optical Character Recognition，OCR）技術對票據進行自動識別具有重要意義。作為票據中最重要的部分，金額的識別尤為關鍵，不能出任何差錯。目前，手寫票據中大寫金額部分的識別準確率達不到令人滿意的效果，原因有兩點：一是用戶在書寫時風格多樣，字符內部、字符之間的空隙大小不均，字與字之間可能粘連嚴重；二是手寫票據有一大部分是復寫數據，存在字跡不清楚、筆畫缺失且噪聲難以完全去除的問題。此外，漢字文本行的識別涉及整條文本行圖像的去噪、準確切分、單字識別以及路徑最優化選擇等多項復雜任務，每一部分都會影響最后的識別結果。因此，對手寫票據中的大寫金額進行準確識別是一個亟待解決的問題。

為提高大寫金額的識別準確率，需要對初步的識別結果做進一步的檢查調整。由于票據中大寫金額的填寫具有嚴格的語法要求，因此很適合使用有限狀態自動機對識別結果進行檢驗，而且大寫金額字符數量少、內容明確，適用于構造有限狀態自動機。此外，使用有限狀態自動機可以理清字符間的語法邏輯，快速而準確地拒絕有語法錯誤的字符串并定位到錯誤的字符位置。

本文建立一種基于卷積神經網絡（Convolutional Neural Network，CNN）和有限狀態自動機的手寫體大寫金額識別模型。在利用卷積神經網絡對單個字符進行識別后，使用有限狀態自動機檢查大寫金額的語法，在票據識別結果的多條路徑中選擇更加準確且符合語法規則的字符串。在路徑搜索過程中，結合語法自動機的前綴判斷功能優化搜索性能，對不必要的搜索路徑進行剪枝以提高搜索的速度和精度。同時，利用語法自動機對模型識別不出的模糊字符進行預測以提高識別準確率。

1 相關研究

1.1 手寫體大寫金額識別

近年來，有很多學者致力于中文票據識別研究［1-2］，包括票據中手寫小寫金額識別［3］以及大寫金額處理和識別［4］。文獻［5］提出一種偏旁識別器，使用字符寬度模型來確定分割線的預測位置。文獻［6］提出一種基于隱馬爾可夫模型的中國法定金額識別方法，在訓練階段，從滑動窗口中提取梯度特征，用單字符圖像訓練字符HMM；在識別階段，利用句子HMM 對文本行圖像進行分割，句子HMM 由字符HMM 根據嚴格的語言模型構造。文獻［7］使用筆畫序列信息和中文字符的八方向特征進行在線手寫漢字識別。文獻［8］將文字表示為幾何圖形，同時保留空間結構和時間順序，使用空間圖卷積網絡對字符圖進行分類。文獻［9］使用深度學習自動編碼器提取孤立大寫金額漢字字符的特征，以提高字符識別準確率。文獻［10］提出一種大寫金額語法檢查器，通過列舉不符合正確語法的靜態規則并結合動態判斷來拒絕錯誤的識別結果。

盡管上述對手寫體大寫金額識別的研究取得了很大的進展，但識別準確率仍然有待提高。傳統的基于過分割、組合、識別、路徑選擇和校驗的識別方法已經被證實可以很好地應用于手寫字符串識別任務［11-13］。近期，有學者提出不需要分割字符的端到端的序列識別方法［14-15］，這些方法對于規范的印刷體文本具有較好的性能，但是對于復雜背景下的手寫字符串識別還未能達到很好的效果。

本文采用基于分割的框架對手寫票據中的大寫金額進行識別。利用過分割和組合過分割項來得到單字符，使用卷積神經網絡對單字符進行識別，在此基礎上，構建語法自動機用于在路徑搜索中選擇符合語法規則的識別結果，并在后續處理中對模糊字符進行預測。

1.2 有限狀態自動機

美國語言學家喬姆斯基等人建立了形式文法和自動機之間的聯系［16］，使得自動機可以有效地表達各種語法規則。由于確定性的自動機在算法執行速度上與輸入字符串的長度呈線性關系，且空間復雜度較低，所以被廣泛應用于自然語言處理領域中的語法規則建模任務［17-18］。文獻［19］使用有限狀態自動機將單詞切分為音節，根據音節將文本轉換為聲音。有限狀態自動機是具有離散輸入、輸出系統的一種數學模型，它定義了有限個內部狀態和狀態之間的轉移函數。自動機按序接收輸入信號，該信號在內部狀態之間發生轉移，不符合自動機轉移條件的輸入將被拒絕，符合規則的輸入最終會轉移至輸出狀態，表明該輸入通過了檢驗。在實際應用中，自動機的狀態可能數以萬計，而且自動機的規模也是逐漸變大的，因此，會存在多余的狀態或多余的轉換弧，這些多余的狀態和轉換弧不僅降低了計算速度，而且浪費了存儲空間，需要對有限狀態自動機進行最小化，使其沒有多余的狀態，并且不存在2 個狀態相互等價的情況［20］。

2 票據識別

票據中手寫體大寫金額的識別主要包括：1）票據預處理及文本定位；2）字符圖像過分割、組合過分割項并識別；3）路徑搜索和校驗。

2.1 票據預處理及文本定位

手寫票據圖像是通過掃描儀獲得的RGB 三通道圖像。為了方便對圖像進行處理并降低計算量，需要對圖像進行灰度化處理。票據的尺寸、文本布局和掃描方式不一致，會造成大寫金額在票據中的位置有所差異。因此，本文首先使用能在復雜背景下對水平文本進行檢測的CTPN 算法［21］，對大寫金額進行定位。在文本定位之后，通過如下步驟作去噪處理：

1）使用Mask 勻光法［22］結合紅色（R）通道去除方法來去除圖像中的紅線，再將其轉成灰度圖像。

2）使用自適應閾值方法（OTSU）獲得閾值，將大于該閾值的像素灰度值設置為255，其余像素灰度值保持不變。

3）采用聯通區分析方法對上下位置的小聯通區進行去噪處理。

大寫金額定位后預處理前后的圖像如圖1 所示。

圖1 票據預處理效果Fig.1 Effect of bank check preprocessing

2.2 過分割與組合過分割

手寫漢字書寫隨意、風格多樣，文本行字符之間粘連嚴重，如圖2 所示。因此，需要先采用過分割的方式進行文本行切分，過分割算法將文本行圖像盡可能分開，分割得到的每一個圖像可能是單個字符或者字符的一部分，這些圖像被稱為過分割項。

圖2 粘連文本行Fig.2 Sticky text lines

本文采用的分割算法主要分為以下3 個步驟：

1）通過聯通區分析將文本圖像按照筆畫或者部件進行分割。

2）根據聯通區域的重疊度進行初合并，調整合并結果，去除重復區域［23］。

3）檢測粘連筆畫并對粘連項進行分割，通過計算過分割項的高度以及文本行高設定合適的寬高比閾值，高于閾值的項被認為可能存在粘連。對于潛在的粘連，沿著水平方向遍歷，通過統計垂直方向上連續像素點的個數，再結合筆畫寬度閾值和位置信息找到筆畫為“-”的區域并進行過分割處理。

在單個字符識別前還需要對上述過分割項進行組合，使用的組合方法為：對過分割項的合并采用遍歷方式，從第一個過分割項開始，依次與其后的過分割項進行合并，并記錄開始和結束的位置。漢字“捌”由4 個部件組成，是大寫金額漢字中部件數目最多的文字，因此，定義單個字符的最大合并過分割項Cmax=4。由于有些字符不需要合并4 個過分割項，因此合并時需要對過分割項進行類型判斷，動態調整合并項的數目。本文根據過分割項的寬度h、高度w以及過分割項的最大寬度Wmax、圖像的行高Hline，將過分割項劃分為3 類：

1）第一類C1。若過分割項的w

2）第二類C2。若過分割項的h/w>Tth3或w/Hline>Tth4，則將其定義為中型，該類可以是單個字符，也可以是單個字符中的主要部件。

3）第三類C3。除第一類和第二類，其余情況則將過分割項定義為大型，該類為單個字符。

在上述分類過程中，閾值Tth1、Tth2、Tth3和Tth4通過大量的優化實驗來確定，票據識別中閾值的取值分別為Tth1=3，Tth2=4，Tth3=1.2，Tth4=0.6。在合并的過程中，當組合了一個C3后，不再連續組合C3或C2；每個過分割項最多組合3 個C2；C1總是與其他項組合，如果合并項寬度大于設定的閾值，則不組合。根據上述規則便可得到待識別的合并項。

2.3 字符識別

基于深度學習直接從原始數據中學習判別式特征以進行字符分類的方法已經取得了較好的效果，因此，本文使用深度卷積神經網絡來訓練字符分類器。

本文采用8 層的卷積網絡，其包含5 個卷積層和3 個全連接層，卷積層均采用3×3 的卷積核，卷積步長為1，padding 為1。所有卷積層后連接一個空間最大池化層MaxPooling 以降低特征維度，同時保證圖像的平移不變性，增強分類的魯棒性。池化窗口為2×2，步長為2。為了加快收斂的速度并增強分類效果，在卷積層后均加入BatchNorm 層。在全連接層后接Dropout 層來增強模型的泛化性能。使用ReLUs 作為除最后一個全連接層外的所有卷積層和全連接層的激活函數，最后一層使用Softmax來進行分類，網絡的輸入為單通道的64×64 灰度圖。為了便于計算，設置圖像背景的灰度級為0，前景的灰度級為［1，255］。CNN 的配置信息如表1所示。

表1 CNN 網絡結構及其參數Table 1 CNN network structure and its parameters

3 大寫金額語法自動機

使用有限狀態自動機檢驗大寫金額語法時主要解決以下2 個關鍵問題：

1）根據大寫金額語法規則對字符進行分類，通過定義合理的狀態構造有限狀態自動機。

2）根據構造的有限狀態自動機，設計大寫金額字符串的匹配算法。

3.1 大寫金額語法規則

大寫金額的主要語法規則如下［24］：

1）中文大寫金額的數字字符應該使用規范的字符，如壹、貳、叁、肆、伍、陸、柒、捌、玖、拾、佰、仟、萬、億、元（圓）、角、分、零、整（正）等字樣。

2）中文大寫金額數字到“元”為止的，在“元”之后寫“整”（或“正”）字；到“角”為止的，在“角”之后可以寫也可以不寫“整”（或“正”）字；大寫金額數字有“分”的，“分”后面不寫“整”（或“正”）字。

3）如果大寫金額對應的阿拉伯數字金額中有“0”，則大寫金額應該符合漢語語言規律和金額數字構成規范：

（1）阿拉伯數字中間有“0”時，中文大寫金額要寫“零”字，如￥1 409.50，應寫成人民幣壹仟肆佰零玖元伍角（整）。

（2）阿拉伯數字中間有連續多個“0”時，中文大寫金額中間可以只寫一個“零”字，如￥6 007.14，應寫成人民幣陸仟零柒元壹角肆分。

（3）阿拉伯數字萬位（元位）是“0”，或者數字中間有連續多個“0”且萬位（元位）也是“0”，但千位（角位）不是“0”時，中文大寫金額中可以只寫一個“零”字，也可以不寫。如￥107 001.53，應寫成人民幣壹拾萬零柒仟零壹元伍角叁分，或者寫成人民幣壹拾萬柒仟零壹元伍角叁分。又如￥1 680.32，應寫成人民幣壹仟陸佰捌拾元零叁角貳分，或者寫成人民幣壹仟陸佰捌拾元叁角貳分。

（4）阿拉伯數字角位是“0”而分位不是“0”時，對應的大寫金額“元”字后面應寫“零”字。如￥16 409.02，應寫成人民幣壹萬陸仟肆佰零玖元零貳分。

3.2 有限狀態自動機構造

大寫金額字符組合具有多樣性，如果將單個字符作為有限狀態自動機的狀態，自動機將變得很大，而且由于多個狀態具有相同的狀態轉移關系，使得狀態之間的轉換變得冗余且復雜。因此，通過對字符進行分類可以得到最小化的有限狀態自動機，同時準確分類也有助于簡化字符組合的復雜度從而使得字符間的邏輯關系更加清晰。本文根據每個字符在金額中的意義將輸入字符集合劃分為以下5 類（括號內為集合名稱）：

1）數字類（Number）：壹，貳，叁，肆，伍，陸，柒，捌，玖。

2）數字單位類（Unit）：拾，佰，仟，萬。

3）金額單位類（Amount）：元，圓，角，分。

4）零類（Zero）：零。

5）結束字符類（Only）：正，整。

以類別名稱的首字母作為狀態名稱來表示自動機所處的狀態，則上述集合對應的自動機狀態分別為N、U、A、Z 和O。通過分析大寫金額的結構可以看出，在“元（圓）”之前的金額表示是由數字字符和數字單位字符組成的，而在“元（圓）”之后則不會用到數字單位字符。因此，為了更加清晰地表達自動機狀態之間的邏輯關系，將Number 類和Zero 類進一步劃分為以下3 類：

1）N 類。由于首字符缺乏上下文信息，因此將第一個數字字符歸為該類。例如，對于字符串“伍角叁分”或者“伍拾元”，當自動機讀取第一個字符“伍”時，由于沒有足夠的信息將其分類，因此自動機進入N 狀態。

2）N1（N2）類。在“元（圓）”之前（后）且不是首字符的數字類字符歸為該類。

3）Z1（Z2）類。在“元（圓）”之前（后）的零類字符歸為該類。

用于大寫金額語法檢查的有限狀態自動機M定義為一個有序五元組：

M=｛Q，∑，δ，q0，F｝

其中：Q=｛S，N，U，Z1，Z2，N1，A，N2，O｝是自動機所有狀態的集合；∑=｛壹，貳，叁，肆，伍，陸，柒，捌，玖，拾，佰，仟，萬，億，元，圓，角，分，零，整，正｝為所有輸入字符的集合；δ為狀態轉移函數，Q×∑→Q；q0=S是自動機的初始狀態，q0∈Q；F=｛A，O｝是所有終止狀態的集合，F∈Q。

有限狀態機的狀態流程為圖3 所示的有向圖，可以看出，其具有有限個狀態節點，并且每個節點代表一個狀態，每條有向邊代表狀態的轉移方向。有向邊上方標注的集合名稱是狀態轉移時需要的字符類型，即外界對自動機的輸入，自動機通過讀取相應的集合元素來推動狀態的轉移。

圖3 狀態轉換示意圖Fig.3 Schematic diagram of state transition

對于被檢查的字符串，有限狀態自動機依次讀取其中的字符，依據匹配算法進行狀態轉移。每次讀入一個字符發生一次狀態轉移，轉移方向由當前所處狀態和讀入的字符共同決定。例如，對于U=δ（N，Unit），在自動機處在N 狀態時，當讀入Unit 字符集合中的一個單位字符時，自動機由N 狀態轉移至U 狀態，發生一次狀態轉移。當自動機到達某個狀態時表示該自動機接受了在此之前讀入的所有字符組合成的字符串，而沒有被接受的字符串表示不符合語法規則。因此，如果一個大寫金額字符串可以從狀態機的開始狀態經過若干個中間狀態后到達最終狀態，則該字符串有效，否則無效。由于大寫金額可以以“角”“分”和“整（正）”結尾，因此當字符串進入A 狀態時需要判斷是否結束。A 狀態既可以作為結束狀態，也可以在還有字符讀入時根據轉移函數轉移至下一狀態。

以上為有限狀態自動機的執行過程，但實際應用過程中的情況要復雜很多。數字單位和金額單位中的字符具有緊密的上下文關系，例如，“叁拾”符合語法規則，但“叁拾伍佰元整”則不符合語法規則，這種類型的規則需要結合上文信息才能表示，本文將其稱為動態規則。通過在自動機的狀態內部添加動態約束，可以實現對大寫金額語法規則的合理判斷。

3.3 自動機動態約束

為了使自動機最小化，本文在設計狀態時合并了自動機中的等價狀態。其中，數字狀態的9 個數字字符是完全等價的，邏輯關系可以統一表示，因此，狀態內部不需要進行約束。對于數字單位Unit和金額單位Account 集合中的字符，需要結合語法信息在狀態內部添加動態規則進行約束。本文根據單位狀態發生轉換時讀入的字符將約束分為4 類，分別為數字類一般約束、數字類特殊約束、零類一般約束和零類特殊約束。為了方便對動態規則進行建模，定義以下符號：

1）unit_all=｛萬，仟，佰，拾，元，角，分｝，其包含數字單位Unit 和金額單位Account 集合中的元素。Uindex表示unit_all 中各個字符對應的狀態，0≤index≤6。例如，U0表示集合中的“萬”字對應的自動機狀態，U3表示集合中“拾”字對應的自動機狀態。

2）wan_used 表示在自動機讀過的字符串中“萬”字出現過。

3）unit_wan_used 表示數字單位集合Unit 中的任意一個字符與“萬”字符的組合是否出現過，例如，“拾萬”或“佰萬”等。對于“元”字符，同樣定義unit_yuan_used 來表示類似的信息。

4）m和n分別表示當前單位狀態下標以及下一單位狀態的下標，且0≤m<6，0

4 種約束具體如下：

1）數字類一般約束描述為：

該約束是針對數字構造的一般規則，其中，f為動態約束函數。用index 表示unit_all 中的狀態，其控制單位的移動。當且僅當讀取一個數字字符時，數字單位向后移動一位，即index++。因此，該約束條件主要針對沒有發生單位向前躍變的情形。當自動機讀取字符串中數字字符的下一位單位字符時，如果單位字符與index 指向的單位相同，則判定為正確的語法；否則，自動機返回false 標志，表示該字符串被自動機拒絕，結束判斷。但當m=3 時，對于合法的字符串“伍仟肆佰叁拾壹萬”，在Um=“拾”且讀入Number 集合中的“壹”字符時，數字單位狀態U 中index 由3 變為0（Un=“萬”），發生了單位的躍變，這時就需要對其做特殊約束。

2）數字類特殊約束描述為：

當m=3（Um=“拾”）時，由于“萬”字符影響可能會發生單位的向前躍變，因此此約束條件取決于“萬”字符是否出現過。當“萬”字符出現過時，表明“萬”字段的數字已經處理完成，下一步按數字類一般約束（沒有發生躍變）處理即可，例如，當自動機已經讀到字符串“壹萬壹仟壹佰壹拾”的“拾”時，m=3，在讀入Number 集合中的數字時，狀態只能轉移至n=4，即下一個單位字符只能為“元”；當“萬”字符沒有出現過時，可能是該字符串的金額沒有超過一萬，也可能前面的數字單位是“萬”字段的字符，對于前者，例如“壹仟壹佰壹拾壹元”，則不發生躍變，對于后者，如“壹仟壹佰壹拾壹萬”，則發生躍變，這些都符合語法規則，需要根據接下來讀入的數字單位做相應選擇。

3）零類一般約束描述為：

該約束條件主要針對3.1 節中第3 條規則的第2 條，當阿拉伯數字中間有連續多個“0”時，大寫金額可以只寫一個“零”。因此，結合數字構造規則，在讀入字符“零”時，index 至少需要向右移動一個單位，也可以移動多個單位，即n-m≥1。在讀入下一個單位字符時，如果該單位滿足此條件，則判定為語法正確，index 根據讀入的字符進行相應賦值；否則，自動機返回false，結束判斷。當大寫金額字符串為多個“零”時，index 按照“零”的個數進行移位。

4）零類特殊約束描述為：

該約束條件主要針對3.1 節中第3 條規則的第3 條，其主要取決于數字單位與“萬”或者“元”字符是否組合出現過。例如，對于“ 萬”位，當unit_wan_used=true 并且千位不為“零”時，該組合單位后面可以加“零”也可以不加“零”。在自動機中當讀入字符“零”時，單位可以向后移動一位或者不移動。當讀入下一個字符時，滿足此條件則判定為語法正確；否則，自動機返回false，結束判斷。對于“元”位的處理也與上述過程相同。

在添加動態約束后，完整的自動機狀態轉換示意圖如圖4 所示。根據以上描述的算法可以實現大寫金額文本語法的準確檢查。

圖4 改進的狀態轉換示意圖Fig.4 Schematic diagram of improved state transition

3.4 自動機與路徑搜索

復寫在票據上的大寫金額字體在去噪之后更加不清晰，如圖5 所示，其中一些字符可能被分成3 個以上的分割項，每個過分割項在嘗試組合之后都存在一種或多種組合情況，每種組合情況還會有一個或多個識別結果。所有識別項都可以用四元組｛C，P，S，E｝表示，其中，C為字符分類結果，P為置信度，S和E分別為合并項的開始和結束位置。本文對首尾相連的識別項進行路徑搜索，并將設計的語法自動機應用到動態搜索過程中，以提高路徑搜索的精度和速度。

圖5 筆畫缺失的文本行Fig.5 Text lines with missing stroke

在路徑搜索的過程中，將當前路徑中的字符構成的字符串稱為前綴字符串。前文所設計的自動機校驗算法是針對完整字符串的，不能到達終止狀態時該字符串被認為不符合語法規則。由于前綴字符串不是完整的字符串，因此需要對自動機進行適當調整以滿足語法檢驗的需求。首先，調整自動機的每個狀態，使其可以接受標志字符T，并可以由該狀態直接進入終止狀態；然后，在路徑搜索過程中的前綴字符串后面添加判斷標志T。具體搜索步驟如下：

1）將每個合并項的識別結果按置信度P由高到低排序，當最大置信度高于閾值T時，保留前n項作為候選集；否則，認為該合并項的識別結果均不可靠，以模糊字符“卍”代替。接著，從S=0 的合并項開始集束搜索，設置搜索寬度sw=3。

2）利用自動機的前綴語法檢查功能對搜索到的路徑進行判斷。當前綴字符串符合語法規則時，記錄結束位置E，并繼續對開始位置為S=E+1 的合并項進行搜索；否則，增加搜索寬度，即sw=sw+1。當所有的以S為開始的合并項都不符合語法規則時，將該位置的識別結果以模糊字符“卍”（C=“卍”）替代，繼續進行搜索。

3）當結束位置E為最后一個合并項的結束位置時，即完成路徑搜索。由于整個過程按照置信度優先搜索，因此以第一條符合語法規則的路徑作為最后的識別結果。

當搜索路徑中的模糊字符“卍”的個數大于3 時，或者出現2 個連續的模糊字符，就認為組合或識別結果不可靠，該搜索路徑被剪枝。對模糊字符在規定范圍內的字符串，暫不使用語法自動機對其進行檢查。在模糊字符被預測出之后將路徑歸為候選路徑，模糊字符預測的詳細過程在3.5 節中進行介紹。

3.5 自動機與模糊字符預測

對于一些筆畫缺失或者噪聲去除效果不好的字符圖像，卷積神經網絡很難給出正確的識別結果，這類字符在路徑搜索中以模糊字符“卍”替代。由于大寫金額無論是數字單位還是金額單位都有規則的序位關系，因此可以利用自動機對這類模糊字符進行預測。

自動機每一次的字符讀取都有確定的轉移狀態，當字符串中有單個模糊字符時，模糊字符必然出現在前一狀態的下一個轉移狀態中。這時，就可以將下一狀態的字符集作為該模糊字符的候選集。以字符串“壹仟零叁卍陸仟叁卍捌拾元整”為例，當自動機讀到第一個“卍”字時，自動機處于N1狀態，從自動機的狀態轉換圖可以看出該狀態的下一狀態只能是M 和U 2 種情況。當下一狀態為M 時，“元”作為該模糊字符的預測候選項；當下一狀態為U 時，由于“仟”和“零”字符的出現，根據數字類一般約束可知，此時index=3，預測候選項為“拾”。同時，由于wan_used=false，根據數字類特殊約束可知，“萬”也是預測候選項。因此，第一個“卍”字符有3 個候選項｛“元”，“拾”，“萬”｝，形成3 條候選路徑。自動機繼續讀取到字符“仟”時，語法自動機就會把包含預測值“元”和“拾”的路徑剪枝，最終得到唯一的候選項“萬”，從而完成一次準確的預測。同理，第二個模糊字符將被準確預測為“佰”。最終，語法自動機將返回所有模糊字符的預測結果。

4 實驗結果與分析

本文進行2 個實驗：一為驗證自動機語法檢查和模糊字符預測2 種算法性能的實驗，使用的數據為大寫金額字符串；二為這2 種算法在手寫票據大寫金額識別任務中的應用實驗，使用的數據為手寫票據。

4.1 實驗數據及評價指標

本文從中科院手寫漢字數據集CASIAHWDB1.0-1.2［25］中挑出21 類字符集進行卷積神經網絡訓練。其中，訓練集每類包含800 張由不同作者手寫的單字符圖片，實驗采用的測試數據是人工標注的2 600 張手寫票據。

實驗中針對不同的應用場景采用不同的評價指標。在單獨的模糊字符預測實驗中，使用單字符預測準確率（Character Prediction Accuracy，CPA）和字符串預測準確率（String Prediction Accuracy，SPA）作為評價指標。在識別票據中的大寫金額圖像文本時，采用單字符識別準確率（Character Recognition Accuracy，CRA）和整條文本識別準確率（Line RecognitionAccuracy，LRA）作為評價指標。CRA 按照識別結果和標注值的編輯距離進行計算。

4.2 自動機語法檢查和模糊字符預測結果

為了評估有限狀態自動機的語法檢查效果，使用2 000 條大寫金額字符串進行實驗，其中的1 000 條具有語法錯誤。實驗結果表明，語法檢查自動機對正確字符串的接受率和錯誤字符串的拒絕率均為100%，即語法自動機可以對識別結果進行非常可靠的語法檢查。

在模糊字符預測實驗中，使用2 600 條手寫票據中大寫金額部分的label 作為測試數據來評估預測效果。其中，1 300 條文本隨機使用模糊字符“卍”替代標注字符串中的1 個字符，剩下的1 300 條隨機使用2 個模糊字符“卍”替代標注字符串中的2 個字符，替換位置為非數字位，由于數字位的9 個字符不具備上下文語義，因此本文僅評估非數字位的預測效果。自動機對模糊字符的預測結果如表2 所示。

表2 模糊字符預測結果Table 2 Fuzzy characters prediction results %

從實驗結果可以看出，當字符串中僅有1 個模糊字符時，自動機的預測準確率可以達到99.5%；當字符串中有2 個位置的模糊字符時，自動機的預測準確率下降至96.0%。由于大寫金額語法的靈活性，同一模糊字符處可能存在多種符合要求的預測結果，因此自動機的字符預測率很難達到100%。但是，作為識別的后處理步驟，基于自動機的模糊字符預測可以改善部分模型識別錯誤的情況，進而提高票據中大寫金額的識別準確率。

4.3 票據識別結果

為進一步驗證自動機模糊字符預測的重要性，本節將進行2 個消融實驗，對2 600 張手寫票據的大寫部分進行識別。實驗1 為識別后沒有進行模糊字符預測，實驗2 為識別后再進行模糊字符預測。2 個實驗的結果如表3 所示。

表3 模糊字符預測對票據識別的影響Table 3 Influence of fuzzy characters prediction on bank checks recognition %

從實驗結果可以看出，將語法自動機應用于票據中大寫金額的識別任務時，字符識別準確率可達95.3%，文本行的識別準確率達到91.4%，該結果也驗證了在路徑搜索中結合前綴語法檢測自動機可以提高搜索的精度和速度。在加入模糊字符預測的操作之后，單字符的識別準確率達到98.2%，相比實驗1提升了2.9 個百分點；整條文本的識別準確率達到96.6%，相比實驗1 提升了5.2 個百分點。實驗結果表明，在大寫金額的后續處理步驟中使用語法自動機對模糊字符進行預測，可以有效提升識別準確率。

5 結束語

本文采用基于分割的框架對手寫票據中的大寫金額進行識別。通過對字符進行分類、定義類與類之間的邏輯關系，構造出可以用于語法檢查的有限狀態自動機。利用語法自動機在識別結果中選擇出符合語法規則的字符串。在路徑搜索階段采用束搜索的策略，通過前綴語法檢查對搜索路徑進行剪枝，以避免路徑呈指數級增長的問題，從而提高搜索速度。針對復寫票據不清晰、筆畫缺失導致卷積神經網絡字符識別不正確或置信度低的問題，提出一種模糊字符預測算法。實驗結果表明，結合語法自動機校驗和模糊字符預測對單字符進行識別時準確率高達98.2%，對整條文本進行識別時準確率達到96.6%。但是，本文自動機的模糊字符預測僅針對具有上下文關系的非數字位，對于無上下文關系的數字位還無法進行預測。因此，下一步將使用語法自動機定位模糊字符，根據偏旁部首或部件信息進行位置糾正，以實現數字位的模糊字符預測。