基于Faster-RCNN的水書古籍手寫文字的檢測與識別

湯敏麗，謝少敏，劉向榮*

(1.廈門大學信息學院，福建 廈門 361005；2.凱里學院大數據工程學院，貴州 凱里 556011；3.廈門大學閩臺非遺文化數字化保護與智能處理文化和旅游部重點實驗室，福建 廈門 361005)

“水書”是水族用其語言“泐睢”記載水族古代天文歷算、原始宗教信仰、道德倫理等諸多內容的文化典籍，是水族民間知識綜合記錄的反映，它在水族社會中影響深遠，具有實用的操作性，廣泛運用于民間喪葬嫁娶、娛樂節慶等方面.2006年，水書習俗經國務院批準列入第一批國家級非物質文化遺產名錄.隨著社會的發展和歷史的變遷，同時受外來文化的影響，水書及其傳統文化面臨著被逐漸邊緣化甚至失傳的威脅.因此，有必要利用信息數字化技術對水書文化遺產進行保護[1].圖1為珍貴水書原件.

圖1 水書古籍原件Fig.1 Original of ancient Shuishu

水書通常由水書先生手寫并代代相傳，只傳本族少數男性，目前統計只有300多人能夠識讀，導致水書文字保護和傳承壓力巨大.近年來，經水族學者研究，水書文字能夠被識讀的單字只有500余字，含異體字在內也僅有2 000余字[2].目前針對水書手寫文字識別的成果較少，尚沒有公開的用于信息數字化技術的水書數據集.楊秀璋等[3]提出了一種改進的圖像增強及圖像識別方法，并將其應用于水書文字圖像中，經過灰度轉換、中值濾波去噪、直方圖均衡化等處理，之后再通過Sobel算子銳化文字邊緣，最終提取了水族刺繡圖像及建筑圖像中的水書文字，該研究主要是提取圖像中的文字圖像，并未對文字進行識別.中央民族大學的翁彧等[4]設計了一個輕量級網絡結構，在5萬個水書字符型樣本上進行了分類實驗，得到了93.3%的識別準確率，該研究沒有涉及頁面的水書文字識別，主要是單個水書文字的分類研究.此外，夏春磊[5]提出了一個用于水書識別的卷積神經網絡模型,并通過一種基于種群進化的超參數優化算法進行訓練，實現水書文字識別任務，但該研究注重的是單字分類，經過訓練和測試，該模型只能識別單字，沒有研究檢測識別文本圖像上的小目標文字.趙洪帥等[6]將拉普拉斯金字塔與對抗性神經網絡相結合，對水書古籍圖像進行數據清晰度處理；再使用基于信息熵的無監督密度聚類算法，研究水書古籍圖像文字的自動標注；在6 230 個水書字符樣本上進行實驗.其結果表明：拉普拉斯金字塔結構的生成對抗網絡對水書文字的圖像樣本具有更高的分辨率，且能增加少量的樣本，但自動標注方法存在一些問題，即自動標注的準確率不高，影響了水書文字的識別準確率.丁瓊[7]提出采用YOLO(You only look once)[8]模型對水書文字進行識別檢測，經測試識別率穩定在98%以上，但其采用的數據樣本來源于水書文字和漢字混編的書籍中，并非水書卷本原件圖像或影印件圖像資料，且未具體介紹所使用的數據集及規模.這些研究中，多數側重水書單字符的分類，鮮少進行水書古籍頁面級的文字檢測與識別.

為了解決水書數據集資源匱乏的問題，本文首先建立了一個來源可靠、標注良好、規模較大的水書古籍手寫文字數據集；并利用數據擴增的方法進一步解決水書數據集樣本不均衡的問題；將Faster-RCNN(faster region-based convolutional neural networks)[9]算法應用到水書古籍手寫文字識別研究上，以實現頁面級的端到端的水書手寫文字的檢測與識別，從而為后續水書研究做鋪墊，以期實現幫助讀者認識水書文字和閱讀水書古籍.

1 目標檢測算法的選取

1.1 目標檢測算法

深度學習方法最大的特點是自主學習特征，無需人工干預.深度學習方法中的目標檢測算法能在對輸入圖像進行分類的同時，檢測圖像中是否包含特定目標，并對這些目標進行準確識別和定位.目標檢測中的熱門算法分為兩類：一類稱為“兩步”檢測算法，即首先在特征圖上抽樣產生密集的候選區域，然后對候選區域進行分類及回歸，檢測精確度高，典型的算法有RCNN (region based convolutional neural networks)[10]，Fast-RCNN(fast region based convolutional neural network)[11]，Faster-RCNN等；另一類被稱為“一步”檢測算法，即在多層特征圖上直接抽樣并回歸，一步產生物體的類別概率和位置坐標值并輸出，檢測速度快，典型算法有SSD(single shot multiBox detector)[12]、YOLO.

近年來，目標檢測算法也被用于一些文本檢測中.2018年，Julca-Aguilar等[13]提出采用Faster-RCNN 作為檢測手寫圖形中符號的方法，在圖表和數學表達式數據集上進行了實驗評估，結果表明Faster-RCNN 可以有效地用于手寫符號的識別.2019年，楊宏志等[14]提出一種改進Faster-RCNN的自然場景文字檢測算法，經實驗測試發現該模型對小目標文字的檢測效果有所提升.本文關注的重點在于能否精確地定位和識別水書古籍頁面中出現的多類別、小目標文字，所以目標檢測算法較為適合應用到本研究中.

1.2 “兩步”檢測算法

RCNN由Girshick等[10]于2014年首次提出，是最早將深度學習技術應用于目標檢測的算法.RCNN先用選擇性搜索算法在每個網格上依次提取1 000～2 000個候選區域，使用卷積神經網絡在其中依次提取每一個候選區域的特征后，用支持向量機來對這些候選區域的數據特征進行綜合分類.對比之前目標檢測的一些傳統算法，RCNN用深度神經網絡替換了特征提取部分，在準確率、速度等方面都有著突破性的進展.但是，該方法計算量過大，是以大量的資源和運行時長為代價換取準確率的提升.

Fast-RCNN是RCNN的升級版本.Fast-RCNN在卷積神經網絡的最后一層卷積層后增加了ROI池化層(region of interest pooling)，使得網絡的每一個輸入圖像可以是任意尺寸，并且對每一個圖像只進行一次特征提取，大大提高了效率.此外，Fast-RCNN采用Softmax代替支持向量機進行多任務的分類，使得目標檢測的效率再次得到大幅提升，但是存在選取候選區域耗時大的問題.

Faster-RCNN的主要特點是改變了候選區域的提取方法，即使用了候選區域網絡RPN(region proposal networks)，使得卷積神經網絡直接產生候選區域，而放棄之前使用的選擇性搜索方法.Faster-RCNN的架構相當于是“RPN+Fast-RCNN”，RPN可以快速有效地自動提取候選區域，采用RPN和Fast-RCNN交替訓練的方式，可以在大大縮短目標檢測耗時的同時，有效提高目標檢測的準確率.

平均精度均值(mean average precision,mAP)是評估目標檢測性能的重要指標，將在后續3.3節詳細描述.采用VOC2007數據集[15]對RCNN、Fast-RCNN以及Faster-RCNN模型進行實驗評估，結果如表1所示,經對比，Faster-RCNN的目標檢測性能最優.

表1 3種模型的評估實驗結果Tab.1 Evaluation experiment results of 3 models

1.3 “一步”檢測算法

YOLO和SSD為常用的“一步”檢測算法，因此本研究比較了兩者在頁面級水書手寫文字的識別與檢測中的應用效果.對比發現：

YOLO的訓練和檢測均在一個單獨網絡中進行，待檢測圖像僅需經過一次圖像預測，便能得到該預測圖像中所有置信目標的類別、位置、相應置信概率，計算速度快且有較高的準確率.但是，YOLO算法直接將圖像分割為若干區域，需要提前設定候選區域，當多個類別同時落在一個區域上時，無法將其區分，只會取置信度最高的一類.因此，該算法對于小目標或目標密集的檢測精度較差.

SSD結合了Faster-RCNN和YOLO的部分思想，對圖像不同位置的多種尺度的區域的不同特征進行回歸,對這些特征進行分層提取和分析，并依次進行邊框的尺度回歸和特征分類等計算操作，最終完成對多種不同尺度區域目標的訓練、檢測任務.SSD算法在不影響速度的同時，提高了目標檢測準確率，但是該算法的默認框形狀、網格尺寸都是預先設定的，因此對小目標的檢測效果仍然不夠理想.

1.4 針對水書文字檢測與識別的模型選擇

對Faster-RCNN、YOLO、SSD進行優缺點對比，總結[16]如表2所示.

表2 Faster-RCNN、YOLO和SSD優缺點對比Tab.2 The advantages and disadvantages comparison of Faster-RCNN,YOLO and SSD

頁面級的水書古籍手寫文字識別可歸屬于小目標多類別的目標檢測問題，本文關注的重點在于能否精確地檢測和識別各類別水書古籍手寫文字，對模型的運行速度無高要求，所以在后續研究中采用Faster RCNN對水書古籍手寫文字進行檢測識別.

2 數據集

2.1 原始數據集的建立

本文使用的水書古籍圖像來源于《九星卷》《九噴卷》《陰陽五行卷》《寅申卷》《八探卷》《正七卷》等多卷水書影印卷本，對其中80個類別的水書文字進行人工標注后，得到原始圖像數據集，包含水書古籍手寫文字圖像1 734張，均存儲為“.jpg”格式，圖像的平均寬×高為1 943×2 924(單位為像素，下同)，共計49 875個帶標簽的水書手寫字符.

2.2 數據擴增

在水書手寫文字原始數據集中，各水書文字類別的樣本數量呈現極大的不均衡性，例如：水書文字“”的樣本數量最多，有5 684個；水書文字“”的樣本數量最少，僅有1個，為水書生僻字.因此，為提高模型的魯棒性和擴展能力，需要對水書原始圖像數據集進行有針對性的數據擴增，考慮采用人工手寫、圖像合成以及圖像裁剪等方式進行擴增.

首先，對樣本數量低于300個的水書文字類別進行人工手寫數據擴增，經過8個筆跡不同志愿者的手寫擴增，獲得39張水書手寫文字圖像，共計37個類別的水書文字12 021個字符樣本.人工手寫擴增方式雖然簡單，但其存在效率低、成本高等缺點.

采用圖像合成方式擴增數據，在確定目標樣本在文字方向變換后無歧義出現的情況下，對原始圖像中的60個樣本數量低于500的水書文字類別進行單字切片操作.之后，對字符切片進行二值化、旋轉、翻轉、添加噪聲等處理.最后，將經過上述處理的字符切片以隨機的方式進行組合.經圖像合成操作，共獲得圖像1 600張，圖像的平均寬×高為1 200×1 800，共計37 363個字符樣本，這些字符樣本包含了各種場景，例如不同的文字方向或者各種噪聲等，使數據呈現多樣性，可以增強模型的泛化能力，防止過擬合.

采用圖像裁剪方式擴增數據，目標對象是1 734張水書原始數據集圖像和39張人工手寫擴增的水書文字圖像，對這些圖像進行上、下、左、右及中心裁剪，最終獲得水書文字圖像9 053張，圖像的平均寬×高為989×1 459，共計73 247個字符樣本.

3 實 驗

3.1 實驗設計

為驗證Faster-RCNN模型對水書手寫字符的檢測與識別效果，以及2.2節中的3種數據擴增方式對水書文字識別效果的影響，采用不同組合的數據集進行了消融實驗.其中，實驗一采用原始數據集，實驗二采用原始數據集加上人工手寫擴增的數據，實驗三的數據集為實驗二的數據集加上圖像合成擴增的數據，實驗四的數據集采用的是剪裁后的數據加上圖像合成擴增的數據.各實驗的數據集規模如表3所示.

表3 各實驗的數據集規模Tab.3 Dataset size of each experiment

3.2 實驗平臺及超參數設置

實驗采用的硬件平臺為Intel Core i7-8700K六核3.7 GHz的CPU，NVIDIAGeForce GTX 1080Ti 11 GB的GPU，內存為32 GB.軟件平臺的操作系統為Ubuntu 18.04，深度學習工具采用TensorFlow、Pytorch，編程語言為Python.

實驗采用Faster-RCNN模型進行訓練和測試，使用VGG16(visual graphics generator 16)[17]作為其框架中提取圖像特征的基礎網絡.按8∶2的比例將數據集劃分為訓練集和測試集進行實驗，初始學習率設置為0.001，訓練60 000輪次，在10 000輪次之后學習率衰減為0.000 1.權重衰減和動量分別設置為0.000 1 和0.9.由于圖像的平均寬高為1 000以上，訓練時將圖像縮放的寬高設置為900～2 200，以避免圖像被縮放過多，導致圖像信息的損失.考慮到一張圖像的文字數量比較多，將RPN的batch size設置為512，提供更多的樣本用于Fast-RCNN的訓練，在測試時，將非極大值抑制后的候選區域設置為400個.針對數據集中待檢測字符較小的問題，實驗中將錨框大小設置為(2，4，8).為了避免初始值太大，導致不收斂或者收斂緩慢，將所有樣本圖像按照對應通道減去通道均值進行顏色均值統計，通道均值統計結果為(B，G，R)=(186.529 54， 193.935 09， 197.773 97).

3.3 評價指標

實驗結果的評價采用各自收斂輪數的mAP進行比較.mAP用于評價模型的好壞，是目標檢測中的重要評估指標，其公式如下：

(1)

(2)

其中，P(i)為能識別出的第i類別的準確率，Δr(i)為能識別出的第i類別的召回率.

3.4 實驗結果與分析

4次實驗獲得的mAP值如表4所示,具體分析如下：

1) 實驗一的mAP并不高，僅為62.21%.其中，單個類別字符樣本數量在30以下的mAP值為0，具體的水書文字如表5所示；單個類別字符樣本數量在(30,100]區間的mAP值為29.12%；單個類別字符樣本數在(100,500]區間的mAP值為57.39%；單個類別字符樣本數量在(500，1 000]區間的mAP值為85.39%；單個類別字符樣本數在1 000以上的mAP值為88.97%.由此可知，識別準確率低的癥結在于樣本數大小，而非模型.

表4 各實驗的mAP值Tab.4 mAP value of each experiment

表5 未被識別的水書文字類別Tab.5 Unrecognized classes of Shuishu characters

2) 實驗二在實驗一的基礎上增加了人工手寫擴增的數據，使得37個類別的水書文字的數據量得到了不同程度的增加，包含表5內的10個類別，平均增加了300個左右的字符樣本，獲得的mAP較實驗一提升了2.26個百分點.其中，未能識別的水書文字類別減少為8個.仍存在目標樣本無法識別的原因在于人工擴增的數據量仍然較少，一旦通過該方式獲得更多的樣本，水書文字的識別精度必然得到進一步的提升.雖然實驗二獲得的識別率的提升幅度較小，但是該結果證明了人工手寫方式進行數據擴增能有效提高識別率.

3) 實驗三在實驗二的基礎上增加了圖像合成的數據，使得水書文字樣本的數據量得到進一步的增加，生僻字類別與常用字類別的數據量差距逐漸減小，獲得的mAP較實驗二提升了18.52個百分點，能夠識別出全部80個類別的水書文字.實驗一中未能被識別的10個類別的生僻字，經過數據擴增，在實驗三中獲得的最高識別準確率為90.91%，最低識別準確率為71.54%.識別率獲得大幅提升得益于數據量的大幅增加，通過圖像合成增加了37 363個水書字符樣本，平均到60個類別上，相當于每類文字在之前的基礎上再增加了600個左右的樣本.此外，合成的圖像中的字符樣本包含了各種場景，即其中的字符具有多樣性，增強了模型的泛化能力，這也是識別精度得以提高的原因之一.

4) 實驗四采用的是裁剪后的數據圖像，即先將原始數據集的圖像與人工手寫增加的圖像進行裁剪，之后與圖像合成的數據組成數據集，包含80個類別共計110 610個字符樣本，較實驗三的數據集增加了11 351個字符樣本.最終，實驗四獲得了91.95%的mAP，較實驗三增加了8.96個百分點，證明圖像裁剪的方式也能有效提升水書手寫文字的識別率.利用實驗四訓練的模型進行圖像測試，其檢測與識別效果如圖2所示.

圖2 水書文字檢測和識別的結果Fig.2 Detecting and recognizing results of Shuishu characters

實驗結果表明，將Faster RCNN模型應用于水書手寫文字的檢測與識別是可行的，且本文采用的數據擴增方式能明顯提升水書手寫文字的識別率，在全部80個目標類別上獲得的mAP為91.95%，能準確檢測到測試圖像中的水書文字并正確識別出來.

4 結 論

本文建立了水書手寫文字數據集，探討了幾種數據擴增的方式，利用Faster-RCNN模型實現了頁面級的水書古籍文字的檢測與識別，為后續移動端水書識別系統的構建奠定了基礎，為水書文化的保護和傳承提供了新的思路，對于解決實際應用場景中的水書文字識別問題具有重要意義.盡管水書文字的識別取得了上述進展，但相關研究仍需進一步的深入，考慮從數據集和模型兩個方面著手后續研究，一是收集更多的原始數據，深入研究半監督或無監督的數據標注方法，降低標注成本，或者探索更有效率的數據擴增方式，進一步實現數據均衡；二是尋求模型上的改進和創新.