基于改進的VGG-16的手寫體維吾爾語識別

汪 哲，張譽鐸，黃永東，麥日排提·麥提圖爾蓀

(大連民族大學 理學院，遼寧 大連 116650)

維吾爾語是中國古老的少數民族語言之一，千百年來一直在不斷的變化和發展。隨著西部大開發與“一帶一路”等項目建設，中國加大了對少數民族地區信息化建設的投入[1]，手寫體文字識別技術作為信息化建設中最重要的一部分，在拍照文檔、票據、手稿文書等學習生活中被廣泛應用，但由于維吾爾識別技術研究開始時間較晚，而且識別難度較大，所以維吾爾語識別技術目前成果有限，因此本文將對手寫體維吾爾文字識別進行研究。

對于維吾爾語文字識別的研究[2-8]大多都是基于人工特征提取的方法，這種方法雖然取得了很好的識別效果，但由于只能依賴于人的經驗，很難提取到辨別力極強的特征。而基于深度學習的方法解決了這個問題，它可以自動提取圖像中重要的特征，目前很多研究者利用深度學習模型來識別手寫體文字，并在中文[9-10]、英文[11-12]等文字識別領域取得了不錯的成績，但對于手寫體維吾爾語的識別幾乎無人研究。

由于手寫體維吾爾語單詞具有數量龐大、字符不規則、粘連性高、單詞差異小的特點，因此對特征提取和分類具有很高的要求，而VGG-16用多個小型的卷積核代替尺寸大的卷積核，增加了網絡深度，可以提取到更加優秀的特征，并對大類別模式識別問題具有較高的識別率；但直接使用VGG-16進行訓練對數據量有較高的要求，而本文收集的數據有限，針對數據稀缺問題，本文在保留VGG-16優點的基礎上，精煉出一個更加輕量的模型，不僅對較小的數據集有更好的適配度，且大大減少了訓練參數，提高了訓練速度。

1 數據預處理

1.1 數據集構造

因為手寫體維吾爾語沒有統一的數據集，因此本文所使用的數據集均由人工整理而成，本文選取了維吾爾語中常用的20個字詞如圖1。實驗邀請了維吾爾族同學按照自己的書寫習慣寫了這20個字詞，經過分割、篩選，共整理出2038個手寫字詞，隨機選取其中的70%作為訓練集，剩下的30%作為測試集。

圖1 手寫維吾爾語樣本

1.2 圖像預處理

在數字圖像處理中，灰度圖像的處理難度要小于彩色圖像，二值圖像的處理難度要小于灰度圖像。因此，在手寫體維吾爾文單詞識別技術研究中，將輸入圖像二值化，不僅減小了原始圖像的存儲量，同時降低了后續的特征提取和分類器設計的復雜度，提高了系統的識別性能。本文使用最大類間方差法對圖像進行二值化預處理。

手寫體維吾爾語圖像存在的噪聲使得圖像變得模糊，容易丟失字詞的特征信息，從而導致了字符難以識別。因此在二值化后，將圖像上的噪聲過濾掉，能夠保留原圖像的細節特征，并且使得處理后的圖像保持清晰的視覺效果。本文采用中值濾波進行去噪處理。

1.2.1 最大類間方差法

最大類間方差法[13]是一種自適應閾值確定的方法，如式(1),假設存在一個閾值將圖像所有像素分為兩類，pA表示被分為第一類像素的概率，pB表示被分為第二類像素的概率，mA表示第一類像素的平均灰度，mB表示第二類像素的平均灰度，mG表示所有像素的平均灰度，σ2即為類間方差。

σ2=pA(mA-mG)2+pB(mB-mG)2。

(1)

根據直方圖的計算結果，得到圖像前景和背景的灰度分布均勻方差，如式(2),式(3)所示(P為像素類的概率，m為平均灰度)。

(2)

(3)

然后遍歷圖像的每個像素值，找到最大類間方差的像素值，即閾值，根據這個閾值對圖像進行二值化分割，最終即可得到二值化的圖像。

1.2.2 中值濾波

中值濾波的中心思想是利用像素點領域內所有像素的中間灰度值來代替某個像素點的灰度值[14]。例如給定一個3×3的模板核算子，模板內共有9個像素點，將其排序后為x1,x2,x3,x4,x5,x6,x7,x8,x9,中值濾波即是用位于x5位置的像素點的灰度值代替當前像素點的灰度值。

1.2.3 預處理過程

本文在處理數據過程中如圖2。先將所有樣本如圖2a處理成正方形，然后對所有樣本進行二值化如圖2b，為了確保所有數據的統一性，將所有樣本尺寸歸一化為64×64×1的大小如圖2c，由于在歸一化圖像大小的過程中，樣本像素發生變化，使得到的圖像產生噪聲，因此對所有樣本進行去噪處理如圖2d。

a)原圖 b)二值化 c)歸一化 d)去噪圖2 數據預處理過程

2 模型設計

2.1 VGG-16

VGG網絡是2014年由牛津大學著名研究組VGG (Visual Geometry Group) 提出的深層卷積神經網絡[15]。其中應用最廣泛的是VGG-16，VGG-16共有16層，通過組合13個卷積層，5個池化層以及3個全連接層可分為六大塊，第一塊和第二塊由兩個卷積層和一個池化層組成，主要用來提取圖像的低級特征，第三、四、五塊都由三個卷積層和一個池化層組合而成，第六塊由三個全連接層組成。

VGG-16在整個結構中采用的都是3×3的卷積核，池化層采用2×2最大池化。相比于5×5或7×7的卷積核，使用連續多個的3×3的卷積核

不僅可以得到相同的感受野，且提升了網絡深度，因此使用VGG16作為分類器更有限的減少了參數量，提升了特征提取以及分類的效果。

2.2 改進的VGG-16

標準的VGG-16模型的輸入圖像為224×224×3，遠大于維吾爾語手寫體原始的尺寸，直接訓練難以準確的提取維語特征；收集大量且不同的樣本需要消耗巨大的人力，本文收集到的樣本量遠小于VGG-16模型中用來訓練的數據量，存在數據缺乏的問題；訓練復雜的模型不僅對硬件設備具有較高的要求，且容易造成計算資源的浪費。因此針對本次實驗所涉及的問題，本文在VGG-16模型的基礎上做出了改進。

2.2.1 網絡結構的設計

為了保留手寫體維吾爾語最原始的信息，本文將所有輸入圖像統一到64×64×1的大小，本文延續了VGG-16中前四塊的卷積層和池化層的組合形式，而為了匹配輸入圖像的尺寸，將前四塊的卷積層通道數減至原來一半，并刪減了原VGG-16模型中的第五塊內容，因此整個網絡結構的卷積層由原來的13層減至10層，池化層減至4層，同時為了避免過擬合的現象，本文在卷積層以及池化后都連接了正則化層。由于使用Lenet識別手寫體數字取得了較好的效果，因此本文全連接層的神經元個數參考了Lenet中全連接層神經元的個數，分別設置為120和84，改進后的網絡結構如圖3。

圖3 本文網絡結構

2.2.2 模型及其核心參數設計

(1)卷積層。卷積層是整個網絡的核心部分，主要用來特征提取，本文卷積層的卷積核尺寸大小為3×3，步長為1，填充為1。

(2)池化層。池化是通過統計分析圖像某個區域的特征，來表示整個區域的總體特征，因此池化層有效的縮小了特征矩陣大小，緩解了過擬合。本文采用最大池化，池化大小為2×2，步長為2。

(3)激活層。激活層是將卷積層輸出進行非線性運算，解決了線性運算不能解決的問題，有效緩解了梯度消失，本文統一采用Relu激活函數。

(4)增加正則化層。模型參數隨著網絡加深以及參數更新會變幻莫測，因此這些變量分布中的偏移可能會阻礙網絡的收斂，其次，深層的網絡更容易出現過擬合的現象，增加正則化層更有效的對神經網絡進行規范，不僅有利于提取模型的主要特征，而且加快了網絡的收斂速度和緩解了過擬合[15]。正則化的轉換表達式如式(4)。

(4)

若使用大小為1的批量正則化，將無法學到任何信息，因為在減去均值后的隱藏單元為0，因此使用足夠且合適的批量，批量正則化才是有效且穩定的。本文在經過多輪實驗之后，最終選取的批量值為16。

(5)全連接層。全連接層是將最終得到的圖像特征映射成固定長度的特征向量，傳入分類器完成最終分類。本文全連接層的特征向量的長度分別設置為120、84。

(6)損失函數。本文對20個維吾爾字識別屬于多元分類問題，因此采用交叉熵損失函數。在全連接層末端通過softmax進行概率計算,如式(5)。

(5)

式中：zi，zk分別表示輸入向量的第i、k個值；w是類別數；Si為輸入圖像是第i個類別的概率；θ為訓練參數，因此損失函數如式(6)。

log(1-Si))。

(6)

(7)參數優化方法。BP神經網絡的原理是計算真實輸出與期望輸出的誤差，并通過梯度下降算法計算出損失函數相對于權值參數的梯度，然后在損失函數的反方向上更新權值，更新迭代公式如式(7)，xi,yi為訓練樣本，η為學習率。

θ=θ-η·θJ(θ;xi,yi)。

(7)

隨機梯度下降通過頻繁的更新參數使參數間具有高方差，雖然有益于得到最優解，但由于更新參數時是從訓練集中隨機抽取，使得參數的更新方向也隨機選擇，增加了迭代次數，降低了網絡收斂的速度。

因此本文使用小批量隨機梯度下降算法，小批量隨機梯度下降算法在每次進行參數更新的時候，只是隨機選取m個樣本來進行參數更新，降低了網絡收斂的波動性，加快了收斂速度[16]。迭代公式如式(8)。

θ=θ-η·θJ(θ;xi：i+m,yi:i+m)。

(8)

而梯度下降在訓練過程中會出現高方差震蕩的現象，會導致網絡難以穩定收斂，王錦[17]等提出了動量技術緩解了網絡收斂不穩定的問題。迭代公式如式(9)，μ為動量因子。

vt=μvt-1+ηθJ(θ)，θ=θ-vt。

(9)

本文改進后的模型各層網絡參數見表1。

表1 改進后模型網絡參數

3 實驗設計與分析

為了確保實驗中各項環境的統一性，本文中所有的實驗都是在相同的數據集以及計算機性能上完成的，相關的實驗環境配置參數見表2。

表2 實驗環境配置參數

3.1 實驗參數

本文實驗以測試集的損失值和準確率作為評價指標，損失值是由樣本的真實值與學習得出的預測值做多分類交叉熵所得，損失誤差越小，文字識別率越高，為了使損失函數的值盡量小，本文使用小批量隨機梯度下降算法來優化損失函數。

學習率和Batch-size是卷積神經網絡中非常重要的參數，學習率的大小影響訓練時間的長短和隨機梯度下降算法能否達到最優，Batch-size的大小影響了GPU顯存的大小及訓練速度。因此本文選取了學習率和Batch-size這兩個參數進行了實驗，分別對比了不同學習率和Batch-size的組合對識別率的影響。

改進后的網絡層數較深，收斂較快。在不同的學習率以及批量值的情況下，迭代了20次就已經收斂，因此本文將迭代次數統一設置到20次來研究不同學習率和批量值對實驗的影響。

3.2 學習率和Batch-size對維吾爾語識別的影響

本次實驗隨機選取610張64×64的手寫維吾爾語字作為測試數據集，分別設置批量值為10、12、14、16、18、20，學習率設置為0.005、0.01、0.03、0.05、0.1、0.2共進行36組實驗，實驗得到的損失值和測試集準確率見表3～4。

表3 不同學習率和批量值下訓練的測試集準確率

表4 不同學習率和批量值下訓練的測試集損失值

從表中可以得出，學習率為0.05，批量值為16的時候，準確率達到最優值95.69%，同時損失值達到最小值0.190 7。因此，本次實驗學習率取0.05，批量值取16。

3.3 單個維語字詞的識別

因為數據樣本由不同的人的所寫，所以手寫的維語字詞各不相同，為了更加清楚的描述各個字詞的識別率，本文在測試集上進行25次獨立重復實驗，得到維吾爾語分類混淆矩陣如圖4，從圖中可以看出，大部分圖像分類準確率都高于95%，說明本文提出的模型對維吾爾語識別具有良好的性能。

圖4 維吾爾語分類混淆矩陣

3.4 實驗對比

為了與標準的VGG-16模型作對比，基于以上實驗結果，本文將學習率設置為0.05，批量值設置為16，將本文實驗所用的數據集放到標準的VGG-16模型中訓練，所得到的實驗數據見表5。

表5 實驗結果

由表5可知，在經過20次迭代之后，VGG-16的測試集準確率為90.83%，損失值為0.5472，而本模型的測試集準確率達到了95.69%，高于標準的VGG-16模型，損失值為0.1907，也小于VGG-16模型，且訓練時長以及訓練參數也遠遠小于標準模型。因此證明了本文改進的模型的對手寫維吾爾語體的識別性能優于VGG-16模型。

4 結 語

本文結合維吾爾語的特點，研究基于VGG-16的維吾爾語文字識別方法，與傳統的模型對比，本文改進后的網絡結構不僅達到了更高的準確率，并且減少了運算時間與空間的消耗，證明了使用改進后的VGG-16模型研究維語識別能達到更好的效果。

在實際生活中，維吾爾語并不局限于單個字詞的應用，且收集大量不同書寫風格的手寫維吾爾語單詞更加困難，因此后續將從數據增強的角度繼續擴大數據集。