基于卷積神經(jīng)網(wǎng)絡(luò)的漢字結(jié)構(gòu)多分類任務(wù)研究

李鎮(zhèn)宇，戰(zhàn)國棟

(1.大連民族大學(xué) 計算機科學(xué)與工程學(xué)院，遼寧 大連 116650;2.大連市計算機字庫設(shè)計技術(shù)創(chuàng)新中心，遼寧 大連 116605)

漢字是中華民族的重要文化特征，也是文化傳播和交流的重要載體，將漢字以圖片的形式保存后，在面對成千上萬的漢字圖片想要對其按照結(jié)構(gòu)分類時，很多問題就出現(xiàn)了。如果使用人工對漢字圖片分類，首先要識別幾萬漢字，然后按照結(jié)構(gòu)對其分類，即分類的結(jié)構(gòu)分別是半包圍結(jié)構(gòu)、單一結(jié)構(gòu)、品字結(jié)構(gòu)、嵌套結(jié)構(gòu)、全包圍結(jié)構(gòu)、上下結(jié)構(gòu)、上中下結(jié)構(gòu)、左右結(jié)構(gòu)、左中右結(jié)構(gòu)9種結(jié)構(gòu)[1]，人工分類必然存在主觀分類誤差.有很多漢字看似是上下結(jié)構(gòu)，當(dāng)使用字典查詢時實則是嵌套結(jié)構(gòu)、還可能存在的問題是分類效率低和分類時間長等問題。而傳統(tǒng)的數(shù)字圖形圖像學(xué)知識處理面對漢字復(fù)雜的結(jié)構(gòu)，很難處理此類問題。近幾年隨著生產(chǎn)力的發(fā)展，計算機性能也在不斷提升，人工神經(jīng)網(wǎng)絡(luò)[2]在很多已經(jīng)領(lǐng)域得到了廣泛的應(yīng)用。目前處理圖像分類主要采用深度學(xué)習(xí)的方法，人工智能技術(shù)在圖像分類方面具有無法超越的效率和準(zhǔn)確率的優(yōu)勢。深度學(xué)習(xí)主要通過卷積神經(jīng)網(wǎng)絡(luò)利用濾波器矩陣對圖像進行特征提取，需要大量已標(biāo)注數(shù)據(jù)集來理解數(shù)據(jù)中的潛在聯(lián)系。但是漢字的數(shù)量是有限的，常用的3 000個漢字[3]則已經(jīng)可以覆蓋99%的書面資料。因此面對數(shù)據(jù)量少的這個問題，遷移學(xué)習(xí)是圖片漢字結(jié)構(gòu)分類的一個重要的分類方法，同時本文也搭建了兩層卷積層的卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)模型，與遷移學(xué)習(xí)的模型進行對比。

1 實驗方法

1.1 數(shù)據(jù)來源及分析

本研究的數(shù)據(jù)集是font forge提取瑞意宋字庫圖片，共計19 798張漢字圖片作為訓(xùn)練集，見表1。漢字結(jié)構(gòu)和各個的漢字結(jié)構(gòu)的數(shù)量，包含9種漢字結(jié)構(gòu)(半包圍結(jié)構(gòu)、單一結(jié)構(gòu)、品字結(jié)構(gòu)、嵌套結(jié)構(gòu)、全包圍結(jié)構(gòu)、上下結(jié)構(gòu)、上中下結(jié)構(gòu)、左右結(jié)構(gòu)、左中右結(jié)構(gòu))。由表1可知，左右結(jié)構(gòu)和上下結(jié)構(gòu)的漢字占了絕大多數(shù)，而其他結(jié)構(gòu)的漢字卻十分稀少，最少的品字結(jié)構(gòu)的漢字只有15個，數(shù)據(jù)量的缺少是本研究的一個難點。

表1 漢字結(jié)構(gòu)和數(shù)量

1.2 數(shù)據(jù)增強

數(shù)據(jù)增強是指對已有訓(xùn)練數(shù)據(jù)一定變換以增強增加訓(xùn)練樣本數(shù)量，從而提高模型性能的方法。對于圖像數(shù)據(jù)，常用的數(shù)據(jù)增強方法有翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪、移位、高斯噪聲等[4]。圖像的翻轉(zhuǎn)不會產(chǎn)生信息的損失，而旋轉(zhuǎn)、縮放、裁剪、移位等變換都有可能造成原始圖像信息丟失，對于這個數(shù)據(jù)集的圖像小角度旋轉(zhuǎn)也是不會造成圖像邊緣信息的丟失 。但是，非常遺憾的是數(shù)據(jù)增強的方法并沒有在發(fā)揮出它的優(yōu)勢，相反數(shù)據(jù)增強反而讓測試集的準(zhǔn)確率低的離譜，這就說明數(shù)據(jù)增強在本次圖像分類的研究中是不可行的。

1.3 遷移學(xué)習(xí)

深度學(xué)習(xí)中的遷移學(xué)習(xí)[5]是為解決訓(xùn)練數(shù)據(jù)集中訓(xùn)練數(shù)量不足這個基本問題，通過利用公開數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型，然后將參數(shù)和模型遷移到新的領(lǐng)域，完成新任務(wù)的機器學(xué)習(xí)方法[6]。根據(jù)域(domain)和任務(wù)(task)的不同，遷移學(xué)習(xí)劃分為特征遷移、樣本遷移和參數(shù)遷移等。本文處理目標(biāo)與原本的模型架構(gòu)都是圖像，任務(wù)都是對圖像進行訓(xùn)練提取特征，實現(xiàn)對不同屬性圖片的分類，所以采用參數(shù)遷移方式[6]。

1.4 模型搭建

1.4.1 遷移學(xué)習(xí)模型搭建

遷移學(xué)習(xí)模型搭建主要使用的是python3.7庫和版本，分別是pytorch1.4和torchvision0.5作為本次學(xué)習(xí)基本框架，在框架中可直接加載ResNet18、ResNet50、ResNet152網(wǎng)絡(luò)模型[7]。然后更改全連接層， 最后一層使用到了LogSoftmax[8]。

(1)

式中，x表示輸入數(shù)據(jù)。全連接層損失函數(shù)只使用到了NLLLoss。

f(x,class)=-x[class]。

(2)

式中：x表示輸入數(shù)據(jù)；class表示類別，優(yōu)化器為Adam[9]。

mt=β1mt-1+(1-β1),

(3)

(4)

(5)

式中：m是梯度的一階動量 ；β1和β2是兩個超參數(shù)，一般默認 0.9 和 0.999；g是梯度；θ是參數(shù)；α是學(xué)習(xí)率；是個很小的數(shù)，作用是為了防止分母為零的情況出現(xiàn)；v是梯度的二階動量。

最后的參數(shù)微調(diào)可解決預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型在目標(biāo)域中特征參數(shù)與任務(wù)的不匹配問題，參數(shù)微調(diào)是遷移學(xué)習(xí)的最重要步驟。遷移學(xué)習(xí)主要分為3個步驟[6]：(1)利用大量有標(biāo)識的數(shù)據(jù)集(源域)對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，通過模型前端的卷積層和池化層，對源域的圖像特征、參數(shù)，進行提取；(2)預(yù)訓(xùn)練模型，將訓(xùn)練好的模型導(dǎo)入到目標(biāo)任務(wù)中，通過對全連接層自定義，重構(gòu)分類層；(3)微調(diào)，凍結(jié)前面多層的網(wǎng)絡(luò)參數(shù)，用目標(biāo)域圖像進行訓(xùn)練，通過前向傳播，記錄前向傳播各參數(shù)，將訓(xùn)練好的模型應(yīng)用到目標(biāo)任務(wù)中，完成遷移學(xué)習(xí)。因為實驗數(shù)據(jù)集較小，且漢字圖像與源域的自然圖像差異性較大，所以本文主要采用凍結(jié)方式對模型進行微調(diào)。遷移學(xué)習(xí)模型搭建過程如圖1。

1.4.2 卷積神經(jīng)網(wǎng)絡(luò)模型CNN_2的搭建

卷積神經(jīng)網(wǎng)絡(luò)模型CNN_2搭建使用的是python3.7版本和庫，框架使用的分別是pytorch1.4作為本次學(xué)習(xí)基本框架，在模型中構(gòu)建了兩個卷積層、兩個激活層，兩個池化層，最后使用一個全連接層輸出分類結(jié)果，激活函數(shù)為ReLU[10]，

ReLU(x)=max{0,x}，

(6)

式中，x表示輸入數(shù)據(jù)。ReLU激活函數(shù)可以快速的收斂，去除特征圖中不太重要的樣本，減少參數(shù)數(shù)量，實現(xiàn)數(shù)據(jù)的壓縮，防止過擬合。這里采用最大池化，就是取出卷積層中元素的最大值。損失函數(shù)為CrossEntropyLoss[11]。

(7)

其實loss(x,class)就是(1)式與(2)式的結(jié)合，優(yōu)化器為Adam，卷積神經(jīng)網(wǎng)絡(luò)模型如圖2。

圖1 漢字圖像遷移學(xué)習(xí)流程

圖2 CNN_2模型

2 實驗結(jié)果與分析

2.1 遷移學(xué)習(xí)實驗結(jié)果

使用ResNet18、ResNet50、ResNet152這三種模型進行遷移學(xué)習(xí)的方法分別訓(xùn)練，評價方法為測試集準(zhǔn)確率，前20次直接使用遷移過來的網(wǎng)絡(luò)模型，后30次是微調(diào)模型的結(jié)果。三個模型的訓(xùn)練結(jié)果如圖3。觀察這三種卷積神經(jīng)網(wǎng)絡(luò)模型發(fā)現(xiàn)雖然這三種模型的準(zhǔn)確率都不高，但是可以發(fā)現(xiàn)，隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，效果反而不好，如圖3所示，ResNet18的最高準(zhǔn)確率為72.03% ，ResNet50的最高準(zhǔn)確率為68.53%而ResNet152的最高準(zhǔn)確率為64.34%。這里大膽的猜測一下，可能是隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，漢字的特征沒有很好的保留，所以下一步搭建了一個類似于LeNet-5[10]一樣簡單的網(wǎng)絡(luò)，觀察準(zhǔn)確率的情況。

a)ResNet18測試集準(zhǔn)確率 b)ResNet50測試集準(zhǔn)確率 c)ResNet152測試集準(zhǔn)確率圖3 三種網(wǎng)絡(luò)實驗結(jié)果

2.2 卷積神經(jīng)網(wǎng)絡(luò)CNN_2實驗結(jié)果

針對上邊遷移學(xué)習(xí)準(zhǔn)確率比較低，和隨著網(wǎng)絡(luò)層數(shù)的減少準(zhǔn)確率卻在上升的原因，就有了本文構(gòu)建的更加簡單的網(wǎng)絡(luò)模型CNN_2，如圖4。可以看到隨著迭代次數(shù)的增加，CNN_2的準(zhǔn)確率遠遠的超過了ResNet18的準(zhǔn)確率。

a) CNN_2測試集準(zhǔn)確率

b) CNN_2和ResNet18的測試集準(zhǔn)確率圖4 CNN_2和ResNet18比較

3 結(jié) 語

針對漢字的結(jié)構(gòu)進行分類的問題，提出了用基于遷移學(xué)習(xí)的分類方法和CNN_2分類的方法，經(jīng)過對比發(fā)現(xiàn)隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的減少準(zhǔn)確率卻在上升。這里猜測可能是卷積神經(jīng)網(wǎng)絡(luò)層數(shù)會影響提取的漢字圖片特征。實驗結(jié)果證明了卷積神經(jīng)網(wǎng)絡(luò)對于漢字圖片結(jié)構(gòu)的分類的準(zhǔn)確率較另外三種網(wǎng)絡(luò)模型更高，見表2。

表2 漢字結(jié)構(gòu)和數(shù)量

準(zhǔn)確率可以達到96.50%。使用CNN_2的方法成功解決了減少人工分類耗時耗力的問題。但是不清楚使用在與本文字體有很大差距時，會不會依然有相同高的分類準(zhǔn)確率。然而這是一個很有潛力的模型，在今后的學(xué)習(xí)中將會對于漢字結(jié)構(gòu)分類問題研究的更加透徹。