基于神經網絡的紙筆手寫規范漢字量化評價研究

王 敏, 馬 萬, 祝 闖, 史善飛, 舒江波*, 盧帥成

(1.江蘇省現代企業信息化應用支撐軟件工程技術研發中心, 江蘇 蘇州 215104;2.華中師范大學教育大數據應用技術國家工程研究中心, 武漢 430079)

漢字是中華傳統文化的重要載體,提升學生規范漢字書寫能力對加強學生全面發展、提高學生人文素養、傳承中華傳統文化有著至關重要的作用.早在1990年國家教委辦公廳就發布了《關于加強義務教育階段中小學生寫字教學的通知》,明確提出要加強寫字教學,并將其作為義務教育階段的基本訓練之一,以提高學生的漢字書寫能力;2002年教育部發布的《關于在中小學加強寫字教學的若干意見》再次強調寫字教學的重要性,意見中提到:“規范、端正、整潔地書寫漢字是有效進行書面交流的基本保證,是學生學習語文和其他課程,形成終身學習能力的基礎”;2016年教育部國家語委發布的《國家語言文字事業“十三五”發展規劃》也提出了強化學校語言文字教育的目標,包括加強中小學規范漢字書寫等方面的教育教學.從上述文件可以看出,國家一直都在積極推動中小學規范漢字書寫教育.

但就目前中小學生的漢字書寫情況而言,漢字書寫教育仍面臨著一些需要解決的問題.由于中小學生群體人口基數大,而書寫指導教師非常缺乏,導致我國各省市中小學生規范漢字書寫水平參差不齊.大多數學校的書寫習字教學由語文、美術等學科教師兼任,這些教師沒有接受過專業的規范字書寫教學培訓和認證,因此難以對學生書寫的漢字提供科學的書寫指導和評價信息,導致學生可能會不斷地重復錯誤的漢字書寫練習.近年國家頒布的“雙減”政策中提出要有效減輕義務教育階段學生過重的學習負擔,這種重復的錯誤書寫練習只會加重學生的學習負擔,降低學生學習漢字書寫的積極性.

精準的漢字書寫評價是漢字書寫教育的基礎.學界在漢字書寫評價方面開展了很多有意義的工作.手寫漢字的特征一直以來都是評價手寫漢字的關鍵所在,利用特征相似度對手寫漢字進行評價也是近年來最常采用的方式[1].靳天飛[2]、常慶賀[3]利用細化算法提取漢字的骨架信息,通過分析漢字的骨架點序列得到筆段、端點、拐點、分叉點等特征.Liu等[4]提出利用細化法獲取漢字筆段,該方法以細化骨架上的特征點為依據,如交叉點、拐點等,通過這些特征點對筆畫進行拆分或合并得到筆段信息.韓睿方等[5]利用筆畫的拓撲結構、關鍵點等宏觀特征,筆畫路徑上各筆段的傾斜角、彎曲度等微觀特征,建立模板漢字庫、筆畫評判規則庫、漢字評判索引庫三個信息庫.王建平等[6]通過深度學習的方法提取筆段特征,李鎮宇等[7]利用卷積神經網絡模型對漢字圖像進行特征提取,實現了漢字九種整體結構(半包圍結構、全包圍結構、嵌套結構、獨體字結構、品字形結構、上下結構、上中下結構、左右結構、左中右結構)的自動分類.劉晨明等[8]提出部分精確可定量的筆畫屬性能夠決定漢字的結構,而精確定量要求來源于漢字結構本身的規定性,即漢字的書寫規則.Sun等[9]從藝術的角度提出了一套全局和組件布局的美學特征,基于該特征訓練BP神經網絡模型,以定量的方式評估手寫漢字的美學質量.

本文以紙張上的手寫規范漢字作為研究對象,提出一種更符合中小學實際漢字書寫練習場景的智能評價方法,將規范漢字的書寫規則作為評價衡量標準,得出更準確、更科學的量化評價反饋信息.

1 研究框架

漢字的書寫規則是社會使用漢字的人在熟練書寫中摸索出的漢字規律,從而形成相應的寫字習慣,又由習慣上升為規則.漢字書寫需要遵循漢字的書寫規則,滿足筆畫準確、筆順正確、符合字形規范等基本要求,評價漢字的第一層次標準,應當是當前書寫漢字所具有的基本書寫規則[10].

紙筆手寫規范漢字量化評價框架如圖1所示.評價主要包含三個部分:基于手寫漢字書寫規則的規范性分類評價、基于手寫漢字筆段數據的量化評價以及基于手寫漢字書寫規則的整體書寫質量評價.評價主要是以紙張上的手寫漢字作為研究對象,通過手寫漢字的結構特征分析該漢字在各項書寫規則下是否書寫規范,通過分析手寫漢字筆段數據與規范性評價的聯系,并對比手寫漢字樣本與標準規范手寫漢字的筆段屬性值之間的差異,實現手寫漢字的規范性評分以及改進建議,通過分析漢字在不同書寫規則下書寫的好壞對漢字整體書寫評價的影響權重,實現手寫漢字整體書寫評分.

圖1 紙筆手寫規范漢字量化評價框架圖

2 主要算法

2.1 基于書寫規則的規范性分類評價

基于書寫規則的規范性分類評價是對手寫漢字在各項書寫規則下的書寫規范性進行評價.書寫規則一般是從微觀或宏觀角度描述漢字的結構要求,可以通過分析手寫漢字的結構特征是否符合相應的要求,從而判斷該手寫漢字在各項書寫規則下是否書寫規范.但在手寫漢字原始圖像中,圖像中包含的信息過于繁雜,并不利于尋找其中的漢字結構特征,而漢字骨架能夠較好的展現漢字整體的拓撲結構,突出漢字的形態結構特征,也能去除漢字圖像中的冗余信息.本文基于卷積神經網絡(convolutional neural network, CNN)建立規范性分類評價模型,通過該模型分析手寫漢字骨架圖像中與書寫規則相關的漢字結構特征,再基于該特征對各項書寫規則下書寫規范與書寫不規范的漢字骨架圖像進行分類,從而實現對手寫漢字的規范性分類評價.

該模型包含1個輸入層、4個卷積層、3個池化層、3個全連接層,最后一個全連接層也是Softmax輸出層.模型的輸入為200×200×1的單通道漢字骨架圖像,輸出的類別個數則由當前漢字擁有的書寫規則個數決定,設手寫漢字C有N項書寫規則,則模型對漢字C規范性分類評價的最多分類類別個數為:

n=2N,

(1)

其中,每一種類別代表漢字在其所有書寫規則下可能出現的規范性評價結果,2表示漢字在某一項書寫規則下可能出現的規范性評價結果個數,分為規范和不規范兩種.例如“二”字有3項書寫規則,則所有可能出現的規范性分類評價結果如表1所示.

表1 “二”字所有的規范性分類評價結果

其中,每個評價結果的第i位數代表當前漢字在其第i項書寫規則下是否書寫規范,0表示書寫不規范,1表示書寫規范.

模型訓練時,采用交叉熵損失函數LOSS預測概率與真實標簽之間的偏離程度,交叉熵損失函數LOSS的定義為:

(2)

其中,N表示訓練樣本的數量,M表示類別的數量,yic表示第i個樣本的第c個類別的真實標簽,pic表示第i個樣本被預測為第c個類別的概率值.

本文的CNN模型如圖2所示.

圖2 CNN模型結構

2.2 基于筆段數據的量化評價

在某一書寫規則下,同一漢字的不同手寫漢字樣本可能會得到相同的規范性評價結果,但它們的書寫規范程度仍存在差異,書寫的規范程度可以通過專家對其評價分數的高低來衡量.此外,漢字書寫得是否規范并不能讓學生清楚了解自己書寫過程中存在的問題,同時也難以把握各問題筆畫所需要修改的程度.學生需要更清晰、可量化的評價反饋信息,從而更好地進行書寫練習.手寫漢字的量化評價包括對手寫漢字在各項書寫規則下的書寫規范性進行評分以及對手寫漢字存在的書寫問題提供改進建議.

部分精確可定量的筆畫屬性能夠決定漢字的結構,而精確定量要求來源于漢字結構本身的規定性,即漢字的書寫規則[8].也就是說,部分筆畫屬性的取值能夠決定手寫漢字是否符合某項書寫規則的要求.但筆畫種類多種多樣,某些筆畫過于復雜,不僅難以用數據刻畫,其有效的可以作為評價的特征信息也可能只存在于筆畫的某一特定部分, 故而需要對筆畫進行分段研究,將復雜筆畫按照一定的規律進行切割,得到當前筆畫的多個筆段信息,再從筆段上尋找影響漢字在某一書寫規則下書寫規范性的屬性信息.

筆段是指沒有拐點的一個筆畫,只包含唯一的起始點和終止點.本文通過手寫漢字的筆段屬性數據建立多項式回歸模型,實現手寫漢字在各項書寫規則下的規范性評分.

筆段屬性數據的刻畫是以手寫漢字圖像的左上角作為圖像坐標系的原點,水平右方向為橫軸的正方向,垂直向下的方向為縱軸的正方向,且橫縱軸坐標的最大值設為10.將筆段屬性分為:起始坐標點、終止坐標點、長度、寬度、高度、與水平的夾角,則筆段可以表示為:

Ei(Sx,Sy,Ex,Ey,Leni,Widi,Heii,θi),

(3)

其中,Sx、Sy代表筆段i起點的橫縱坐標,Ex、Ey代表筆段i終點的橫縱坐標,這些坐標的大小關系可以刻畫出筆段在整字中的具體位置,以及判斷各筆段之間的對齊交接關系;Leni代表筆段i的長度,可以刻畫漢字各筆段的長短比例關系,具體計算公式為:

(4)

Widi代表筆段i起點與終點的水平距離,計算公式為:

Widi=|Sx-Ex|.

(5)

Heii代表筆段i起點到終點的垂直高度,計算公式為:

Heii=|Sy-Ey|.

(6)

θi代表當前筆段與X軸的夾角,能夠刻畫出筆段從起筆到收筆時的空間指向,代表書寫規則對該筆段方向走勢的要求,如“橫平豎直”要求橫筆段與X軸的夾角趨近于0度,豎筆段與X軸的夾角趨近于90度,其計算公式為:

(7)

若Ex=Sx,則斜率不存在,意味著當前筆畫垂直于X軸.

在使用多項式回歸進行分析時,對于稍復雜的漢字,其筆畫、筆段屬性較多,會導致建立模型時模型的維度增大,高維度的模型在訓練時容易導致模型的泛化能力降低,出現過擬合以及計算量大等問題.通常解決該類問題的方法是人工篩選較重要的特征值進行保留,降低數據集的維度[2],這一做法也較為符合實際,因為影響漢字在某一書寫規則下是否符合書寫規范的只是漢字的部分筆段.本文通過專家提前篩選出影響漢字在某一書寫規則下規范性評分的筆段屬性,再基于這些筆段屬性數據建立多項式回歸模型.

設有m個手寫漢字C的樣本,專家篩選出影響漢字C在第k項書寫規則下規范性評分的n個筆段屬性,xij表示第i個樣本中影響漢字C在第k項書寫規則下規范性評分的第j個筆段屬性的值,si表示專家對第i個手寫漢字樣本在第k項書寫規則下的規范性評分.由于本文樣本中筆段各屬性取值與規范性評分一般都符合二次函數關系,即散點圖所表現曲線趨勢的峰數與谷數之和為1,所以將回歸模型的最大次數設為2.將影響漢字C在第k項書寫規則下規范性評分的n個筆段屬性的值作為模型的輸入,專家對漢字C在第k項書寫規則下的規范性評分作為模型的輸出,則手寫漢字C在第k項書寫規則下的規范性評分預測模型可表示為:

si=θ0+θ1xi1+…+θnxin+…+

(8)

(9)

利用最小二乘法求解多元線性回歸方程中的θ,使得預測值yθ(x)與實際值yi的誤差平方和Q最小,表示為:

(10)

最終得到:

(11)

將影響漢字C在該項書寫規則下的筆段屬性的取值代入式(11)中即可得到漢字C在該項書寫規則下的規范性評分.

書寫改進建議則是通過比對手寫漢字樣本與標準規范手寫漢字的筆段屬性值之間的差異,從而對當前手寫漢字提供相應的調整建議.如樣本某筆段的Len與標準規范手寫漢字該筆段的Len存在差異,則可以根據該差異值給出加長或縮短筆段書寫長度的書寫調整建議.

2.3 基于書寫規則的整體書寫質量評價

整體書寫質量評價是對手寫漢字的整體書寫情況進行評分,可以反映學生的漢字書寫水平.在某些書寫規則下,手寫漢字的表現可能很規范,但并不一定代表該漢字的整體書寫質量就高,因為漢字在不同書寫規則下所表現出的規范性對整體書寫質量評價的結果影響不同.因此,需要分析漢字在不同書寫規則下書寫的好壞對漢字整體書寫評價的影響權重,最后結合這些影響權重以及手寫漢字在各項書寫規則下的規范性評分實現對漢字整體書寫的評分,從而實現對手寫漢字整體書寫質量的評價.這些權重也能體現學生漢字書寫練習時需要注意的要點.

本文基于多元線性回歸模型研究手寫漢字在各項書寫規則下書寫的好壞對漢字整體書寫評價的影響,并構建整體書寫評分模型,實現對手寫漢字整體書寫情況的評分.

設有m個手寫漢字C的樣本,漢字C包含n項書寫規則,xmn代表專家對第m個樣本在第n項書寫規則下的規范性評分,sm代表專家對第m個樣本的整體書寫評分,將專家對每個手寫漢字樣本在各項書寫規則下的規范性評分作為模型的輸入,對該手寫漢字樣本的整體書寫評分作為模型的輸出,則手寫漢字C的整體書寫評分預測模型為:

(12)

同樣基于最小二乘法求解回歸方程中的β,使得預測值與實際值的誤差平方和最小.回歸方程中的β即為當前手寫漢字在不同書寫規則下書寫的好壞對漢字整體書寫評價的影響權重.

(13)

該方程即為當前漢字的整體書寫評分模型,將手寫漢字在各項書寫規則下的規范性評分代入式(13)中即可得到手寫漢字的整體書寫評分.

3 實驗結果

對6 934張具有實驗意義的手寫漢字樣本圖像進行了測試,包含表2中七種結構類型的漢字.各類型漢字分布如表2所示.

表2 手寫漢字樣本的數據分布

為了訓練實驗模型,每個樣本圖像需要專家進行評價標注.以“品”字為例,專家對其在各項書寫規則下的規范性評分以及整字書寫情況的預評價結果如表3所示.

表3 “品”字樣本圖像的評價標注示意表

為了訓練規范性分類評價模型,還需要將標注結果轉換為不同的規范性評價類別,以“日”字為例,它包含六項書寫規則,對應的書寫規范性評價類別如圖3.

圖3 “日”字對應的書寫規范性評價類別示例圖

在圖3中,規范性評價類別的六位數,每一位數與“日”字的一個書寫規則對應,表示當前手寫漢字樣本在該項書寫規則下是否書寫規范,0表示不規范,1表示規范.

3.1 規范性分類評價結果

為了使模型有更好的擬合效果,按照8∶1∶1的比例將各漢字的數據集隨機劃分為訓練集、驗證集與測試集,對模型進行訓練和測試.部分漢字測試集在模型上的分類準確率如表4所示.

表4 模型分類結果

需要說明的是,理想情況下,模型的類別個數n與書寫規則個數N的關系應滿足式(1).

但由于數據集的原因,不一定收集到了包含所有書寫情況的漢字,因此上述表格中有的類別個數與漢字書寫規則個數不滿足該關系.

3.2 量化評價以及整體書寫質量評價結果

以“日”字為例,它包含橫筆平行、橫筆等距、左短右長、豎向略斜平行、上寬下窄、中橫長度適中六項書寫規則,包含如圖4所示的5個筆段.

圖4 “日”字筆段示意圖

圖4中的“日”字樣本對應的筆段數據如表5所示.

表5 “日”字樣本對應的筆段數據

圖4、表5中,左短右長規則被其0號筆段的起點橫縱坐標、高度以及2號筆段的起點橫縱坐標、高度所影響,將“日”字各樣本中的上述筆段屬性數據作為規范性評分模型的輸入,專家對其在當前書寫規則下的規范性預評分作為規范性評分模型的輸出,按照8∶2的比例將各漢字的數據集隨機劃分為訓練集和測試集,對模型進行訓練和測試.最終該項書寫規則對應的評分預測模型如下:

s1=-169.372+77.896x1-63.695x2-

4.2098x3+77.4848x4-0.0971x5+

12.2220x1x3-15.6131x1x4+12.7371x1x5-

19.1568x2x4+0.6155x2x5+16.3655x2x6-

其中,x1、x2分別代表 “日”字0號筆段起點的橫縱坐標,即代表“日”字該筆段的起筆位置;x3、x4分別代表2號筆段起點的橫縱坐標,即代表“日”字該筆段的起筆位置;x5、x6分別代表0號和2號筆段的高度.

將專家對“日”字各樣本在各項書寫規則下的規范性預評分作為整體書寫評分模型的輸入,對其整體書寫預評分作為整體書寫評分模型的輸出,同樣按照8∶2的比例將各漢字的評分集隨機劃分為訓練集和測試集,對模型進行訓練和測試.“日”字最終的整體書寫評分預測模型為:

0.167D+0.119E+0.042F,

其中,A、B、C、D、E、F分別代表“日”字“左短右長”、“豎向略斜平行”、“上寬下窄”、“中橫長度適中”、“橫筆等距”、“橫筆平行”六項書寫規則的評分.

利用上述模型實現對“日”字在各項書寫規則下的規范性以及整體書寫情況的自動評分,效果如圖5至圖7所示.

圖5 “日”字在各項書寫規則下的規范性評分以及整體書寫評分結果圖(a)

根據上述樣本的筆段屬性與標準手寫漢字各筆段屬性取值之間的差異,可以得出量化的改進建議,圖6與圖7中“日”字的部分細節評價效果如圖8和圖9所示.

圖6 “日”字在各項書寫規則下的規范性評分以及整體書寫評分結果圖(b)

圖7 “日”字在各項書寫規則下的規范性評分以及整體書寫評分結果圖(c)

圖8 “日”字改進建議示意圖(a)

圖9 “日”字改進建議示意圖(b)

4 結論

在新技術和新范式的簇擁下,教育研究踏上了由定性轉向定量研究方法的路途[11].本文的研究不僅考慮了紙筆手寫漢字書寫練習的真實場景,還結合了漢字書寫的長期規律,并融合機器學習方法對現有的手寫漢字書寫評價方法進行了改進,從而更好地解決評價不及時、評價不夠準確、評價難以量化等難題.

紙筆手寫規范漢字量化評價技術的研究,具有很好的應用前景.第一,可以開發學生書寫練習智能輔助工具,幫助學生準確定位漢字的書寫錯誤,輔助學生進行漢字書寫練習,避免重復進行錯誤的練習,減少學習成本和學習負擔,提高學生的學習效率和整體書寫水平;第二,可以研制書寫質量監測平臺,輔助教師、學校和教育主管部門監測學生對漢字的掌握情況,了解學生漢字書寫水平,幫助教師調整教學方案,從而更好地開展漢字書寫教學.

筆者希望通過人工智能技術賦能漢字書寫教育,有效緩解當前我國漢字書寫指導老師匱乏的局面,實現真正的“因材施教”.