基于監督學習的HSK閱讀文本自動分級模型研究

任夢 王方偉

摘 要：針對HSK（漢語水平考試）各類閱讀材料難度判定與等級對應中缺乏有效參照標準和分析工具的問題，以歷年HSK真題閱讀文本為研究對象，提取文本可讀性特征，采用支持向量機、隨機森林、極端梯度增強等9種監督學習算法，建立可將自選文本自動歸類于相應HSK等級的模型，采用準確率、AUC等多項指標評價各模型的分級效果，并選擇最佳模型制成在線工具。結果表明，監督學習在HSK閱讀材料文本分析及分級方面具有較高性能，9種模型中極端梯度增強的分級效果最好，準確率為0.913，AUC為0.994。建立的分級模型和在線工具能夠以較高的準確率對HSK自選文本進行分級，幫助用戶有針對性地遴選文本，提高學習效率。

關鍵詞：自然語言處理；監督學習；HSK閱讀文本；可讀性特征；分級模型

中圖分類號：TP391.77? 文獻標識碼：A???文章編號：1008-1542（2024）02-0150-09

Research on automatic grading model of HSK reading texts based on supervised learning

REN Meng1，WANG Fangwei2

（1.College of Chinese and Literature，Hebei Normal University，Shijiazhuang，Hebei 050024，China；2.College of Computer and Cyber Security，Hebei Normal University，Shijiazhuang，Hebei 050024，China）

Abstract：Aiming at the problem that there are few effective reference standards and analysis tools available in classifying and grading Hanyu Shuiping Kaoshi（HSK） reading materials， with HSK reading texts in the past years as study object， the text readability features were extracted， and nine supervised learning algorithms， such as support vector machine， decision tree and extreme gradient enhancement， etc.， were employed to build a model that could automatically classify self-selected text to the corresponding HSK level. Multiple indicators such as accuracy and AUC were adopted to evaluate the grading effect of each model， and the best model was chosen to design an online tool. The results show that supervised learning has high performance in analyzing and grading HSK reading materials. Among the nine supervised learning models， extreme gradient enhancement is the best， with an accuracy of 0.913 and an AUC of 0.994. The grading model and online tool can grade HSK self-selected texts with high accuracy， help users select texts pertinently and improve learning efficiency.

Keywords：natural language processing；supervised learning; HSK reading text; readability feature；grading model

HSK（漢語水平考試）是一項國際標準化考試 [1]。自2022年11月起，HSK在1—6級基礎上新增了7—9級考試，從不同層面考查應試者的綜合能力。當前互聯網文本信息規模龐大，內容豐富，用戶可以非常容易地獲取各類漢語閱讀材料。但如何判斷這些材料的難度，是否能與HSK等級相對應，往往靠的是個人經驗，缺乏有效的參照標準和分析工具。監督學習屬于機器學習的一種，指的是利用一組帶有標簽的數據，學習從輸入到輸出的映射，然后將這種映射關系應用到未知數據上，達到分類或回歸的目的。目前已經有研究者將漢語可讀性特征和監督學習應用到HSK閱讀文本的分析中。江新等[2]以HSK（5級、6級）閱讀文本為實驗材料，建立了包含相異詞比率和虛詞數在內的可讀性公式，依據該公式計算得出的可讀性分數與專家對文本難度的評定分數高度相關；杜月明等[3]基于文本可讀性特征集合，引入特征選擇算法，通過對比6種監督學習模型的效果，實現了HSK閱讀文本可讀性的自動評估，其結果表明支持向量機模型在評估中的表現最好。但是通過梳理發現這些研究存在以下問題：第一，研究內容主要是從特征選擇、文本分析、優化算法等理論層面進行的，建立的公式和模型雖達到了較好的分析效果，但未能將其轉化為學習者可以利用的工具[4]；第二，已有研究主要聚焦于分析教材和考試文本，未能詳述如何將研究成果具體應用在課外或者自選閱讀材料上[5]；第三，研究大多采用傳統回歸算法，部分使用監督學習算法的研究主要采用的是經典的支持向量機、樸素貝葉斯等算法，或是隨機森林等Bagging（又稱袋裝法）算法，文本分析結果的準確率有待進一步提高[6-7]。近年來在監督學習領域，極端梯度增強、梯度提升決策樹等Boosting（又稱提升法）算法以更好的分類、泛化性能和更高的運行效率得到廣泛應用[8-16]，但尚未應用于與HSK相關的分析中。

針對以上情況，本研究以歷年HSK真題閱讀文本為研究對象，利用包括Boosting在內的9種監督學習算法，篩選與HSK等級相關的可讀性特征，建立可將自選文本自動歸類于相應HSK等級的模型，幫助用戶有針對性地選取文本材料。

1 研究內容

1.1 研究對象

本研究收集了2010—2018年出版的《漢語水平考試HSK真題集》，同時結合網絡資源，收集真題193套。經掃描錄入、光學字符識別和排版整理，共采集文本560 520字。由于HSK各等級題型不同，部分題目字數過少，部分選項為單個或者并列詞匯，可讀性特征不全，不利于文本分析，故本研究根據題目類型和字數，將每5題或6題合并為一條文本，并剔除部分選項，最終納入文本1 350條，共448 173字。詳細數據信息見表1。

1.2 研究方法

1.2.1 監督學習算法

本研究使用9種不同的監督學習算法對數據集進行分析，包括支持向量機（support vector machine，SVM）、決策樹（decision tree，DT）、K近鄰（K-nearest neighbor，KNN）、隨機森林（random forest，RF）、極端隨機樹（extra trees classifier，ETC）、梯度提升決策樹（gradient boosting decision tree，GBDT）、輕量級梯度提升（light gradient boosting machine，LGBM）、自適應增強（adaptive boosting，AdaBoost）和極端梯度增強（extreme gradient boosting，XGBoost）。使用Python 3.11軟件Sklearn模塊編寫監督學習算法代碼，依據Z-Score將各項數據進行標準化處理，便于對不同單位或量級的指標進行比較和加權。為盡量減少過擬合現象，在算法允許的情況下進行5倍交叉驗證。同時，在同等數據條件下使用SPSS 27.0軟件進行Logistic回歸分析，比較監督學習和傳統回歸算法的差異。

1.2.2 評估方法

利用網格搜索法編寫調參代碼輔助調整模型參數，采用5倍交叉驗證計算，使各模型均達到自身最優效果，計算各模型的準確率、精確率、召回率、平衡F分數（F1-Score）。為便于和以往研究相比較，本研究主要采用準確率評價模型分級效果。同時，由于受試者工作特征（receiver operating characteristic，ROC）曲線和其曲線下面積（area under curve，AUC）兼顧分類的正例和負例，可全面反映靈敏度和特異性的關系，是一個較均衡的評估指標，故本研究結合AUC值評估模型性能。本數據集各組間文本量差距較大，準確率、精確率、召回率和F1-Score采用結合樣本權重的加權平均值，AUC采用結合不同類別貢獻大小的微平均值。以上過程均重復進行5次，取均值作為最后結果，以減弱隨機抽樣的偶然性，使結果更加穩定。

1.2.3 在線運行環境

選擇分級效果最好的模型，對各可讀性特征的重要度進行計算和排名。使用遞歸式特征消除（recursive feature elimination，RFE）計算最佳特征個數，結合特征重要度排名，選出與HSK等級最相關的特征。最后，使用效果最好的模型和最相關的特征重新進行訓練，達到最佳分級效果。利用Python中的Flask框架編寫Web代碼，上傳至云服務器，使分級模型可通過網頁工具的形式使用。

本研究的具體流程見圖1。需要說明的是，由于HSK 7—9級考試開始較晚，尚未有官方出版發行的真題供參考研究，故本研究暫未納入該級別的閱讀文本。

1.2.4 文本可讀性特征

目前，關于漢語可讀性已形成較為成熟的特征集合。本研究從提升模型準確率和兼顧運算性能的角度出發，主要從以下4個方面進行特征選擇：1）根據以往研究內容和HSK閱讀文本特點，選取漢字、詞匯、句法和篇章4個維度共59個特征[15]；2）根據《HSK考試大綱》（以下簡稱《大綱》）詞匯表，制定1—6級詞匯比例共6個特征；3）結合《國際中文教育中文水平等級標準》（GF 0025—2021）（以下簡稱《標準》），制定1—9級漢字和詞匯比例等19個特征；4）加入BCC構建的漢語詞頻表，該詞頻表來自BCC語料庫的報刊、博客、微博和文學頻道，共1 818 656詞。選取特征共計85個，如表2所示。

為提取和計算上述文本可讀性特征，本研究采用Python軟件下的Jieba分詞工具進行詞語切分、詞性標注和詞頻統計，使用HanLP自然語言處理工具進行命名實體識別和句法分析，編寫字、詞、句、篇4個代碼模塊。同時，結合人工校對方式，構建HSK真題閱讀文本可讀性特征數據集。

2 研究結果

2.1 文本可讀性特征數據集

按照前文所述方法收集資料，形成HSK真題閱讀文本可讀性特征數據集，見表3。所有數據經K-S正態分布檢驗，將符合正態分布的數據采用均數±標準差表示，不符合的數據采用中位數和四分位間距表示。由于篇幅限制，表3 中僅列出部分特征。

2.2 監督學習模型分級效果

各監督學習模型和Logistic回歸的分級效果見表4。

由表4可以看出，分級效果最好的是XGBoost模型，準確率為0.913，AUC為0.994，其他3項指標也均位列第一。其余監督學習模型分級準確率均在0.758以上，AUC均在0.917以上。而Logistic回歸模型分級性能較監督學習模型有一定的差距，準確率為0.598，AUC為0.857，其他3項指標也均排在末位。

XGBoost模型的混淆矩陣和ROC曲線見圖2，圖中數值均為5次建模結果的中值。

2.3 特征重要性

為進一步辨別各特征對分級結果的影響程度，進行特征重要性分析。由于XGBoost模型分級效果最好，且具有特征分析功能，故使用該模型進一步計算特征權重數值。圖3列出了權重排名前20的特征。結果表明，與分級最相關的是《大綱》和《標準》部分級別的詞匯比例，其中《大綱》6級詞匯比例的重要性明顯高于其他特征。

只觀察特征權重排名尚無法確定將多少個特征納入模型可以達到最好的效果，故使用RFE計算最佳特征個數。常用的RFE基礎算法包括回歸以及SVM，DT和RF等。由于RF在本次實驗中得分相對較高，故將其作為基礎算法，使用5倍交叉驗證計算，得出最佳特征數為21個，如圖4所示。

2.4 模型優化

根據特征重要性和最優特征個數的計算結果，將權重排名前21位的特征納入各監督學習算法，建模結果顯示仍以XGBoost算法的分級效果最好，準確率和AUC分別達到0.919和0.995。其余模型的分級效果也有不同程度的提高。

從特征權重排名可以看出，3項與文本長度相關的指標（單文本總字數、總詞數和總句數）與分級結果相關性較高，這與HSK各級別題目的文字量相一致?？紤]到用戶自選的文本在字詞方面的難度不一定與文本長度成正比，為避免文本過長或過短對分級結果的影響，本研究結果呈現為包括和去除文本長度特征2種情況。

在可讀性特征集中去除上述3項文本長度特征后，再次使用XGBoost算法和RFE進行建模、特征權重排序和最優特征個數計算。由于去除的特征權重較高，因而XGBoost模型分級效果有所下降，準確率為0.903，AUC為0.990。剩余各特征之間的相對排名較前無明顯變化，最佳特征數為25個。對納入排名前25位的特征再次使用XGBoost算法進行建模，模型分級準確率為0.908，AUC為0.992，分級效果如表5所示。

2.5 在線工具

分別使用表5中的第2和第4項模型建立文本自動分級工具，網址為http：//www.hskclassify.online，可通過Web瀏覽器訪問。

3 分析與討論

3.1 監督學習在HSK閱讀文本分級中的應用

本研究中，特征篩選后的XGBoost模型分級準確率達到了0.913，較已有研究[2-3]有了明顯提升，其余監督學習模型的準確率也均在0.758以上。與之相比，Logistic回歸模型在相同數據條件下的準確率僅為0.598。Logistic回歸是一種線性分類器，主要處理二分類問題，并且要求數據必須線性可分，不能有效處理多分類問題或者非線性數據。當特征空間很大時，Logistic回歸的性能也會受到明顯影響[17]。相比之下，監督學習包含多種類型的算法和技術，具有優秀的計算效能和良好的魯棒性，可以提升文本分類的準確度和靈活性[18]，能夠處理規模較大的數據和任務，如多分類問題、回歸問題和聚類問題等[19]。

在監督學習中，Boosting算法是一個比較新的分支，其核心思想是通過迭代方式，不斷調整數據的權重分布，使得前一個弱分類器分錯的樣本在后續模型中得到更多的關注，從而使整體模型更好地對這些困難樣本進行分類[20]。在本研究建立的9種監督學習模型中，4種Boosting算法（XGBoost，LGBM，GBDT和AdaBoost）均達到了較好的分級效果，準確率均在0.901以上；2種Bagging算法（ETC，RF）性能稍弱，準確率分別為0.895和0.894；而3種經典模型（DT，SVM和KNN）準確率分別為0.812，0.782和0.758，與上述模型相比有一定的差距。整體來看，Boosting算法在HSK閱讀文本分析方面具有優勢。這表明在遇到漢語文本可讀性數據分析問題時，應當納入監督學習特別是Boosting算法，并與其他算法進行對比，擇優選用，以達到更好的分析效果，使研究結果更具指導性和針對性。

采用準確率、AUC等多項指標評價各模型的分級效果，可以全面了解模型性能。準確率是文本可讀性研究中使用較多的一個指標，指的是被正確分類的樣本數與總樣本數的比值。如果一個分類模型的準確率高，說明該模型能夠很好地將不同類別的樣本區分開。但在樣本不均衡的情況下，準確率可能無法準確反映模型性能[21]。AUC是一個在監督學習領域更加常用的評估指標，衡量模型在所有可能的分類閾值下的表現，可以反映模型對多類別的整體排序能力。AUC同時考量對正例和負例的區分，在樣本不均衡的情況下，依然能夠合理評估模型性能[22]。本研究中，HSK不同級別的文本字數和所生成的文本條數差距較大：1級為6 451字，102條文本；6級為191 669字，352條文本。因此，除了準確率等指標，本研究還采用AUC作為評估標準。在9種監督學習算法中，XGBoost算法的AUC值最高，為0.994，表明該算法具有較高的分級性能和實用價值。

3.2 HSK閱讀文本分級模型的啟示

語言的本質是詞匯和語法的組合，通過考查詞匯的掌握情況，可以更準確地評估語言水平和實際應用能力。本研究主要采用《大綱》1—6級和《標準》1—9級詞匯表。從特征篩選結果來看，《大綱》和《標準》不同級別的詞匯比例在前10項中占據了7項，在去除3個文本長度特征后更是占據了9項，且分級準確率較高。這表明不同難度等級的詞匯是影響HSK閱讀文本分級的最主要因素。因此，在針對HSK的研究中，應當特別重視對詞匯的學習和使用。

《標準》的制定與《大綱》關系密切。在詞匯量方面，《大綱》詞匯總量為5 000個，《標準》以《大綱》為基礎進行了擴充和更新，詞匯總量為11 092個。研究顯示，《大綱》中的4 392個詞匯被收入《標準》中。本研究特征篩選結果表明，《大綱》和《標準》的各級詞匯比例對于HSK分級的影響程度基本等同，這與兩者共有詞匯較多的現象相符。為了判斷本研究成果對HSK變化的適應能力，在數據集中去除了《大綱》1—6級詞匯比例這6個特征，再次進行模型訓練和特征篩選。結果顯示，分級準確率仍可達0.881，《標準》各級詞匯比例在特征權重排名前10項中占據了6項。

文本長度也是影響HSK分級的重要因素。在HSK 1—6級中，每份閱讀部分的平均字數為190～7 114，HSK 6級的閱讀大題單篇文字量可達1 000字。這提示在遴選HSK閱讀材料時，應注意文本長度與難度之間的相關性，適當增加單篇千字以上的長文本閱讀訓練。

本研究建立了在線分級工具，可對自選文本進行相應的HSK分級，對于介于兩級之間的文本，可顯示屬于每一級的概率數值，便于用戶綜合判斷。在具體操作中，根據HSK各級閱讀真題的字數情況，建議輸入文本的字數在50～1 000之間。對于過長或過短的文本，應以去除文本長度特征后的分級結果為主。

4 結 語

1）基于監督學習的HSK閱讀材料自動分級模型研究結果顯示，各級詞匯比例是影響文本分級的主要因素。經參數優化和特征篩選，XGBoost算法在各監督學習模型中的分級效果最好，準確率為0.919。在HSK閱讀文本分析方面，監督學習較Logistic回歸有明顯優勢，其中又以Boosting表現最佳。

2）本研究建立的分級模型和在線工具能夠以較高的準確率對自選文本進行HSK等級分類，幫助用戶有針對性地遴選，提高學習效率。

后續研究將根據HSK閱讀文本在詞匯和其他可讀性特征上的變化，調整模型參數和特征權重，及時更新研究成果。同時，緊跟監督學習領域的發展，對所建立的模型和在線工具不斷進行優化，添加更多功能，達到更好的使用效果。

參考文獻/References：

[1] PENG Yue，YAN Wei，CHENG Liying.HSK：A multi-level，multi-purpose proficiency test[J].Language Testing，2021，38（2）：326-337.

[2] 江新，宋冰冰，姜悅，等.漢語水平考試（HSK）閱讀測試文本的可讀性分析[J].中國考試，2020（12）：30-37.JIANG Xin，SONG Bingbing，JIANG Yue，et al.A study on the readability of reading test texts in Chinese proficiency test（HSK）[J].China Examinations，2020（12）：30-37.

[3] 杜月明，王亞敏，王蕾.漢語水平考試（HSK）閱讀文本可讀性自動評估研究[J].語言文字應用，2022（3）：73-86.DU Yueming，WANG Yamin，WANG Lei.A study on the automatic text readability assessment of reading texts in Hanyu Shuiping Kaoshi（HSK）[J].Applied Linguistics，2022（3）：73-86.

[4] 張慶翔，張瑩.國際中文教育的文本可讀性研究回顧[J].現代語文，2022（10）：89-95.ZHANG Qingxiang，ZHANG Ying.A review of research on the readability of international Chinese language education texts[J].Modern Chinese，2022（10）：89-95.

[5] 夏菁，孫未未.多向度計量語體特征下的對外漢語教材可讀性自動評估研究[J].華中學術，2020，13（2）：181-193.

[6] 孫未未，夏菁，曾致中.基于回歸模型的對外漢語閱讀材料的可讀性自動評估研究[J].中國教育信息化，2018（15）：67-74.

[7] 楊文娣，曾致中.基于隨機森林算法的對外漢語文本可讀性評估[J].中國教育信息化，2019（14）：89-96.

[8] 許琦，姚錦江.基于特征提取和機器學習的數據可視化模型構建研究[J].自動化與儀器儀表，2023（12）：38-41.XU Qi，YAO Jinjiang.Research on data and information visualization model construction based on feature extraction and machine learning[J].Automation & Instrumentation，2023（12）：38-41.

[9] 盛雪晨.基于分布式機器學習的文本分類模型研究[D].南京：南京郵電大學，2023.SHENG Xuechen.Text Classification Model Basedon Distributed Machine Learning[D].Nanjing：Nanjing University of Posts and Telecommunications，2023.

[10]李艷，朱倩倩，董秀萍.基于機器學習模型的客服短文本分類技術研究[J].現代計算機，2023，29（15）：64-68.LI Yan，ZHU Qianqian，DONG Xiuping.Research on short text classification technology of customer service based on machine learning model[J].Modern Computer，2023，29（15）：64-68.

[11]劉濱，詹世源，劉宇，等.基于密度Canopy的評論文本主題識別方法[J].河北科技大學學報，2023，44（5）：493-501.LIU Bin，ZHAN Shiyuan，LIU Yu，et al.Topic recognition method of comment text based on density Canopy[J].Journal of Hebei University of Science and Technology，2023，44（5）：493-501.

[12]劉濱.分布式數據挖掘綜述[J].河北科技大學學報，2014，35（1）：79-90.LIU Bin.Survey on distributed data mining[J].Journal of Hebei University of Science and Technology，2014，35（1）：79-90.

[13]于衛紅.多類別文本分類方法比較研究[J].計算機技術與發展，2022，32（1）：54-60.YU Weihong.Study on comparison of multi-class text classification methods[J].Computer Technology and Development，2022，32（1）：54-60.

[14]GONZLEZS S， GARCA S，SER J D，et al.A practical tutorial on bagging & boosting based ensembles for machine learning：Algorithms，software tools，performance study，practical perspectives & opportunities[J].Information Fusion，2020（64）：205-237.

[15]吳思遠，蔡建永，于東，等.文本可讀性的自動分析研究綜述[J].中文信息學報，2018，32（12）：1-10.WU Siyuan，CAI Jianyong，YU Dong，et al.A survey on the automatic text readability measures[J].Journal of Chinese Information Processing，2018，32（12）：1-10.

[16]DU Yueming.The relationship of lexical richness to the quality of CSL writings[C]//Lecture Notes in Computer Science.Cham：Springer，2023：116-131.

[17]WESTREICH D，LESSLER J，FUNK M J.Propensity score estimation： Neural networks， support vector machines， decision trees （CART）， and meta-classifiers as alternatives to logistic regression[J].Journal of Clinical Epidemiology，2010，63（8）：826-833.

[18]楊曉哲，王晴晴，蔣佳龍.基于人工智能的課堂師生對話分析：IRE的自動分類與分水平構建[J].電化教育研究，2023，44（10）：79-86.YANG Xiaozhe，WANG Qingqing，JIANG Jialong.Analysis of classroom teacher-student dialogue based on artificial intelligence：Automatic classification and sub-level construction of IRE[J].E-education Research，2023，44（10）：79-86.

[19]FEURER M，KLEIN A，EGGENSPERGER K，et al.Efficient and robust automated machine learning[J].Advances in Neural Information Processing Systems，2016，28：2944-2952.

[20]MAYR A，BINDER H，GEFELLER O，et al.The evolution of boosting algorithms[J].Methods of Information in Medicine，2014，53（6）：419-427.

[21]ABDELRAHMAN S M A，ABRAHAM A.A review of class imbalance problem[J].Journal of Network and Innovative Computing，2013，1：332-340.

[22]LINGC X，HUANG J，ZHANG H.AUC：A better measure than accuracy in comparing learning algorithms[C]//Advances in Artificial Intelligence.Berlin：Springer，2003：329-341.

責任編輯：張士瑩

基金項目：國家自然科學基金（61572170）；河北師范大學2023年度人文社會科學校內科研基金（S23AI001）

第一作者簡介：任夢（1990—），女，河北石家莊人，講師，博士研究生，主要從事自然語言處理等方面的研究。E-mail：olivia24rm@126.com任夢，王方偉.基于監督學習的HSK閱讀文本自動分級模型研究［J］.河北科技大學學報，2024，45（2）：150-158.REN Meng，WANG Fangwei.Research on automatic grading model of HSK reading texts based on supervised learning［J］.Journal of Hebei University of Science and Technology，2024，45（2）：150-158.