普通話水平測試命題說話模塊自動評分技術(shù)研究

申云飛 劉嘉俊 范智星 早克熱·卡德爾 艾山·吾買爾

摘要：命題說話是至今唯一采用人工方式評分的普通話水平測試考題，實(shí)現(xiàn)高精度命題說話評測技術(shù)有利于國家通用語言文字的推廣普及。該文提出了基于回歸模型的PSC命題說話模塊評分模型，并在自建的PSC命題說話數(shù)據(jù)集上對比了基于不同回歸模型的預(yù)測精度。實(shí)驗(yàn)結(jié)果表明，基于XGBoost的PSC命題說話模塊評分模型在測試集上與綜合專家評分的皮爾遜相關(guān)系數(shù)達(dá)到了0.860，相比線性回歸模型提升了17.5%，與人工專家評分具有較高的相關(guān)度，具有一定的實(shí)用價(jià)值。

關(guān)鍵詞：普通話水平測試考試;命題說話;發(fā)音自動評測;皮爾遜相關(guān)系數(shù)

中圖分類號：TP18? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）11-0007-04

1 引言

普通話是我國的國家通用語言，全面加強(qiáng)國家通用語言文字教育，是堅(jiān)持以人民為中心的發(fā)展思想的內(nèi)在要求，是鑄牢中華民族共同體意識的重要途徑。人工智能（Artificial Intelligence， AI） 是引領(lǐng)現(xiàn)代教育革命的重要驅(qū)動力，這門技術(shù)已經(jīng)被廣泛應(yīng)用于教育的各個(gè)環(huán)節(jié)，深刻地改變了過去的教、學(xué)、考的教育形式。國內(nèi)外研究人員圍繞教育領(lǐng)域的常規(guī)教學(xué)業(yè)務(wù)工作自動化，研發(fā)了寫作評測技術(shù)、發(fā)音評測技術(shù)、自動化口語評測技術(shù)，在TOFEL、GRE、SAT等測試及我國普通話水平測試（Putonghua Shuiping Ceshi， PSC）、漢語水平考試（HSK） 、中國少數(shù)民族漢語水平等級考試（MHK） 等測試使用計(jì)算機(jī)輔助測試部分口語測試題，極大提高了自動化程度。命題說話題型屬于文本無關(guān)口語評測技術(shù)，它測查應(yīng)試人在無文字憑借的情況下說普通話的水平，重點(diǎn)測查語音標(biāo)準(zhǔn)程度、詞匯語法規(guī)范程度和自然流暢程度。由于命題說話題型評測的復(fù)雜性，目前，在普通話水平測試中及各種公開的普通話學(xué)習(xí)軟件及服務(wù)中，朗讀題型大多已經(jīng)實(shí)現(xiàn)了機(jī)器自動評分，但是命題說話部分仍然需要通過由專家人工評分的方式來取得較準(zhǔn)確的評測結(jié)果。研究與人工專家打分結(jié)果具有較高相關(guān)度的普通話命題說話題型模塊的自動評測技術(shù)，對普通話的推廣具有重要的現(xiàn)實(shí)意義。

對命題說話題型的自動評測是自動口語評測（Automated Speech Scoring， ASS） 的一項(xiàng)子任務(wù)。目前國際上對命題說話自動評測的研究集中在英語上，并且取得了較好的進(jìn)展。當(dāng)前命題說話自動評測技術(shù)的主要難點(diǎn)是需要綜合提取多種評分特征并進(jìn)行融合，以實(shí)現(xiàn)更全面、更準(zhǔn)確、與專家人工打分一致性更高的機(jī)器評分。命題說話自動評測的通常實(shí)現(xiàn)途徑為通過自動語音識別（Automatic Speech Recognition， ASR） 識別待評測音頻，隨后基于待評測音頻與語音識別結(jié)果進(jìn)行發(fā)音錯(cuò)誤檢測（Mispronunciation Detection and Diagnosis， MDD） 、語法糾錯(cuò)（Grammar Error Correction， GEC） 、離題檢測（Off-Topic Spoken Response Detection） 與流暢度評測等多項(xiàng)子評測，得到多維度的評分特征，最終通過評分模型得到整體性的評分結(jié)果。美國教育考試服務(wù)中心（Educational Testing Service， ETS）研發(fā)的托福口語自動評分系統(tǒng)SpeechRater就是基于大量人工設(shè)計(jì)的評分特征的英文命題說話自動評測系統(tǒng)[1]。許蘇魁針對PSC命題說話題型的機(jī)器評測進(jìn)行了詳細(xì)的研究，基于DNN-HMM語音識別模型得到待評測語音的識別結(jié)果后驗(yàn)概率，利用RNNLM語言模型重打分與方言模型進(jìn)行修正后作為主要機(jī)器打分特征，同時(shí)引入基于條件隨機(jī)場（Conditional Random Field， CRF） 的語速特征提取模型、基于矢量空間模型（Vector Space Model， VSM） 的離題檢測模型等輔助打分特征，利用線性回歸模型作為機(jī)器評分的打分模型，最終獲得了0.757的機(jī)器分與人工分的回歸系數(shù)[2]。湯國春在研究針對漢語水平口語考試（HSKK） 的看圖說話題自動評分模型時(shí)，通過對不同圖片人工預(yù)設(shè)與其內(nèi)容相關(guān)的關(guān)鍵詞，隨后通過計(jì)算關(guān)鍵詞覆蓋率作為主題相關(guān)特征，結(jié)合字?jǐn)?shù)、重復(fù)字?jǐn)?shù)與語法錯(cuò)誤數(shù)這四個(gè)特征，構(gòu)建了基于線性回歸的評分模型[3]。以上研究均使用線性回歸作為評分模型，李淇澳在研究開放式英語口語考試自動評測時(shí)，使用BP神經(jīng)網(wǎng)絡(luò)（也被稱為多層感知機(jī)回歸，MLP Regressor） 作為評分模型[4]。

綜上，目前的命題說話等自由表述口語自動評分研究，主要使用線性回歸或多層感知機(jī)回歸等機(jī)器學(xué)習(xí)方法，構(gòu)建基于單個(gè)模型的評分模型，尚未見到基于集成學(xué)習(xí)（Ensemble Learning） 方法的自動評分研究。目前，梯度提升回歸樹（Gradient Boosted Regression Tree， GBRT） 等集成學(xué)習(xí)類的機(jī)器學(xué)習(xí)方法由于優(yōu)異的性能表現(xiàn)及良好的可解釋性[5]，在信用評級[6]、電網(wǎng)負(fù)荷[7]及房租預(yù)測[8]等多種多樣的領(lǐng)域中得到了廣泛的運(yùn)用。本文在基于人工設(shè)計(jì)特征與回歸模型的PSC命題說話模塊的自動評測模型框架的基礎(chǔ)上，在自建的PSC命題說話數(shù)據(jù)集上通過實(shí)驗(yàn)對比了采用線性回歸、支持向量回歸（Support Vector Regression， SVR） 、多層感知機(jī)回歸、LightGBM和XGBoost等回歸模型時(shí)的評分模型性能。實(shí)驗(yàn)結(jié)果顯示該機(jī)器評分方法具有可行性，且基于XGBoost的PSC命題說話評分模型性能最好，得到的機(jī)器分與專家分間的相關(guān)系數(shù)達(dá)到了0.860，已經(jīng)具有較高的相關(guān)度。

2 基于梯度提升方法的集成學(xué)習(xí)模型

2.1 集成學(xué)習(xí)與提升方法

集成學(xué)習(xí)是一種典型的模型獨(dú)立學(xué)習(xí)方式，它通過一定的策略將多個(gè)模型進(jìn)行集成，以多個(gè)模型進(jìn)行綜合決策的方式來提升模型預(yù)測的準(zhǔn)確率。常用的集成學(xué)習(xí)策略包括裝袋算法（Bagging） 與提升算法（Boosting） ，其中提升算法通過按順序訓(xùn)練一系列基模型，每一個(gè)模型均針對前序模型的錯(cuò)誤來調(diào)整訓(xùn)練樣本的權(quán)重，從而不斷提升模型性能[9]。梯度提升（Gradient Boosting） 是一類改進(jìn)提升算法，它將提升算法的優(yōu)化對象擴(kuò)展到了一般的損失函數(shù)[10]，得到了廣泛的運(yùn)用。以下介紹基于梯度提升方法的梯度提升回歸樹，以及它的改進(jìn)實(shí)現(xiàn)LightGBM與XGBoost。

2.2 梯度提升回歸樹

梯度提升回歸樹是一類被廣泛運(yùn)用的機(jī)器學(xué)習(xí)算法，它基于提升樹方法（Boosting Tree） 與梯度提升方法，也被稱為梯度提升機(jī)（Gradient Boosting Machine， GBM） [11]。梯度提升回歸樹與梯度提升決策樹（Gradient Boosted Decision Tree， GBDT） 的區(qū)別在于選取的基模型是回歸樹還是分類樹。提升樹方法是使用決策樹作為基模型、使用加法模型對基模型進(jìn)行線性組合的提升方法，它可以表示為：

對于回歸問題，提升樹方法在訓(xùn)練模型時(shí)通過前向分步算法進(jìn)行迭代，即以損失函數(shù)作為優(yōu)化目標(biāo)，計(jì)算出當(dāng)前回歸樹模型在訓(xùn)練集上的殘差（Residual） 后，擬合殘差得到下一個(gè)模型的參數(shù)。回歸提升樹模型常用的目標(biāo)函數(shù)是平方損失函數(shù)，一般損失函數(shù)可能面臨著殘差計(jì)算困難的問題，梯度提升方法利用最速下降法，將損失函數(shù)的負(fù)梯度作為回歸提升樹的殘差的近似值，從而將回歸提升樹擴(kuò)展到使用任意連續(xù)可微的損失函數(shù)作為優(yōu)化目標(biāo)的場景，也就是梯度提升回歸樹。

在當(dāng)今的大數(shù)據(jù)時(shí)代，機(jī)器學(xué)習(xí)任務(wù)中數(shù)據(jù)樣本數(shù)量及特征維度快速增加，傳統(tǒng)的梯度提升樹算法在實(shí)際運(yùn)用時(shí)面臨著由于計(jì)算復(fù)雜度提升而不得不在準(zhǔn)確度與執(zhí)行效率中進(jìn)行權(quán)衡[12]。針對這一現(xiàn)狀，LightGBM與XGBoost這兩種改進(jìn)的梯度提升樹框架應(yīng)運(yùn)而生，并得到了廣泛的運(yùn)用。

2.3 LightGBM

LightGBM是由微軟公司研究院提出的改進(jìn)梯度提升算法框架及相應(yīng)的軟件實(shí)現(xiàn)，它提供了高效易用的GBDT與GBRT模型實(shí)現(xiàn)[12]。針對大數(shù)據(jù)下GBDT與GBRT計(jì)算復(fù)雜度過高的問題，LightGBM提出了基于梯度的單邊梯度采樣（Gradient-based One-Side Sampling， GOSS） 與相斥特征打包（Exclusive Feature Bundling， EFB） 算法，在保證模型預(yù)測準(zhǔn)確度的前提下大幅提升了GBDT與GBRT模型的訓(xùn)練速度。GOSS算法在訓(xùn)練階段通過隨機(jī)去掉梯度較小的樣本實(shí)現(xiàn)訓(xùn)練數(shù)據(jù)的下采樣。EFB算法將選擇相斥特征的問題轉(zhuǎn)化為圖著色問題后，通過貪婪算法求解，這樣就可以將相斥的特征進(jìn)行打包以減少特征數(shù)量。此外，LightGBM選擇使用基于直方圖算法的決策樹分裂點(diǎn)搜索方法，該算法在模型訓(xùn)練過程中將連續(xù)特征值通過分箱操作離散化，有效提升了模型訓(xùn)練速度[12-13]。

2.4 XGBoost

XGBoost是由華盛頓大學(xué)DMLC組（Distributed （Deep） Machine Learning Community） 提出的分布式梯度提升算法庫軟件，目標(biāo)在于提供高效可擴(kuò)展的GBDT與GBRT實(shí)現(xiàn)。為了對抗過擬合，XGBoost為目標(biāo)函數(shù)添加了正則化懲罰以降低模型的復(fù)雜度，同時(shí)對特征進(jìn)行下采樣[11]。為了加快決策樹模型分裂點(diǎn)的搜索，XGBoost提出了一種在構(gòu)造目標(biāo)函數(shù)時(shí)，使用損失函數(shù)的二階泰勒展開進(jìn)行近似的方法[14]，同時(shí)它也支持與LightGBM相同的直方圖算法①。在可用的基模型方面，XGBoost支持決策樹與線性模型。

3 研究方法

3.1 命題說話評測系統(tǒng)設(shè)計(jì)

本文提出的命題說話評分模型及相應(yīng)的評分環(huán)節(jié)是基于語音識別的PSC命題說話模塊自動評測系統(tǒng)的一部分，該系統(tǒng)的結(jié)構(gòu)如圖1所示。該系統(tǒng)包含用于獲得評測參考文本的語音識別子系統(tǒng)與在此基礎(chǔ)上通過參考文本相關(guān)方法實(shí)現(xiàn)發(fā)音錯(cuò)誤檢測的發(fā)音錯(cuò)誤檢測子系統(tǒng)，通過按照一定的規(guī)則解析子系統(tǒng)的輸出，即可獲得命題說話評分模型的評分特征。在進(jìn)行本文的研究時(shí)，語音識別子系統(tǒng)采用百度智能云提供的普通話語音識別公開接口服務(wù)②，而發(fā)音錯(cuò)誤檢測子系統(tǒng)采用云知聲提供的普通話語音評測公開接口服務(wù)③。

3.2 基于回歸模型的命題說話評分方法

本文所述的評分方法基于回歸模型，使用人工設(shè)計(jì)的評分特征作為模型輸入，模型的輸出即為機(jī)器評分。由于PSC命題說話題的分?jǐn)?shù)范圍是[[0，40]]，故超出這一范圍的模型輸出值將被相應(yīng)地裁剪，確保最終得到的機(jī)器分?jǐn)?shù)符合要求。于是本文所描述的命題說話評分模型可以表示為：

在選擇評分特征時(shí)，我們參考PSC命題說話的評分規(guī)范，從流暢度、發(fā)音準(zhǔn)確度等方面選取了一系列特征，這些評分在表1中給出。這些特征可以從待評測語音的元信息、發(fā)音錯(cuò)誤檢測子系統(tǒng)輸出結(jié)果中計(jì)算得到。

3.3 模型超參數(shù)優(yōu)化

對于GBRT等較為復(fù)雜的模型，超參數(shù)的設(shè)置會顯著影響模型性能，所以需要通過超參數(shù)優(yōu)化找到使該模型性能最佳的超參數(shù)組合，這一過程也被稱為“調(diào)參”。本文使用的超參數(shù)搜索方法是網(wǎng)格搜索（Grid Search） ，它是通過嘗試所有超參數(shù)的組合來尋址合適一組超參數(shù)配置的方法[9]，利用Scikit-learn中提供的GridSearchCV功能即可便利地實(shí)現(xiàn)網(wǎng)格搜索。本文中使用的MLP回歸、GBRT、LightGBM、XGBoost模型需要進(jìn)行超參數(shù)優(yōu)化。

4 實(shí)驗(yàn)與數(shù)據(jù)分析

4.1 數(shù)據(jù)集

本文實(shí)驗(yàn)在自建的PSC命題說話數(shù)據(jù)集上進(jìn)行。該數(shù)據(jù)集包括400份普通話水平測試命題說話測試音頻，數(shù)據(jù)來源為考場數(shù)據(jù)及組織大學(xué)生進(jìn)行錄音，錄音環(huán)境為安靜的室內(nèi)，錄音設(shè)備為臺式電腦及頭戴式耳麥。這400份數(shù)據(jù)來自124名說話人，囊括了PSC命題說話題型的全部30個(gè)話題，這些話題全部來自于PSC命題說話題庫，從而確保與考試形式一致。原始數(shù)據(jù)集以7：3的比例隨機(jī)劃分為訓(xùn)練集與測試集，故訓(xùn)練集包括280份音頻，測試集包括120份音頻。該數(shù)據(jù)集由具有PSC評測員資格的普通話評測專家，在自建的Web打分系統(tǒng)上根據(jù)相應(yīng)的評分規(guī)則進(jìn)行評分。數(shù)據(jù)的人工標(biāo)注內(nèi)容包括整體評分以及發(fā)音標(biāo)準(zhǔn)度、流暢度、詞匯語法規(guī)范度、是否離題等多個(gè)方面的打分細(xì)節(jié)，在進(jìn)行本文所述的研究時(shí)只使用整體評分。為了確保數(shù)據(jù)標(biāo)注的客觀性，所有數(shù)據(jù)均由三名專家進(jìn)行標(biāo)注。在訓(xùn)練模型時(shí)及驗(yàn)證模型性能時(shí)，我們使用每份樣本的三個(gè)專家評分的平均值作為該樣本的真實(shí)分?jǐn)?shù)，并將其稱為所有專家綜合評分。

本文使用皮爾遜相關(guān)系數(shù)（Pearson Correlation Coefficient， CC） 衡量專家評分間，以及專家評分與所有專家綜合評分間的相關(guān)性。皮爾遜相關(guān)系數(shù)常被用于度量真實(shí)值與預(yù)測值間的相關(guān)程度。人工打分[Y]與機(jī)器打分[Y]間的相關(guān)系數(shù)的計(jì)算公式是：

其中[μY]表示[Y]的均值。皮爾遜相關(guān)系數(shù)的取值范圍是-1～1，值為1則兩個(gè)變量完全正相關(guān)，值為0則二者完全不相關(guān)，值為-1則二者完全負(fù)相關(guān)。當(dāng)被衡量的兩組變量數(shù)據(jù)均已經(jīng)被標(biāo)準(zhǔn)化時(shí)，皮爾遜相關(guān)系數(shù)與余弦相似度等價(jià)[15]。專家打分的相關(guān)系數(shù)見表2，根據(jù)表2中的數(shù)據(jù)可以得到三名專家的打分結(jié)果間的相關(guān)系數(shù)的均值為0.871，三名專家的打分結(jié)果與綜合打分結(jié)果間的相關(guān)系數(shù)的均值為0.956。由于每位專家的評分與綜合評分間的相關(guān)系數(shù)更高，故綜合評分的可靠性更高，可以作為評價(jià)命題說話評測系統(tǒng)性能的對象。

4.2 實(shí)驗(yàn)設(shè)置

本文的實(shí)驗(yàn)在x86服務(wù)器上進(jìn)行，操作系統(tǒng)為Ubuntu 20.04，GPU為NVIDIA Tesla V10016GB，代碼運(yùn)行環(huán)境為Python 3.8，使用的回歸算法實(shí)現(xiàn)來自于Scikit-learn、LightGBM與XGboost庫。實(shí)驗(yàn)中使用的回歸模型包括Scikit-learn提供的線性回歸、MLP回歸、SVR、GBRT，以及由相應(yīng)的庫獨(dú)立提供的LightGBM回歸與XGBoost回歸。本文將線性回歸模型作為基線模型。對于性能會顯著受超參數(shù)影響的MLP回歸、GBRT、LightGBM、XGBoost模型，本文使用皮爾遜相關(guān)系數(shù)作為超參數(shù)優(yōu)化的目標(biāo)，在訓(xùn)練集上通過K-Fold交叉驗(yàn)證與超參數(shù)優(yōu)化找到使模型性能最佳的超參數(shù)組合，隨后使用該超參數(shù)組合在全部的訓(xùn)練集數(shù)據(jù)上訓(xùn)練模型，在測試集上驗(yàn)證模型最終性能。K-Fold的折數(shù)根據(jù)相關(guān)研究，通過對訓(xùn)練集樣本的數(shù)量取自然對數(shù)[16]，確定為6折。在模型配置方面，SVR模型使用RBF核，GBRT模型使用Huber Loss作為損失函數(shù)并限制最大深度為3，XGBoost模型使用與LightGBM類似的基于直方圖算法的決策樹分裂點(diǎn)搜索算法。進(jìn)行實(shí)驗(yàn)時(shí)的全局隨機(jī)種子為1234，從而確保實(shí)驗(yàn)結(jié)果可復(fù)現(xiàn)。

4.3 模型性能評估指標(biāo)

為了衡量不同模型的性能，本文采用回歸模型的通用評估方法及普通話口語自動評測領(lǐng)域常用的評測方法完成對模型的評估。本文使用評估指標(biāo)包括均方誤差（Mean Squared Error，MSE） 、判定系數(shù)（Coefficient of Determination，[R2]） 與皮爾遜相關(guān)系數(shù)。模型性能評估在測試集上進(jìn)行，方法是將專家綜合評分作為真實(shí)值，評分模型輸出的機(jī)器分作為預(yù)測值，計(jì)算上述評估指標(biāo)，通過比較評估指標(biāo)的大小找到性能最佳的模型。以下介紹MSE與[R2]指標(biāo)的計(jì)算方法。

1） MSE用于衡量預(yù)測值與真實(shí)值間的誤差，整體誤差越小則MSE的值越低。當(dāng)數(shù)據(jù)集中有N個(gè)語音樣本時(shí)，將它們的人工打分記為[Y]，機(jī)器打分記為[Y]，此時(shí)[Y=Y1，Y2，…，YN]，[Y=Y1，Y2，…，YN]，則向量[Y]與[Y]間的MSE可以通過以下公式計(jì)算：

2） [R2]用于衡量回歸模型的解釋力。人工打分[Y]與機(jī)器打分[Y]間的[R2]可以通過以下公式計(jì)算：

其中[μY=1Ni=1NYi]，表示[Y]的均值。[R2]的取值范圍為0～1，值越接近于1則回歸模型對因變量中的變異有更強(qiáng)的解釋能力。

4.4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)結(jié)果如表3所示，表中結(jié)果為不同模型在測試集上的性能。結(jié)果顯示MLP回歸的性能略低于作為基線的線性回歸模型，原因是本文使用的數(shù)據(jù)集規(guī)模較小，導(dǎo)致神經(jīng)網(wǎng)絡(luò)不能充分發(fā)揮出其對非線性函數(shù)的擬合能力。GBRT、LightGBM、XGBoost這三種基于集成學(xué)習(xí)思想與梯度提升方法的模型的性能顯著強(qiáng)于線性回歸、MLP回歸、SVR這些單體模型，在相關(guān)系數(shù)指標(biāo)上相對于SVR獲得了至少6.9%的相對提升，表明梯度提升方法可以有效改善PSC命題說話評分任務(wù)的最終性能。特別的，基于XGBoost的評分模型在MSE、[R2]、相關(guān)系數(shù)這三項(xiàng)指標(biāo)上均取得了最佳的性能，在相關(guān)系數(shù)指標(biāo)上，它相對于作為基線模型的線性回歸獲得了17.5%的相對提升，相對于原始版本的GBRT模型提升了2.7%。

5 結(jié)束語

本論文使用機(jī)器學(xué)習(xí)方法對命題說話開展了自動評分研究，使用正確發(fā)音的音節(jié)數(shù)、錯(cuò)讀為其他字的音節(jié)數(shù)、發(fā)音錯(cuò)誤或不標(biāo)準(zhǔn)的音節(jié)數(shù)、整體流暢度評分、整體發(fā)音標(biāo)準(zhǔn)度評分、音頻時(shí)長等特征，針對PSC的命題說話模塊的自動評分任務(wù)提出了基于XGBoost的評分模型。實(shí)驗(yàn)結(jié)果表明，本論文提出的模型的機(jī)器評分與專家評分之間的相關(guān)度較高，表明該方法具備較高的可實(shí)用性。

注釋：

①https：//xgboost.readthedocs.io/en/latest/treemethod.html.

②https：//cloud.baidu.com/product/speech/asr.

③https：//ai.unisound.com/sa-call-eval.

參考文獻(xiàn)：

[1] Zechner K，Higgins D，Xi X.SpeechRater：A construct-driven approach to scoring spontaneous non-native speech[C].Proc.SLaTE，2007.

[2] 許蘇魁.普通話自由表述口語評測關(guān)鍵技術(shù)的研究[D].合肥：中國科學(xué)技術(shù)大學(xué)，2016.

[3] 湯國春.對外漢語看圖說話題自動評分模型的構(gòu)建研究[D].南京：南京師范大學(xué)，2019.

[4] 李淇澳，文福安.基于神經(jīng)網(wǎng)絡(luò)的開放式口語評分系統(tǒng)研究[D].北京：北京郵電大學(xué)，2020.

[5] Fang W J，Zhou J，Li X L，et al.Unpack local model interpretation for GBDT[C]//Database Systems for Advanced Applications.Cham：Springer International Publishing，2018：764-775.

[6] 馬曉君，沙靖嵐，牛雪琪.基于LightGBM算法的P2P項(xiàng)目信用評級模型的設(shè)計(jì)及應(yīng)用[J].數(shù)量經(jīng)濟(jì)技術(shù)經(jīng)濟(jì)研究，2018，35（5）：144-160.

[7] 王華勇，楊超，唐華.基于LightGBM改進(jìn)的GBDT短期負(fù)荷預(yù)測研究[J].自動化儀表，2018，39（9）：76-78，82.

[8] 謝勇，項(xiàng)薇，季孟忠，等.基于Xgboost和LightGBM算法預(yù)測住房月租金的應(yīng)用分析[J].計(jì)算機(jī)應(yīng)用與軟件，2019，36（9）：151-155，191.

[9] 邱錫鵬.神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)[M].北京：機(jī)械工業(yè)出版社，2020.

[10] 李航.統(tǒng)計(jì)學(xué)習(xí)方法[M].2版.北京：清華大學(xué)出版社，2019.

[11] Chen T，Guestrin C.XGBoost：A Scalable Tree Boosting System[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York，NY，USA：ACM，2016：785-794.

[12] Ke G，Meng Q，F(xiàn)inley T，et al.LightGBM：A Highly Efficient Gradient Boosting Decision Tree[C]//Guyon I，Luxburg U V，Bengio S，et al.Advances in Neural Information Processing Systems：卷 30.Curran Associates，Inc.，2017：3146-3154.

[13] Alsabti K，Ranka S，Singh V.CLOUDS：A decision tree classifier for large datasets[C]//Proceedings of the 4th knowledge discovery and data mining conference，1998，2（8）.

[14] 陳振宇，劉金波，李晨，等.基于LSTM與XGBoost組合模型的超短期電力負(fù)荷預(yù)測[J].電網(wǎng)技術(shù)，2020，44（2）：614-620.

[15] Berthold M R，Hoppner F.On Clustering Time Series Using Euclidean Distance and Pearson Correlation[J/OL].arXiv：1601.02213[cs，stat]，2016[2021-12-16].http：//arxiv.org/abs/1601.02213.

[16] Jung Y.Multiple predicting K-fold cross-validation for model selection[J].Journal of Nonparametric Statistics，2018，30（1）：197-215.

收稿日期：2022-02-25

基金項(xiàng)目：北京信息科學(xué)與技術(shù)國家研究中心開放課題（項(xiàng)目編號：BNR2021KF02005） ;《多模態(tài)信息感知與智能處理創(chuàng)新團(tuán)隊(duì)》天山創(chuàng)新團(tuán)隊(duì)計(jì)劃（項(xiàng)目編號：2020D14044）

作者簡介：申云飛（1995—） ，男，江蘇連云港人，助理，碩士，研究方向?yàn)檎Z音識別、口語自動評測、機(jī)器學(xué)習(xí)系統(tǒng);劉嘉俊（1998—） ，女，湖南祁陽人，碩士，研究方向?yàn)榭谡Z自動評測;范智星（1997—） ，男，遼寧大連人，碩士，研究方向?yàn)榭谡Z自動評測;早克熱·卡德爾（1982—） ，女，新疆哈密人，實(shí)驗(yàn)師，碩士，研究方向?yàn)榍楦蟹治?艾山·吾買爾（1981—） ，男，新疆庫車人，通信作者，教授，博士，研究領(lǐng)域?yàn)槎嗄B(tài)自然語言處理。