基于多維度特征的智能評價(jià)育人效果研究

楊智宇 趙均 劉靜 杜力

摘?要：智能教育評價(jià)是教育改革重點(diǎn)研究方向。然而，運(yùn)用人工智能相關(guān)技術(shù)對多維度特征的育人效果智能評價(jià)研究仍不深入。為解決上述問題，通過對調(diào)查問卷采集數(shù)據(jù)分析處理后得到20個(gè)智能評價(jià)模型特征，并通過感知機(jī)等5種算法分別建立智能評價(jià)模型，以尋找最優(yōu)智能評價(jià)方法。實(shí)驗(yàn)結(jié)果表明，不考慮模型計(jì)算時(shí)間和泛化能力，基于感知機(jī)算法建立多維度特征智能評價(jià)模型更為準(zhǔn)確；考慮模型計(jì)算時(shí)間和泛化能力，基于決策樹C4.5算法建立多維度特征智能評價(jià)模型更為準(zhǔn)確。

關(guān)鍵詞：人工智能；智能評價(jià)；多維度

智能教育評價(jià)是教育改革重點(diǎn)研究任務(wù)，2020年中共中央國務(wù)院印發(fā)《深化新時(shí)代教育評價(jià)改革總體方案》中提出，要?jiǎng)?chuàng)新評價(jià)工具，利用人工智能、大數(shù)據(jù)等現(xiàn)代信息技術(shù)，探索開展學(xué)生各年級學(xué)習(xí)情況全過程縱向評價(jià)、德智體美勞全要素橫向評價(jià)。［1］

大量學(xué)者針對智能教育評價(jià)展開相關(guān)研究，現(xiàn)有研究主要集中在教育評價(jià)智能化可行性等方面。人工智能理念為教育評價(jià)改革帶來了契機(jī)與挑戰(zhàn)，教育評價(jià)智能化可行性方面的研究主要在尋找突破方向與實(shí)現(xiàn)路徑等方面。［2］課堂教學(xué)評價(jià)智能化方面的研究主要在課堂教學(xué)評價(jià)改革與技術(shù)實(shí)現(xiàn)框架、策略以及智能化評價(jià)關(guān)鍵技術(shù)［3］等方面。職業(yè)教育評價(jià)智能化方面的研究主要在教育評價(jià)智能化改革體系構(gòu)建和促進(jìn)職業(yè)教育高質(zhì)量發(fā)展［4］等方面。

上述研究對深化教育評價(jià)改革的探索非常有意義。然而，運(yùn)用人工智能相關(guān)技術(shù)對多維度特征的育人效果智能評價(jià)研究仍不深入。為解決上述問題，通過對調(diào)查問卷采集數(shù)據(jù)分析處理并建立評價(jià)模型。由于目前對于哪種算法更適合用于建立多維度特征智能評價(jià)模型未有確切指導(dǎo)，故通過感知機(jī)算法等5種算法建立智能評價(jià)模型實(shí)現(xiàn)多維度特征智能評價(jià)。

1?調(diào)研數(shù)據(jù)分析與處理

調(diào)查問卷主要涉及學(xué)生溝通協(xié)調(diào)能力、價(jià)值觀和知識(shí)學(xué)習(xí)運(yùn)用能力等多方面特征，設(shè)計(jì)并發(fā)放工科大學(xué)生工匠精神及創(chuàng)新意識(shí)調(diào)查問卷。發(fā)放449份調(diào)查問卷，有效收集449份調(diào)查問卷。根據(jù)現(xiàn)有數(shù)據(jù)量綜合分析，采用二分法將“學(xué)生解決復(fù)雜工程問題能力是否具備”這一結(jié)果劃分為“有”和“沒有”兩大類。“有”一類為正例，用數(shù)字1表示，共計(jì)389份；“沒有”一類為負(fù)例，用數(shù)字0表示，共計(jì)60份。每份調(diào)查問卷涉及20個(gè)選項(xiàng)作為特征值，分別涉及溝通協(xié)調(diào)能力、價(jià)值觀和知識(shí)學(xué)習(xí)運(yùn)用能力等四個(gè)方面內(nèi)容。特征值取值范圍為1～5之間的整數(shù)值，依次表示“完全不符合”“不符合”“基本不符合”“基本符合”和“完全符合”，對特征進(jìn)行總結(jié)性描述后具體數(shù)據(jù)如表1所示。

為了建立學(xué)生復(fù)雜工程問題解決能力智能評價(jià)模型及測試模型性能，將所采集數(shù)據(jù)劃分為模型訓(xùn)練集和測試集。為確保正、負(fù)樣本在模型訓(xùn)練集和測試集中的均衡，并根據(jù)現(xiàn)有數(shù)據(jù)量綜合分析，分別從正、負(fù)樣本集中各隨機(jī)選擇其中的87%用做模型訓(xùn)練，共計(jì)390個(gè)樣本作為訓(xùn)練集，其中正樣本數(shù)量為338份，負(fù)樣本數(shù)量為52份；剩余13%用作模型測試，共計(jì)59份樣本數(shù)量作為測試集，其中正樣本數(shù)量為51份，負(fù)樣本數(shù)量為8份。

根據(jù)上述數(shù)據(jù)分析及處理，得到“學(xué)習(xí)目的”“抗壓能力”等20個(gè)維度的學(xué)生復(fù)雜工程問題解決能力智能評價(jià)模型所需訓(xùn)練特征。由于目前對于哪種算法更適合用于建立學(xué)生復(fù)雜工程問題解決能力智能評價(jià)模型并未有確切指導(dǎo)，故通過感知機(jī)算法、二項(xiàng)邏輯斯諦回歸算法、支持向量機(jī)算法、AdaBoost算法和決策樹C4.5算法建立5個(gè)學(xué)生復(fù)雜工程問題解決能力智能評價(jià)模型。

2?復(fù)雜工程問題解決能力智能評價(jià)模型

2.1?感知機(jī)智能評價(jià)模型

感知機(jī)［5］由兩層神經(jīng)元組成，輸入層接收建立學(xué)生復(fù)雜工程問題解決能力智能評價(jià)模型的特征值作為輸入信號(hào)后傳遞給輸出層。感知機(jī)智能評價(jià)模型以輸出學(xué)生復(fù)雜工程問題解決能力具備情況作為結(jié)果，用1表示“具備”，-1表示“不具備”。

2.2?二項(xiàng)邏輯斯諦回歸智能評價(jià)模型

二項(xiàng)邏輯斯諦回歸［6］模型中條件概率分布用于估計(jì)學(xué)生復(fù)雜工程問題解決能力是否具備的可能性，用P（Y|X）表示。二項(xiàng)邏輯斯諦回歸智能評價(jià)模型中X為輸入特征向量，為學(xué)生復(fù)雜工程問題解決能力相應(yīng)的多維度特征；Y為模型輸出結(jié)果，是學(xué)生復(fù)雜工程問題解決能力具備情況，用1表示“具備”，0表示“不具備”。

2.3?支持向量機(jī)智能評價(jià)模型

支持向量機(jī)模型［7］通過找出建立智能評價(jià)模型的20維度特征空間最優(yōu)超平面實(shí)現(xiàn)二分類，從而實(shí)現(xiàn)學(xué)生復(fù)雜工程問題解決能力具備情況智能評價(jià)。支持向量機(jī)智能評價(jià)模型輸入為學(xué)生復(fù)雜工程問題解決能力相應(yīng)的多維度特征；輸出結(jié)果用1表示“具備”，-1表示“不具備”。

2.4?AdaBoost智能評價(jià)模型

AdaBoost算法［8］模型先建立多個(gè)學(xué)生復(fù)雜工程問題解決能力具備情況弱分類器，再組合各個(gè)弱分類器形成最終智能評價(jià)分類器。Adaboost智能評價(jià)模型輸入為學(xué)生復(fù)雜工程問題解決能力相應(yīng)的多維度特征；輸出結(jié)果用1表示“具備”，0表示“不具備”。

2.5?決策樹C4.5智能評價(jià)模型

決策樹C4.5算法［9］模型先從模型屬性中選出信息增益高于平均水平的相關(guān)屬性，然后再從這些屬性中選擇增益率最高的或直接選擇增益率最高的用以建立智能評價(jià)模型。決策樹C4.5智能評價(jià)模型輸入為學(xué)生復(fù)雜工程問題解決能力相應(yīng)的多維度特征；模型輸出結(jié)果用1表示“具備”，-1表示“不具備”。

3?智能評價(jià)模型性能分析

3.1?智能評價(jià)模型評估指標(biāo)

基于上文提及的五種機(jī)器學(xué)習(xí)分類模型，建立基于多維度特征的學(xué)生復(fù)雜工程問題解決能力智能評價(jià)模型。對智能評價(jià)模型進(jìn)行評價(jià)時(shí)，在考慮查準(zhǔn)率、查全率、準(zhǔn)確率、F1度量的基礎(chǔ)上結(jié)合模型計(jì)算時(shí)間和4折交叉驗(yàn)證平均得分對模型進(jìn)行綜合評估。為計(jì)算模型性能評估的查準(zhǔn)率、查全率、準(zhǔn)確率、F1度量，現(xiàn)引用混淆矩陣［10］及相關(guān)術(shù)語概念，假設(shè)一個(gè)二分類任務(wù)中分類變量值可以假定為正例（P）和負(fù)例（N）。實(shí)際正例（P）被正確標(biāo)記為正例，命名為真正例（TP），而實(shí)際正例（P）被錯(cuò)誤地標(biāo)記為負(fù)例是假負(fù)例（FN）。實(shí)際負(fù)例（N）正確標(biāo)記為負(fù)例為真負(fù)例（TN），實(shí)際負(fù)例（N）錯(cuò)誤標(biāo)記為正例為假正例（FP）。故查準(zhǔn)率等計(jì)算公式如公式（1）、公式（2）、公式（3）和公式（4）所示：

查準(zhǔn)率：PPrecision=TPTP+FP（1）

查全率：RRecall=TPTP+TN（2）

精度：Acc（Accuracy）=1-FP+FNTP+FP+TN+FN（3）

F1度量：F1=2·P·RP+R（4）

3.2?智能評價(jià)模型性能對比分析

通過結(jié)合多維度特征建立各智能評價(jià)模型并進(jìn)行模型性能測試，各智能評價(jià)模型查準(zhǔn)率、查全率、精度和F1度量指標(biāo)的計(jì)算結(jié)果與模型訓(xùn)練時(shí)間、預(yù)測時(shí)間和4折交叉驗(yàn)證平均分一同在表2中展示：

根據(jù)表2顯示所有智能評價(jià)模型查準(zhǔn)率都至少在90%以上，其中感知機(jī)模型與決策樹C4.5算法模型查準(zhǔn)率性能最好，達(dá)到100%；查全率方面支持向量機(jī)模型查全率性能最好，達(dá)到100%；精度方面Adaboost算法模型精度性能最好，達(dá)到94.92%。F1度量作為模型性能綜合評價(jià)指標(biāo)，根據(jù)表2顯示所有分類器模型F1度量均達(dá)到90%以上，其中感知機(jī)模型F1度量指標(biāo)值最高，達(dá)到96.96%。

鑒于數(shù)據(jù)總樣本量為449，為驗(yàn)證模型泛化能力，故對每個(gè)模型進(jìn)行K折交叉驗(yàn)證。將K設(shè)置為4，以交叉驗(yàn)證獲得的平均值作為評價(jià)指標(biāo)評價(jià)每個(gè)模型的泛化能力。根據(jù)表2顯示，所有智能評價(jià)模型交叉驗(yàn)證平均分均達(dá)到0.8以上，各個(gè)智能評價(jià)模型泛化能力較為理想。其中決策樹C4.5算法模型交叉驗(yàn)證平均分最高，達(dá)到0.861561。

綜合上述分析，在不考慮模型計(jì)算時(shí)間和泛化能力的情況下，選擇感知機(jī)模型建立基于多維度特征的學(xué)生復(fù)雜工程問題解決能力智能評價(jià)模型更為合理；在考慮模型計(jì)算時(shí)間和泛化能力的情況下，選擇決策樹C4.5算法模型建立基于多維度特征的學(xué)生復(fù)雜工程問題解決能力智能評價(jià)模型更為合理。

結(jié)語

對育人效果中的學(xué)生復(fù)雜工程問題解決能力相關(guān)信息通過調(diào)查問卷收集數(shù)據(jù)，經(jīng)數(shù)據(jù)分析與處理后得到20個(gè)多維度特征。結(jié)合感知機(jī)算法等5種機(jī)器學(xué)習(xí)算法分別建立多維度特征學(xué)生復(fù)雜工程問題解決能力智能評價(jià)模型。通過模型評測指標(biāo)得出：當(dāng)不考慮模型計(jì)算時(shí)間和泛化能力時(shí)，選擇感知機(jī)算法建立基于多維度特征的智能評價(jià)育人效果模型更為合理，精度達(dá)到94.91%；當(dāng)考慮模型計(jì)算時(shí)間和泛化能力時(shí)，選擇決策樹C4.5算法建立基于多維度的智能評價(jià)育人效果模型更為合理，精度達(dá)到93.22%。

參考文獻(xiàn)：

［1］中共中央?國務(wù)院印發(fā)《深化新時(shí)代教育評價(jià)改革總體方案》［EB/OL］.（20201013）［20220531］.http：//www.moe.gov.cn/jyb_xxgk/moe_1777/moe_1778/202010/t20201013_494381.html.

［2］張琪，王丹.智能時(shí)代教育評價(jià)的意蘊(yùn)、作用點(diǎn)與實(shí)現(xiàn)路徑［J］.中國遠(yuǎn)程教育，2021（02）：916.

［3］胡欽太，伍文燕，馮廣，等.人工智能時(shí)代高等教育教學(xué)評價(jià)的關(guān)鍵技術(shù)與實(shí)踐［J］.開放教育研究，2021，27（05）：1523.

［4］孫翠香.新時(shí)代職業(yè)教育高質(zhì)量發(fā)展的內(nèi)涵、特征與推進(jìn)策略［J］.教育與職業(yè)，2022（03）：512.

［5］何立群，占永平.感知器神經(jīng)網(wǎng)絡(luò)模型研究［J］.九江學(xué)院學(xué)報(bào)（自然科學(xué)版），2014，29（04）：3739.

［6］李航.統(tǒng)計(jì)學(xué)習(xí)方法［M］.北京：清華大學(xué)出版社，2012.

［7］張學(xué)工.關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)［J］.自動(dòng)化學(xué)報(bào)，2000，26（1）：11.

［8］曹瑩，苗啟廣，劉家辰，等.AdaBoost算法研究進(jìn)展與展望［J］.自動(dòng)化學(xué)報(bào)，2013，39（06）：745758.

［9］苗煜飛，張霄宏.決策樹C4.5算法的優(yōu)化與應(yīng)用［J］.計(jì)算機(jī)工程與應(yīng)用，2015，51（13）：255258.

［10］周志華.機(jī)器學(xué)習(xí)［M］.北京：清華大學(xué)出版社，2016.

基金項(xiàng)目：重慶市社會(huì)科學(xué)規(guī)劃項(xiàng)目——“新工科”專業(yè)課程思政教育理想愿景、現(xiàn)實(shí)困境與突破路徑研究（2020PY08）；重慶市高等教育教學(xué)改革研究項(xiàng)目——智能車輛工程專業(yè)“產(chǎn)—學(xué)—賽—團(tuán)—社”協(xié)同育人培養(yǎng)模式研究與實(shí)踐（213198）；重慶市教育科學(xué)“十三五”規(guī)劃項(xiàng)目——基于人工智能的新工科專業(yè)課程思政育人質(zhì)量評估研究（2020DP25）；重慶工商大學(xué)校級教改項(xiàng)目——滲透科技報(bào)國情懷的新工科專業(yè)課程思政形態(tài)與時(shí)態(tài)架構(gòu)研究和實(shí)踐（205007）

作者簡介：楊智宇（1985—?），男，漢族，吉林長春人，工學(xué)博士，重慶工商大學(xué)汽車工程系主任，講師，碩士生導(dǎo)師，主要從事工程教育智能評價(jià)、智能汽車決策與控制研究。