基于RVM機器學習方法的高校理論與實驗教學質量評價模型

傅翠霞 羅亦泳

摘 ?要： 為提高高校理論教學與實驗教學質量評價的精度及可靠性，基于機器學習新算法RVM構建高校理論教學與實驗教學質量評價新模型。對RVM的核函數及參數確定方法進行改進，利用遺傳算法優化的MK?RVM模型分別建立高校理論與實驗教學質量評價的MK?RVM新模型，并構建基于置信區間的結果可靠性分析方法。實驗結果表明，高校理論教學與實驗教學質量評價MK?RVM模型的各項精度指標均表現優秀，精度等級達到“好”;訓練集及測試集的教學質量評價真實值均在MK?RVM估計的95%置信度置信區間內，證實基于MK?RVM的教學質量評價結果具有較好的可靠性。因此，RVM算法為高校理論教學與實驗教學質量評價提供了一種新的有效途徑。

關鍵詞： 相關向量機（RVM）; 教學質量評價; 精度分析; 可靠性分析; 遺傳算法; 置信區間

中圖分類號： TN911?34 ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）13?0181?06

Universities theoretical and experimental teaching quality evaluation model

based on RVM machine learning method

FU Cuixia1， LUO Yiyong1， 2

（1. College of foreign Languages， East China University of Technology， Nanchang 330013， China;

2. School of Geodesy and Geomatics， Wuhan University， Wuhan 430079， China）

Abstract： The new quality evaluation models of theoretical teaching and experimental teaching in universities are built on the basis of relevance vector machine （RVM） to improve the accuracy and reliability of the quality evaluation of theoretical teaching and experimental teaching in universities. The kernel function and parameter determination method of RVM are improved， and the MK?RVM model optimized by genetic algorithm is established. The new MK?RVM models for quality evaluation of theoretical teaching and experimental teaching in universities are set up respectively， and the result reliability analysis method based on confidence interval is constructed. The experimental results show that all the precision indicators of MK?RVM model based quality evaluation of theoretical teaching and experimental teaching in universities are excellent， and the precision level can reach up to "good". The real values of teaching quality evaluation of training set and test set are within the 95% confidence interval of MK?RVM estimation， which confirms that the MK?RVM based evaluation result of teaching quality has high reliability. Thus， the RVM algorithm provides a new effective way for the quality evaluation of theoretical teaching and experimental teaching in universities.

Keywords： relevance vector machine; teaching quality evaluation; precision analysis; reliability analysis; genetic algorithm; confidence interval

0 ?引 ?言

眾所周知，教學質量評價是高校進行教學質量監控與管理的核心內容。通過建立一套科學、合理、可靠性高的教學質量評價方法，能及時發現教學過程中存在的問題，為高校教學質量管理部門制定相應措施提供可靠的依據，是提高教學質量的重要保障。

教學質量評價方法構建主要包括評價指標體系及評價模型的建立。當前，國內外學者針對課堂教學質量評價指標體系開展大量研究，已經建立了較為完善、有效的評價指標體系[1?4]。由于教學包含教與學的動態過程，影響教學質量的因素眾多，課堂理論教學與實驗教學是高校教學體系中的兩大重要組成部分。

近年來，課堂理論教學與實驗教學質量評價模型較多，高校通常采用絕對評估法、評等法、相對評估法、評語法和綜合評分法等方法，這些方法操作起來簡單。但是方法過于主觀，并且基于各評價指標和教學效果之間的線性關系，與教學質量評價是一個多因素影響下的復雜非線性問題這個事實不符[4?7]。因此，這些方法的評價結果與教學質量真實狀況之間存在較大差異。當前，加權平均法、單項因子評價法、模糊聚類分析法、多元線性回歸、層次分析法、灰色關聯法等方法在教學質量評價中得到了一定的應用，并取得了一定的效果[8?11]。但是這些方法仍然存在定權難、人為主觀因素強、隨意性大、不能描述非線性問題等情況，制約了這些方法的推廣與使用。

隨著人工智能算法——神經網絡的發展與推廣，許多學者開展神經網絡應用于教學質量評價方面的研究，并比傳統方法取得了更好的效果 [12?16]。但神經網絡算法結構設計困難，容易陷入局部最優，小樣本時算法結果不穩定，并且其理論基礎還不夠完善。針對BP神經網絡的缺點，支持向量機算法被用于課堂教學質量評價，評價精度得到一定的提高，但該算法的核函數及參數確定較為困難[17]。

綜上所述，以上評價模型研究重點在于提高評價精度，而對于結果的可靠性未做分析，嚴重制約了評價模型的實際應用推廣，并且模型本身存在較多有待解決的理論難點問題。

教學質量評價模型建立即構建教學質量評價指標與教學效果之間的函數關系。本文針對教學質量評價模型存在的問題，引入機器學習新方法——相關向量機（Relevance Vector Machine，RVM）算法。基于改進RVM構建教學質量評價指標與教學效果之間的復雜函數關系，從而分別建立課堂理論教學與實驗教學質量評價新模型。基于RVM建立教學質量結果不確定性分析的置信區間分析方法，有效彌補當前教學質量評價模型無結果可靠性分析功能的缺點。通過對RVM方法評價結果的精度分析與不確定性分析，研究新模型的有效性及可靠性，為教學質量管理提供可靠的理論與實踐依據。

1 ?相關向量機算法原理及改進

RVM算法具有運算簡單、收斂速度快、精度高、參數少、高稀疏性等特點，核函數不受Mercer條件限制，計算過程及結果均具有概率解釋，可分析結果的可靠性。基于RVM的以上優點，RVM模型在模式識別、圖像分類、復雜系統擬合等領域得到很好的應用，但在教學質量評價方面未見相關研究成果。

為了提高RVM算法的精度及可靠性，對RVM進行理論改進，基于組合核函數構建多核函數相關向量機（MK?RVM）算法，提高算法的精度。利用遺傳優化算法優化MK?RVM算法的參數，實現MK?RVM算法最優參數自動確定，減少由于參數不合理對預測精度的影響。

1.1 ?MK?RVM原理

對于RVM回歸算法，設訓練樣本集為[xi，tini=1]，[xi]為輸入向量， [ti]為目標值，[n]為訓練樣本數。假設目標[ti]獨立，包含噪聲[εi]，并且[εi～N（0，σ2）]，[σ2]為[εi]的方差，RVM回歸模型可表示為：

1.2 ?基于遺傳優化算法的MK?RVM參數優化

鑒于遺傳算法在模型參數優化方面應用的廣泛性及具有較好的全局最優能力，將遺傳算法用于優化MK?RVM的參數。由式（4）可知，MK?RVM需要優化的參數包括[[λ1，λ2，ψ1]]。本文利用HIOA優化MK?RVM的3個參數。基于留一交叉驗證法構建個體適應度計算函數[f（x）]，設置遺傳算法的相關參數，具體步驟如下：

1） 設置遺傳算法參數（群體大小[M]，終止代數[T]，交叉概率[Pc]，變異概率[Pm]）。一般[M]大小應在20～100，[T]取100～1 000，[Pc]取值在0.40～0.99，[Pm]取值在0.000 1～0.1。

2） 設定MK?RVM的參數[[λ1，λ2，ψ1]]的搜索范圍。

3） 對參數進行編碼（采用浮點數編碼方法）。

4） 隨機生成[M]個初始群體pop（[t]），[t=1]。

5） 根據個體適應度評價函數[f（x）]計算出第[t]代群體pop（[t]）的個體適應度。

6） 利用遺傳操作中的選擇算子（采用比例選擇算子）確定父代個體遺傳到子代的個數，通過選擇可以得到新的群體newpop（[t]）。

7） 基于群體newpop（[t]），通過交叉（利用單點交叉算子以概率為[Pc]）生成新的群體crosspop（[t]）。

8） 基于crosspop（[t]），通過變異（利用基本變異算子以概率為[Pm]）生成新的群體mutpop（[t]）。

9） 判斷優化是否停止。當[t

10） 利用[f（x）]計算mutpop（[t]）的個體適應度，并選取適應度最佳的個體，對該個體進行解碼，獲得MK?RVM的最優參數，實現參數自動確定，提高算法精度。

2 ?教學質量評價RVM模型構建及分析

基于RVM的改進算法MK?RVM分別建立課堂理論教學質量評價模型、實驗教學質量評價模型。利用測試數據分析評價結果的精度與可靠性，驗證新方法的可行性及可靠性。

2.1 ?課堂理論教學質量評價模型及分析

本文通過參考文獻[1，3，4，14]確定11個課堂理論教學質量評價指標，包括：教學目的明確（[x1]）、重點難點突出（[x2]）、講授知識科學（[x3]）、啟發性教學（[x4]）、學習方法指導（[x5]）、教學手段豐富（[x6]）、教學態度嚴謹（[x7]）、教學內容精通（[x8]）、上課不遲到不拖堂（[x9]）、教學目標實現（[x10]）、重視學生反饋（[x11]），教學質量（[Y]）。高校教學質量評分表，請教學專家、相關教師、聽課教師和上課學生對上課教師進行打分，然后選取打分比較一致的評價樣本作為案例。收集18個樣本，具體樣本數據如表1所示。

表1 課堂理論教學質量樣本數據

表2 ?課堂理論教學質量評價結果

圖1 ?預測結果置信區間分析（一）

表4 ?測試數據集精度評價（一）

表3 精度等級劃分

由精度指標表4可知，均方根誤差、最大相對誤差、平均相對誤差、后驗差比、小誤差概率等精度指標表現優秀，并且根據后驗差比、小誤差概率確定預測結果精度等級為“好”，驗證了課堂理論教學質量評價MK?RVM模型具有較高的精度。由預測結果置信區間分析圖1可知，訓練集及測試集的教學質量評價真實值均在MK?RVM估計的95%置信度的置信區間內，證實了預測結果具有較好的可靠性。

2.2 ?實驗教學質量評價模型及分析

參考文獻[2，13，14]和教育部《高等學校專業實驗室評估標準》等資料確定實驗教學質量評價指標，包括：教師素質、教學態度、教學設計、教學內容、教學方法、教學能力、教學效果、實驗教學質量[Y]。高校教學質量評分表，請教學專家、相關教師、聽課教師和上課學生對上課教師進行打分，然后選取打分比較一致的評價樣本作為案例。搜集24個樣本數據，具體數據如表5所示。取前[23]組數據作為訓練數據，后[13]組數據作為測試集。以7個指標為輸入，教學質量為輸出，MK?RVM算法利用遺傳算法對訓練數據進行學習，確定最優參數為[[109.87，1.67，0.250]]。基于最優參數MK?RVM自動解算內部各類相關參數，建立實驗教學質量評價模型。

表5 ?實驗教學質量樣本數據

基于以上建立的實驗教學MK?RVM模型，對訓練集與測試集中的教學質量進行預測，具體預測結果如表6及圖2中的預測值所示。基于測試結果，統計各項精度指標如表7所示。

圖2 ?預測結果置信區間分析（二）

表6 ?實驗教學質量評價結果

表7 ?測試數據集精度評價（二）

基于MK?RVM估計預測結果的方差，并計算對應95%置信度的置信區間，繪制置信區間分析圖，如圖2所示。

由精度指標表7可知，實驗教學質量評價MK?RVM模型預測的各項精度指標表現優秀，精度等級達到“好”級，對實踐教學質量評價具有較高的精度。圖2可知，訓練集及測試集中的教學質量真實值均在相應的95%置信度的置信區間內，證實結果可靠性高。因此，新方法適用于實踐教學質量評價。

3 ?結 ?論

本文建立組合核函數及遺傳算法優化參數的方法改進RVM，并基于該算法分別建立課堂理論教學質量評價模型及實驗教學質量評價模型，通過實例數據分析新方法的精度及可靠性。

1） 在精度方面，基于RVM的課堂理論教學質量評價模型及實驗教學質量評價模型的均方根誤差、最大相對誤差、平均相對誤差、后驗差比數值均較小，小誤差概率均達到1。根據后驗差比、小誤差概率評定課堂理論教學質量評價模型及實驗教學質量評價RVM模型精度等級均達到“好”級。

2） 在結果可靠性方面，基于RVM的課堂理論教學質量評價模型及實驗教學質量評價模型估計結果的置信區間，并且其訓練集及測試集的教學質量真實值均在對應的95%置信度置信區間內，證實了預測結果的可靠性。因此，基于RVM可構建精度較高、可靠性好的課堂理論教學質量評價模型及實驗教學質量評價模型。

參考文獻

[1] 鄭延福.本科高校教師教學質量評價研究[M].徐州：中國礦業大學出版社，2012.

ZHENG Yanfu. Study on teaching quality evaluation of undergraduate college teachers [M]. Xuzhou： China University of Mining and Technology Press， 2012.

[2] 高建明.高校實驗教學質量評價體系的建設與實踐探索[M].長春：吉林人民出版社，2017.

GAO Jianming. Construction and practice exploration of experimental teaching quality evaluation system in Universities [M]. Changchun： Jilin People′s Press， 2017.

[3] 蔡紅梅，許曉東.高校課堂教學質量評價指標體系的構建[J].高等工程教育研究，2014（3）：177?180.

CAI Hongmei， XU Xiaodong. Construction of quality evaluation system of classroom teaching in colleges and universities [J]. Higher engineering education research， 2014（3）： 177?180.

[4] 吳虹.基于模糊綜合評判法的高校教師教學質量評價體系的構建[J].統計與決策，2010（3）：166?168.

WU Hong. Construction of teaching quality evaluation system of university teachers based on fuzzy comprehensive evaluation method [J]. Statistics and decision， 2010（3）： 166?168.

[5] 柳春.基于AHP法的成人學歷教育教學質量評價體系研究[J].成人教育，2016，36（3）：64?68.

LIU Chun. Research on teaching quality evaluation system of adult education based on AHP method [J]. Adult education， 2016， 36（3）： 64?68.

[6] 徐衛國，吳剛.基于灰色系統理論構建軍隊院校教學質量評估模型[J].數學的實踐與認識，2010，40（1）：53?61.

XU Weiguo， WU Gang. Establishment of military academy teaching quality evaluation model based on grey system theory [J]. Journal of mathematics in practice and theory， 2010， 40（1）： 53?61.

[7] 胡帥，姜華，曲巍巍.多元統計分析在外語教學質量評價中的應用[J].現代電子技術，2015，38（15）：126?132.

HU Shuai， JIANG Hua， QU Weiwei. Application of multiva?riate statistical analysis in foreign language teaching evaluation [J]. Modern electronics technique， 2015， 38（15）： 126?132.

[8] 辛建英.改進神經網絡的大學物理實驗教學質量評價[J].現代電子技術，2017，40（15）：146?149.

XIN Jianying. Improved neural network based teaching quality evaluation of university physics experiment [J]. Modern electronics technique， 2017， 40（15）： 146?149.

[9] 朱婭妮.基于智能優化算法的教學質量評價方法[J].杭州電子科技大學學報，2014，34（6）：66?70.

ZHU Yani. Teaching quality evaluation based on intelligent optimization algorithms [J]. Journal of Hangzhou Dianzi University， 2014， 34（6）： 66?70.

[10] 常寧.基于Elman神經網絡的實驗教學質量評價模型[J].中國人民公安大學學報（自然科學版），2014，20（3）：87?89.

CHANG Ning. Experimental teaching quality evaluation model based on Elman neural network [J]. Journal of Chinese People′s Public Security University （Natural science）， 2014， 20（3）： 87?89.

[11] 董薇.高校實驗教學質量評價探究[J].黑龍江教育（高教研究與評估），2016（5）：52?53.

DONG Wei. Research on the quality evaluation of experimental teaching in colleges and universities [J]. Heilongjiang education （Higher educational research and evaluation）， 2016（5）： 52?53.

[12] 班麗麗，紀二娟.支持向量機的遠程教學質量評估模型[J].現代電子技術，2017，40（13）：126?129.

BAN Lili， JI Erjuan. The distance teaching quality evaluation model based on SVM [J]. Modern electronics technique， 2017， 40（13）： 126?129.

[13] GUO S， ZHAO H， ZHAO H. A new hybrid wind power forecaster using Beveridge?Nelson decomposition method and relevance vector machine optimized by ant lion optimizer [J]. Energies， 2017， 10（7）： 1?6.

[14] ANDRIYAS T， ANDRIYAS S. Use of multivariate relevance vector machines in forecasting multiple geomagnetic indices [J]. Journal of atmospheric and solar?terrestrial physics， 2017， 154： 21?32.

[15] MARTINO L， VICENT J， CAMPS?VALLS G. Automatic emulation by adaptive relevance vector machines [C]// 2017 Scandinavian Conference on Image Analysis. [S.l.]： Springer， 2017： 443?454.

[16] 雷英杰，張善文.Matlab遺傳算法工具箱及應用[M].西安：西安電子科技大學出版社，2014.

LEI Yingjie， ZHANG Shanwen. Matlab genetic algorithm toolbox and its application [M]. Xian： Xidian University Press， 2014.

[17] 羅亦泳，張豪.基于自適應進化相關向量機的耕地面積預測模型[J].農業工程學報，2015，31（9）：257?265.

LUO Yiyong， ZHANG Hao. Prediction model for cultivated land area based on self?adaptive differential evolution and relevance vector machine [J]. Transactions of the Chinese society of agricultural engineering， 2015， 31（9）： 257?265.