基于XGBoost算法的研究生入學預測

何葉子

摘 要：面對碩士研究生招生日益激烈的現狀，構建一個高效的預測模型來預測學生被目標院校錄取的概率，為學生選擇院校提供幫助。根據國外研究生的錄取條件，確定7個申請國外研究生時相對重要的評價指標。基于國外研究生招生入學的樣本數據，采用XGBoost來建立研究生錄取的預測模型，將其預測結果與Logistic回歸、隨機森林的結果進行比較分析。XGBoost模型正確率達到了87.43%，比Logistic回歸和隨機森林分別提高了6.9%、1.7%。

關鍵詞：預測;XGBoost算法;研究生入學

隨著大數據、人工智能新一代信息技術的深化研發與應用，為解決當前碩士研究生招生日益激烈的情況[1]，本文將機器學習的知識應用到研究生入學領域中，通過構建模型來預測學生被所目標院校錄取的概率，為其擇校提供幫助。

鑒于國內沒有公開統一的數據庫來管理大學生申請研究生的評價指標和具體數據，為了科學地幫助學生結合個人情況，對獲取目標大學研究生指標有公平認識，本文針對國外研究生入學的樣本數據，構建了一個基于XGBoost算法的研究生錄取預測模型。實驗結果表明，該模型具有準確率高、運行時間短的優點。

1 預測模型

1.1 Logistic回歸

Logistic回歸一種是線性回歸，其核心思想是Sigmod函數，該函數能將任意實數值映射成[0，1]的概率值。在對特征和權重進行線性回歸的基礎上，將其結果代入到，得到概率值。

1.2 隨機森林

隨機森林是一種基于Bootstraping的集成算法，首先在訓練樣本數據集N中有放回地重復隨機抽取n個樣本，生成足以代表原始樣本分布的新樣本集合[2]。再從數據集的K個特征中隨機選取k個特征，根據Gini系數選擇出最佳分割特征，作為CART決策樹的結點。進而重復上述步驟m次，得到m棵決策樹所組成的隨機森林。根據多顆決策樹共同執行決策的預測結果，來代表最終預測的結果。

1.3 XGBoost

XGBoost是通過不斷增加分類樹，采用集成的思想，通過多個弱分類器的預測結果的組合，使整體預測效果提升。但隨著不斷加入決策樹，模型葉子結點過多，易出現過擬合的風險[3]。因此，引入樹的正則化懲罰項，對每棵樹的預測結果賦予一定權重，來防止模型過擬合。最終目標函數為每個樣本預測效果偏差值與每棵樹正則懲罰項之和。

2 實驗過程

2.1 數據來源與描述

本文首先確定7個申請國外研究生時被認為重要的評價指標，分別為GRE成績、托福成績、大學評級、目的陳述、推薦信、成績平均累積學分績點、研究經歷，上述選取的指標參考了加州大學洛杉磯分校的研究生招生指標（https：//bioinformatics.ucla.edu/），具體各指標描述信息見表1。基于上述指標，采用來源于Mohan S Acharya所提供的400個樣本數據。[4]（https：//www.kaggle.com/mohansacharya/graduate-admissions）。

2.2 數據探索與處理

通過計算相關系數并比較其值的大小，來觀察指標之間的和各指標與最終錄取機會之間的關聯程度，并通過可視化工具作圖進行查看。結合圖1中兩圖，可以看到，CGPA、GRE成績、托福成績、大學評級與進入大學的機會相關性較高。其它參數如SOP、LOR、Research對入學機會的影響較小。

參考近幾年國外高校的研究生錄取率，得出每年高校研究生招生的平均錄取率為6%，對錄取機會列的數據進行篩選，將其中數據值大于且等于0.7的學生視為錄取，錄取結果的值標記為1;反之標記為0。為了防止構建預測模型時出現過擬合的現象，將樣本數據分為訓練集和測試集，分別占總樣本數據集的65%和35%。

2.3 實驗結果

本次實驗使用Python語言采用了Logistic回歸、隨機森林和XGBoost三種算法模型，對相同的樣本數據進行實驗，將預測結果與實際數據進行對比，分析三者的性能。各個模型的預測準確率數值如表2所示。從表可以得出XGBoost相較于Logictic回歸和隨機森林，準確率較高，運行時間較短。

3 結論

本文采用Mohan S Acharya提供的Admission_Predict數據集，基于XGBoost模型來預測樣本數據中學生的錄取機會概率值并根據實際設置錄取概率閾值，將錄取概率值進行二分類，得出預測錄取結果。進而將預測結果與Logistic回歸、隨機森林模型的預測結果進行比較分析，得出XGBoost具有預測準確率高、運行時間短的優點。根據實驗分析結果，可以為學生進行院校決策提供一定幫助。

參考文獻

[1]鄭麗萍，鄧淼磊.美國計算機專業研究生教育特點與啟示[J].軟件導刊，2019，18（06）：204-206+210.

[2]何清，李寧，羅文娟，史忠植.大數據下的機器學習算法綜述[J].模式識別與人工智能，2014，27（04） ：327-336..

[3]孫逸菲，袁德成，王建龍，白楊.基于XGBoost方法的葡萄酒品質預測[J].沈陽化工大學學報，2018，32（04） ：372-377.

[4]Mohan S A， Asfia A， Aneeta S A. A Comparison of Regression Models for Prediction of Graduate Admissions[Z].IEEE International Conference on Computational Intelligence in Data Science， 2019.