基于大數據的學籍預警管理的關鍵技術與系統設計

周希宸，代偉，黃學佳

（四川西南航空職業學院，四川成都，610000）

1 學籍預警制度的現狀

學籍預警是基于各專業的人才培養方案，對學生的學習成績展開研究。主要屬于數據分析和數據挖掘領域。目前我國對于教育數據挖掘的研究更側重于理論層面的探索以及對國外案例的介紹，對挖掘技術的應用研究相對不足。伴隨信息技術與行業的深入融合，目前很多高校都在進行信息化數字化智能化的智慧化校園建設，聯合系統集成類軟件技術企業進行合作定制開發符合各自校情的系統。但這是一個系統且復雜的工程，也需要大量的流程再造和經費支持。而經費的來源，是大多數高校，尤其是民辦高校的一大核心痛點。所以，信息化數字化智能化是一個漫長的探索過程。提升校本研究團隊的科技成果轉化能力具有重要意義。

目前，我校對于學生成績管理及學籍預警制度的實施處于半自動化狀態。在現有的教務管理系統中只能實現各學院各專業各同學的成績查詢，而不能進一步對學生成績進行分析并可視化的展示。對于將要處于和已處于學籍預警狀態的學生進行預警的處理更多的是手動處理。篩選出名單之后，由學院及班主任進行逐一通知。因此，對學籍預警管理流程與制度的信息化數字化智能化實施路徑的探索非常必要。

2 學籍預警制度的重要意義

2.1 高校教學管理面臨嚴峻考驗

隨著高等教育大眾化進程的深入，招生規模不斷擴大，學生的文化素質基礎參差不齊。面對學習態度不佳，多門考試未通過的學生，必須按照相關的教育教學管理制度進行處理，如降級或退學等。高校的教學管理工作面臨著日益嚴峻的考驗。

教育的目標是為了把學生培養成行業需要的合格人才，讓學生不斷完善自我，創造美好幸福的生活。因此，學校需要對于學生在校的學習情況進行全面清晰的掌控，對于將要出現學籍風險的同學提前進行更科學和高效的預警，讓他們及時掌控學校及各學院各專業整體的情況，對教育教學質量進行更好的監督和管理。

2.2 學生個人發展及成長需要

每個學生在自身的成長中，都會遇到各種挫折和困難，并且還會出現階段性的反復。大學是學生世界觀、人生觀、價值觀形成的重要階段。讓他們合理安排好自己的學習和生活，而不能在“享樂主義”中荒廢學業，導致多門課程不合格而受到退學處理。科學完善的學籍預警可以引導學生良性發展。

2.3 加強大學生家庭教育需要

在大學階段，家長不僅僅要從生活上關心孩子，也更要關注孩子的學習。因為大學階段，學生的獨立性及大多數學生異地求學的情況，家長無法隨時獲得學生的各種情況。而大多數學生只會報喜不報憂，導致家長無法真實了解學生的在校表現，最終導致學生與家庭之間教育脫節。科學完善的學籍預警可以加強學校與學生家長之間的聯系，互通有無，共同幫助學生得到良好的發展。

3 基于大數據的學籍預警管理系統的功能需求

我校共有7大院系，各院系下分別下屬專業1-8個，每個專業擁有學生人數從幾十到上千不等。每名學生在校正考平均12科/學期，4學期共計48條成績。原有的教務系統只是呈現了這些學科成績，而對于管理者無法從整體上掌握各學院各專業各科的成績情況,無法進一步自動化推進學籍預警管理流程。因此，本項目立足于以下研究目標：

（1）對全院學生的學業成績進行整體畫像

（2）對各二級學院，各專業，各班級的學業成績進行整體畫像

（3）對學生的補考科目和時間進行批量精準報送

（4）對學生的重修科目和實踐進行批量精準報送

（5）對學生畢業前夕的學業完成情況進行清晰管理

（6）信息化支持教學管理線對學生學籍預警的制度化流程，進行一站式服務

4 基于大數據的學籍預警管理系統的關鍵技術

4.1 基于B/S的網絡架構

為滿足開放、互連、信息隨處可見與共享、開發成本低廉的要求，本項目采用B/S型模式，即瀏覽器請求，服務器響應的工作模式。第一層是瀏覽器。不同的客戶端進行簡單的輸入和輸出呈現。第二層是Web服務器，實現信息傳送。當學生、任課教師、管理者在瀏覽器輸入特定的賬號登入系統進行相關模塊的訪問請求。由Web服務器統一受理后向數據庫服務器發送訪問數據庫的請求。第三層是數據庫服務器。大量的學生成績等數據信息存放在此。通過在數據庫中查詢檢索后，將返回的結果發送給Web服務器。Web服務器將收到的收據結果轉換為HTML文本形式發送給瀏覽器，進而向不同用戶所使用的瀏覽器端呈現結果。

4.2 大數據技術架構

單從目前的學生成績數據體量，不必要使用大數據技術。但本項目立足于大數據思想及大數據技術展開研究，更多是出于團隊專業能力提升和項目未來的擴展性的要求。

本項目首先根據項目的具體功能需求和角色進行完整的數據庫流程設計，并在原來的教務系統下載學生成績數據進行整理，將學生成績原始數據和存放在MySQL中的基礎數據，通過sqoop開源工具將MySQL中的數據采集到Hadoop的HDFS中進行數據存儲，再通過Hadoop的數據倉庫工具Hive，對數據進行提取、清洗、轉化、加載，隨后使用分布式SQL查詢引擎Presto連接數據可視化工具，對提取和篩選后的數據進行可視化的呈現。如下表所示，項目的整體架構從數據源、數據采集、數據存儲、數據處理、數據應用等不同層級進行支撐。

5 基于大數據的學籍預警管理系統的系統設計

本項目主要對學生各學期的學習成績進行分析與呈現，對數據信息的存儲和處理是重要的環節之一。根據項目的研究目標進行需求分析。

5.1 系統的功能需求

5.1.1 參與者的確定及用例的獲取

本項目涉及的參與者包括學生、教師、教研室主任、院長、管理員。不同的參與者有不同的需求，把這些需求轉化成用例。學生查詢自己的各學期的成績，包括課程所屬學期、課程性質、學分、周學時、正考成績、補考成績、重修成績并能修改自己登錄系統的密碼；教師查詢自己所教授科目的成績，教研室主任查詢本教研室所涉及專業課程的成績，院長查詢全院所有課程的成績信息。管理員可對其他參與者進行權限管理，同時可以添加修改相關的學生、教師、課程、成績等信息。

5.1.2 系統的模塊劃分

此項目存在一定的復雜程度，將其劃分成以下幾個模塊。

（1）用戶管理模塊

用戶管理模塊的核心任務是提供用戶的注冊、登錄、個人信息添加和修改功能。對于四種不同的參與者分別存在以下功能。

非管理員：通過本模塊添加個人信息、修改個人信息；個人信息包括密碼、手機號、郵箱等。

管理員：對已注冊用戶進行管理，包括對一些常常進行非法操作的賬號進行封禁和銷號等。

（2）成績查詢模塊

成績查詢模塊主要任務是管理學生的成績，各個學期各專業已修科目的正考成績，補考成績和重修成績。

（3）補考管理模塊

補考管理模塊主要任務是對學生正考成績數據進行處理，對于特定時間段正考不合格的同學給予補考通知。

不同權限的用戶可以查詢不同的補考信息明細并進行可視化的呈現。學生可以查看個人的補考信息，教師可以查看自己所授學科的補考信息，教研室主任可以查看本教研室的補考信息，院長可以查看全學院所屬專業的補考信息。

（4）重修管理模塊

重修管理模塊主要任務是對學生補考成績數據進行處理，對于特定時間段補考不合格的同學給予重修通知。

不同權限的用戶可以查詢不同的重修信息明細并進行可視化的呈現。學生可以查看個人的重修信息，教師可以查看自己所授學科的重修信息，教研室主任可以查看本教研室的重修信息，院長可以查看全學院所屬專業的重修信息。

（5）學籍預警管理模塊

學籍預警管理模塊的主要任務是對學生的補考次數，補考不合格門數達到一定數量，重修次數，重修不合格門數達到一定數量的同學發布學籍預警風險。

5.2 系統的非功能需求

由于目前本項目只是針對學生的成績來進行分析。為了后期全面推進數字化校園建設。除了學生成績的維度，還有其他的學生狀態與行為數據也可以進行數據分析與挖掘。考慮到未來可能添加更多的功能，適當地提高系統的可擴展性。因此，該系統采用分層設計，把各個功能模塊橫向劃分為顯示層，接口層，實現層。在本項目中這些層次對應著以下組件。

(1)顯示層：界面層；(2)接口層：業務工作層；(3)實現層：業務實現層；(4)其他實用組件：數據庫。

5.3 系統設計的核心點

（1）數據源

本項目的設計初衷是因為現有的成績管理對數據的分析與呈現不足。因此，對于數據的整合是本項目的第一個關鍵。原系統的數據主要存放在MySQL數據庫中，幾年前由一家系統集成企業為學校定制開發。從我們所擁有權限來看，我們擁有的常規權限是到教務系統中將各學院各年級各專業的學生的成績數據以為Excel的形式導出。另外，還有一個方式可以省下一些精力。即請系統集成企業給一個接口，我們可以有權限連接他們的MySQL數據庫。這樣得到原始成績數據的方式就更快捷一些。出于項目的未來用途，本項目主要研究用于未來的教學實戰，輔助項目驅動的課程建設。所以，在獲取數據源上采用了導出Excel數據的形式。

（2）數據采集

本項目采用大數據技術支撐研究。因此從數據源到大數據體系必須經歷數據采集的過程。本次主要采用Excel文件類型的原始數據采集上傳到HDFS存儲。考慮項目后續的擴展性，例如增加一些新的功能，預留了從MySQL數據庫采集數據。由于本項目不是單一的進行數據存儲處理，而是要通過大數據的相關組件來數據進行清洗和分析。因此，本項目最終確定的操作路徑是，把從原始教務系統下載的Excel表學生成績存入到MySQL數據庫中。基于對項目的需求分析，對數據的整合與規范進行初步的思考。

（3）數據存儲

在已經搭建好的Hadoop環境下安裝MySQL。然后運用Sqoop開源工具，將MySQL中的數據導入到HDFS存儲，為后續進行數據處理做好準備。

（4）數據處理

在這個環節，需要用到基于Hadoop的數據倉庫工具Hive。通過它對學生成績進行提取、轉化、加載。因為學生所屬的學院和專業不同，為了后期能更具體的呈現學生的成績情況并進行分析。因此，在本環節要充分考慮項目的整體需求和輸出的結果的落地性和相關性，進而在第一個環節考慮的數據的整合和規范思路，在此環節中進行具體實施。在Hive建表時充分融入管理思維，為后續進行流程優化奠定基礎。Hive處理好數據源數據的同時，借助Presto分布式查詢引擎，對學生成績數據進行限定條件的分析，在龐大的學生成績數據中查詢中存在補考重修并多門學科存在補考重修的數據，以在補考管理模塊和重修管理模塊中得以呈現。

（5）數據應用

研究此項目的初衷是原有教務系統學生成績管理存在痛點。本項目以大數據的思維，采用大數據的相關技術棧進行技術重構的目標是體現數據的價值。基于前面的數據分析，在數據應用層，我們將接入數據可視化技術將Presto實時查詢和分析的數據進行更加生動的呈現，如柱狀圖，餅狀圖等。這樣，數據在各個職能部門的作用就變得更加鮮活，能夠在各自的業務范圍內更好的觀察數據，并支持管理決策，實現學生成績管理的流程閉關。

基于以上大數據思想及技術架構體系，通過原始數據的采集，解決數據存儲的問題，然后對學生成績進行數據提取、清洗、轉換和加載，設計符合功能模塊需求的hive表，再添加Presto分布式SQL查詢引擎連接數據可視化工具。兩相對比，此項目研究思路對于之前的半自動化的成績管理的現狀，將學生成績管理流程的前后銜接，對數據進行有效地分析和管理，有力的支持管理決策，同時學生及學生家長對于學生的成績也有清晰的了解。對學院的學風建設、教學管理，以及教學質量的提升和教學評價提供了有力的信息化保障。