數(shù)據(jù)挖掘在教育應用中的淺析

[摘 要]現(xiàn)在社會的發(fā)展使得信息量日益增加，如何在龐大的數(shù)據(jù)中尋找對自己有用的數(shù)據(jù)成為必須要考慮的事情。數(shù)據(jù)挖掘可以從龐大的數(shù)據(jù)庫中提取隱藏的預測信息。因為數(shù)據(jù)挖掘是一種擁有巨大潛力的新技術，所以數(shù)據(jù)挖掘現(xiàn)在被廣泛的應用于各種商業(yè)途徑中，包括零售銷售、電子商務、遙感技術、生物信息學等。教育是一個國家進步的要素之一。挖掘在教育中被稱為教育信息挖掘。教育數(shù)據(jù)挖掘的的重點就是應用合理的、快速的方法從教育數(shù)據(jù)庫中發(fā)現(xiàn)知識。教育數(shù)據(jù)挖掘可以分析學生的趨勢和行為，得到一個對不同類型學生教育的最優(yōu)化教育方式。當大量的數(shù)據(jù)存儲在教育數(shù)據(jù)庫中，為了得到需要的數(shù)據(jù)和發(fā)現(xiàn)隱藏數(shù)據(jù)間的關系，可以應用數(shù)據(jù)挖掘技術與軟件。數(shù)據(jù)挖掘的功能有很多種，在教育數(shù)據(jù)挖掘中，流行的功能有關聯(lián)、分類、聚類、離散點分析、關聯(lián)規(guī)則、預測等。本文主要從數(shù)據(jù)挖掘現(xiàn)在大規(guī)模使用的行業(yè)中分析數(shù)據(jù)挖掘的特點，以及應用到教育，主要是高等教育的可能性。

[關鍵詞]數(shù)據(jù)挖掘 教育

一、引言

當今社會，大量的數(shù)據(jù)每天在不斷堆徹，我們需要在數(shù)據(jù)挖掘中尋求一種從大量數(shù)據(jù)中提取知識的方法。數(shù)據(jù)挖掘有兩個因素，大小與維度。存儲數(shù)據(jù)到知識中有一個巨大地空白，就是數(shù)據(jù)怎樣被翻譯，而得到數(shù)據(jù)與數(shù)據(jù)的相似性，再進行歸納和總結。現(xiàn)在的手工數(shù)據(jù)分析已經無法對大型的數(shù)據(jù)進行分析，所以我們需要尋找一種新的方法對數(shù)據(jù)進行分析。數(shù)據(jù)挖掘可以幫助我們更深入的了解數(shù)據(jù)。

數(shù)據(jù)挖掘在一些領域的作用：

銀行業(yè)：貸款/信用卡的批準，基于老客戶預測優(yōu)質客戶，每月/每個地區(qū)/每個部門的債務和收益的變化趨勢以及因素，產品、促銷信息的訪問統(tǒng)計信息，例如訪問的最大值、最小值、總和，平均數(shù)、趨勢等。

電信業(yè)：判別潛在的欺詐用戶和他們的典型使用模式，檢測試圖準備欺詐性的客戶賬戶，發(fā)現(xiàn)不尋常的模式，發(fā)現(xiàn)使用模式為一組通信服務的客戶群體，使銷售的特定服務得到促進，提高一些地區(qū)特定服務的可用性。

DNA分析技術：比較每個單位頻繁發(fā)生的不同模式，例如是否生病；識別基因的順序在不同的疾病中發(fā)揮了重要的作用。

預測和描述是數(shù)據(jù)挖掘的兩個基本目標。預測涉及到使用數(shù)據(jù)集中的一些變量或域來預測其他我們所關心變量的未知或未來的值；另一方面，描述關注的則是找出描述可由人類解釋的數(shù)據(jù)模式。所以，數(shù)據(jù)挖掘活動分成預測性數(shù)據(jù)挖掘和描述性數(shù)據(jù)挖掘。

數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是一個基于知識發(fā)現(xiàn)的過程。數(shù)據(jù)挖掘是從存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫中的大量數(shù)據(jù)中發(fā)現(xiàn)有趣知識的過程。

二、數(shù)據(jù)挖掘

數(shù)據(jù)庫、數(shù)據(jù)倉庫、萬維網或其他信息存儲庫是一個或一組數(shù)據(jù)庫、數(shù)據(jù)倉庫、電子表格或其他類型的信息存儲庫。數(shù)據(jù)清理和數(shù)據(jù)集成的技術可以對這些數(shù)據(jù)進行執(zhí)行。基于用戶的數(shù)據(jù)挖掘的請求，數(shù)據(jù)庫或數(shù)據(jù)倉庫服務器負責獲取相關數(shù)據(jù)。知識庫的領域知識，用于指導搜索或評估結果模式的興趣度。這樣的知識可以包括概念層和用戶的信念。數(shù)據(jù)挖掘引擎是數(shù)據(jù)挖掘系統(tǒng)中不可或缺的部分，數(shù)據(jù)挖掘系統(tǒng)在理想情況下由組功能模塊的任務，比如表征，關聯(lián)及相關分析、分類、預測、聚類分析、異常值分析與演化分析等。模式評估模塊是一個組件，通常包括興趣度度量和與數(shù)據(jù)挖掘模塊交互，以專注于搜索聚焦在有趣的模式上。提供信息來幫助搜索聚焦，基于數(shù)據(jù)挖掘的中間結果執(zhí)行探索性數(shù)據(jù)挖掘。模式評價模塊還可以結合數(shù)據(jù)挖掘模塊，但是這取決于所用數(shù)據(jù)挖掘方法的實現(xiàn)。用戶界面模塊在通信用戶和數(shù)據(jù)挖掘系統(tǒng)之間聯(lián)系，允許用戶與系統(tǒng)的交互，允許用戶瀏覽一個數(shù)據(jù)挖掘查詢或任務。

許多人把數(shù)據(jù)挖掘的同視為另一個廣泛使用的術語，數(shù)據(jù)中的知識發(fā)現(xiàn)。知識發(fā)現(xiàn)過程包括在數(shù)據(jù)挖掘過程中選擇所需要的數(shù)據(jù)、可以獲得許多不同的數(shù)據(jù)來源。預處理數(shù)據(jù)包括發(fā)現(xiàn)數(shù)據(jù)錯誤或者丟失的數(shù)據(jù)。可能有許多不同的活動在這段時間執(zhí)行。錯誤的數(shù)據(jù)可能被修正或移除，而缺少的數(shù)據(jù)必須提供。預處理還包括：去除數(shù)據(jù)的噪聲或數(shù)據(jù)的不一致，收集必要的數(shù)據(jù)模型或者數(shù)據(jù)的含噪聲，數(shù)據(jù)占時間序列信息和已知的數(shù)據(jù)變量。數(shù)據(jù)轉換是將數(shù)據(jù)轉換成公共格式來處理。一些數(shù)據(jù)可能被編碼或轉化為更多的可用的格式。數(shù)據(jù)簡化，減少維度（比如特征選擇，即屬性子集的選擇、啟發(fā)式方法等）和數(shù)據(jù)轉換方法（如取樣、聚合、泛化等） 可用于減少可能正在考慮的數(shù)據(jù)值的數(shù)目。數(shù)據(jù)挖掘是任務的執(zhí)行，產生得到期望的結果。翻譯/評價是數(shù)據(jù)挖掘結果怎么呈現(xiàn)給用戶，是極其重要的。因為有用的結果是依賴于翻譯/評價。各種各樣的可視化以及圖形用戶界面策略被用于在翻譯/評價步驟中。不同種類的知識需要不同類型的表示方法，如分類、聚類、關聯(lián)規(guī)則等

數(shù)據(jù)挖掘的功能和產品包括數(shù)據(jù)庫，信息檢索，統(tǒng)計，算法和機器學習。

三、基于教育的數(shù)據(jù)挖掘

基于教育的數(shù)據(jù)挖掘是一門新興學科，主要是關注與發(fā)展探索來自教育環(huán)境中獨特的數(shù)據(jù)，并使用這些方法來更好地了解學生，和設置讓他們的學習。數(shù)據(jù)挖掘是從巨大的數(shù)據(jù)量提取提取有趣的（不平凡的，隱含的，先前未知的，潛在有用的）模式或知識。當我們知道教育數(shù)據(jù)庫中存儲著大量的數(shù)據(jù)，通過不同的數(shù)據(jù)挖掘技術的開發(fā)和使用，得到所需要的數(shù)據(jù)和發(fā)現(xiàn)隱藏的關系。我們可以利用基于教育系統(tǒng)的數(shù)據(jù)挖掘技術：預測中途退學的學生，學生之間的關系，大學入學考試結果和他們的成就，預測學生的學習成績，發(fā)現(xiàn)在本科教學大綱中學生感興趣的相關學科、可能在學術成就上的知識發(fā)現(xiàn)、在計算機編程設計中根據(jù)學生不同的學習風格對學生的表現(xiàn)進行分類，預測學校之間的相似性和差異。

（1）關聯(lián)規(guī)則

關聯(lián)規(guī)則反映一個事物與其他事物之間的相互依存性和關聯(lián)性。如果兩個或者多個事物之間存在一定的關聯(lián)關系，那么一個事物就能通過其他事物預測到。發(fā)現(xiàn)關聯(lián)規(guī)則需要經歷兩個步驟：

1.找出所有頻繁項集。

2.由頻繁項集生成滿足最小信任度閾值的規(guī)則。

關聯(lián)規(guī)則是支持度和信任度分別滿足用戶給定閾值的規(guī)則的條件。信任度意思是蘊含的強度，即事務D中c%的包含X的交易同時包含X、Y。若X的支持度是support（x），規(guī)則的信任度為即為：support（X、Y）/support（X），這是一個條件概率P（Y|X），即confidence（X、Y）= P（Y|X）。支持度閾值是指用戶規(guī)定的支持度的上下極值。

（2）分類

數(shù)據(jù)地圖在預先定義的組和級別中的數(shù)據(jù)挖掘任務是分類。也被稱為監(jiān)督式學習。它包括兩個步驟：

1.模型結構：它包含預先設定的一系列的類。每個元組/樣本被認為屬于一個預定義的類。這個事務的元組用于模型建設的是試驗集。該模型表示為分類規(guī)則，決策樹，或數(shù)學公式。

2.使用模型：該模型用于分類未來或未知的對象。與由模型的分類相比較得出試驗集的一些已知標記。由模型正確分類的試驗集得出準確率。試驗集是獨立的，否則將發(fā)生多余的工作。

在基于教育的數(shù)據(jù)挖掘中，一個學生通過考慮的結果，可以得出該學生的最終會達到怎樣的水平。用來表示學生最終水平的合理規(guī)則是決策樹規(guī)則。

（3）預測

預測是應用于模型的連續(xù)價值函數(shù)，也就是預測未知數(shù)據(jù)和缺失的值。在這個模型中，我們可以推導出許多組合數(shù)據(jù)的其他一些方面的數(shù)據(jù)。基于教育的數(shù)據(jù)挖掘預測可以用來檢測學生的行為，預測與了解學生的學習成果。

（4）聚類分析

聚類分析是最重要的非監(jiān)督式學習方法，主要是找到各種事務的分組，這樣在一個組里面的所有物體彼此之間都是相類似的，但又和其他分組里的物體是不同的。

在基于教育的數(shù)據(jù)挖掘中，聚類分析已經被用于根據(jù)學生的行為對學生進行分組。例如聚類分析可以用來區(qū)分在非活躍的學生中表現(xiàn)較活躍的學生。

四、結論

將數(shù)據(jù)挖掘技術應用在教育系統(tǒng)中是如何工作的，如圖所示。

圖解釋了如何找到與學生之間的關聯(lián)關系、關聯(lián)分類和聚類是有效的。他們評估學生的學習進度，根據(jù)不同的因素，利用收集到的數(shù)據(jù)之間的聯(lián)系。研究小學生科學為基礎的網絡模塊的日志文件，并對他們進行了分析。所以此數(shù)據(jù)挖掘模型可以運用到教育中。如果將這種模型運用到基于網絡的課程，智能網絡為基礎的教育體系，學習內容管理系統(tǒng)中，將會給研究者與教師節(jié)省大量的時間并可以給教育研究者、教師以及學習者提出寶貴的意見。

本文提出了一種在教育過程中基于網絡的系統(tǒng)記錄的數(shù)據(jù)特征提取，分類學生以預測他們的最終成績。本文設計，實施和評價了一系列對數(shù)據(jù)集的模式分類和比較數(shù)據(jù)集的性能。數(shù)據(jù)挖掘在教育應用中，有四種分類器用于分開不同的學生。多重的分類組合導致在分類性能中有一個顯著的改善。本文介紹了遺傳算法來提高預測精度，及使用精確度大約是10%至12%遺傳算法的聯(lián)合收割機分類器性能與非遺傳算法相比。在數(shù)據(jù)較多或者是人數(shù)較多的因素上，這種方法在判別有危險性傾向的學生上是相當有用的，以及可以及時給予教師提供適當?shù)慕ㄗh。在本中，通過分析資料，確定了基于教育的數(shù)據(jù)挖掘的關聯(lián)規(guī)則是有用的。從數(shù)據(jù)挖掘當今廣泛應用案例研究中，證明這種方法非常適合教育資料，教師可以輕松地解釋余弦值和附加值（或相似內容在教育中的提升）。本文解釋了在教育中應用數(shù)據(jù)挖掘技術是有用的，特別是提高高等教育的學生的表現(xiàn)。以及利用關聯(lián)規(guī)則，分類規(guī)則，使用決策樹，根據(jù)學生的表現(xiàn)將學生按組聚類。使用EM聚類和使用異常分析發(fā)現(xiàn)異常值的數(shù)據(jù)，利用這些知識來提高性能。本文分析了利用聚類分析和k —均值算法技術在考試成績與學生的成果之間的學生學習關系。根據(jù)大學的學生的特性進行分組學生，聚類過程使用K均值聚類。調查分析了數(shù)據(jù)挖掘應用到傳統(tǒng)的教育系統(tǒng)中，特別是基于網絡的課程，智能網絡為基礎的教育體系，學習內容管理系統(tǒng)。這些系統(tǒng)使用的是數(shù)據(jù)源和知識發(fā)現(xiàn)的目標。在以上每種情況下的數(shù)據(jù)挖掘技術，如統(tǒng)計和可視化，聚類，分類，異常檢測，關聯(lián)規(guī)則挖掘模式挖掘和文本挖掘應用。在本文中，我們研究了數(shù)據(jù)挖掘技術如何應用到教育系統(tǒng)中。數(shù)據(jù)挖掘可以在高等教育中特別是如何提高學生的成績上發(fā)揮作用。

參考文獻：

[1]數(shù)據(jù)挖掘概念與技術[M] 北京：機械工業(yè)出版社，2007，5—10

[2] Behrouz.et.al.， （2003） Predicting Student Performance： An Application of Data Mining Methods with The Educational Web—Based System Lon—CAPA ？ 2003 IEEE[J]， Boulder， CO

[3] Sheikh， L Tanveer B. and Hamdani， S.， \"Interesting Measures for Mining Association Rules\"[J]. IEEE—INMIC Conference December. 2004

[4] Romero C. and Ventura S.，\"Educational data mining： A Survey from 1995 to 2005\"[J].Expert Systems with Applications （33） 135—146. 2007