改進的關(guān)聯(lián)規(guī)則算法在學(xué)生CET4成績中的應(yīng)用

陳偉

（淮南聯(lián)合大學(xué)計算機系，安徽淮南232038）

改進的關(guān)聯(lián)規(guī)則算法在學(xué)生CET4成績中的應(yīng)用

陳偉

（淮南聯(lián)合大學(xué)計算機系，安徽淮南232038）

英語四級成績（CET-4）是衡量大學(xué)英語教學(xué)水平和大學(xué)生英語水平的一把尺子，對大學(xué)英語四級成績及其影響因素進行分析將有利于解決學(xué)生英語學(xué)習(xí)中存在的問題，提高英語教學(xué)質(zhì)量及大學(xué)生的綜合素質(zhì).文章利用關(guān)聯(lián)規(guī)則挖掘算法——Apriori算法并進行改進對學(xué)生CET4成績數(shù)據(jù)中的各個部分進行了分析，為指導(dǎo)教學(xué)和深層次的理論研究提供了客觀、有效的決策依據(jù).

關(guān)聯(lián)規(guī)則；Apriori算法；頻繁項集；CET4

1 關(guān)聯(lián)規(guī)則的簡單描述

關(guān)聯(lián)規(guī)則的概念由Agrawal,Imielinski,Swami提出，是數(shù)據(jù)中很實用的規(guī)則，它是數(shù)據(jù)挖掘的主要技術(shù)之一.關(guān)聯(lián)規(guī)則的挖掘一般分為以下兩個過程：

（1）尋找所有的頻繁項集，依據(jù)定義，每一個出現(xiàn)的項集的頻繁性要與預(yù)定義的最小支持計數(shù)min_sup一樣.

（2）由頻繁項集產(chǎn)生強關(guān)聯(lián)規(guī)則:根據(jù)定義，這些規(guī)則必須滿足最小支持度和最小置信度.

在以上兩個步驟中，由于第二步的開銷遠(yuǎn)遠(yuǎn)低于第一步，所以挖掘關(guān)聯(lián)規(guī)則的總體性能由第一步?jīng)Q定[1].

2 改進的Apriori算法

關(guān)聯(lián)規(guī)則挖掘最著名、最有影響的算法是Apriori算法，它是使用候選項集產(chǎn)生發(fā)現(xiàn)頻繁項集.算法中主要進行這樣兩個操作：為找LK，通過將LK-1與自身連接產(chǎn)生候選K項集的集合，即連接步；根據(jù)Apriori性質(zhì)，任何非頻繁的K-1項集都不是頻繁K項集的子集.因此，如果候選K項集的K-1項子集不在LK-1中，則該候選項集也不可能是頻繁的，即剪枝步.假定事務(wù)數(shù)據(jù)庫中各記錄的項目均已按字典排序.可以利用項集之間有序的特點，從減少算法中這兩個操作的執(zhí)行次數(shù)的角度來達到優(yōu)化算法的目的.

2.1 減少連接步驟的執(zhí)行次數(shù)的算法：

2.2 減少剪枝步驟的執(zhí)行次數(shù)算法：

3 改進算法的應(yīng)用

以下以某高校教務(wù)系統(tǒng)中的學(xué)生CET4成績?yōu)檠芯繑?shù)據(jù).

3.1 首先將學(xué)生CET4.XLS文件導(dǎo)入到VFP中，建立相應(yīng)的學(xué)生成績數(shù)據(jù)庫文件；

3.2 對現(xiàn)有數(shù)據(jù)的情況進行數(shù)據(jù)預(yù)處理.數(shù)據(jù)預(yù)處理包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)歸約、數(shù)據(jù)離散化.這里主要進行以下處理：

3.2.1 數(shù)據(jù)清理：填寫空缺的值，平滑有噪聲的數(shù)據(jù)，識別、刪除孤立點.數(shù)據(jù)預(yù)處理1后的圖為成績視圖1.總計7646條記錄.

圖1 成績視圖1

3.2.2 數(shù)據(jù)變換：主要對數(shù)據(jù)進行規(guī)格化操作.對CET4的各個組成部分的分值進行處理，其分值分配為：總分710，聽力分?jǐn)?shù)249，閱讀分?jǐn)?shù)249，寫作分?jǐn)?shù)142，綜合測試分70，首先把分?jǐn)?shù)轉(zhuǎn)換算為百分制，見成績視圖2.

圖2 成績視圖2

3.2.3 數(shù)據(jù)歸約：通過數(shù)據(jù)規(guī)約可以得到數(shù)據(jù)集的簡化表示，它小得多，但能夠產(chǎn)生同樣的（或幾乎同樣的）分析結(jié)果.規(guī)定分值分布情況如下：60分以下為“1”，60-70之間為“2”，70-80之間的為“3”，80-85之間的為“4”，大于85的為“5”；為了分析方便，總分用“Z”代表，聽力分?jǐn)?shù)用“T”代表，閱讀分?jǐn)?shù)用“Y”代表，寫作分?jǐn)?shù)用“X”代表，綜合測試分?jǐn)?shù)用“ZH”代表.預(yù)處理后的圖為成績視圖3.由于改進算法的需要，把成績表進行重新排序，見成績視圖4.

3.3 設(shè)計算法

圖3 成績視圖3

圖4 成績視圖4

3.3.1 求解頻繁項集

3.3.1.1 我們要研究的事務(wù)數(shù)據(jù)庫是圖4的成績表3.DBF.

3.3.1.2 建立一個項目數(shù)據(jù)表ITEM.DBF，見圖5.

3.3.1.3 建立六個空數(shù)據(jù)表，分別用來存放1、2、3、4、5頻繁項集和它們的支持度計數(shù).

3.3.1.4 產(chǎn)生一個輔助數(shù)據(jù)表，該表中只有一個字段，數(shù)據(jù)類型為字符型，記錄數(shù)與成績表3相同,數(shù)據(jù)為z+t+y+x+zh的值.

圖5

在該程序中我們運用了改進后的Apriori算法，大大減少了循環(huán)次數(shù)，提高了效率[5,6].

如果希望研究的規(guī)則中能夠有中等的同學(xué)，那么最小支持度就要設(shè)定得很小，這樣產(chǎn)生的頻繁項集很多，同樣關(guān)聯(lián)規(guī)則也很多.基于以上情況我們設(shè)定最小支持度為0.06，支持度計數(shù)為459，產(chǎn)生了81個頻繁項集.下面為部分實驗結(jié)果：

3.3.2 提取關(guān)聯(lián)規(guī)則

假設(shè)最小置信度為70%，由程序得出242個關(guān)聯(lián)規(guī)則.部分實驗結(jié)果如下：

4 算法應(yīng)用結(jié)果

4.1 CET4成績四個部分中聽力和閱讀是影響總分最大的兩個因素.綜合測試與其他三項的關(guān)系相對較低.

4.2 在四個組成部分中，從與總分的關(guān)系來看，聽力是最突出的.

4.3 還有一點通過索引排序觀察就能得到的結(jié)論是女生與男生的成績存在差異，從我們?nèi)粘Ｉ钪泻苋菀装l(fā)現(xiàn)，男生與女生對英語的重視和喜愛程度是不一樣的，普遍情況是女生優(yōu)于男生.

5 總結(jié)

總之，影響英語四級考試成績的因素是多方面的.通過實驗得出的分析結(jié)果能夠?qū)υ撻T課程的教學(xué)提供一定的理論依據(jù).

〔1〕陳文偉，黃金才，等.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘[M].北京：人民郵電出版社，2004.

〔2〕陳偉.數(shù)據(jù)挖掘技術(shù)在學(xué)生成績管理中的應(yīng)用[D].安徽大學(xué)，2008.

〔3〕陳偉.Apriori算法的優(yōu)化方法[J].計算機技術(shù)與發(fā)展,2009，19(6)：82-83.

〔4〕R.Agrawal,T.Im ielinski.and A.Swam i.M ining association rules between sets of items in large databases.Proceedings of the ACM SIGMOD Conference on Management of data(ACM SIGMOD’93)[C].Washington.USA，1993:207一216.

〔5〕羅可.一種用Visual Foxpro求頻繁項目集的方法[J].計算機工程，2001，27(5)：36-37.

〔6〕朱玉全，孫志揮.一種有效的關(guān)聯(lián)規(guī)則增量式更新算法[J].計算機工程與應(yīng)用，2001（23）：28-30.

TP311

A

1673-260X（2013）09-0031-03

2011年安徽省淮南聯(lián)合大學(xué)校級科研項目（LYB1112）