基于模糊聚類的教學資源自適應推薦研究*

□黎孟雄 郭鵬飛

基于模糊聚類的教學資源自適應推薦研究*

□黎孟雄 郭鵬飛

隨著教學資源規模的急劇增長,常規的資源檢索和傳統的推薦方法其反饋結果的精確性和個性化程度越來越低,文章提出了基于模糊聚類的推薦方法,并結合協同過濾、智能分詞和移動Agent技術,對目標用戶的檢索期望進行預測和推薦,實驗結果證明,其推薦質量和精度得到了較大的提高.

教學資源;模糊聚類;協同過濾;自適應推薦

引言

計算機多媒體技術和網絡技術的快速發展推動了我國教育信息化的進程.隨之而來的是教學資源的蓬勃建設,使得網絡教學資源的數量變得極為龐大.比如,僅以國家精品課程資源網(www.jingpinke.com)的數據為例,截止2011年9月,該網站一共收錄課程兩萬多門,各類教學資源的數量共超百萬個.另外,各個地方教育機構和學校除了在繼續擴充原有教學資源庫之外,在目前云計算技術風起云涌的情況下也開始大力建設教學資源云,而云教學資源庫內的資源數量將更加巨大.雖然網絡教學資源規模的迅速增長給用戶帶來更多選擇機會,但"資源過載"和"資源迷航"現象也使得用戶搜索所需資源的成本越來越高.

因此,智能教學資源自適應推薦技術的研究對于高效地教學資源呈現和精確地資源獲取起著至關重要的作用[1].目前國內外在如何提高資源獲取的智能方面,代表性的技術主要有:自動分詞、數據挖掘、協同過濾以及遺傳算法等.

自動分詞作為文本分類、信息檢索、信息過濾等信息處理中的關鍵技術和基礎性工作,一直是信息檢索領域的研究熱點.相關學者提出了許多自動分詞的算法,大致可歸納為:詞典分詞方法、統計分詞方法、理解分詞方法和組合分詞方法,其中比較成熟和易于實現的是詞典分詞方法[2].由于信息資源描述中自然語言復雜靈活,知識表示困難,在實際應用時往往需要和其它技術相結合以提高檢索精度.

數據挖掘技術融合了數據庫、機器學習、統計學和人工智能等多學科技術去挖掘感興趣的信息資源,這些資源也許是傳統檢索技術未能檢索的、隱含的、事先未知的和潛在有用的信息.

協同過濾技術是基于用戶所表達出的顯式和隱式的偏好來查找用戶或資源的相似鄰居,據此產生推薦結果[3][4].該技術實施時數據表示簡單、算法易于實現,從而便于推廣.但該技術存在稀疏性、冷啟動等問題,在使用過程中需要加以改進.

遺傳算法作為一種全局隨機性搜索方法,具有很強的魯棒性,在很多領域都得到了一定的應用[5].然而,該算法也存在一些明顯的問題,如搜索空間過大、收斂速度慢等.

上述幾種技術在資源獲取領域盡管具有一定程度的智能性,但隨著教學資源庫的更新和用戶對資源目標興趣的轉移,資源檢索后的反饋呈現的準確率和滿意度以及系統的個性化服務等方面還會存在一些缺陷.

針對目前對教學資源查詢反饋結果的精確性和個性化服務較低的問題,文章將模糊聚類技術和協同過濾算法相結合,并引入智能分詞技術和移動Agent技術來設計教學資源自適應推薦模型,使系統更具有智能性,能為用戶提供個性化服務,動態調整并呈現教學資源檢索內容.

自適應推薦模型設計

模糊聚類是利用模糊數學中相似性關系給目標對象進行分類的一種方法[6].自適應推薦模型的核心體現在用戶模糊聚類部分,即通過計算用戶對教學資源的興趣度建立用戶個性化模型,采用聚類技術,將具有相似偏好的用戶進行聚類[7].根據教學資源之間在相似群組的相似性來預測用戶對未知教學資源的偏好,在此基礎之上再完成基于用戶的協同過濾推薦算法,并依據群組對其滿意度進行排名,產生Top-N的教學資源推薦集.基于模糊聚類的自適應推薦模型如圖1所示.

工作流程如下:

(1)通過驗證服務后系統根據用戶模型分析用戶提交的訪問需求,生成代表用戶請求的用戶A-gent,然后系統根據用戶Agent攜帶的信息對用戶輸入的自然語句進行智能分詞處理.

(2)抽取教學資源庫中相關文檔特征,形成若干相關聯的特征關鍵詞,然后利用分析Agent對分詞模塊切好的用戶關鍵詞和特征關鍵詞的隸屬度進行分析.

(3)系統根據基于閾值的模糊貼近度算法和基于自學習的檢索規則在教學資源庫中進行智能檢索,獲得初步教學資源檢索集.

(4)學習Agent在客戶端隱式采集用戶在線行為信息,即復制、下載、打印等操作以及資源頁面瀏覽時間等來挖掘用戶的興趣和偏好,據此不斷更新用戶模型.

(5)采用聚類技術,將具有相似偏好的用戶進行模糊聚類,在(3)中初步資源檢索集的基礎上采用協同過濾推薦算法,生成Top-N的教學資源推薦集.

(6)對教學資源檢索結果先進行清洗和解析,最后以XML形式反饋呈現給用戶,并與學習Agent交互進行機器學習來優化用戶模型并修正分詞詞典.

關鍵技術及其算法

1.基于興趣度的用戶模糊聚類

自適應推薦目的是為不同檢索意圖的用戶提供個性化的教學資源,而獲取用戶檢索意圖是最終實現該目的至關重要的前提條件.在常規網絡資源系統中,用戶表現出來的資源檢索意圖一般用能反映其興趣特征的評分數據表示,比如各類電影、音樂資源網站的推薦系統都采取用戶主動評分體系.但在教學資源類推薦系統中,如果采用顯式評分來表述資源的用戶興趣度,會降低系統的易用性和便利性,同時,用戶對目標資源的興趣偏移也不能及時采集.其實,用戶的在線行為往往就蘊涵了其對目標教學資源的興趣度.比如,十分鐘的教學資源頁面用戶只花了不到一分鐘就瀏覽完了,則表示用戶對當前教學資源不滿意或興趣度較低.如果存在下載、打印、收藏或保存操作,則表示該用戶對當前教學資源比較滿意或興趣度較高.

(1)構建教學資源興趣度隸屬函數

建立用戶個性化模型的重點在于用戶對教學資源的興趣度隸屬函數的構建.隸屬函數是用模糊集合去闡述和分析某個模糊現象,即通過隸屬函數來描述對象元素屬于某集合的程度高低.隸屬函數的恰當構建是表現模糊概念的關鍵,雖然確立隸屬函數的方法很多,但各有局限性,至今仍無規律可循,主要依據領域知識相關實際經驗和常理來給予隸屬度.一般用[0,1]間的一個數值來表示隸屬度,其值越接近1,意味著隸屬程度越高,反之就越低[8][9].

設教學資源A的屬性集論域D={d1,d2,…, dn},資源屬性di對于教學資源A的隸屬函數為:

μA(di)={1(di存在下載、保存和打印等高興趣度在線行為)|di:to/tg(用戶對資源頁面瀏覽時間占該資源正常最大瀏覽時間的比值)|0(用戶對教學資源頁面無點擊等零興趣行為屬性di).

(2)資源用戶的模糊聚類

對教學資源用戶進行模糊聚類的主要原理是通過用戶描述文件,即用戶對目標教學資源的興趣度高低情況進行用戶聚類.用戶的興趣度描述可以用矢量空間模型表示,聚類起始時先選擇一個有代表性的用戶作為該類用戶的聚類中心,根據計算當前用戶和聚類中心的相似度來不斷動態調整聚類中心,直到滿足預設的閾值,最終產生目標教學資源用戶的模糊聚類.相似度的計算公式:

其中,μk(W)為用戶w對教學資源模糊簇k的興趣偏好值,為用戶w對所有教學資源模糊簇的平均興趣偏好值.用戶v對教學資源的表示與用戶w一致.

2.基于模糊聚類的協同推薦算法

算法描述:基于教學資源用戶模糊聚類的協同過濾推薦算法.

輸入:待進行教學資源推薦的當前用戶User(i)和相關教學資源需求用戶集U={u1,u2,u3,…,un,…}.

輸出:當前用戶User(i)的待推薦教學資源集R= {rs1,rs2,rs3,…,rsn}.

步驟:

Step1:從學習Agent獲得待聚類用戶的用戶模型,對描述教學資源興趣度的相關數據進行分析和預處理;

Step2:初始化用戶模糊聚類中心相關參數數據,設置最大類別數目SortMax、實際類別數目SortNum、模糊聚類中心閾值ε(ε>1)、當前用戶User(i)的最近鄰用戶數量N;

Step3:根據相似度計算公式Sim(w,v)動態調整用戶模糊聚類中心;

Step4:根據預設的閾值ε,確定當前用戶User(i)所屬的聚類,再基于用戶-教學資源矩陣利用余弦相似性度量方法計算相關教學資源需求用戶集U中的用戶和當前用戶User(i)的相似度,查找該聚類中和User(i)興趣最相似的N個用戶;

Step5:在聚類用戶群組的興趣中找出待推薦用戶User(i)沒有發現但潛在可能感興趣的教學資源集R={rs1,rs2,rs3,…,rsn,…};

Step6:根據聚類用戶組對上一步產生的R中各教學資源的興趣度,分析計算出待推薦用戶User(i)可能最感興趣的Top-N的教學資源推薦集;

Step7:將Top-N教學資源推薦集清洗和解析后以XML形式反饋給待推薦用戶User(i);

Step8:結束.

3.Top-N教學資源推薦集的計算

用戶模糊聚類中心確定以后,按相似度選擇待推薦用戶所在聚類中與其最近鄰的N個用戶,并由這N個近鄰用戶對目標教學資源的興趣度來完成待推薦用戶對目標教學資源r的預測,計算公式:

期中sim(w,v)表示用戶w和其最近鄰用戶v的相似度,SAw表示用戶w的平均興趣度,SA'v,r表示近鄰用戶v對目標教學資源r的興趣度.按此公式計算得到教學資源集R內所有教學資源rsi預測值,然后依S(w,r)值從大到小取前N個教學資源產生Top-N推薦集{rs1,rs2,rs3,…,rsn}.

實驗分析

1.實驗數據集和度量標準

為了驗證本文提出的推薦方法的有效性和推薦質量,實驗數據集采用連云港市電教館基礎教育教學資源庫.資源內容覆蓋中小學所有學科近10TB容量,注冊用戶9千多人,日訪問量1千多人.通過整理,收集了300個用戶對1600個教學資源的31000條興趣度評價數據,數據集的稀疏級別為1-31000/ (300*1600)=0.9354.評價值為0到5的整數,數值越高,表明用戶對該教學資源的興趣好評度越高.

推薦質量的度量標準主要有統計精度度量方法和決策支持精度度量方法兩類.本文采用平均絕對偏差MAE來衡量推薦方法的預測精度.平均絕對偏差MAE即計算資源用戶對資源興趣度的實際值和預測值之間的偏差絕對值的平均,MAE越小,說明推薦預測的精度越高[10].設用戶對教學資源的興趣度預測值數據集為{p1,p2,…,pn},實際值數據集為{q1,q2,…, qn},則:

2.實驗過程及結果分析

隨機抽取上述實驗數據集中的10000條數據記錄,將該數據集的70%作為訓練數據集,30%作為測試數據集.

Step1:首先把訓練數據集根據教學資源的所屬學科進行分類,將其分成9個學科類別.

Step2:然后按學科類別分別構建9個用戶-教學資源矩陣,并在每個矩陣中根據相似度計算公式Sim(w,v)計算用戶之間的相似度.

Step3:根據用戶相似度,預測用戶對教學資源的興趣度評分數據,并按預測值降序排列.

Step4:重復Step2和Step3,直到找出預設的目標用戶的最近鄰居數量及其對教學資源的興趣度評分預測值.

Step5:所有數據處理完畢后,就可以把計算結果與測試數據集進行比較,計算MAE的值.

實驗過程中,教學資源目標用戶的最近鄰居個數從20增加到50,步長為5,分別計算傳統協同過濾推薦方法和本文提出的基于模糊聚類的推薦方法的MAE作對比,實驗結果如圖2所示.

從實驗結果可以看出,基于模糊聚類的推薦方法比傳統的協同過濾推薦方法具有更小的MAE值,顯示教學資源推薦預測的精度和質量更好.這是因為傳統的協同過濾推薦算法是在所有的用戶空間上進行目標用戶的最近鄰居的搜索,而基于模糊聚類的推薦算法是在聚類后的用戶空間上進行搜索,因此推薦的精確度才大為提高.而且隨著目標用戶最近鄰居數量的增多,他們的MAE的差值越大,表明基于模糊聚類的推薦方法的推薦預測精度和質量優勢就更加明顯.

另外,通過進一步加大實驗數據集的測試,發現正是由于基于模糊聚類的推薦方法考慮了聚類用戶在相關教學資源集上的興趣相似性,縮小了目標用戶最近鄰居的查找范圍,對傳統的協同過濾推薦方法所面臨的稀疏性問題、冷啟動問題和實時推薦速度也都能得到較大地改善.

結束語

隨著教育信息化的加快,具有智能的自適應推薦已成為教學資源建設和應用中的一個重要組成部分.本文為針對由于教學資源數量增多導致常規的資源檢索和傳統的推薦方法其反饋結果的精確性和個性化程度較低的問題,提出了基于模糊聚類的協同過濾推薦方法,實驗結果證明,其推薦質量和精度得到了較大的提高.另外,本文還引入智能分詞技術和移動Agent技術來增強系統在推薦過程中自適應不同用戶的智能,提高了資源用戶使用滿意度.不過,實驗也表明,該推薦算法隨著目標用戶最近鄰居數量的增多,其資源推薦時間效率上會有一定程度的降低,雖然這個過程可以離線計算.所以,未來的工作將在提高資源推薦質量的同時有效提高算法的推薦實時性上作進一步研究.

[1]許海玲,吳瀟,李曉東,等.互聯網推薦系統比較研究[J].軟件學報, 2009,20(2):350-362.

[2]奉國和,鄭偉.國內中文自動分詞技術研究綜述[J].圖書情報工作,2011,55(2):41-45.

[3]Herlocker J,Konstan J,Terveen L,et al.Evaluating Collaborative Filtering Recommender Systems[J].ACM Trans on Information Systems,2004,22(1):50-53.

[4]Sarwar,B,Karypis G,Konstan J.Item-based collaborative Filtering recommendation algorithms[C].Proceeding of the Tenth International World Wide Web Conference,2001.285-295.

[5]FATEN H,NAWWAF K,RABABW.Genetic algorithms for feature selection and weighting a review and study[C].Proceedings of the SixthInternationalConferenceonDocumentAnalysisand Recognition.Washington,DG IEEE Computer Society,2001:1240-1244.

[6]陳水利,李敬功,王向公.模糊集理論及其應用[M].北京:科學出版社,2005:95-125.

[7]Wolf J,Aggarwal C,Wu K L,et al.Horting Hatches an Egg:A New Graph-Theoretic Approach to Collaborative Filtering[C].Proc of the 5th ACM SIGKDD Conf on Knowledge Discovery and Data Mining,2009:201-212.

[8]Chen S Y.Fuzzy recognition theoretic model[J].Journal of Fuzzy Mathematics,1993,(2):21-26.

[9]George Q.Huang,Zuhua Jiang,K L Mak,FuzzySTAR:Fuzzy Set Theory of Axiomatic Design Review,International Journal of Artificial Intelligence in Engineering Design,Analysis and Manufacturing: AIEDAM,2002,16(4):291-302.

[10]SARWAR B,KARYPIS G,KONSTAN J.Item-based collaborative filtering recommendation algorithms[C].10th International World Wide Web Conference.Hong Kong ACM,2001:285-295.

郭鵬飛,博士后,上海市應用數學和力學研究所(200072).

責任編輯 平果

TP319

A

1009-458x(2012)07-0089-04

*資助項目:江蘇省高校優秀中青年教師境外研修項目資助.

2011-12-30

黎孟雄,副教授,碩士,連云港師范高等專科學校計算機系(222006).