成人教育背景下微信公眾平臺學習資源評價指標體系研究

摘 要：微信公眾平臺是成人學習者進行移動學習的重要媒介，其學習資源的開發和應用研究已經趨于成熟，但對其學習資源的評價研究尚待深入。在已有相關研究的基礎上，通過內容分析法對微信公眾平臺的用戶真實評論信息進行分析，構建微信公眾平臺學習資源的評價指標體系，進而運用層次分析法確定各個評價指標的權重。該研究既是已有的移動學習資源評價研究的傳承，也是進一步的完善和創新，同時也為成人教育背景下微信公眾平臺學習資源的設計與開發提供一定的參考。

關鍵詞：微信公眾平臺；移動學習；學習資源；評價指標

作者簡介：汪濤（1968-），男，四川井研人，四川廣播電視大學經濟管理學院院長，副教授，研究方向為企業管理、教育管理。

基金項目：四川省教育廳2013-2016年高等教育人才培養質量和教學改革項目“基于移動學習的學習資源設計研究”，主持人：汪濤；四川廣播電視大學2016-2017年度教改項目“基于手機APP的成人學生移動學習資源建設研究”（編號：XMHGJJ2016003Q），主持人：李惠青。

中圖分類號：G720 文獻標識碼：A 文章編號：1001-7518（2018）04-0095-08

微信公眾平臺是騰訊公司研發的一款信息推送平臺，具有用戶基數大、運營成本低和信息推送精準的優勢，具備群發消息、回復關鍵詞、查詢學習者留言、個性化定制和分享資源等功能[1]。近年來廣大教育工作者充分挖掘微信公眾平臺的學習支持功能，并將微信公眾平臺與傳統學習相結合開啟混合學習模式[2]，在成人教育背景下，微信公眾平臺已經成為學習者進行移動學習的重要媒介，其教育功能不容忽視。

移動學習資源的質量直接關系到移動學習的成效，因此移動學習資源的研究已經成為移動學習研究的重點范疇。近年來，有關移動學習資源的研究主要集中在學習資源的設計、開發和應用三個方面[3]，而對于學習資源的評價研究屈指可數。有關移動學習資源評價的研究大多散見于移動學習資源的設計與開發研究中，這些研究大部分都是通過問卷調查進行簡單的評價，并沒有形成完整的評價模型和明確的評價指標體系。僅有的專門針對移動學習資源評價的研究文獻中，比較具有代表性的是程罡（2014）的基于真實用戶評論信息的構建的評價模型研究和詹青龍（2009）的質量屋模型研究。然而，這兩項研究的研究對象是移動學習資源，并沒有就微信公眾平臺這一新興的移動學習媒介的學習資源進行評價研究。

由于微信公眾平臺具有設計門檻低、適用范圍廣等特點，與其他移動學習媒介存在一定的差異，微信公眾平臺的學習資源具有自身的特點和適用性。因此，我們有必要在原有的移動學習資源評價研究基礎上，進一步完善和創新，構建微信公眾平臺的學習資源的評價指標體系，并確定各指標的權重，從而為成人教育背景下微信公眾平臺學習資源的開發和設計者提供參考，同時也幫助學習者更好的搜索、選擇和評估微信公眾平臺的學習資源。

一、相關研究綜述

（一）移動學習資源的評價研究

國外方面，LORI模型是典型的學習資源評價模型，是主題學習網站、網絡課程、移動學習資源等多種類型學習資源評價的理論基礎。LORI（Learning Object Review Instrument）是Nesbit等人提出的比較經典的學習對象評價模型。最新的LORI模型對于學習對象的評價指標包括內容質量、學習目標的一致性、反饋和適應性、動機激發、表征設計等九項指標[4]。學者們以LORI模型為基礎發展和創建了各類型學習資源的評價模型。關于智能終端的移動學習App，芝加哥公立學校圖書館部門的“Mobilary”項目組設計了針對iPad App的學習資源評價量表，該量表包括對學習的支持、易用性、質量三個方面的指標[5]；教學設計師Villar提出了從內容、個性化、反饋、高階思維能力等七個方面來評價移動學習App的學習資源[6]。

國內學者對于移動學習資源的研究，比較具有代表性的是詹青龍（2009）和程罡（2014）的相關研究。詹青龍（2009）運用了質量配置理論的思想和核心技術，從移動制造商、學習內容提供商和平臺服務商等層面來揭示移動學習中的各方關系，并且運用相關關系分析法來對各項技術與學習資源之間的關系進行賦值，由此建立了以學習者需求為取向的移動學習資源建設質量屋模型[7]。程罡（2014）運用了內容分析的研究方法，通過分析App Store中40個排名靠前的學習資源類應用程序的真實用戶的評論信息來構建移動學習資源的評價模型，并且根據評論信息出現次數來確定評價模型中指標項的權重[8]，這是一種新型的評價模型，區別于以往的領域專家構建資源評價指標的方式，他們研究的出發點是用戶，研究視角較為新穎。此外，葉寶林（2014）把移動學習資源的評價研究放在遠程教育背景下來進行研究，認為移動學習資源指標體系包括學習內容、呈現方式和教學設計、技術支持、學習評價四個方面，但沒有就各項評價指標進行具體的權重分析[9]。

（二）微信公眾平臺學習資源評價研究現狀

關于微信公眾平臺學習資源的評價研究，大多散見于微信公眾平臺學習資源的設計與開發的研究中，目前還沒有專門針對微信公眾平臺學習資源評價研究的文獻。陳峰（2014）運用訪談法和問卷調查法對微信公眾平臺學習資源進行了簡單的定性和定量的評價研究。他從界面可視性、資源導航菜單、學習內容質量、系統的控制度、滿意度五個方面設計了微信公眾平臺學習資源的調查問卷[10]。對于各項指標的權重研究，陳峰（2014）在調查問卷中對于上述指標進行簡單的賦值，即1-5分，通過統計調查問卷的平均數來說明指標的重要程度，沒有就各項指標的在整個指標體系中的權重進行進一步研究。盧勝男（2014）認為基于微信公眾平臺的微型移動課程的評價維度包括實用性、微型性、交互性、界面友好性、創新性五個方面[11]。基于這五項指標，盧勝男（2014）運用李克特五級量表進行了移動微課學習的滿意度調查分析，但沒有就評價指標的具體權重做進一步研究。

可以看出，以上兩位學者關于微信公眾平臺學習資源的評價模型還是以LORI模型為基礎的，只是根據微信公眾平臺的特性加上了“微型性”“創新性”等指標體系，也沒有對這些評價指標做進一步的權重分析。

（三）研究現狀總結

就移動學習資源的評價研究現狀而言，目前還沒有形成一套影響力廣泛的評價模型，缺乏對移動學習資源評價系統化研究，相關的評價體系也在逐步完善當中。而針對微信公眾平臺這一具體的移動學習平臺的學習資源而言，相關的指標體系更是缺乏研究，僅僅在其他部分的研究中有所涉及，提及的指標體系也比較簡單，沒有對各個指標項的權重進行量化研究。

微信公眾平臺作為新興且快速發展的移動學習平臺，在成人教育背景下，其教育功能已不能忽視。因此，對于微信公眾平臺學習資源的評價研究也顯得十分重要，不僅能夠促進資源開發者進一步改進學習資源，還能為學習者甄選微信公眾平臺學習資源提供一定的參考。為此，我們在已有的關于移動學習資源評價指標的基礎上，充分考慮微信公眾平臺的特點，通過內容分析法分析微信公眾平臺教育類公眾號用戶提供的真實評價信息，創建微信公眾平臺學習資源評價指標，并運用層次分析法對各指標項進行權重分析，從而構建微信公眾平臺學習資源評價指標體系。

二、評價指標的建立

（一）創建初始的評價指標

一般來說，微信公眾平臺作為移動學習媒介，關于微信公眾平臺學習資源的評價指標可以參照有關移動學習資源評價的評價體系，但是考慮到微信公眾平臺與其他移動學習媒介的區別，微信公眾平臺自有的特點，我們需要在原有的移動學習資源評價指標上做一定的優化和調整。

程罡（2014）認為移動學習資源評價的初始模型包括整體學習體驗與一致性、內容質量、內容粒度與資源粒度、學習反饋與評價、媒體表征、人機交互、情境適應和個性化、社會交互、可獲取性這九個指標，在此基礎之上，我們根據微信公眾平臺用戶評論的隨機選取分析，對這九個指標進行調整和設計。

1.新增了“內容數量”指標。微信公眾平臺用戶評論中對于學習內容的關注不僅僅是看是否真實準確，還要考慮學習內容的豐富程度，是否滿足學習者自學的需要，是否詳略得當，學習內容的模塊大小是否適合學習者在微信公眾平臺進行學習等關于內容數量的信息，因此我們有必要單獨將學習內容的數量單獨列出。

2.新增了“內容原創性”指標。微信公眾平臺學習資源的來源分為原創和轉載。微信公眾平臺具有開放性的特征，運營公眾平臺的團體或個人在設計學習資源的時候，部分學習資源來源于網絡，內容不是原創，也無法保證其真實性、準確性和科學性。而部分微信公眾平臺的學習資源的設計者邀請了相關方面的專家，專門針對相應的專題進行學習資源的原創，因此原創學習內容更能得到學習者的認同，這也在學習者的用戶評論中體現出來。由此我們新增學習內容的原創型指標。

3.將“人機交互”和“社會交互”合并為交互設計。微信公眾平臺的人機交互功能是由騰訊公司設計研發的，相關的導航設計、用戶界面、用戶關鍵詞回復查詢信息等人機交互功能都成模式化發展，從學習者評論來看，幾乎沒有對于人機交互這方面的相關信息。相反，學習資源是否能夠促進學習者之間構建社會認知網絡，促進分布式認知，這成為學習者更為關心的問題，因此我們將“人機交互”和“社會交互”兩個指標合并為交互設計。

4.新增“多樣化展示”指標。從微信公眾平臺學習者評論信息來看，對于同一個知識點，能否通過文字、圖片、音頻、視頻等多種表現形式進行學習是他們所關注的，因為越豐富的內容表現形式就越能加深學習者對于知識點的學習，且不容易讓學習變得枯燥乏味。因此，我們新增了“多樣化展示”指標。

基于上述分析，我們創設了11個初始的評價指標（見表1）。

（二）建立微信公眾平臺學習資源評價指標體系

1.研究方法。本文嘗試以內容分析法作為研究方法來構建微信公眾平臺的評價體系。內容分析法是一種客觀系統并量化的描述顯性傳播內容的研究方法[12]。內容分析法能夠對傳播的文本、視頻、音頻等內容進行分析，然后統計、分類處理這些數據，并將這種分析手段作為后續結論和理論的佐證。一般來說，內容分析法包括9個步驟：提出問題、確定研究范圍、確定抽樣方法、選擇分析單位、建立分析類目、建立量化系統、內容編碼、分析數據以及結論部分[13]。

微信公眾平臺作為學習平臺，已經積累了一定數量的學習資源。因此我們可以通過內容分析的方法來構建關于微信公眾平臺學習資源的評價指標體系。

2.研究流程。目前微信公眾平臺學習資源最為直接反饋的一個指標就是學習資源的轉載量、點贊數等直觀性的指標，但是，僅僅有這些是不夠的，特別是作為移動學習平臺來說，微信公眾平臺的學習資源評價的方式應該有一套更加完整的指標體系。微信公眾平臺的用戶留言，特別是學習資源的用戶留言，目前主要針對原創學習資源進行開放，所以用戶的留言能夠直觀的體現學習資源的優劣。我們通過內容分析法對這些用戶評論進行分析，將它們歸類到不同的評價指標維度，就可以反映出學習者所關心的微信公眾平臺的學習特征。

由于微信公眾平臺的用戶評論功能主要針對原創文章，即原創的學習資源，所以也為我們在對用戶評論分析的提供更為準確的基礎數據。那么，我們的研究范圍確定為一定時間內微信公眾平臺內教育類微信公眾平臺的學習資源評價內容，具體的微信公眾平臺學習資源評價指標的建立可以由以下流程構成（見圖1）。

3.樣本選取。當前微信公眾平臺的總體數量龐大，教育類的微信公眾平臺也是如此。在這些教育類的微信公眾平臺，關注量的分布是很不均衡的，有些微信公眾平臺的關注量幾十萬，而一些則是幾個甚至更少。由于我們無法準確獲取每個公眾平臺的關注數，那么我們可以借助專業的微信公眾平臺導航網站進行抽樣。微信公眾平臺的學習資源是開放式的，只要輸入了關鍵詞，關注相應的微信公眾號即可瀏覽相應的學習資源。然而，在微信公眾平臺中卻沒有對于微信公眾平臺的分類導航，因此我們需要借助其他網站的導航功能。

2016年8月，我們通過某微信公眾平臺導航網站的教育分類，選取了排名前50名微信公眾平臺作為分析對象，由于每個微信公眾平臺的學習資源的評論都是針對單個學習資源而言的，比較零散，而且并不是每個學習資源都會有用戶評論，因此我們借助編寫的程序，可以抓取這些微信公眾平臺的用戶評價信息并列入待分析的數據表中。根據評論內容的豐富程度排序，每一個微信公眾平臺我們選取了前20條用戶評價內容作為我們的研究樣本。

4.樣本信度和內容編碼。當前絕大部分的微信公眾平臺的學習資源都是免費學習的，所以不存在為了盈利而雇傭用戶發表虛假評論的現象，這在一定程度上保證了樣本的有效性。我們構建的微信公眾平臺的評價指標分類是在發展比較成熟的移動學習資源評價模型基礎上形成的，對于評價內容的編碼，我們選取了長期從事移動學習資源研究的專業人員，對于評價內容的分類進行分類。對于評價指標的信度檢驗，本研究還邀請了兩位教育技術領域的專家（熟悉移動學習且具有較強的專業水平）對上述11個初始指標進行預評價，并進行Kappa一致性檢驗。統計結果表明，兩位評價者的一致性系數Kappa=0.812，具有很好的一致性。

5.樣本分析。通過對50個微信公眾平臺的1000條用戶評論進行內容分析和編碼，剔除過于簡單的無任何價值的評論信息，共計得到1125條分類條目，其中一條評論信息可以被歸到多個分類維度。

各個評價指標對應的簡單數量比例圖2所示。

從圖2我們可以分析得出，內容質量是微信公眾平臺學習者最為關心的指標，所占比重高達65%；內容數量（25%）、多樣化展示（21%）、學習體驗與一致性（34%）、學習反饋與評價（39%）和可獲取性（27%）是學習者較為關心的第二層次的指標內容；內容粒度與資源粒度（14%）、內容原創性（6%）、媒體表征（16%）、交互設計（17%）、情境適應與個性化（13%）這五項是第三層次的指標項，所占權重相對較少（見圖3）。

圖3 微信公眾平臺學習資源評價指標比重分層圖

（三）微信公眾平臺學習資源評價層次模型

經過對微信公眾平臺用戶評論的內容分析，我們認為初始評價指標模型的十一項指標在微信公眾平臺評論里有所涉及。通過歸納，我們將十一個指標分成學習資源內容、教學設計和學習評價三個類別，這三個類別也即是第一級評價指標，每個類別下的詳細指標即為第二級指標，由此確立了針對微信公眾平臺學習資源評價的一二級指標，形成微信公眾平臺學習資源評價層次模型，如圖4所示：

圖4 微信公眾平臺學習資源評價指標層級圖

1.學習資源內容。由于內容質量、內容數量、內容粒度與資源粒度和原創性這四個指標都是針對學習資源內容的評價，因此，我們可以將它們納入學習資源內容這個一級指標中。

2.教學設計。微信公眾平臺的設計初衷并不是為教育所用，但其教育功能的發揮也離不開相關的教學設計，所以我們將這些指標中與教學設計相關的指標歸入教學設計這個一級指標，包括媒體表征、交互設計、情境適應與個性化、多樣化展示四個二級指標。

3.學習評價。學習者對于學習資源的評價不僅僅包括學習反饋與評價，還包括對于學習體驗與一致性、可獲取性。

三、評價指標的權重設計

在確定了評價指標之后，我們需要通過一定的方法對各項指標進行統計分析，得出評價值。雖然我們已經通過內容分析法對微信公眾平臺用戶評論的指標進行了簡單量化的分析，但是沒有確定具體的權重。通常來說，權重的確定是根據專家的知識來確定的，本研究使用的是層次分析法（AHP）。

（一）研究方法

層次分析法（The Analytical Hierarchy Process，簡稱AHP）是20世紀70年代中期由美國運籌學家Saaty.TL教授提出的，它將決策者的定性判斷與定量分析相結合，這種方法1982年介紹到我國[14]。

AHP是適合分析多目標、多準則和多因素發展系統，基本原理是：首先圍繞一個問題目標，將復雜問題分成若干層次，構造出問題的層次模型；然后按照AHP的標度原理，將同一層次的各要素之間的相對重要程度進行兩兩判斷，比較重要性，以此計算各層要素的權重；最后根據組合權重并按最大權重原則確定影響問題的最優因素。

（二）評價指標設計的構建過程

1.建立層次結構模型。要運用層次分析法，首先涉及到的就是建立層次結構模型。我們需要對問題進行詳細分析，并且將因素屬性分解，根據具體問題選定影響因素并建立相應的層級。

2.判斷矩陣的構造。從層次結構模型的第二層影響因素開始判斷各個層次因素的權重，本研究用1-9對比尺度構造判斷矩陣。

3.層析單排序和一致性檢驗。層次單排序即依據構造的判斷矩陣進行權重的計算。本文運用特征根法進行單排序。由于人們在進行判斷時具有一定的模糊性，因此我們接下來需要做一致性判斷。判斷當時，則說明矩陣具有一致性；反之，說明需要進行修正。

4.計算最下層的權重，并且進行一致性檢驗。

5.確定最佳方案，計算同一層次所有元素相對上一層次的相對重要性的權值。

（三）微信公眾平臺學習資源評價采用的AHP算法

計算各判斷矩陣的最大特征值和特征向量，并且檢驗矩陣的一致性。這里我們主要采用根法計算。根據標度理論構造判斷矩陣，計算判斷矩陣中每行所有元素的幾何平均值，并計算判斷矩陣的最大特征值，最后進行一致性檢驗。查出相應的平均隨機一致性指標RI（Random index）（見表2）所示。

隨機性、一致性比值CR=■，當CR<0.1時判斷矩陣一致性是可以接受的。

在對微信公眾平臺學習資源評價指標的專家問卷調查中，整個評價過程是由10個專家全程參與，我們對各個相關人員賦予相同的權重，即每個人0.2的權重系數。在整個過程中，10位專家通過調研、資料采集等多方位的工作后才得出最后的結論，這對評價的客觀性和準確性得到了保證。

筆者在對回收的10份問卷結果按各因素的重要性得分用AHP方法計算各因素的相對權重。本文需要對微信公眾平臺學習資源評價指標以及其子項目進行權重的確定。在權重的確定中，我們確保每個專家填寫的問卷和內容都通過一致性檢驗。對各級指標的計算結果參見表3-6。

通過檢驗，以上各個矩陣的CR均小于0.1，則證明層次總排序具有一致性，因而得到所示的微信公眾平臺學習資源評價指標權重的總體分布（見表7）。

表7 微信公眾平臺學習資源評價體系總的權重分布圖

四、研究結論及建議

根據上述的研究分析，我們認為微信公眾平臺學習資源評價指標與一般的移動學習資源評價指標總體相似，但又根據微信公眾平臺的資源特性有自身的特點，設計了3個一級指標和11個二級指標。通過運用內容分析法對微信公眾平臺成人學習者用戶評論的內容進行量化分析，我們發現學習者對于學習內容的質量的關注度最高，其次是內容數量、多樣化展示、學習體驗與一致性、學習反饋與評價和可獲取性，而對于內容粒度與資源粒度、內容原創性、媒體表征、交互設計、情境適應與個性化這五個方面所關注的相對較少。

對于這是一個評價指標的權重分布，運用層次分析法對專家調查結果進行分析，最終結果顯示，學習內容的質量所占權重最高，達22.67%，其他的指標權重分布與學習者的用戶評論得出的關注程度大致相當。

建議在面對成人學習者設計與開發微信公眾平臺學習資源時，要首先關注內容質量的提升，確保學習內容準確無誤，學習資源內容的設計應該追求資源本身的標準性和再生性[15]；其次，在保證內容質量的同時，要關注微信公眾平臺學習資源的內容數量、成人學習者的學習體驗、多樣化展示、學習評價和學習資源的可獲取性；最后，微信公眾平臺的設計者也應保持學習資源的原創性、豐富媒體的表現、強化交互設計和個性化。

移動學習資源評價研究是移動學習資源研究的薄弱環節，如何運用多種方法、多種角度去構建移動學習資源評價體系，確定權重比例是今后的發展方向。就微信公眾平臺學習資源而言，本研究的評價指標分析的主要角度是成人學習者和專家，今后的研究可以從技術研發者、微信運營者、教學管理者等多個角度去研究微信公眾平臺學習資源的評價指標，這是未來的研究方向。

參考文獻：

[1]柳玉婷.微信公眾平臺在移動學習中的應用研究[J].軟件導刊（教育技術），2013，12（10）：91-93.

[2]徐梅丹，蘭國帥，張一春，等.構建基于微信公眾平臺的混合學習模式[J].中國遠程教育，2015（4）：36-80.

[3]趙慧，史彥.國內移動學習資源研究綜述[J].成人教育，2014（9）：28-30.

[4]J. C. Nesbit， K. Belfer， T. L. Leacock. LORI 1.5：Learning Object Review Instrument[EB/OL]. http：//www.elera.net/， 2004.

[5]Chicago Public Schools Dept. iPad App Asses-sment Rubric[EB/OL].http：//mobilary. Wikispaces.com/apprubric， 2011.

[6]Mayra Aixa Villar.7 Essential Criteria for Evalu-ating Mobile Educational Applications[EB/OL]. http：//mayratixavillar.wordpress.com/2012/12/06/7-essential-criteria-for-evaluating-mobile-educational-applications/，2012.

[7]詹青龍，元梅竹.移動學習資源建設的質量屋模型構建[J].中國電化教育，2009（10）：51-56.

[8]程罡，高輝，余勝泉.基于真實用戶評論信息構建移動學習資源的評價模型[J].現代遠距離教育，2014（1）：43-53.

[9]葉寶林.遠程教育背景下移動學習資源的評價研究[J].黑龍江生態工程職業學院學報，2014（7）：56-58.

[10]陳峰.基于微信的微型移動學習資源設計研究[D].大連：遼寧師范大學，2014.

[11]盧勝男.基于微信公眾平臺的微型移動課程的設計與研究[D].上海：上海師范大學，2014.

[12]Bernard Berelson. Content analysis in communi-cation research[M]. New York： Free Press，195：18.

[13]李本乾.描述傳播內容特征，檢驗傳播研究假設[J].當代傳播，2000（1）：47-51.

[14]Saaty T.L， How to make a decision： The Analytic Hierarchy Process. European Journal of Opera-tional Research， 1990（48）：9

[15]孫傳遠.基于泛技術觀的我國開放大學課程學習資深設計[J].職教論壇，2013（24）：52-56.

責任編輯 王國光