基于層次分析法的《實驗針灸學》教材評價指標體系構建

趙雪,劉陽陽,王秀云,郭義

(天津中醫藥大學,天津 300193)

·針灸教學·

基于層次分析法的《實驗針灸學》教材評價指標體系構建

趙雪,劉陽陽,王秀云,郭義

(天津中醫藥大學,天津 300193)

教材評價在教學研究和教學活動中具有重要價值。該文以《實驗針灸學》教材評價指標體系的構建為例,探討了層次分析法用于教材評價的過程和方法,確立了《實驗針灸學》教材適用性評價的3個層次、4個維度和20個評價指標,并對指標層的各子項目進行了權重賦值,以此為基礎研制了評價量表并開展了初步評價,以期為中醫類教材評價工作提供參考。

教材評價;層次分析法;評價指標;實驗針灸學;教育,針灸

教材是教學活動的基本要素之一。評價教材在教學過程中是否適用,對于甄別教材水平、總結經驗與不足、推動教材改革、指導后續教材編寫等都具有重要價值[1]。中醫類教材在使用過程中,同樣需要開展常設性的教材適用性評價工作,其實質是價值判斷,即通過對中醫類教材的科學性、有效性、使用效果等進行綜合分析,形成對教材總體價值的認知。這種認知在以往多依靠教師經驗、教材比對、學生反饋等途徑形成一定的感性認識,尚沒有相對穩定、客觀、規范的定量評價工具。筆者以2012年出版的全國中醫藥行業高等教育“十二五”規劃教材《實驗針灸學》(第9版)為例,探索了構建這一評價工具的一些思路和方法。

1 評價指標體系的構建思路

評價指標體系的構建是開展評價的基礎。因此在制定教材適用性評價工具時,應首先構建相應的評價指標體系。

一般來說,評價指標體系應包含評價指標、指標權重和評價標準三個系統。由于教材評價是要獲得對教材的價值判斷,而教材的價值體現在其能否實現教育目標及實現的程度上,因此,教材的評價指標體系應與相應課程的教育目標相契合。不同課程由于其教育目標不盡相同,教材的評價指標體系也會存在差異,這種差異可能體現在具體評價條目的不同,也可能體現在指標權重的變化,而評價標準應是一個相對穩定的系統。

國內外已有一些教材評價工具,如針對基礎教育階段的教材,美國科學促進協會“2061計劃”采用等級量表從內容和教學分析兩個方面分別設置了評價標準[2];英國蘇克薩斯方案使用了“引言、描述性分析、教材使用、評估、具體情境提示”5個評估維度;比利時的教材評價體系包含了“外觀、內容、結構、可讀性、插圖、學業評價、教材使用”[3];國內有學者認為教材評價指標應至少包含“知識、思想、學習主動性、編寫水平、與教師和學生水平匹配程度以及教材特色”6個維度[4]。20世紀90年代起,教育部組織國內著名高校的專家學者策劃及編寫了各專業的高等教育系列教材,為了不斷提高教材編寫質量,也曾組織專家設計了一個包含內容質量、編校質量和印刷質量的3級22項教材評價指標體系[5]。隨著高等教育教學理念的發展,“以學生為中心”“以能力為中心”“以活動為中心”也成為了教材評價的新方向[6-8]。

上述評價工具在一定范圍內具有科學性、實用性和可操作性,但對于具體學科教材、具體評價使用者及評價目的,由于評價時的側重點不同,評價指標也應有所區分。《實驗針灸學》教材評價指標體系的構建,是在遵循現有評價工具的基本要素上,結合其自身學科特點和學生學習目標而綜合確立的。

2 評價指標體系的構建方法

筆者在既往開展的復雜系統評價方法研究中,應用層次分析法(Analytic Hierarchy Process,AHP)開展了一些探索性工作,如對國家標準《針灸技術操作規范》臨床適用性的評價、國醫堂運行情況的評價等[9-10]。AHP是對定性問題進行定量分析的一種決策方法[11-13],20世紀70年代由美國匹茲堡大學T.L.Saaty教授提出。其基本步驟是①依據評價目的,將目標進行層次性分解;②對同層指標的重要性進行定性描述,建立兩兩比較判斷矩陣;③計算各元素的權重,由此建立出評價模型[14-16]。

與一般的定性分析方法相比,AHP的優勢在于,它將研究對象作為一個系統,通過分解、比較、綜合的思維方式進行決策,將多目標、難以全部量化的決策問題轉化為單目標問題,通過兩兩比較確立各層次中每個因素對結果的影響程度,因此尤其適用于對多層次、多要素的復雜問題進行分析。在《實驗針灸學》教材適用性評價指標體系的構建中,筆者同樣應用了這一方法。

2.1 評價指標的確立

《實驗針灸學》課程的教育目標,是培養學生對針灸作用理論、作用原理和作用規律的現代科學內涵的認識,將其內化為學生的針灸科研素養,激發學生持續學習終身學習的動力,這三方面是知識→思維→態度層級遞進的關系。圍繞這一教育目標,筆者在教材評價指標中設置了如下4個維度,①知識維度,主要是從教材內容的選擇編排上,考察其能否體現針灸現代研究取得的重要成果和學科發展前沿,與學生先驗知識和認知規律是否相匹配,與相關學科能否有效銜接等層面的問題;②思想維度,主要從教材的思想內涵上,考察其思想性、人文性、文化性是否有助于學生建構科研思維模式,形成基本的科研素養,包括實事求是的態度、批判性思維、溝通能力、協作能力等;③動力維度,主要從情感態度上,考察教材是否有助于激勵學習,如激發興趣、有助自學、啟迪思維等;④編排維度,主要從教材的編制水平上,考察教材編寫質量,如排版形式、圖表呈現、裝幀印刷等。

據此筆者建立了《實驗針灸學》教材評價指標池,上述4個維度作為一級指標,即準則層指標;各維度中細化的評價內容作為二級指標,即具體的指標層條目,結合專家咨詢、研討等方法,確立了《實驗針灸學》教材適用性評價的3個層次、4個維度和20個評價指標(如圖1所示)。

圖1 《實驗針灸學》教材適用性評價指標池

2.2 指標權重的計算

2.2.1 建立兩兩比較矩陣

采用1～9標度打分法,對評價指標各層次中的元素進行兩兩比較,建立成對比較判斷優選矩陣。詳見表1。

表1 各層次評分標準

例如,在教材評價指標體系中,準則層由內容安排(B1)、思想內涵(B2)、激勵學習(B3)和編制水平(B4)構成。如認為內容安排(B1)比編制水平(B4)稍重要,則其比例標度為 3,由此得到準則層子目標成對比較判斷優選矩陣,詳見表 2。同理,可得到指標層子目標成對比較判斷優選矩陣,詳見表3～表6。

表2 準則層子目標成對比較判斷優選矩陣

表3 B1指標層子目標成對比較判斷優選矩陣

表4 B2指標層子目標成對比較判斷優選矩陣

表5 B3指標層子目標成對比較判斷優選矩陣

表6 B4指標層子目標成對比較判斷優選矩陣

2.2.2 計算權重系數

參照“用電子表格(Excel)實現層次分析法(AHP)的簡捷計算”[17]一文中的方法,將上述矩陣輸入Excel,計算出各層次指標的權重系數,詳見圖2。

具體實現方法以H3單元格為例。

①F3中輸入公式“=B1*B2*B3*B4”,下拉公式,得到“F4:F6”區域數值;

②G3中輸入公式“=F3^(1/m)”,此處m=4,下拉公式得到“G4:G6”區域數值;

③G7中輸入公式“=SUM(G3:G6)”;

④H3中輸入公式“=G3/$G$7”即可。

同理得到指標層各子目標的權重系數,將其進行歸一化處理后,得到各指標權重系數,詳見圖3。

從計算出的權重系數可以看出,評價的 4個維度權重之比大約為 4:1:3:2,即內容安排對于評價教材價值的貢獻度最大。

圖2 權重系數

圖3 各層次指標的歸一化權重系數

2.2.3 一致性檢驗

在計算歸一化權重系數后,應檢驗所計算的權重系數是否符合邏輯,通常使用一致性指數 CI。一般認為,當CI＜0.10時,可能無邏輯混亂,即計算所得的各項權重可以接受。一致性指數的計算公式為:,其中,

具體實現方法如下。

①在I3中輸入公式“=B3*H$3＋C3*H$4＋D3* H$5＋E3*H$6”,下拉公式即得到“I4:I6”區域數值;

②在J3中輸入公式“=I3/H3”,下拉公式至J6;

③在J7中輸入公式“=AVERAGE(J3:J6)”得到最大特征根λmax;

④CI值處輸入公式“=(J7－m)/(m－1)”,此例m=4,即得到CI=0.0622。

由于CI＜0.10,可以認為,前面3中所賦予的權重系數是可接受的。

同理得到B1～B4指標層的CI分別為0.0034、0、0和0.0316,均小于0.10,即上述計算的各項權重均符合邏輯,可以接受。詳見圖4。

2.2.4 計算組合權重系數

將指標層和其所屬準則層的歸一化系數相乘,即得出各個評價指標的組合權重系數,將其由高到低排列,詳見圖5。

圖4 一致性檢驗

圖5 指標層各子項目的組合權重系數

2.3 評價標準及試評結果

表7 各項指標調研得分

基于上述評價指標體系,筆者設計了《實驗針灸學》教材適用性評價量表,對二級指標進行了具體描述,設置了5級評價標準(見附表)。借“十三五”規劃教材編寫會之機,在全國開設《實驗針灸學》課程的院校進行了初步調研,以天津中醫藥大學調研結果為例，根據每項指標好評率計算出綜合評分指數 GI,其計算公式為(其中 Pi為第 i個評價指標測量值,m為評價指標的個數),各項指標得分詳見表7。

將各項指標得分相加得到《實驗針灸學》教材適用性綜合評分指數為 89,說明該教材適用性良好,基本得到了各院校的肯定。

3 討論

指標組合權重排序結果表明,對于《實驗針灸學》教材而言,最為重要的維度是內容安排方面,其次是激勵學習方面。其中認知規律性、教學適應性和理論科學性是保證教材適用于教學的重要前提,也是匹配課程教學要求、實現專業培養目標的基礎保障,故在所有指標中所占權重最高,這也是符合預期的。其次在于啟迪學生思維、強化知識運用和提升學生能力方面,這與本學科的特點和課程主要任務密切相關。由于本課程是傳統針灸學與現代科學相結合的學科,培養現代化針灸人才是其重要任務之一,這就要求通過課程的學習,使學生具備針灸科研基本素養,具備發現問題、分析問題和解決問題的能力,提高創新實踐能力,這是衡量教材適用性的重要方面。教材結構、學術先進性、與相關學科的銜接和教材思想內涵等也是評價教材時應重點考量的問題。而在提升學生興趣、有助學生自學等方面,單一紙質化教材可能有其局限性,基于網絡平臺的各類數字化教學資源將有助于在這方面予以拓展。

本次研究表明,運用層次分析法構建《實驗針灸學》教材適用性評價指標體系是可行的,能夠為中醫類其他教材的評價工作提供一定方法學參考。但針對不同課程,應根據課程教育目標,具體問題具體分析。如基礎類教材,像《中醫基礎理論》《經絡腧穴學》等,其知識維度的評價指標權重可能要有所增加,對概念性知識、陳述性知識等也可有針對性地進一步增設二級指標;而對于偏重臨床的學科,如《中醫內科學》《針灸治療學》等,在原理、認知策略等方面的學習目標會有所加大,另外也會涉及到醫患溝通、人文關懷等情感態度方面的問題,在教材的評價中也應有所考慮。

[1]鄺麗湛.教材評價的本質及其價值分析[J].教育研究,2002,(7):33-36.

[2]張穎.美國“2061計劃”教材評價工具簡介[J].課程教材教法,2009,29(3):82-85.

[3]王曉麗.國外教材評價:基本特征、發展趨勢及啟示[J].課程教材教法,2016,36(9):107-113.

[4]高凌飚.基礎教育教材評價體系的構建問題[J].科學大眾,2007,(5):12-15.

[5]周義軍.關于建立高校教材評價體系的思考[J].現代出版,2011,(3):24-26.

[6]劉景超.高校創新教育教材評價體系的構建研究[J].當代教育論壇,2012,(5):34-37.

[7]王敏,劉俊.基于 B/S架構的高校教材測評系統實現[J].科教文匯(上旬刊),2015,(10):128-130.

[8]袁峰,趙立民.高校教材網絡化管理的創新與實踐[J].中國管理信息化,2010,13(1):67-70.

[9]齊蕊,王娜娜,李桂蘭,等.運用層次分析法評價針灸技術操作規范標準的臨床適用性[J].標準科學,2013,(3):59-63.

[10]劉佳佳,李桂蘭,郭義.淺析構建國醫堂運行評價指標體系的必要性[J].標準科學,2014,(2):33-35.

[11]董君.層次分析法權重計算方法分析及其應用研究[J].科技資訊,2015,13(29):218,220.

[12]劉瑩昕,劉颯,王威堯.層次分析法的權重計算及其應用[J].沈陽大學學報(自然科學版),2014,26(5):372-375.

[13]霍海峰,溫鮮.層次分析法在教學評價中的應用[J].科技視界,2012,(28):48-49.

[14]鄧雪,李家銘,曾浩健,等.層次分析法權重計算方法分析及其應用研究[J].數學的實踐與認識,2012,42(7):93-100.

[15]Li AT, Lin JW. Constructing core competency indicators for clinical teachers in Taiwan: a qualitative analysis and an analytic hierarchy process[J].BMC Med Educ,2014,14:75.

[16]徐曉敏.層次分析法的運用[J].統計與決策,2008,(1):156-158.

[17]先鋒.用電子表格(Excel)實現層次分析法(AHP)的簡捷計算[EB/OL].中國科技論文在線 www.paper.edu.cn/2013-3-7.

Construction of Evaluation Index System for the Textbook ofExperimental Acupuncture-moxibustion ScienceBased on the Analytic Hierarchy Process

ZHAO Xue,LIU Yang-yang,WANG Xiu-yun,GUO Yi.Tianjin Universityof Traditional Chinese Medicine,Tianjin300193,China

Textbook evaluation is of great significance in teaching studies and activities. By taking the establishment of evaluation index system forExperimental Acupuncture-moxibustion Scienceas an example, this article discussed the process and method of adopting the analytic hierarchy process for textbook evaluation: 3 levels, 4 dimensions, and 20 evaluation indexes were developed for the evaluation ofExperimental Acupuncture-moxibustion Sciencetextbook, and each component of the indexes was assigned weight, based on which, a scale was established and preliminarily evaluated, in order to provide reference for the evaluation of the textbooks of traditional Chinese medicine.

Textbook Evaluation; Analytic hierarchy process; Evaluation index;Experimental Acupuncturemoxibustion Science; Teaching, Acupuncture-moxibustion

R245

A

2017-01-18

附:《實驗針灸學》教材適用性評價量表

一級指標 二級指標 描述 好 較好 一般 較差 差1.認識規律性 符合認知規律,取材恰當,深度適宜2.教學適應性 與專業培養目標和課程教學要求相匹配內容安排3.理論科學性 正確闡述本學科的科學理論和概念4.結構系統性 結構嚴謹,完整體現學科體系5.學術先進性 反映本學科最新的研究成果和學術發展動態6.內部協調性 章節層次清晰,內容編排合理,彼此協調7.外部協調性 與其他相關學科配合協調思想內涵8.思想性 符合辯證唯物主義和歷史唯物主義思想9.人文性 體現對人文精神、科學精神和科學態度的倡導10.文化性 弘揚優秀文化11.激發興趣 能夠調動學習興趣,激發求知欲激勵學習12.有助自學 內容便于自學,有助引導新知識的構建13.啟迪思維 能夠啟發思維,引導主動思考和積極探索14.強化運用 以問題解決、推理和應用等形式強化知識運用15.提升能力 能夠促進創新能力和實踐能力的提升16.文字編寫 用詞準確,語言流暢,敘述生動,易讀易懂編制水平17.圖表繪制 圖表清晰、準確、美觀18.圖文搭配 圖文搭配合理,圖表有助于解釋文字、加深理解19.版式設計 版式規范統一,層次分明,色彩和諧,可讀性高20.裝幀印制 裝訂牢固,紙張質量好,印刷清晰

10.13460/j.issn.1005-0957.2017.09.1152

1005-0957(2017)09-1152-07

天津中醫藥大學本科課程建設項目(2017KC-A10)

趙雪(1983—),女,講師,博士,Email:zhaoxue0216@126.com

郭義(1965—),男,教授,Email:guoyi_168@163.com