基于層次分析法（AHP）的課程調查問卷設計

［摘" 要］ 課程問卷調查是開展學情分析及了解課程教學效果的有效手段。課程調查問卷質量的好壞直接決定了調查結果的全面性、針對性以及有效性。一直以來，課程調查問卷中存在問題設置缺乏理論支撐的現實問題，難以全面客觀地對學生課前基礎及課后掌握程度進行有效分析。針對問題，提出一種基于層次分析法（AHP）的課程調查問卷設計方法。構建課程調查問卷內容體系，自上而下逐層分析各類問題的權重，繼而明確問卷中各類調查問題的數量。利用層次分析法對某裝備課程進行了調查問卷設計，通過分析問卷結果驗證方法的可行性及有效性。

［關鍵詞］ 課程調查問卷；層次分析法；學情分析；教學效果

［基金項目］ 2021年度國防科技大學信息通信學院教育教學研究重點項目“基于虛擬仿真的××裝備教學研究”（ZY21A007）

［作者簡介］ 林志強（1990—），男，吉林樺甸人，碩士，國防科技大學信息通信學院講師，主要從事裝備效能評估研究；鄢睿丞（1984—），男，湖北襄陽人，博士，國防科技大學信息通信學院講師（通信作者），主要從事智能化指揮信息系統研究；蘇耀峰（1982—），男，河南鞏義人，碩士，國防科技大學信息通信學院副教授，主要從事指揮信息系統運維保障研究。

［中圖分類號］ G642.3 ［文獻標識碼］ A ［文章編號］ 1674-9324（2024）24-0014-04 ［收稿日期］ 2023-05-17

引言

課程問卷調查是指教師通過設置關于教學主體和教學客體相關情況的問卷，要求被調查者據此進行回答以收集教學資料的方法，主要用來進行教情分析和學情分析。課程問卷是開展調查的基礎，形式為一組與課程調查目標有關的問題表格。按照調查時間進行分類，課程調查問卷一般分為課前調查問卷、課中調查問卷及課后調查問卷。課前調查問卷主要用來對學生的基本情況進行摸底，從而進行有針對性的教學；課中調查問卷主要用來分析學生某一階段的學習情況，以此調節教學難度、進度以及方法；課后調查問卷主要用來對教學效果進行研判，為下一輪教學優化調整提供參考和借鑒。

從本質上來講，問題是課程調查問卷的核心，而問題設計的好壞，直接影響調查結果的可靠性和有效性。因此，正確而恰當地設計問題至關重要。在進行問題設計時通常要遵循的原則主要包括合理性原則、邏輯性原則、清晰性原則以及層次性原則［1］。合理性原則是指在問題設計時應該秉持客觀中立的態度，設計的問題不能帶有某種傾向性或暗示性，同時應該緊扣調查目標，避免偏離主題。邏輯性原則是指在問題設計時應該注意問題之間的邏輯關聯性，由淺入深，循序漸進。清晰性原則是指在問題設計時語言描述要做到清晰規范，不能出現模糊的概念或者存在歧義的表述。層次性原則是指在設計問題（選擇題）答案時要有一定的梯度，可參照李克特量表（五分量表）進行設置，便于作答和統計。

上述原則對課程調查問卷設計具有一定的指導意義，但并不能具體明確如何進行問卷設計。目前，大部分課程調查問卷主要是教師依據教學經驗進行設計，存在的主要問題是主觀性比較強，可能存在調查問題冗余、沖突、深度不夠等缺點，同時各類問題數量的確定尚無科學的方法指導。為解決這些問題，筆者提出了一種基于層次分析法的課程調查問卷設計方法，即先構建具有樹狀結構的課程調查問卷內容體系，再通過構造判斷矩陣求取各類調查問題的權重，最后利用權重確定問卷中各類調查問題的數量。

一、層次分析法概述

層次分析法（analytical hierarchy process， AHP）

是由美國運籌學專家Saaty于20世紀70年代初提出的一種綜合定性與定量分析的多準則決策方法［2］。這種方法條理清晰、使用方便、科學性強，能夠充分利用決策者的經驗對解決問題的方案進行抉擇，適用于一些難以完全用定量的方法來分析的復雜問題，目前在效能評估領域得到了廣泛的應用。

（一）基本思想

層次分析法的基本思想是將復雜的問題分解為若干層次，在比原問題簡單得多的層次上逐步進行分析。主要思路是根據決策目的和研究對象，把目標逐層分解為多個相互獨立且完備的組成因素，得到一個自上而下的層次結構模型，下層因素隸屬于某一上層因素，上層因素對下層因素有支配作用。通過按層分析，獲得各因素的權重，最終進行方案的優劣性排序［3］。

（二）主要步驟

層次分析法在應用過程中的一般流程主要包括六個步驟。其一，根據決策的目的以及研究對象對決策目標進行明確，梳理出影響目標決策的全部因素；其二，分析各目標因素之間的關系，構建“樹狀”目標因素層次結構模型；其三，邀請領域專家對同一層次各因素之間的重要程度進行對比，建立判斷矩陣；其四，計算判斷矩陣的最大特征值，求出判斷矩陣的一致性指標和隨機一致性指標，進而得出隨機一致性比例，利用隨機一致性比例對判斷矩陣進行一致性分析，若滿足一致性，則進行下一步，若不滿足一致性，則返回上一步重新構建判斷矩陣；其五，利用判斷矩陣求出各目標因素的權重；其六，依據目標因素權重，對目標因素的重要程度進行排序，完成決策。

二、課程調查問卷設計流程

利用層次分析法進行調查問卷設計的流程主要包括構建課程調查問卷內容體系、調查問卷判斷矩陣求解以及調查問卷題目數量設置三個步驟。

（一）課程調查問卷內容體系

課程調查問卷內容體系是開展問卷設計的基礎，一般來說，課程調查問卷的內容應該包含三個板塊，分別是課程板塊、教師板塊以及學生板塊。其中，課程板塊主要指課程的教學內容，涵蓋課程的各知識單元；教師板塊主要包括教學理念、教學方法、教學設計、教學水平等方面；學生板塊分為學生信息、學習動機、學習收獲、學習效果等幾個部分［1，4］。

（二）調查問卷判斷矩陣求解

根據課程調查問卷內容體系可知，調查問卷判斷矩陣主要包括：對于課程調查問卷內容而言與之有關的課程板塊、教師板塊、學生板塊等因素形成的判斷矩陣；對于課程板塊而言各知識單元形成的判斷矩陣；對于教師板塊而言教學理念、教學方法、教學設計、教學水平等因素形成的判斷矩陣；對于學生板塊而言學生信息、學習動機、學習收獲、學習效果等因素形成的判斷矩陣。由于上述四個判斷矩陣的求解方法基本相同，因此以各知識單元形成的判斷矩陣為例進行簡要介紹。

假設課程一共有n個知識單元，分別為S1，S2，…，Sn，構造各知識單元形成的判斷矩陣需要邀請教學專家對各知識單元之間的相對重要性進行評判。若用bij（i=1，2，…，n；j=1，2，…，n）表示知識單元Si對知識單元Sj的相對重要性，其取值通常以數字1～9及其倒數作為標度［5］，取值越大表示相對重要性越凸顯，則可構造出判斷矩陣B=（bij）n×n。

判斷矩陣的一致性檢驗以及各知識單元相對于課程板塊權重的計算，需要求解出判斷矩陣的最大特征值λmax及其對應的特征向量W。正規化求和法是一種計算判斷矩陣最大特征值及其對應的特征向量的常用方法［6］。先利用最大特征值計算一致性指標CI，然后通過查表，獲取隨機一致性指標值RI，最后計算隨機一致性比例CR=CI/RI，當CR＜0.1時，認為判斷矩陣具有滿意的一致性，此時各知識單元相對于課程板塊的權重即為特征向量W，否則需要對判斷矩陣進行調整。

（三）調查問卷題目數量設置

從課程調查問卷內容體系的層次結構分解粒度來看，問卷中涉及的調查問題類別共有n+8個（n為課程知識單元個數）。各類調查問題的數量依賴于預設的總調查問題數量N0以及最下層各調查問卷因素對于最上層調查問卷目標的權重αi（i=1，2，…，n，n+1，…，n+8），其中α1～αn分別為知識單元S1～Sn的權重，αn+1～αn+8分別對應教學理念、教學方法、教學設計、教學水平、學生信息、學習動機、學習收獲、學習效果各因素的權重。

對于預設的總調查問題數量N0，若取值太小則問卷的體量不夠，造成問卷的全面性不足；若取值太大，一是造成問卷中可能出現問題冗余，二是造成被調查人員由于填寫耗時過長而產生厭煩情緒。根據專家經驗，一般來說，預設的總調查問題數量N0取值在20～40之間比較合適。

由于最下層各調查問卷因素權重的計算方法大同小異，在此以各知識單元對課程調查問卷內容的權重（α1～αn）計算為例進行介紹。假設中間層因素課程板塊、教師板塊、學生板塊對課程調查問卷內容的權重分別為ω1、ω2、ω3，則有

αi=ω1Wi，（i=1，2，…，n）" " " " " " " " " "（1）

其中Wi為知識單元Si對于課程板塊的權重。

在課程調查問卷中，知識單元Si設置的數量Mi為

Mi=［αiN0］，（i=1，2，…，n）" " " " " " " " "（2）

（2）式中“［ ］”表示四舍五入取整。

三、課程調查問卷設計實例

本節以一門本科教育必修課“×××技術與裝備”的調查問卷設計實例進行介紹。由于課程專業性、崗位指向性較強，課前為了解學生的基本信息、學生對本門課程涉及知識的了解程度，以及對教學方式的主觀偏好，設計了課前調查問卷；課后為掌握學生的學習效果、授課教師的教學效果，便于后續對課程進行改進，設計了課后調查問卷。

課前調查問卷的目的在于“前測”，問卷中課程板塊設置的問題主要涉及一些比較淺顯的基本概念；課后調查問卷目的在于“后測”，需要與“前測”形成閉環，問卷中課程板塊設置的問題與課前調查問卷有對應關系，涉及內容深度和專業性較強。課前調查問卷中教師板塊設置的問題主要側重于對學生喜好或傾向的教學理念、教學方式進行了解，學生板塊設置的問題主要集中于了解學生的學習意愿，學習興趣和更高效的學習方式；課后調查問卷中教師板塊設置的問題更傾向于了解教學效果、教學設計和教學意見建議，學生板塊設置的問題偏重于了解學習收獲和學習效果。

由于利用AHP法對課前和課后調查問卷中各類問題數量進行設計的過程基本一致，此處以“×××技術與裝備”課程的課后調查問卷設計為例。先邀請教學專家對課程板塊、教師板塊以及學生板塊兩兩進行比較，得出判斷矩陣B0，經計算此判斷矩陣的隨機一致性比例為0.003 2＜0.1，滿足一致性條件，得到課程板塊的權重為0.65，教師板塊的權重為0.23，學生板塊的權重為0.12。

“×××技術與裝備”課程共有5個知識單元，同樣邀請專家對這5個知識單元的重要性進行兩兩對比，得出判斷矩陣B1。經計算此判斷矩陣的隨機一致性比例為0.009 5＜0.1，滿足一致性條件，得到知識單元一的權重為0.11，知識單元二的權重為0.36，知識單元三的權重為0.22，知識單元四的權重為0.10，知識單元五的權重為0.21。同理可計算教師板塊和學生板塊各下層因素的權重。經計算，教學理念對于教師板塊的權重為0.13，教學方法對于教師板塊的權重為0.18，教學設計對于教師板塊的權重為0.32，教學水平對于教師板塊的權重為0.37；學生信息對于學生板塊的權重為0.10，學習動機對于學生板塊的權重為0.21，學習收獲對于學生板塊的權重為0.40，學習效果對于學生板塊的權重為0.29。

預設的總調查問題數量N0=30，利用公式（1）（2）可計算出最底層各因素知識單元一、知識單元二、知識單元三、知識單元四、知識單元五、教學理念、教學方法、教學設計、教學水平、學生信息、學習動機、學習收獲、學習效果對于最頂層調查問卷內容設計總目標的權重，分別為：0.0715、0.234、0.143、0.065、0.1365、0.0299、0.0414、0.0736、0.0851、0.012、0.0252、0.048、0.0348；在問卷中設置的問題數量分別為：2、7、4、2、4、1、1、2、3、0、1、1、1。

為便于獲得學生對課程的真實評價，在課后調查時采用紙質匿名調查問卷，共計回收76份問卷，其中有效問卷76份，問卷有效率達到100％。經過統計分析，并與課前調查問卷進行對比，得到結論：學生通過學習本課程，知識的掌握程度較好；學生更傾向于理論和實踐相結合的教學方式；學生普遍認為交流研討及合作學習的效率較高；學生對課程教學總體水平比較認可；多數學生認為課程需要在增加裝備操作時間方面進行改進提高。

結語

課程調查問卷作為一種了解學生學習情況和教師教學效果的輔助手段，在教學評價以及教學改革中發揮了重要作用。長期以來，憑借經驗進行課程調查問卷設計暴露出很多弊端，尤其是調查問卷內容體系構建缺乏完備的指導理論，問卷中各類問題數量的確定缺少行之有效的方法，導致調查結果的全面性、針對性以及有效性難以得到保證。為解決上述問題，本文提出了一種基于AHP的課程調查問卷設計方法。先借鑒自上而下逐層分解細化的系統工程思想，構建了課程調查問卷內容體系，使得在進行問卷內容設計時有了可以參考的框架，接著利用層次分析法構造判斷矩陣求取各因素的權重，使問卷中各類問題數量的確定有了科學的方法可循，最后通過“×××技術與裝備”課程調查問卷設計實例驗證了所提方法的可行性及有效性。

參考文獻

［1］甄雪燕.中外醫學史教學方法調查問卷設計的體會［J］.

中國中醫藥現代遠程教育，2019，17（7）：15-16.

［2］李志猛，徐培德，劉進，等.武器系統效能評估理論及應用［M］.北京：國防工業出版社，2013：88-89.

［3］周華任，張晟，穆松，等.綜合評價方法及其軍事應用［M］.北京：清華大學出版社，2015：54-58.

［4］屈正庚.基于層次分析法的精品資源共享課有效性［J］.系統仿真技術，2018，14（1）：68-73.

［5］楊良斌.信息分析方法與實踐［M］.長春：東北師范大學出版社，2016：75-77.

［6］譚躍進，陳英武，羅鵬程，等.系統工程原理［M］.北京：科學出版社，2017：214-215.

Design of Course Questionnaire Based on Analytic Hierarchy Process

LIN Zhi-qiang， YAN Rui-cheng， SU Yao-feng， HUANG Jian-mei

（College of Information and Communication， National University of Defense Technology， Wuhan，Hubei 430010， China）

Abstract： Course questionnaire is an effective means to analyze the learning situation and to understand the effectiveness of the course teaching. The quality of the course questionnaire directly determines the comprehensiveness， pertinence and effectiveness of the survey results. For a long time， it is difficult to analyze the students’ pre-course foundation and post-course mastery in a comprehensive and objective way. To address this problem， this paper proposes a course questionnaire design method based on Analytic Hierarchy Process （AHP）. First， it constructs the content system of the course questionnaire， then analyzes the weight of various questions layer by layer from top to bottom， and then clarifies the number of various survey questions in the questionnaire. Finally， it uses this method to design the questionnaire for a course in actual teaching. The results of the questionnaire were analyzed to verify the feasibility and validity of the method.

Key words： course questionnaire; analytic hierarchy process; learning analysis; teaching effectiveness