實驗教學研究方法(2)：問卷設計

艾 倫

?

實驗教學研究方法(2)：問卷設計

艾 倫

摘 要：討論中小學實驗教學問題研究中調查問卷的分類和設計。重點對問卷的信度、效度以及題目的客觀、量化等問題進行分析和設計說明。

關鍵詞：數據挖掘；信度；效度；客觀；量化

中小學實驗教學問題研究少不了采用問卷調研法，伴隨問卷調研還需要進行訪談。本文將對調查問卷的設計方法進行較為詳細的討論，并在后面給出設計案例。

一、問卷的分類

一般情況下調查問卷可以分為兩種類型，一種是用于假設檢驗的問卷調查與數據采集，另一種是用于數據挖掘的問卷調查與數據采集。兩種問卷在設計上要求是不同的。

1.用于假設檢驗的問卷

假設檢驗的研究方法是事先對被研究對象建立一個假設(記作H0)，再選取合適的統計變量，使得該變量在H0成立時其分布為已知。通過問卷回收采集到的實測樣本，用樣本值計算出統計量的值，并根據預先給定的顯著性水平做出拒絕或接受假設H0的判斷。常用的假設檢驗方法有t檢驗、F檢驗、X2檢驗等，在教學問題研究中它們對樣本空間的大小要求不高，一般為25以上就可以。

由于假設檢驗研究方法事先對被研究對象有了一個期望假設，并選取了統計變量，所以在設計調查問卷時必然選擇與期望假設有關的一些問題，以便在將來能用它們計算出統計量的樣本值。這種情況下設計出的問卷受到人為傾向的影響，在問題選取上不夠廣泛，采集到的數據其信息量受到限制。另外，在教育實驗或教學實驗研究的現實情況下，人們受到教育心理學研究的影響，在設計調查問卷時更加關注被試的心理感受和主觀意愿，這使得問卷的問題通常失去客觀性，而變量不具有客觀性對科學判斷是不利的。中小學實驗教學是一個多變量、信息量巨大的復雜問題，我們對它的研究更多的是使用數據挖掘研究方法。而假設檢驗的研究方法和調查問卷是人們熟知和經常采用的，這里就不再進行討論了。

2.用于數據挖掘的問卷

“數據挖掘是在大型數據存儲庫中，自動地發現有用信息的過程。數據挖掘技術用來探查大型數據庫，發現先前未知的有用模式。數據挖掘還可以預測未來觀測結果……”[1]顯然，它是從大量的數據中通過算法搜索隱藏于其中信息的過程，使用的各種算法也大多都是基于統計學的。它與假設檢驗的最大區別是事先不做期望假設，但是對數據的依賴非常強，要求數據量要足夠大。數據挖掘通常是通過統計分析、在線處理、情報檢索、機器學習、專家系統和模式識別等諸多方法實現發掘隱藏于事物中規律的目的。

圖1　本文邏輯思維導圖

用于數據挖掘的問卷為保證最終得到的數據量足夠大且不丟失信息，一般選取的樣本數要非常多(應該在數百至數千甚至更多)，題目涉及的內容也必須覆蓋研究對象的所有方面，因為我們并不知道即將得到的結論是什么。但是，這并非是說對樣本數和題目范圍不加限制，沒有期望假設也并非沒有明確的研究目標。其實在設計這種問卷前的準備工作應該是十分科學和規范的，需要對被試預先隨機抽樣，必須對變量進行嚴格選擇。本文主要討論用于數據挖掘問卷的設計問題。

二、數據挖掘問卷設計

用于數據挖掘的問卷具有一定的特點，在進行設計時必須逐一加以考慮，此處將對設計中最為重要的一些問題展開討論。

1.問卷設計流程

下面按照先后順序將問卷形成流程的各個環節開列出來。

(1)確定研究目的與研究對象。

(2)根據研究目的，針對研究對象用Delphi法找出所有相關變量。

(3)對變量進行分類，并要求它們滿足正交性與完備性。

(4)形成問題框架，再根據該框架建立二維變量關系表。

(5)在二維變量關系表中填寫將要向被試提出的問題，同時考慮它們的客觀性、量化性，并應滿足信度與效度要求。

(6)確定被測試的對象。

(7)撰寫引導語，形成標準形式問卷。

2.客觀與量化問題

問卷向被試提出一系列的問題期待人們的回答，被試在回答問題時其實正是在做一個判斷，為使他們的判斷滿足科學性(盡量不使用價值判斷與認知判斷)條件，所提出的問題就應該具有一定的客觀標準和量化水平。

(1)客觀標準

該項要求就是盡量克服判斷者的主觀性，將主觀問題轉化成客觀問題，把提問被試如何想的問題變成提問被試如何做的問題。例如，為了了解學生動手操作能力水平，可以提問“你覺得自己的動手能力強嗎？”這就是一個主觀問題，反映學生對自己能力水平是怎樣考慮的。但是如果將問題改為“你的自行車壞了，你是自己動手修理，還是在別人幫助下修理，或者是送到修車部修理，或者干脆不修理而直接換一輛新的？”通過這種處理，問題就成為一個客觀問題了，它不是反映被試如何想的，而是客觀地反映被試是如何去做的。顯然，客觀問題的可信度遠高于主觀問題，因為被試回答客觀問題時是在做科學判斷。

(2)量化水平

一些問卷題目本身就是量化的，如向被試提問：“你們實驗室的生均活動面積是多少？”但是還有大量的作為心理或生理感受的問題并不是量化了的，如題目的題干為：“你們實驗室的燈光亮度適宜嗎？”此時一般采用里克特5級分度量化，即對這個提問可以提供5個備選答案讓被試選擇，它們分別為：A.非常適宜，B.比較適宜，C.一般，D.比較不適宜，E.非常不適宜。此題為單選題，被試選擇后對答案編碼就可以得到量化的結果。

3.信度與效度

問卷的信度與效度是在問卷調研中人們最為關注、討論最多問題，一份合格問卷的產生要求其所列出的題目必須同時滿足信度要求和效度要求。

(1)信度問題

信度是指問卷中所提出的題目在回答后的可信程度(即一致性、可靠性以及穩定性)。為了增加題目的信度，常用的方法是：第一，將主觀問題盡量變成客觀問題。這種方法前文已經做了介紹。第二，圍繞原問題再提出一些被稱為是“測試條件”的相關題目。例如，向被試提問：“在教學使用中，您認為投影機亮度是影響投影效果的最重要因素嗎？”這是一個主觀題，并且不易做客觀性轉化而變成一個客觀題。可以設想被試恰好是一位正在使用一臺全新高亮度投影機的教師，并假設他并沒有使用過其他低亮度投影機的經歷，在沒有比較的情況下他是不會對投影機亮度這個因素的重要性有正確的認知。所以，對于他回答這個題目的信度是很低的。為了提高這個問題的信度，我們必須同時增加一些起著“測試條件”作用的相關題目，如：“您正在使用的投影機其燈泡已經累計工作了多少小時？”“您曾經使用過幾臺投影機，每臺投影機使用的累計時間數是多少？”“您使用投影機的教室是否掛上遮光窗簾？”等一系列客觀題。在考慮了這些“測試條件”的情況下對原問題的回答進行綜合判斷并給予適當的加權，才能使結果具有高度可信性。規定與使用“測試條件”是數據采集中控制變量、降低干擾，從而得到可靠數據的有效途徑[2]。

(2)效度問題

效度是指問卷中所提出的題目是否與該項研究的目標與目的切題，它反映了題目針對研究目標與目的中需要解決問題的有效程度(即有效性和正確性)。為了提高題目的效度，通常需要針對欲達到的目標與目的反復論證列出的題目。前文介紹了問卷設計流程，前面的部分是：“第一，確定研究目的與研究對象；第二，根據研究目的，針對研究對象用Delphi法找出所有相關變量；第三，對變量進行分類，并要求它們滿足正交性與完備性。”其實，這些內容就是對問卷的有效性進行了規定，按照這些變量而設計出的題目應該都是高效度的。

(3)信效度測量

教育測量學上是非常重視測試的信度與效度的，并且提供了經典的公式和算法得到一份問卷精確的信度值與效度值。但是，這些計算只有在問卷回收、數據采集整理之后，才可利用采集到的數據進行計算和測度分析。它們可以真實地反映出我們采集到的數據的可信性與有效性如何，卻無法在數據采集前對問卷的信度與效度進行控制。

(4)三角互證與多角互證

傳統的問卷設計，為了提高問卷中題目的信度與效度還經常采用三角互證或多角互證的方法。在教育教學研究中的三角互證法就是將研究者、教師、學生這3個不同角色對問卷中一個問題的回答放在一起進行分析，從3個不同角度論證答案的真實可信性和正確有效性。而多角互證法就是讓參與的角色更多一些(如增加教學主管、學校領導、學生家長等)，并通過除了問卷之外的訪談等形式多角度地驗證問卷的信度與效度。顯然，三角互證與多角互證都是在問卷回收與訪談進行之后，通過對結果的分析做出的判斷，它們同樣不能在事先解決問卷的信效度。

信效度測量和三角、多角互證都無法在設計階段解決問卷的信度與效度問題。所以，要想使得設計出的問卷具有較高的信度與效度，就應該采用將主觀題目客觀化、給主觀題目增加測試條件以及按照規范化的設計流程(科學選擇變量)進行操作的方法對問卷進行預處理。

三、問卷設計舉例

為了能夠更加清楚地了解用于數據挖掘問卷的設計方法，我們通過一個中小學實驗教學問題研究的實例具體說明問卷的設計流程。

1.確定目的對象

研究目的：發現實驗教學對整個教學系統的作用。

研究對象：根據教學系統三分論[3]，研究對象應該包括教師和學生(主體部分)、實驗教學內容(客體部分)以及實驗教學環境與器材(教育裝備)。

2.選擇相關變量

運用Delphi法(詳見本欄上期文章《實驗教學研究方法(1)：測量與評價》)選擇相關變量。對應上述確定的研究對象所選擇的變量開列如下。

(1)教師教學行為相關變量：實驗教學設計、實驗教學組織。

(2)學生學習行為相關變量：學生分組協作情況、動手操作情況。

(3)實驗教學內容相關變量：物理課實驗、化學課實驗、生物課實驗、科學課實驗。

(4)教育裝備配備相關變量：實驗室生均活動面積、器材先進程度、設備完好率。

需要說明的是此處開列的變量(項目)并不完備，只是為了舉例說明方便(太多的變量文中不易展現)而將部分變量寫出來的參考項目，與實際情況具有差距。

另外，分析后發現這些變量都應該屬于輸入變量，對于輸出變量(即產出目標)可做如下設定。

(1)實驗教學計劃目標。各科實驗教學計劃情況，包括實驗次數、實驗內容等。

(2)實驗教學實施目標。各科實驗教學完成情況，包括完成人數、完成水平等。

(3)實驗教學評價目標。各科實驗教學評價情況，包括測量方法、評價結論等。

3.形成問題框架

論證變量的正交性與完備性。為了問題說明比較清楚形象，此處采用了坐標圖像的方式(如圖2所示)。

圖2　變量框架坐標系

4.建立變量關系

根據變量框架建立變量之間關系的表格。因為輸出變量共有3個(實驗教學計劃、實驗教學實施以及實驗教學評價)，所以應建立3個表格(見表1～3)。

表1　實驗教學計劃相關變量表

表2　實驗教學實施相關變量表

表3　實驗教學評價相關變量表

5.填寫相關題目

在上述表格的相應單元格中填寫相關的題目，表4顯示了部分題目的填寫情況。這樣做的目的是為了保證問卷題目的完備性，同時保證了數據采集中不會丟失信息，因為信息的缺失將對后期的數據挖掘和得出的研究結論產生極大不良影響。

6.確定被測試者

在題目的后面標注出被測試對象，可以用符號代替，如：學生用S表示，教師用T表示等等(見表4)。

表4　題目填寫舉例(實驗教學實施)

7.制作標準問卷

將題目按照被測試對象分類，分別形成針對不同對象的問卷。在問卷前面撰寫引言、調查意義和填寫注意事項等，并注意要有表示感謝的內容，最終形成一個標準的問卷。

參考文獻

[1] [美]陳封能,斯坦巴赫,庫馬爾.數據挖掘導論:完整版[M].范明,范宏建,譯.北京:人民郵電出版社,2011:2.

[2] 艾倫,興喬.教育有沒有大數據時代[J].中國教育技術裝備,2014(4):5-6.

[3] 艾倫,興喬.教學系統三分論[J].中國教育技術裝備,2012(32):9-10.

作者信息

艾倫，教授，本刊特約撰稿人。首都師范大學，100048

Research Method of Experimental Teaching (2):Questionnaire Design

Ai Lun

Abstract:The classification and design of the questionnaire in the study of experimental teaching of primary and middle school. The reliability and validity of the questionnaire and the objective and quantitative of the questions are analyzed and designed.

Key words:data mining; reliability; validity; objective; quantification