【摘要】問卷是語文教育研究中使用最廣泛的研究工具之一,但中小學語文教師在問卷編制上存在一定的困難和問題。基于此,文章提出編制有效問卷的四個要點:第一,明確研究目的和研究問題,識別研究變量;第二,了解研究對象完成問卷的能力和動機;第三,基于理論框架,編制問卷題目;第四,通過問卷審查與試測來完善問卷。教師可以從以上四個方面對自己設計的問卷進行反思,深化對問卷編制理論的理解,以提高問卷質量。
【關鍵詞】語文教育研究;量化研究;問卷編制
調查研究是語文教育研究中的一種常用研究方法,而問卷是調查研究中主要的數據收集工具。研究者可以使用問卷,獲得關于研究對象的想法、感受、態度、信仰、價值觀、認知、人格和行為意向的信息。[1]通過問卷,研究者既可以獲得定量數據,也可以獲得定性數據,或者混合類型的數據。所以,問卷在量化研究和質性研究中都可以使用。本文主要從量化研究的視角,討論以收集定量數據為目的的問卷編制。
在量化研究中,多是使用問卷對研究變量進行測量,探討變量之間的關系。如果使用某個問卷收集的數據是有效的,就意味著測量結果確實客觀反映了想要測量的目標,并能適用于預先擬定的研究目的。為確保數據有效,在問卷編制階段,研究者就要依據科學的原理和程序編制問卷,信度、效度等指標能達到心理與教育測量學標準;要考慮研究對象的作答能力和動機,即他們是否能理解并回答問卷中的問題,以及是否愿意認真且如實填寫問卷,以確保能收集到與測量目標相關的真實數據。因此,研究者在編制問卷時,一方面要從科學研究的角度思考問卷的內容、結構和形式,另一方面也要站在研究對象的角度去體會,他們愿不愿意、能不能夠完成問卷。本文將針對中小學語文教師在問卷編制中出現的典型問題,闡述問卷編制的原則和策略,幫助教師在上述兩個要求的指引下,編制出能服務于語文教育研究的有效問卷。
一、明確研究目的和研究問題,識別研究變量
設計問卷題目,需要確定測量哪些研究變量。所謂變量,是指因個體不同而變化,或者具有不同值的特征,比如每個人與眾不同的人格、興趣、態度等;也可以是可變化的環境條件。研究變量的選擇,取決于研究者的研究目的和研究問題或假設。因此,編制科學有效的問卷,首先要明確研究目的,提出研究問題或假設,識別其中的研究變量,看是否適合使用問卷進行測量,這是編制問卷前須做的必要準備。[2][3][4]也就是說,研究者需要在一個完整的研究設計框架下,思考是否要使用問卷,以及用問卷測量什么,或者收集什么信息,再開始設計題目。很多教師編制的問卷看起來內容繁雜,結構不佳,目的不明確,數據分析無從著手,或難以使用數據達到研究目的,在很大程度上是對上述問題思考不足。
以某教師編制的古詩文學習現狀調查問卷為例,研究者為學生設計了十幾個題目,內容涉及學習興趣、能背誦的數量、對學習意義的認識、是否在寫作時運用、作業類型、聯想或想象策略的運用、課堂教學方式和學習困難等。從這些題目使用意圖的角度推測,研究者可能沒有想清楚從哪些方面去描述學生古詩文學習的現狀,所以,并不明確要測量哪些變量。這是一項以描述現狀為目標的研究,選擇這些內容作為研究變量是否合適,取決于研究要解決的問題。例如,如果現狀調查的目的是全面了解學生對于古詩文學習的狀態,發現問題,以找到改進方向,那么可以測量學生在古詩文學習方面的學習動機、學習策略和學業成就。如果除了了解學生的學習狀況,還想從學生角度了解古詩文課堂教學情況,那么除了上述內容,可能還需要與教師的課堂教學相關的變量。
再舉一例。使用問卷收集數據進行量化研究,可以檢驗變量之間的關系。某教師不僅想了解學生在古詩文方面的學習現狀,還想使用問卷調查,研究在古詩文方面教師的教和學生的學之間的關系。比如,教師熱愛古詩文,學生的學習興趣會不會更高;教師精通古詩文,學生會不會學得更好;或者教師在古詩文領域并不精通,但掌握了古詩文教學策略,學生會不會學得更好?;谶@樣的研究目的和假設,研究變量至少還應增加教師的古詩文學習動機、古詩文掌握水平、古詩文教學能力。須要注意的是,在這些研究變量中,對于有關能力的變量,僅靠自陳式問卷,不一定能準確測量,因為會受到社會稱許性(或者說“裝好”傾向)和受測者的自我認知水平的制約。比如,請教師在五點量表上評價自己在多大程度上能準確設置古詩文教學目標,或者能靈活選擇策略進行古詩文教學,收集到的數據是否符合現實情況,取決于教師是否愿意客觀評價自己,以及對自己能力的認知是否準確。如果不能確保這兩個條件,須同時使用其他方法進行測量,比如,測驗或表現性評價。提供情境,讓教師設計目標和策略,或在真實教學情境中進行觀察和記錄,再根據評價標準對其認知和能力水平進行更準確的推測。
二、了解研究對象,關注其完成問卷的能力和動機
在教育研究中設計問卷,教師容易忽略的一個環節,是對研究對象完成問卷的能力和動機的充分考量,這可能會導致收到無效或質量不佳的數據。所以,在問卷編制的準備階段,需要了解研究對象,確認他們是否適合問卷調查。[5]問卷調查需要能夠閱讀理解文本,根據指令如實作答。如果研究對象缺乏足夠的閱讀理解能力,就不適合用問卷收集數據。比如,如果研究對象是低齡兒童,就不適合使用自陳式問卷。此外,問卷主要是依靠研究對象的自我報告,如果對自我的覺察和認識不足,也會影響測量的準確性。
如果研究對象適合填答問卷,則需要進一步考慮其完成問卷的能力和動機,并基于此來設計問卷。具體來說,要從研究對象的角度思考,對于特定的問卷主題和內容,他們是否愿意認真填寫,是否有所顧慮,他們的閱讀水平如何,是否能理解題目表述,他們能保持專注的時長是多久;如果是網絡調研,還應考慮他們什么時間方便填寫問卷,等等。這些考慮會影響問卷各個部分的設計。比如,在撰寫問卷前言時,對調查目的和意義的描述,須盡量與研究對象有關系,或讓他覺得重要,以引發他們的興趣或重視;同時,強調對結果的保密措施,消除其顧慮;還可以告知其完成問卷所需的時間,讓受測者有心理準備或提前計劃時間。對于說明填寫方法的指導語,如果題目形式復雜,且研究對象理解能力可能不足,則可以附一個例題。語言表達出的語氣要誠懇、謙虛,盡量避免引發研究對象各種可能的消極情緒。問卷不宜過長,須考慮受測者年齡、注意水平、可用時間等,避免受測者因疲憊、厭煩或被打斷而造成數據質量不佳。如果研究者要使用問卷同時測量多個變量,可以將問卷劃分為幾個部分,用“第一部分”“第二部分”等作為小標題,這樣可以讓受測者在作答過程中稍作停頓,題目類型的變化還可以減輕疲勞。如果題目過多,耗時太長,可以分幾次施測。問卷題目的表述、形式、排列方式等都需要顧及研究對象的作答能力和意愿,后文還將作更多說明。
總的來說,如果研究者在設計問卷的時候,能懷有對研究對象的準確理解和體諒,就更容易理解和執行上述原則和策略,通過問卷與研究對象進行有效溝通,獲得更好的配合,在一定程度上能保障數據的回收數量和質量。
三、基于理論框架,編制問卷題目
如前所述,在量化研究中,問卷是重要的測量工具,科學的測量注重信度和效度。所以,問卷題目的內容、形式、語言表述等都須遵循一系列原則和標準。開發一個科學有效的問卷并不容易,在編制問卷前,可以先搜索文獻,看是否有已發表的工具可用。例如,教育研究中關注的學習動機、學習策略等,都有比較成熟的問卷工具可供選擇或借鑒。若確定沒有適宜的問卷,再去思考如何設計問卷以測量或調查相關研究變量。
分析中小學語文教師編制的問卷題目,比較突出的問題是,研究者不理解測量目標或者說研究變量的科學內涵,只基于自己的經驗和理解編題。由于對測量理論認識不足,對題目內容、數量和形式不能進行合理規劃。例如,很多教師在調查研究中都想了解學生在某領域的學習動機水平,通常會設計類似這樣的題目:你喜歡古詩文(也可能是“寫作文”“讀書”等)嗎?而且常常只有這一個題目用來測量學習動機。這個題目存在多個問題:第一,很容易受到社會稱許性,或者說“裝好”傾向的影響,導致測量不準確;第二,表述過于籠統,不同人理解可能不同,缺乏行為層面的描述。如果題目提供“喜歡”的具體表現,比如,“當我讀懂一首新古詩,我覺得很愉快”,或者“我會在課余時間讀古詩文”,受測者更容易準確回應;第三,“喜歡”并不能充分體現學習動機的內涵,學習動機還有更多的含義。要測量學生在某領域的學習動機,需要以有關動機的理論框架為依據,確定維度和/或指標,各維度或指標都應有若干有代表性的題目,確保完整覆蓋學習動機的內容范圍。比如,選擇內外部動機作為理論框架測量學生的學習動機,研究者可從學習某內容的內部動機和外部動機兩個方面各編制幾個題目,內部動機是指對學習本身的興趣所引起的動機[6]。具體來說,是對學習內容和過程、獲得知識和取得成就感興趣,可以圍繞這幾方面分別編制題目。如此,研究者可以根據理論描述,結合自己的觀察和經驗編制具體題目,也可以從測量相同或相似變量的工具中選擇或改編題目?;蛘咴L談相關人員,比如父母或老師,問他們:學生喜歡古詩文或其他嗎?有哪些表現?從訪談結果中提煉出能反映測量目標的代表性行為表現,轉化為問卷題目。同樣的,測量外部動機的題目也可以在選定理論框架的指引下,按這個思路編制。簡言之,圍繞某研究變量的理論框架編制題目[7],可以盡量確保問卷能反映要測量的目標,而且每個維度需要多編幾道題,以保證測量結果的可靠性,即信度。
在量化研究中,研究者會對收集到的數據進行統計分析,如何進行數據分析,影響到題目類型和形式的選擇。不同類型的題目,計分方式可能不同。通常,量化研究中的問卷多是封閉式問題,題目形式多為李克特量表,請研究對象根據自己的情況進行程度判定,如:
我讀古詩文,是因為能夠了解到很多我感興趣的東西。
1.完全不符合
2.不太符合
3.中間水平
4.比較符合
5.完全符合
使用這種題目形式,數據分析時不僅可以計算不同得分的人數及所占比例,更重要的是能夠獲得每個受測者在研究變量及其各維度上的分數,分析研究變量之間的關系,進而驗證研究假設或回答研究問題。
優質的問卷題目,除了考慮其內容和形式,還須格外重視語言表述的質量。中小學教師設計的問卷題目常有表述不清晰或不合適的問題,影響到數據的質量。例如,“在學習古詩文的課堂上,你經常不由自主地產生聯想或想象嗎?”老師想問的是學生是否會產生關于所學古詩文的聯想或想象,而學生對題目中“聯想或想象”的理解,卻未必與古詩文相關,導致收集到的數據可能不能提供教師想要的信息。再如,你經常完成的語文作業是什么?選項包括“常規作業”和“創意作業”,這兩個作業類型的含義和特征,作為受測者的學生可能并不清楚,不同的學生也可能有不同的理解,從而導致收集到的信息與實際不符。一般來說,語言表述方面應遵循的原則是,確保每個受測者以相同的方式解讀題目,且與研究者意圖一致,同時,不能影響受測者的作答意愿和真實反應。具體來說,研究者在表述的時候,語言越簡單越好,不用長句、雙重否定句;表述準確清晰,不出現錯別字、病句等,以免影響受測者對研究的科學性、權威性的感受;使用受測者熟悉的語言,盡量避免技術術語;使用中性語言,不使用有傾向性或引導性問題,以免提示了答案或引發受測者強烈情緒。[8]
四、問卷審查與試測,不斷優化問卷
問卷初稿形成后,需要請專家、研究人員或同事幫忙審查問卷,從多個角度提出建議。目的是就問卷的整體結構、題目類型、排列方式、語言表述等各種設計問題進行交流,以提升問卷質量。
在正式使用問卷之前,還有一個重要的步驟——試測??蛇x取與正式施測時的研究對象同質的個體20~30人,比如,研究對象是小學六年級學生,可以找不參與正式調查的小學六年級學生填寫問卷,通過試測了解受測者的作答狀態和可能出現的問題。比如,預估完成問卷所需的時間,發現可能會造成理解困難或受測者理解有差異的題目和指導語,檢查是否有讓受測者感覺不適的題目,看答案中是否包含過多“態度中立”類的選項,如有可能需要調整題目以避免這種趨中作答的反應傾向,等等。如果問卷設計者還希望用試測數據作第一輪的信效度分析,那么可能需要有100~200人參與試測。
問卷審查與試測是問卷編制過程中必不可少的步驟。通常,可以幫助問卷設計者發現問題,及時改進,有效提高問卷質量,避免在正式施測時造成數據損失。在正式施測和研究之后,也須總結和反思問卷的問題和不足,繼續優化問卷工具,以供未來研究使用。
使用問卷作為測評工具,可以在短時間內收集大量數據,在量化研究中使用廣泛。目前,問卷施測逐漸由現場發送、郵寄等方式,轉變為通過網絡平臺線上施測,可以節省更多的時間和資源。但也正因如此,研究者對受測者填寫問卷的時間、地點和心理狀態等因素難以監測和調節,也難以知曉問卷填寫過程中出現的各種問題,這都會影響到數據的真實性和準確性。在這種情況下,問卷本身的質量變得更加重要,直接影響到數據的回收數量和質量,進而影響研究結果的價值。所以,在語文教育研究中,若要使用問卷進行量化研究,教師需要認真嚴謹地對待問卷編制問題,增加對問卷編制理論知識的理解,根據科學的原理和程序開發問卷工具。本文闡釋的有關問卷編制的關鍵行為,在很多教師的研究過程中是缺失的,或者沒有做到位,導致教師所做研究的科學性得不到保障。教師可以從以上四個方面對自己設計的問卷進行反思,理解問卷編制的原則和策略,找到可以改進的方面,提高問卷質量,確保數據收集過程的科學、有效。
參考文獻
[1][2][5]伯克·約翰遜,拉里·克里斯滕森.教育研究:定量、定性和混合方法(第4版)[M].馬健生,等,譯.重慶:重慶大學出版社,2015:149,151~152,152.
[3]謝錫金.怎樣進行語文教育研究[M].北京:北京師范大學出版社,2013:109.
[4][7][8]董奇.心理與教育研究方法[M].北京:北京師范大學出版社,2004:189,125~126,192.
[6]陳琦,劉儒德.當代教育心理學(第3版)[M].北京:北京師范大學出版社,2019:163.
【本文系北京教育學院2023年度重點關注課題“雙減推進中以形成性評價促進教學質量提升的路徑與策略研究”(課題編號:ZDGZ2023-02)研究成果】