近些年,政治學研究方法雖出現了一種混合路徑的趨勢,例如將抽樣調查法和大數據法、實驗法相結合,但是抽樣調查法仍為多數研究者所采用。政治學研究中的抽樣調查通常指概率抽樣調查,其優點是已知每個樣本的入選概率從而推論總體,使用結構化問卷則可以盡量避免測量誤差。抽樣調查屬于理論驅動的研究模式,從提出理論假設開始,歷經概念操作化、問卷設計、抽樣、數據采集、數據分析、得出研究結論等主要環節達成研究目標。本文將綜述政治學抽樣調查在問卷設計、抽樣、數據采集方面的難點、問題,以及一些創新性解決方案。
抽樣調查用結構化問卷采集數據,形成結構化問卷需要對概念進行操作化。政治學研究中的概念和其他社會科學中的概念相比具有更為抽象、復雜、宏觀的特點。政治學的核心概念包括:權力、權利、權威、利益;體制、制度、規則、規范;民主、政治發展、現代化;政治行為;政治文化、政治價值、政治態度;政治知識;政治績效、公共服務績效、公共政策績效等等。將這些概念寫成問卷中的題目具有非常大的難度,因為受訪者常常無法對題目有相同理解,或者不具備回答問題所需的知識,或者沒有切實的與政治有關的經歷。也正因為概念的抽象、復雜、宏觀,常導致研究者在設計問卷時遇到以下問題:
1. 概念定義不明確。例如,“您認為美國的民主程度如何”,民主的概念不明確,人們有不同的理解,給出的答案不具有可比性。民主的概念可以從價值、原則、制度、程序、要素、績效評價等多維角度進行測量,用任何一個單一測量的題目都無法準確獲得人們對這個概念的完整理解。
2. 負擔過重,難以理解或回答。包括專業詞匯、過長量表、過長題干、邏輯復雜等帶來的難以理解和難以回答等。例如,“‘生意人賺錢實際上最終對所有人都有好處,所以是可以接受的’,您對這種說法是否同意?”受訪者會提出質疑,為什么生意人賺錢對所有人都有好處,受訪者難以理解其中的邏輯關系。
3. 易發誘導。例如,“您認為市政府應該花費更多的稅收去拆毀棚戶區嗎?”這句話也是給出了不平衡的選擇,只提到了拆,沒有提到建,導致受訪者的答案偏向一方。政治學中有爭論性的觀點較多,在設計上本應提供平衡的選擇,但很多問卷設計者忽視了這一點,從而發生誘導。
4. 產生評價參照系偏差。政治學研究比較關注政府行為和公共政策績效,調查內容中經常有類似“評價”的題目。例如,“您認為本市當前的公共醫療服務居于什么水平?”受訪者在回答時,各自的參照系不同,給出的答案不具有可比性。如果在沒有一致參照系的情況下,直接使用原始數據進行統計推斷則會導致估計偏差,這被稱為評價參照系偏差。
5. 產生社會期許偏差。政治學研究中的一些測量內容已形成一般社會規范,受訪者回答時,迫于社會規范壓力會少報社會非期許行為,而傾向于回答出社會所希望的行為,這類回答被稱為社會期許回答,這類回答會導致調查結果系統性偏向那些“正確的”或者社會所提倡的行為,與實際情況發生偏離,這種偏離被稱為社會期許偏差。
抽樣調查常用的調查模式有面對面訪問、電話訪問、網絡訪問、集中自填問卷等。政治學研究中的理論假設通常具有復雜的關系結構,而復雜的關系結構需要測量更多的變量,需要依賴面訪調查來實現,但是面訪調查成本高昂。另一方面,政治學研究對概率抽樣調查比較依賴,在抽樣調查中首先要解決覆蓋偏差問題。覆蓋偏差來自于抽樣框總體和研究總體的不一致,例如,要研究一個城市的常住居民對公共政策的評價,如果使用社區居民戶籍冊資料作為抽樣框,則會導致已經在這個城市居住半年以上的外來人口無法被抽中。為了解決這個問題,在以人或家戶為研究對象的抽樣調查中,國內學者經常使用住宅地址抽樣框。中國社會綜合狀況調查(CGSS)、中國家庭追蹤調查(CFPS)、世界價值觀調查(WVS)等均采用了地址抽樣,可有效推斷常住人口的狀況,對于公共政策研究、政治參與研究具有重要意義。但是,構建地址抽樣框的成本比較高,和戶籍抽樣框相比,到實地畫住宅地址分布圖、制作住宅地址列表所發生的交通差旅、人員勞務全部是額外增加的成本。
多數受訪者對政治話題或者政治行為不感興趣,對政治學主題的問卷調查也相應地表現出更高比例的無應答。政治學抽樣調查中的單元無應答和題目無應答比例已經高于5%,例如,2015國際化與城市治理調查的單元無應答率為35%,一些題目無應答比例能夠達到20%左右,很多題目無應答比其他學科的要高。而高比例的無應答通常會產生估計偏差。
針對以上難點和問題,政治學定量研究的學者們一直在尋求解決方案,近年來也在方法上取得了一些創新性成果。
近年來政治學者在精準測量方面做出了許多努力,包括:為避免多選題首位效應,將題目選項進行隨機化排列;為解決抽象概念難以理解問題,使用虛擬情境測量法、列舉法、層層遞進法等;為解決敏感問題、社會期許偏差的測量難題,使用列舉實驗法;為解決評價參照系偏差,使用虛擬情境錨定法等。在這些努力中,識別和控制社會期許偏差、評價參照系偏差方面取得的進展值得關注。
對于可能會產生社會期許回答的題目,研究者在編寫問卷時采用的列舉實驗法和隨機化回答技術具有創新意義,尤其是列舉實驗法還在不斷熱議和改進中。
1. 列舉實驗法。在社會學相關文獻中稱為條目計數方法。列舉實驗要求受訪者報告條目(即題目中的選項)總數而非具體條目來降低受訪過程中其所感受到的社會壓力。需將受訪者隨機分為實驗組和對照組。研究者在問卷中給對照組提供n個條目,給實驗組提供n+1個條目,請受訪者直接回答條目總數,不需要回答具體是哪個條目。增加的條目就是研究者認為有可能帶來社會期許回答的關鍵條目。數據分析時,R軟件提供專門的軟件包(list)可以計算出兩組的均值差、標準誤,也能根據研究假設執行回歸分析。目前,利用列舉實驗來識別社會期許偏差已取得顯著效果,例如,孟天廣和季程遠(2016)利用列舉實驗測量了激進政治行為,發現傳統測量方法明顯低估了激進政治行為的水平;孟天廣等(2017)利用列舉實驗法對中國省市級干部吸納公民意見的意愿進行了測量,發現該意愿存在顯著的社會期許偏差。
2. 隨機化回答技術。其基本特點是讓受訪者隨機地在一個可能產生社會期許回答的題目和一個不會產生社會期許回答的題目中自行選擇回答哪個題目,從而減少他面對訪員的“社會在場”帶來的回答壓力。然后用兩組的差異來估計真實回答的比例和標準誤。傳統的隨機化回答方法有沃納模型、西蒙斯模型、Fox和Tracy模型等。
應對評價參照系偏差的辦法是給受訪者設計統一的參照系。近年出現的虛擬情境錨定法具有明顯的創新價值。虛擬情境錨定法將虛擬情境法和評價參照系相結合,發揮二者的優勢來解決抽象、復雜概念的測量問題,由哈佛大學加里·金(Gary King)教授提出,他將其用于解決跨文化群體在抽象概念或復雜概念上的可比性。跨文化研究是比較政治學的核心議題,由于不同群體在抽象概念上的理解受文化環境的影響,從而造成政治學抽樣調查的一個難題。金以政治效能感為例說明了這種方法解決問題的有效性,他在測量政治效能感時設計了5個情境,根據效能感的強弱高低之分,請受訪者回答這5個情境中的人物各自的效能感分別是多少,然后再請受訪者回答自己的效能感。分析數據時,用自己的效能感和另外5個場景里面的人物做對比,從而得出受訪者的效能感水平。劉小青(2012)在中國的城市和鄉村也做了類似實驗,發現了虛擬情境錨定法測量政治效能感的效用。
為避免覆蓋偏差,采用地址抽樣是當前比較常用的抽樣方法。地址抽樣通常先抽取區縣作為初級抽樣單位,然后再抽取次級抽樣單位,例如村/居,抽取了村/居之后,普查村/居內的住宅地址,構建住宅地址抽樣框,再抽取住宅地址。
次級抽樣單位常用的有兩種類型:一類是村委會或居委會/社區,例如CFPS調查和CGSS調查;另一類是以經度和緯度確定的空間單元。常被使用的空間單元為“半分格”,即以30秒經度和30秒緯度構成的單元格。使用空間單元格的方法可以在不違反抽樣科學性、不降低抽樣精度的前提下降低抽樣成本和實施難度,屬于近幾年在抽樣方面的創新性解決方案。北京大學中國國情研究中心2002年在北京和成都兩個城市內首次使用空間單元格作為抽樣單位,在涵蓋流動人口和抽樣效果方面都取得了良好效果。以半分格為抽樣單位由于面積小(約0.72平方公里)、邊界明確并且固定(邊界由經緯度確定)、易識別(用GPS儀顯示經緯度),不需要村/居干部作為帶路人而相對實施難度較低,人力和時間成本也要低很多。
2012年以來,使用半分格作為抽樣單位又在降低成本方面進行了嘗試——以夜間燈光亮度作為半分格的規模度量,代替了以往的人力估算半分格人口密度的方法。夜間燈光亮度數據以半分格為單位,記錄了每個半分格的夜間燈光亮度。該數據可直接從美國國家地球物理數據中心網站免費下載。北京大學中國國情研究中心在一項有關全國調查中使用了夜間燈光亮度數據。數據表明了夜間燈光亮度與實地普查回來的住宅地址數量之間的對數線性關系。通過比較2012年世界價值觀調查(使用半分格夜間燈光亮度)與中國家庭追蹤調查(使用村居人口數)一些常用變量的抽樣誤差可以發現:不論是以半分格為抽樣單位(以夜間燈光亮度為規模度量),還是以村/居為抽樣單位,兩種方法在關鍵變量估計精度上雖有高低之分,但都在可接受的較高精度范圍之內。讀者們可自行下載這兩個數據庫進行檢驗。
并行數據是指關于調查過程的數據,與問卷數據同期采集。計算機輔助調查模式的興起帶來了豐富的并行數據。目前可以采集的并行數據有聯系記錄、訪員觀察、訪問錄音、訪問痕跡(包含時間點、鍵盤操作痕跡等)、樣本調配數據等。在抽樣調查數據采集過程中,如何避免訪員效應至關重要。訪員效應是指由訪員差別帶來的調查結果差異,其來源除了性別、個性特征等因素外,也來源于訪員的不規范訪問行為,主要包括各類形式的非隨機取樣(如替換或訪錯地址、替換或訪錯個人等)、不規范訪問(臆答、誘導、提問不完整、關鍵詞不重讀、舉例不完整、追問不足、捷徑跳轉)和不規范操作(未使用答案卡)等。如果不能有效消除系統性的訪員效應,那么將直接危害研究者事后的統計推論和因果關系識別。在政治學抽樣調查中應用并行數據可以有效識別訪員效應,在調查過程中及時地糾正訪員的不規范行為,從而提高調查質量。
在政治學研究中并行數據也被用來處理無應答。嚴潔(2010)在政治學敏感問題進行缺失值多重插補時,發現了“采訪員對受訪者對該項調查興趣的判斷”這種并行數據不可忽略的作用,并在2017年的研究中指出,訪員觀察中的“對調查的興趣”“對題目的理解能力”“對回答的擔憂”等并行數據是進行缺失值多重插補的不可缺少的輔助變量,在調查過程中應該采集這些數據,從而提高推斷精準度。
除此之外,最近有研究發現,在調查過程中利用并行數據、問卷數據和相關的統計數據構建應答代表性指標也可以降低無應答誤差帶來的不良影響。應答代表性指標致力于替代應答率來監控調查質量,要求在調查過程中隨時根據應答代表性指標來映射調查總體的分布,如國外研究者提出的回應式社會調查設計,其特點是在調查過程中及時計算應答代表性指標并以此為指導改變調查設計,達到有效提高成本效益和測量精度的目的,從而解決僅僅依靠應答率監控調查過程所帶來的應答人群和無應答人群的系統化差異問題。并行數據中的訪員特征、訪員觀察、訪問操作痕跡都被納入應答代表性指標中,任莉穎(2014)的研究驗證了這些指標的效用。
政治學抽樣調查的每個環節都面臨各自的問題與挑戰。在理論假設和數據分析方面,未來5—10年,因果關系識別方法將取得長足發展。例如,利用調查實驗判斷因果,或者在抽樣調查數據基礎上應用匹配法、差分法、斷點回歸設計、工具變量法等準實驗方法識別因果是諸多政治學者的研究取向。
在概念操作化方面,對于復雜抽樣概念的精準測量、跨文化概念的可比性、本土化測量是比較嚴峻的挑戰。雖然,前文提到了中國政治學抽樣調查中已經應用了評價參照系、列舉實驗、虛擬情境錨定法、隨機化回答技術等技術,但是從應用范圍來看尚且不足。比較政治學的研究關注跨國比較研究,一些常用的政治學概念多數起源于歐美調查,這些題目應用到中國語境中會出現受訪者無法理解,或者理解的含義與既有研究目標偏離的問題。此外,對一些常用核心概念的測量進一步標準化、規范化,以便在各個調查中統一使用已提上日程。
在抽樣和調查執行方面,受到的挑戰仍來自于抽樣成本和無應答。為了減少制作抽樣框的成本,使用更為豐富的GPS、GIS數據成為新的研究方向。國外學者在突尼斯和非洲的調查中,直接利用gooole地圖和當地的GIS數據在辦公室就能構建出一個小單元格內的地址名單,從而節省了到實地畫圖的費用,該技術有望在中國開始試驗。面對無應答的挑戰,受訪者驅動的抽樣方式在嘗試打破概率抽樣的界限,根據貝葉斯統計的思路,在調查過程中不斷調整并模擬出總體的分布來,已有統計軟件可支持這種運算。
最后,在數據庫建設和使用方面,學界正在努力建設共享數據平臺,逐漸增多的開放數據源成為未來幾年的趨勢。在這個領域,未來的挑戰將集中在數據整合方面,如多源、異構數據的整合、多主題跨庫、跨平臺檢索與調用,以及在時間和空間上加強深度研究等。