人口普查中語言水平數據的測定問題

帕特里克·ó.雷根，何山華，方小兵

提 要 語言人口學是一個跨學科的研究領域，在研究方法和數據使用上一般借鑒人口學、社會學和語言學等學科：其基本方法是進行大規模調查;所采用的數據大多來自人口普查和大范圍調查。盡管在學術研究和政策調研中，與語言相關的普查和調查數據得到了廣泛應用，但其方法論基礎尚未得到系統評估。人口普查機構在將社會語言類專題納入調查問卷時，會根據需要采用專門測定手段，但他們很少描述這些手段是如何開發出來的。人口普查中與語言相關的問題會采用不同的表述方式、問題形式或答題方案，這些差異所帶來的問題使普查數據在信度和效度上都受到質疑。本文旨在研究人口普查中有關語言水平測定問題的設計和措辭方式對受訪者的影響，案例來自愛爾蘭共和國和英國北愛爾蘭地區對于愛爾蘭語的一系列普查。本文的分析借鑒了前期相關研究成果，不過也基于近年來調查方法和應用語言學研究的理論發展，對前人探討范圍有所擴展。

關鍵詞 語言人口學;調查方法;語言水平問題;人口普查;愛爾蘭

中圖分類號 H002 文獻標識碼 A 文章編號 2096-1014（2019）06-0042-13

DOI 10.19689/j.cnki.cn10-1361/h.20190604

Measurement Issues with Language Proficiency Data in Censuses of Population

Pádraig ? Riagáin

AbstractDemography of Language is an inter-disciplinary research area that draws on the methodology and data of demography as well as sociology and linguistics. Its basic methodology is survey based and it relies on data collected by means of censuses of population and large-scale surveys. Despite the widespread use of language-related census and survey data in research and policy studies， their methodological underpinnings have not been systematically evaluated. In this paper， it is argued that census agencies， when they chose to include sociolinguistic topics in their questionnaires， use their ownad hocmeasures， and provide little description of how they were developed. Problems arising from the variable wording， format or response categories of language related questions in censuses call into question the reliability and validity of data collected with census methods. The objective of this paper is to investigate the way in which respondents are influenced by the way language proficiency questions in censuses are shaped and worded in a large set of censuses relating to one language （Irish） in the Republic of Ireland and the Northern Ireland region of the UK. The analysis draws on earlier research on this topic， but expands the analytical scope of previous work by applying the theoretical insights of recent methodological advances in social research and applied linguistic research.

Key wordsDemography of Language; survey methodology; language proficiency questions; census of population; Ireland

一、引 言

語言人口學是一個跨學科的研究領域，在研究方法上一般借鑒人口學（Rallu，Piché & Simon 2006）、社會學和語言學等學科，并采用這些領域的成果和數據。作為人口學的一個分支，其基本方法是進行大規模調查，而非像民族志那樣進行參與式觀察。該領域所采用的數據大多來自人口普查和大范圍調查，而這兩種數據采集方法密切相關，兩者都追求：（1）標準化的測定方法，即對所有受訪者采用相同的調查方式以確保所有個體的信息具有可比性;（2）廣泛覆蓋目標人口（如人口普查）及該人群可靠的、有代表性的樣本（抽樣調查）（Fowler 2014：3）。盡管人口覆蓋率有所不同，但典型的人口普查問卷與一般情況下郵寄調查和網絡調查中使用的自填問卷在很大程度上是一樣的，這一點在當前社會學文獻中也是得到認可的（例如Dillman（2000：288～322）“政府實施的家庭和個人調查”一章）。

采用人口統計學的方法研究社會之中的語言（有時也稱為“人口語言學”）時，語言普查或語言調查中對語言水平的測定，一般被作為一個因變量予以考察，要考慮源數據中所有的社會人口變量背景（de Vries 1990）。在社會語言學文獻中，對于語言的人口統計學特征的分析主要屬于費什曼所指的“宏觀社會語言學”（Fishman 1985）或“全局社會語言學”（McConnell 1997）等研究領域。這些研究領域包括社會雙語和多語現象、語言接觸和語言傳播、語言維持和語言更替以及語言規劃。上述研究已產生了大量與語言相關的數據，覆蓋了很大的地理范圍，而且其中有部分也具有相當的歷史深度。

盡管在學術研究和政策調研中，與語言相關的普查和調查數據得到了廣泛應用，但其方法論基礎尚未得到系統評估。De Vries（2006：61）曾有總結，認為關于在人口普查中如何針對語言情況設計問題僅有“少量的”“分散的”和“難以獲取的”研究。正如Starr（1987：7）多年前所述，雖然人口普查在人口統計研究中“經常被用作一種分析手段”，但其本身“很少成為分析的對象”。這一情況至今沒有改變。

本文認為，人口普查機構在將社會語言類專題納入調查問卷時，會根據其需要采用專門的測定手段，但他們很少描述這些手段是如何開發出來的（Heath & Martin 1997：71），Bulmer（2010：220）將其稱為簡單的“操作定義”，相關解釋只是將普查問題中有關的表述重復一下。在與語言相關的人口學研究中，對于諸如語言水平等關鍵的社會語言學概念，仍然沒有被普遍接受的測定手段。該領域的文獻中常會探討由于不同的表述方式、問題形式或答題方案所帶來的問題（例如Stevens 1999;Jones 2005）。正如Heath & Martin（1997：85～86）討論一般性調查研究時所指出的，本文認為需要對近年來人口普查中采用不同測定方法所帶來的后果進行更為系統的研究，包括所獲數據的信度和效度，并在此基礎上為今后的人口普查研究提供指導。

因此，本文旨在研究人口普查中有關語言水平測定問題的設計和措辭對受訪者的影響。不過，單篇論文的篇幅無法涵蓋所有相關的理論問題，也無法考察全部現有數據。本文僅討論一個社會語言學概念，即語言水平的普查手段，案例來自愛爾蘭共和國和英國北愛爾蘭地區對于愛爾蘭語的一系列普查（? Riagáin 2018一書對本文提出的問題有更為全面的討論）。

本文的分析借鑒了前期相關研究成果，不過基于近年來調查方法和應用語言學研究的理論發展，對前人探討范圍也有所擴展。

二、人口普查中對語言數據的早期考察

人口普查是人類歷史上最早的社會調查形式（Hakim 1985）。盡管早有先例，但現代形式的人口普查大多始于19世紀初（Baffour，King & Valente 2013：408），主要是為了向政府提供可靠和準確的人口規模及地理分布信息，當然也包括其他人口和社會經濟信息。早在19世紀中葉，人口普查問卷就開始納入有關受訪者語言的問題（例如Lieberson 1966;Kominski 2012;? Gliasáin 1996）。目前，在官方人口普查中列入語言相關的問題這一現象已較為廣泛，盡管還并不普遍。Christopher（2011：536）對71個英聯邦國家或曾屬英聯邦國家的人口普查進行了調查，發現有37個國家（占52%）納入了一個或多個關于語言的問題。這37個國家包括英國、愛爾蘭、印度、南非和加拿大等。美國在每十年一次的人口普查中納入語言問題已有一百多年歷史（Stevens 1999），蘇聯所有的人口普查都包括關于“母語”和“其他語言”的問題（Silver 1986），而大多數后蘇聯國家和獨聯體國家都延續了這一做法（Silver 2001）。

對人口普查中的語言數據進行批判性分析始于20世紀60年代。早期的社會語言學文獻中有一些論文討論了人口普查和大規模調查中收集語言相關數據時所遇到的方法論問題（如Lieberson 1966;Fishman & Terry 1969），但在那之后對這一主題的探討相對較少，且分散在多個學科領域（de Vries 2006：616）。盡管現有研究關注的范圍相對較小，我們仍可以總結出幾種不同的研究策略。

第一類研究基本上是描述性的，只是對一些國家的人口普查問卷進行分類和比較——通常是以列表形式對比——以展示人口普查所涵蓋的社會語言學話題（例如Courbage 1998;Poulain 2008;Christopher 2011）。這類研究的目的在于比較，而且確實涉及了普查問卷的內容;但其主要感興趣的是普查問卷中納入的社會語言學話題，并不是所使用問題的措辭和形式。

第二類研究也主要是描述性的，不過其重點已不是所涵蓋的話題范圍，而是問卷中問題的細節。此類研究中有不少是對歷年人口普查語言問題的措辭和形式變化的追蹤。由于這些研究更為具體，因此其比較的范圍相對第一類研究要更小，往往僅限于一個國家的普查數據。例如，Stevens（1999）描述了20世紀美國人口普查中語言問題的變化。Higgs，Williams & Dorling（2004）則回顧了之前50年英國人口普查中有關威爾士語問題的變化。Chiswick & Miller（1998）對美國和加拿大人口普查中的語言問題進行了比較，不過這類對兩個或兩個以上國家的語言普查問題以及普查數據進行的比較相對少一些。

第三類研究與本文最為相關。這類研究通常在普查前或普查后采用大規模調查獲取語言數據，以印證人口普查中語言問題的調查質量。他們先使用普查問卷中的問題對隨機選取的受訪者進行提問，然后根據其回答追問更多有關語言水平的問題。研究者拿使用普查問題獲得的數據與隨后補充問題獲得的數據進行關聯比較，以揭示受訪者如何理解普查問題;也有研究對這一設計進行擴展，要求受訪者完成一個或多個語言測試，將其得分與普查答案進行對比（相關案例可見Fishman & Terry 1969;?Kominski 1989;Chiswick & Miller 1998;Siegel，Martin & Bruno 2001）。此類研究的一般結論是，“普查中語言問題與后續相關問題的答案間存在高度的相關性和一致性”（Kominski 1989：4），Chiswick & Miller（1998：883）證明具有“高度一致性”。換言之，語言普查數據雖然并不完美，但研究人員認為這些數據為全國人口的語言水平提供了有效的估測。

然而，有一項較近的研究在進行了大量的原創性分析后（Edele et al. 2015），得出了更有依據的結論。在對大規模調查和人口普查中常用的“典型”自測型問題與“可靠”的心理測試進行比較后，Edele et al.（2015：112）認為兩者“相關性僅為中等”“主觀性評測似不足以測定語言水平”。盡管受限于其調研對象的年齡范圍（青少年）和自估型問題的數量，該項結論只是暫時性的，但是正如作者所指出的，確實需要在更廣泛的社會、人口和國家背景下，對其他自估型問題和語言測試進行更多研究。

除了上述初步結論，還有一點值得注意。在前述研究中，雖然研究方法都是非常關鍵的部分，但方法論問題卻很少得到重點討論。這些研究主要關注具體普查問題的一致性、有效性或有用性，而未探討不同問題形式對受訪者答題的影響。此外，早期的研究大多在美國、加拿大或澳大利亞進行。本文的目的之一，就是對當前有限的語言普查研究進行擴充，對英國和愛爾蘭人口普查中愛爾蘭語的系列調查數據進行詳細分析，提煉其獨有特征以及與其他語言普查共有的特征。其次，本文的研究也將人口普查數據與其他調查數據源進行比較，試圖通過借鑒近數十年來關于調查問題設計方法的研究成果，對語言普查問題的討論范圍予以拓展。

如今已有大量關于調查中問題和問卷設計方法的文獻（較近的現狀梳理，可見Krosnick & Presser 2010）。關于問題和問卷形式如何影響調查結果，針對調查方法的相關研究正在總結出越來越多的形式特征（Schaeffer & Dykema 2011：909）。這些特征包括兩個方面：一是問題的主體部分，即給出題干并提問的部分（Smith 2003：70）;二是應答選項，即記錄受訪者答案的部分。一些次要問題則包括問題的措辭和應答選項的分級。然而，Alwin（2007：167）指出，所有這些都與問題形式有關，即問題本身的形式特征。此外，他指出除了上述這類問題的形式特征，還有一個方面值得研究，那就是如何將單個問題組合成問卷。他認為，關于問題上下文的某些方面值得關注，因為它們可能會對受訪者的答案產生影響，其中包括如何將問題分成不同組別。

除了問題的形式和語境，Alwin（2007：13）等（其他如Cohen 2008：633）還探討了讓受訪者報告其他人的信息（代理報告）和由受訪者直接回答本人信息（自估報告）對于數據質量的影響。這是所有人口普查數據的一個關鍵問題，而不僅僅是一個與語言話題有關的問題，后文將予以具體解釋。

最后，在考慮人口普查中對語言水平的測定問題時，也應參照語言測試領域對于語言能力概念的界定、描述和測量，盡管兩者在實質關注以及理論和方法上都存在較大差異。語言測試領域確有一些與本文密切相關的成果，其中之一是越來越多的大規模語言測試：多區域和多國家參與設計和管理的國際考試和測試實踐（Kunnan 2008）均涉及非常大的數據樣本。第二個值得關注的發展趨勢是，語言測試中越來越多地使用自我評估問卷，有時在特定情況下還用這類問卷替代正式的語言測試（Oscarson 1997）。在針對人口普查開展的研究中，其核心問題是受訪者能夠在多大程度上對自己的語言水平做出準確和有效的判斷。

盡管上文回顧的文獻指出了多條研究線索，但我們的重要任務乃是將上述有關方法的研究成果應用于語言普查中具體的“水平測定-概念界定”問題（Blalock 1979：884）。本文無法探討所有相關問題，只是對少數具有重要方法論價值，且可以在較短篇幅內進行討論的問題進行探討。

其中包括：

1.在人口普查數據中代理報告的可靠性如何？

2.人口普查中的是非兩分型問題如何影響受訪者的回答？

3.如果將是非兩分型問題嵌入一組相關問題中，是否會影響測定的信度？

4.與大規模語言測試相比，人口普查中的語言水平概念如何界定？

三、數據來源

本文所用數據主要來自愛爾蘭和英國兩地的人口普查。在愛爾蘭共和國，從1926年到1946年，每十年進行一次人口普查;從1951年起每五年進行一次人口普查（1976年和2001年除外）。在1981年之前，大多數（但不是全部）人口普查問卷都會詢問關于愛爾蘭語水平的問題;1981年之后則每次普查都有此類問題。因此，自1926年至2016年期間，除了1946年至1961年之間有15年的間隔外，人口普查中每10年至少會出現一次語言水平的問題。人口普查出版資料一般專辟一章或單編一冊，來描述愛爾蘭語水平問題;本文所使用的統計數據取自于這些出版物。

在英國北愛爾蘭，1926年和1937年分別進行了人口普查。由于戰爭的原因，直到1951年才重新開始人口普查，此后每十年進行一次。北愛爾蘭的人口普查直到1991年才納入關于愛爾蘭語水平的問題，后來的人口普查（2001年和2011年）都保留了這一問題。本文有關這些普查的數據是從公開出版物中獲取的。（北愛爾蘭官方人口普查和調查機構（NISRA）在實際上和法律上都是一個獨立機構，但它與英格蘭、威爾士和蘇格蘭的類似機構有著密切的聯系;因此，如果不參考英國更廣泛范圍內其他地區的人口普查，就無法理解其調查方法。）

在接下來的分析部分，本文使用了幾個抽樣調查結果，試圖對人口普查中獲得的語言數據進行驗證評估。在愛爾蘭共和國，1983年至2013年期間，進行了一系列全國范圍內的調查，要求受訪者對其愛爾蘭語水平進行分級排序評分，然后在訪談后期再問這些受訪者，在本次調查前的那次人口普查中，他們關于語言問題是如何作答的。本文選取的調查樣本都比較大（平均樣本量約為1000人）;抽取的樣本是與人口普查重合的成年人口群體;受訪者系隨機抽取，除少數例外，均在其家中進行“面對面”采訪。所有調查均由聲譽卓著的專門從事現場調查的機構進行。本文使用的數據都是從這些大規模調查的公開報告中獲得的，或者通過對其數據文件重新加工得到的。

需要強調的是，本文的目的僅是評估人口普查研究中語言水平測定的方法論問題。因此，愛爾蘭人口普查（和調查）結果所反映的許多政策和社會語言學問題均未討論（關于這些問題的討論，可見? Riagáin 1997）。

需要交代的是，愛爾蘭語使用者——無論這里“使用者”如何界定——在愛爾蘭共和國和英國北愛爾蘭都是少數，在北愛爾蘭可能更是如此。在這兩地，將愛爾蘭語作為童年家庭語言（或母語、第一語言）來習得的人很少，其比例遠遠小于將其作為第二語言學習（通常是在學校）的人。因此人口普查中使用的語言問題，便需要考慮如何測定愛爾蘭語的第一和第二語言使用者的水平。關于愛爾蘭語普查的案例研究在這方面所提出的方法問題，便與其他語境下的相似問題具有可比性，盡管那些語境中的基本政策問題會有所不同。

四、人口普查中的代理報告

我們將人口普查歸為一般性調查的一種，但需要注意在進行家庭調查時，人口普查和抽樣調查之間存在一個重要的方法差異。這種差異是由人口普查的執行管理方式所導致的。人口普查表或調查問卷是以家庭而非特定個人為單位進行分發的。在傳統人口普查中，法律只規定要求一個人——戶主或普查當晚在場的任何成年家庭成員——回答有關所有家庭成員的問題。在有關方法研究的文獻中，當受訪者代為報告其家庭成員或社會關系中其他人的信息時，被稱為“代理報告”。因此，在有一個以上居民的家庭中，人口普查報告可能包括了一個家庭成員的自我報告數據和為其他家庭成員提供的代理報告數據。這一區分很重要。現在有為數不多但正在不斷增加的研究（Moore 1998;Sakshaug 2015），對普查和一般調查研究中代理報告數據的信度和效度提出了質疑。爭論的焦點不是所使用的問題類型或其形式上的特征，而是信息的來源。“由于代理應答者的視角和記憶內容迥異于調查的目標對象，因此代理應答可能會對調查中的測定誤差產生影響”（Cohen 2008：633）。一些有關調研方法的研究表明，代理報告通常是“大膽猜測”或“根據授意猜測”或僅僅是估猜的結果（Tourangeau，Rips & Rasinski 2000：65～67）。此外，當問題的性質主觀性較強而非客觀且可觀測到時，代理報告的信度要更低（Stafford 2010：765）。因此，在人口普查中使用代理報告收集的數據所存在的問題，是不應被忽略的。然而，語言普查數據中存在的這個問題幾乎被完全忽視了。在一般做法中，代理報告可能造成人口普查數據偏差的問題通常被回避了，大多數分析者將普查結果作為客觀的數據。

代理報告的問題無法直接通過人口普查數據進行分析，現有數據也無法將自我報告和代理報告的數據進行區分并比較，因此只能依靠平行調查的數據。有一些大規模抽樣調查也收集代理報告的數據，但會將自我報告和代理報告數據區分開以供比較。例如，愛爾蘭共和國1993年的一項調查中，將已婚男女的自我報告結果與其伴侶所做的代理報告結果進行比較（有關調查詳情，見? Riagáin 1997）。在這項調查中，受訪者需對其本人及其配偶或伴侶的愛爾蘭語水平進行打分，共有6個等級，從“完全不會愛爾蘭語”到“母語水平”（完整等級見表1）。

從表1可以看出，已婚男性自報的愛爾蘭語水平與其女性配偶/伴侶所報告的水平幾乎相同。換言之，已婚男性的自我報告數據和代理報告數據幾乎沒有區別。然而，同一調查中關于已婚女性的類似數據卻不符合這一模式，如表2所示。

通過比較可以發現，代理報告中已婚女性愛爾蘭語的水平低于其自我報告的水平，盡管這有些令人困惑。有39%的已婚女性受訪者對自己的愛爾蘭語水平自視甚高，評定為較高水平的前三檔，但由男性配偶評定的（代理報告）妻子和伴侶中只有25%達到這一水平。當然，這一發現僅限于這一項調查、這一人群，尚未發現其他關于語言調查/普查中有關代理報告的方法問題的研究。

這一發現顯然不能被視為最終結論的確鑿證據，但考慮到其他研究對這一方法問題所表達的廣泛關切（如Maclean & Glenn（1979：76）的類似發現），這一比較確實表明通過代理報告獲得的語言數據應謹慎對待。

當然，使用代理報告確有好處（Cobb 2015：64）。例如可以更快地收集數據，且成本更低。盡管如此，在語言人口學中，代理報告的風險依然存在，其對數據質量的影響依舊是一個灰色地帶。關于語言水平調查中代理報告數據的準確性仍需要進行更多的研究，也需要尋找能夠提高代理報告準確性的問題設計（Cobb 2015對此有更為全面的討論和梳理）。

五、人口普查中的是非兩分型問題

普查中的是非兩分型語言問題簡單地詢問受訪者“你會說（某種語言）嗎？”，請其回答“是”或“否”。此類問題假設了受訪者使用一種語言的能力就如同其他技能一樣，要么有，要么沒有。愛爾蘭共和國1996年之后的所有人口普查都采用了這類問題，即“（此人）會說愛爾蘭語嗎？”，受訪者通過勾選相應的方框（“是”或“否”）提交答案。全國匯總情況如表3所示。

可以看出，在1996年至2011年的15年間，4次人口普查分別得到的結果保持了高度一致，在41%上下。然而，對全國人口愛爾蘭語水平的這一普查測定結果經常被批評為不準確且具有誤導性。這些批評既有理論層面的，也有實證層面的。

要回答一個關于語言水平的是非兩分型問題，需要受訪者首先評估一下他們能將這種語言說得多好或多流利，然后考慮一下這個評估結果應該用“是”（我會使用該語言）或“否”（我不會使用該語言）來回答。雖然這對水平很高或很低的人可能不會造成什么困擾，但那些水平中等的人可能很難將自己的語言能力劃分成（是/否）兩個等級（Krosnick，Judd & Wittenbrink（2005：34）對于是非兩分型問題有一般性論述）。因此，是非兩分型問題會導致受訪者之間的回答不一致，其中一些中級水平者勾選“是”，而其他則勾選“否”框。

2013年愛爾蘭共和國有一次針對這一問題的調查（調查詳情見Darmody & Daly 2015）。在這次調查中，受訪者被要求回答兩個完全獨立的問題，這兩個問題之間沒有任何聯系。第一個問題要求受訪者按六分制（見表1）對其愛爾蘭語水平進行評分，第二個問題則詢問受訪者是如何回答2011年人口普查語言問題的（在2011年人口普查中，有一個關于愛爾蘭語的問題。調查者會問：“關于‘你是否會說愛爾蘭語？這一問題，你是否記得你本人或別人代你回答的答案？”）。需要指出的是，這兩個問題是在45分鐘的采訪中，在兩個不同的時間點分別向所有受訪者提出的。

如表4所示，通過對這兩個問題答復的交叉比較，可以獲知那些在2011年人口普查中對“你會說愛爾蘭語嗎？”回答“是”或“否”的受訪者的一些額外信息。總體上，13%的受訪者表示他們在2011年的人口普查中回答了會說愛爾蘭語，62%的人回答了不會說愛爾蘭語，25%的人則稱他們要么不知道當時是怎么回答的，或是不記得了。然而，這里的研究興趣不在于這些答復與人口普查數據之間的對應一致關系，而在于這3個分組關于自身愛爾蘭語水平的打分。

調查結果在很大程度上是可以預計的。那些在人口普查中回答了不會說愛爾蘭語的人，其答復分布傾向于低水平級別。對照詳細列表信息，可知本組約93%的人聲稱最多只知道幾個“簡單的句子”。回答“不知道”的第三組，答復分布模式與此相似。

然而，那些在2011年人口普查中聲稱會說愛爾蘭語的人，答復分布模式卻不是那么清晰。很清楚的是，在普查中回答能講愛爾蘭語的人中，大多數受訪者（53%）將他們的愛爾蘭語水平評定為3個較高級別中的一個，但也有較多受訪者（47%）將他們的實際愛爾蘭語水平評定為“簡單句子”或“零散單詞”。因此，普查中的指標只是非常隨意地區分了那些具有較高和較低水平的人。人口普查中回答“是”的人群中包含了大量愛爾蘭語實際水平相當低的人，而那些回答不會使用愛爾蘭語的人，其水平其實與前述回答“是”的人相當，或至少不是更低。

這些證據表明，在人口普查中使用是非兩分型問題，受訪者偏向于回答“是”（Foddy 1993對此亦有論述）。鑒于“是/否”問題所帶來的困難，Krosnick et al.（2005：35）認為似乎最好完全避免這種形式的問題。正如Foddy（1993：153）所指出的，“放棄是非兩分型問題，使用其他變量，將獲得更高的準確度，并允許使用更為復雜的統計程序來生成和測試更為復雜的假設。”（另見Schaeffer & Dykema 2011：921）

六、人口普查中的問題組塊

在調查問卷中使用問題組塊毫無疑問是一種廣泛的做法，不過這種做法也受到了批評。Alwin（2007：180）基于證據指出，將問題歸入組塊會得出不可靠的答復，不如將這些問題單獨放置或作為一個主題系列但使用不同的回答形式。

如表5所示，在2001年的北愛爾蘭人口普查中，語言水平測量區塊包含了4個關于愛爾蘭語說、聽、讀和寫能力的是非兩分型問題。每個問題的回答形式都是“是”或“否”。此處我們的關注點是將這4個問題歸入一個單獨的組塊，調查效果到底如何。

1991年，約有8.8%的人聲稱會說愛爾蘭語，能讀愛爾蘭語的人略少一些（6.3%），能寫愛爾蘭語的人要更少（5.6%）。這一排序較為典型，與蘇格蘭和威爾士同一年普查中關于蘇格蘭語和威爾士語同一問題的答復比例相似。

在2001年的人口普查中，增加了一個能否“聽懂”愛爾蘭語的新問題。大約8.2%的人聲稱能夠“聽懂”愛爾蘭語，但原來3個問題的回答呈現出一種矛盾的分布模式。在這一新的測定方式下，聲稱能熟練讀寫愛爾蘭語的百分比保持穩定或略有增加，而聲稱能說愛爾蘭語的百分比則從8.78%下降到7.16%。

然而，有一些內部證據表明，增加了這個“聽懂”愛爾蘭語的新問題之后，可能對聲稱能說愛爾蘭語的百分比產生了影響。交叉對比顯示，在聲稱會說愛爾蘭語的人中，20%并未聲稱有能力聽懂愛爾蘭語。在威爾士和蘇格蘭的人口普查中使用了同樣的系列問題組塊，值得注意的是這些地區公布的數據中也出現了這種差異。聲稱能說威爾士語的人中約有15%未聲稱能聽懂威爾士語，聲稱能說蓋爾語的人中有16%未聲稱能聽懂蓋爾語。北愛爾蘭統計和研究機構（NISRA）對這種差異未予置評，但在2001年人口普查的威爾士語言報告（國家統計局（ONS），2004：39）中指出，“能聽懂威爾士語的人數可能被低估了，因為一些能聽懂威爾士語的人如果勾選了一個與‘更高技能有關的方框，可能就沒有勾選這個方框。”

雖然國家統計局沒有提供支持這一論點的證據，但這一評論確實提出了一個有趣而可信的觀點。事實上，英國人口普查統計專家認為，相當多的人可能會直觀地將這一整套4個問題看作是從最低技能（聽懂）到最高技能（寫作）的一個排序。如果確實如此，倒是可以解釋為什么一些受訪者聲稱能夠寫作，卻不能閱讀;能夠說，但不能聽懂這一語言。反過來，將這4個問題作為整體，受訪者只能回答“是/否”，那么，要表明口語水平較低這一狀態，選擇“能聽懂”愛爾蘭語比毫無保留地聲稱“能說”愛爾蘭語更為可信。

因此，與1991年的調查結果相比，2001年的數字可能并非反映了口語水平的實際下降，而只是反映了這樣一個事實：受訪人正在使用新的問題格式，對其家庭成員的愛爾蘭語水平做出更細致的評價。Alwin（2007：180）雖非從事社會語言學研究，但他關于問題組塊的結論仍然值得注意：“……回答格式的相似性實際上可能會干擾受訪者對所詢問的信息進行充分考慮，并使其忽視每個問題的特殊性。”北愛爾蘭和英國的人口普查數據支持這一假設，盡管顯然還需要進一步調查這一問題。

七、討 論

盡管近幾十年來在主流社會學研究中出現了大量有關調查方法的文獻，用以評估一般性調查所獲數據的質量，但還沒有人研究人口普查或大規模調查收集的語言數據的質量。通過人口普查收集的語言數據被廣泛應用于語言社會學、語言政策和規劃研究以及政策文件中，但調查中所采用的問題本身所存在的問題往往被忽視了，普查數據也常被用于其無法滿足或并不適用的科學研究和政策制定。

對目前語言普查研究進行比較性梳理，這一工作早就應該做了，這對于開發出一種更復雜的方法來測定人口普查中的社會語言學概念，以及對于普查數據在縱向上進行歷時比較和橫向上進行跨國整合，都是有必要的。在語言政策和規劃中，無論是作為一個研究領域，還是作為一種具體實踐，這一工作都是很重要的。

由于人口普查研究中對語言水平的測定最終取決于受訪者對一個或多個問題的回答，因此關于這一話題，本研究聚焦于問題語境和問題形式等幾方面的特征，探究其對結果數據質量可能帶來的影響。從上文分析可以清楚地看出，在人口普查中廣泛使用，但在大規模調查中較少使用的是非兩分型問題高估了高語言水平受訪者的比例，同時低估了低水平受訪者的比例。將是非兩分型問題置于一個組別的廣泛做法已被證明給受訪者帶來了問題，并導致相互矛盾的統計結果。而有些令人難以捉摸的代理報告方式，也給人口普查數據蒙上了陰影，但迄今為止在文獻中很少受到關注。

對于那些使用現有普查或調查數據開展二次分析的人而言，這些問題都是需要考慮的重要因素。不過需要指出的是，由于篇幅原因，本文無法全面考察問題形式和語境的變化對受訪者理解和回答問題的影響。例如，與單選題和多選題有關的問題未有討論。因此，有必要對所有這些問題進行進一步的研究，研究對象應從調查方法擴展到所有的研究方法（例如Madans et al. 2011）。

此外，Schaeffer & Dykema（2011：917）回顧了三十年來關于調查問題設計的研究，提出了一個重要觀點，即對調查問題的全面評估“需要注意調查中各種概念的理論定義和操作定義以及問題設計中出現的技術問題”。Bulmer et al.（Bulmer，Gibbs & Hyman 2010：4）也持類似觀點，認為“實證性數據收集必須以相關的理論概念為依據，并使用這些概念構建數據收集的理論框架”。

與語言測試領域（例如Bachman & Palmer 2010）和教育政策領域正在開發的一系列測定方式相比，迄今為止在人口普查中使用的簡略的語言水平測定方式具有顯而易見的局限性。不過，對于大規模調查而言，那些適合在課堂或語言實驗室使用的語言水平測試顯然過于復雜和耗時。如果將課堂語言測試的細致和嚴謹應用于大規模調查中，調查者和受訪者將承受巨大的負擔。盡管在實質關注以及理論和方法上都存在較大差異，在考慮人口普查中語言水平的測定問題時，也應參照語言測試領域對于語言水平概念的界定、描述和測量。

如今在多區域和多國家參與設計和管理的國際測試中，越來越多地使用自我評估問卷。首次“歐洲語言能力調查”（ESLC）（European Commission 2012a）就是一個很好的例子，它結合語言測試和自我評估問卷進行了大規模語言測試。雖然從該調查的報告中可以清楚地看出，其使用的自我評估量表仍需要大量的進一步發展和完善才可用于人口普查問卷，但顯然值得注意的是，在人口普查語言問題的設計中處理概念界定和實際測定之類的問題時，可以參考語言評估和語言教育政策領域的工作成果。

參考文獻

Alwin， D. F. 2007. Margins of Error： A Study of Reliability in Survey Measurement. Hoboken， NJ： Wiley.

Bachman， L. & A. Palmer. 2010. Language Assessment in Practice. Oxford： Oxford University Press.

Baffour， B.， T. King & P. Valente. 2013. The Modern census： Evolution， examples and evaluation. International Statistical Review?81， 407–425.

Blalock， H. 1979. Measurement and conceptualization problems： The major obstacle to integrating theory and practice. American Sociological Review?44， 881–894.

Bulmer， M. 2010. Challenges for social measurement. In M. Bulmer， J. Gibbs & L. Hyman （eds.）， Social Measurement through Social Surveys： An Applied Approach， 215–226. Farnham： Ashgate.

Bulmer， M.， J. Gibbs & L. Hyman. 2010. Introduction. In M. Bulmer， J. Gibbs & L. Hyman （eds.）， Social Measurement through Social Surveys： An Applied Approach， 1–8. Farnham： Ashgate.

Chiswick， B.R. & Miller. 1998. Census language questions in North America. Journal of Economic and Social Measurement?25， 73–95.

Christopher， A. J. 2011. Questions of language in the commonwealth censuses. Population， Space and Place 17， 534–549.

Cobb， C. 2015. Proxy Reporting. In J. A. Krosnick， A. Jon， S. Presser， et al. （eds.）， The Future of Survey Research： Challenges and Opportunities. The National Science Foundation Advisory Committee for the Social， Behavioral and Economic Sciences Subcommittee on Advancing SBE Survey Research， 64–66.

Cohen， M. 2008. Proxy respondent. In Lavrakas P. （ed.）， Encyclopedia of Survey Research Methods， 633. London： Sage.

Courbage， Y. 1998. Survey of the statistical sources on religion， language（s）， national and ethnic groups in Europe. In W. Haug， Y. Courbage & P. Compton （eds.）， The Demographic Characteristics of National Minorities in Certain European States， 23–74. Strasbourg： Council of Europe.

Council of Europe. 2001. Common European Framework of Reference for Languages： Learning， Teaching， Assessment. Cambridge： Cambridge University Press.

Darmody， M. & T. Daly. 2015. Attitudes Towards the Irish Language on the Island of Ireland. Dublin： Economic and Social Research Institute.

de Vries， J. 1990. On coming to our census： A laymans guide to demolinguistics. Journal of Multilingual and Multicultural Development?11， 1–2， 57–76.

de Vries， J. 2006. Language Surveys. In K. Brown （ed.）， The Encyclopedia of Language and Linguistics?（2nd edn.， Vol. 6）， 347–368. Amsterdam： Elvesier.

Dillman， D. A. 2000. Mail and Internet Surveys： The Tailored Design Method?（rev. edn.）. Hoboken， N.J.： Wiley.

Edele， A.， J. Seuring， C. Kristen， et al. 2015. Why bother with testing？ The validity of immigrants self-assessed language proficiency. Social Science Research?52， 99–123.

European Commission. 2012a. First European Survey on Language Competences （ESLC）. Brussels： European Commission.

European Commission. 2012b. First European Survey on Language Competences （ESLC）： Technical Report. Brussels： European Commission.

Fishman， J. A. 1985. Macro-sociolinguistics and the Sociology of Language in the Early Eighties. Annual Review of Sociology?11， 116.

Fishman J. A. & C. Terry. 1969. The validity of census data on bilingualism in a Puerto Rican neighborhood. American Sociological Review?34， 636–650.

Foddy， W. 1993. Constructing Questions for Interviews and Questionnaires. Cambridge： Cambridge University Press.

Fowler， F. 2014. Survey Research Methods （5th edn.）. Los Angeles： Sage.

Grek， S. 2009. Governing by numbers： The PISA ‘effect in Europe. Journal of Education Policy?24， 23–37.

Hakim， C. 1985. Social monitors： Population censuses as social surveys. In M. Bulmer （ed.）， Essays on the History of British Sociological Research， 39–51. Cambridge： Cambridge University Press.

Heath， A. & J. Martin. 1997. Why are there so few formal measuring instruments in social and political research. In L. Lyberg， P. Biemer， M. Collins， et al. （eds.）， Survey Measurement and Process Quality， 71–86. New York： Wiley.

Higgs， G.， C. Williams & D. Dorling. 2004. Use of the census of population to discern trends in the Welsh language： An aggregate analysis. Area?36， 187–201.

Jones， H. 2005. Ability to speak Welsh in the census of population： A longitudinal analysis. Population Trends， Winter 2005， No. 122， 83–86.

Kominski， R. A. 1989. How good is ‘how well？ An examination of the census English-speaking ability question. Paper presented at the Annual Meeting of the American Statistical Association， 6–11 August 1989， Washington DC.

Kominski， R. A. 2012. Languages spoken. In M. J. Anderson， C. F. Citro， J. J. Salvo， et al. （eds.）， Encyclopedia of the U.S. Census from the Constitution to the American Community Survey?（2nd edn.）， 299–300. Washington DC： CQ Press.

Krosnick， J.， C. Judd & B. Wittenbrink. 2005. The measurement of attitudes. In D. Albarracin， B. Johnson & M. Zanna （eds.）， The Handbook of Attitudes， 21–76. Mahwah NJ： Erlbaum.

Krosnick J. & S. Presser. 2010. Question and questionnaire design. In P.V. Marsden & J. D. Wright （eds.）， Handbook of Survey Research （2nd edn.）， 263–313. Bingley， Emerald Publishing Group.

Kunnan， A. 2008. Large-scale language assessment. In E. Shohamy & N. Hornberger （eds.）， Encyclopedia of Language and Education?（2nd edn.） Vol. 7， 157–176. New York： Springer.

Lieberson， S. 1966. Language questions in censuses. Sociological Inquiry 36， 262–279.

Maclean， M. & H. Genn. 1979. Methodological Issues in Social Surveys. London： Macmillan.

Madans， J.， K. Miller， A. Maitland， et al. （eds） 2011. Question Evaluation Methods： Contributing to the Science of Data Quality. Hoboken， NJ： Wiley.

McConnell， G. D. 1997. Global scale sociolinguistics. In F. Coulmas （ed.）， The Handbook of Sociolinguistics， 344–357. Oxford： Blackwell.

Moore， J. 1988. Self/proxy response status and survey response quality —?Review of the literature. Journal of Official Statistics?4， 155–172.

Office for National Statistics （UK）.2004. Census 2001： Report on the Welsh Language： Laid before Parliament Pursuant to Section 4（1） Census Act 1920. London： TSO.

? Gliasáin， M. 1996. The Language Question in the Census. Dublin： Institiúid Teangeolaíocht ?ireann.

? Riagáin， P. 1997. Language Policy and Social Reproduction： Ireland 1893–1993. Oxford： Oxford University Press.

? Riagáin， P. 2018. Measures of Language Proficiency in Censuses and Surveys. Springer International Publishing. https：//doi.org/10.1007/978-3-319-72941-1.

Oscarson， M. 1997.?Self-assessment of foreign and second language proficiency. In C. Clapham & D. Corson （eds.）， The Encyclopedia of Language and Education?（Vol. 7 Language Testing and Assessment），?175–187. Dordrecht： Kluwer Academic Publishers.

Poulain， M. 2008. European migration statistics： Definitions， data and challenges. In M. Barni & G. Extra （eds.）. Mapping Linguistic Diversity in Multicultural Contexts， 43–66. Berlin： Mouton de Gruyter.

Rallu， J-L.， V. Piché & P. Simon.2006. Demography and ethnicity： An ambiguous relationship. In G. Caselli， J. Vallin & G. Wunsch （eds.）， Demography： Analysis and Synthesis?Vol. 3， 531–550.?Amsterdam： Elsevier.

Sakshaug， J. W. 2015. Proxy reporting in health surveys. In T. P. Johnson （ed.）， Handbook of Health Survey Methods， 367–381. Hoboken NJ.： Wiley.

Schaeffer N. C. & J. Dykema. 2011. Questions for surveys： Current trends and future directions. Public Opinion Quarterly?75， 909–961.

Siegel， P.， E. Martin & R. Bruno. 2001. Language use and linguistic isolation： Historical data and methodological issues. In Statistical Policy Working Paper 32： 2000 Seminar on Integrating Federal Statistical Information and Processes， 167–190. Washington DC： Federal Committee on Statistical Methodology， Office of Management and?Budget.

Silver， B. 1986. The ethnic and language dimensions in Russian and Soviet censuses. In R. S. Clem （ed.）， Research Guide to the Russian and Soviet Censuses， 70–97. Ithaca： Cornell University Press.

Silver， B. 2001/2002. Nationality and Language in the New Censuses of the Baltic States. Paper presented at the Annual meeting of the Association for the study of Nationalism， April 2001， Columbia University， New York.

Smith， T.W. 2003. Developing comparable questions in cross-national surveys. In J. A. Harkness， F. J. R.van de Vijver & P. Mohler （eds.）， Cross-cultural Survey Methods， 69–92. New York： Wiley.

Stafford， F. P. 2010. Panel surveys： Conducting surveys over time. In P.V. Marsden & J.D. Wright （eds）， Handbook of Survey Research， 765–794. Bingley： Emerald Press.

Starr， P. 1987. The sociology of official statistics. In W. Alonso & P. Starr （eds.）， The Politics of Numbers， 7–57. New York： Russell Sage Foundation.

Stevens， G. 1999. A century of U.S. censuses and the language characteristics of immigrants. Demography?36， 387–397.

Tourangeau， R.， L. J. Rips & K. Rasinski. 2000. The Psychology of Survey Response. Cambridge： Cambridge University Press.

責任編輯：魏曉明