吳 廣,張運(yùn)吉*,張敬瑋,閆明慧,趙秀華,徐學(xué)東*,
1.山東農(nóng)業(yè)大學(xué) 園藝科學(xué)與工程學(xué)院,山東 泰安 271018
2.山東農(nóng)業(yè)大學(xué) 水利土木工程學(xué)院,山東 泰安 271018
項(xiàng)目反應(yīng)理論指導(dǎo)下村民生活滿意度調(diào)查問(wèn)卷的設(shè)計(jì)
吳 廣1,張運(yùn)吉1*,張敬瑋2,閆明慧2,趙秀華2,徐學(xué)東2*,
1.山東農(nóng)業(yè)大學(xué) 園藝科學(xué)與工程學(xué)院,山東 泰安 271018
2.山東農(nóng)業(yè)大學(xué) 水利土木工程學(xué)院,山東 泰安 271018
新農(nóng)村建設(shè)背景下,村莊改造以村民為主體。通過(guò)科學(xué)的問(wèn)卷設(shè)計(jì)進(jìn)行民意調(diào)查,能更加準(zhǔn)確地了解村民真實(shí)意愿,對(duì)村莊改造具有指導(dǎo)意義。本文以項(xiàng)目反映理論為指導(dǎo)編寫(xiě)村民生活滿意度調(diào)查問(wèn)卷,詳細(xì)闡述問(wèn)卷設(shè)計(jì)的基本流程、問(wèn)項(xiàng)篩選、誤差控制等技術(shù)環(huán)節(jié),最終形成精簡(jiǎn)的村民生活滿意度調(diào)查問(wèn)卷。結(jié)果表明,IRT理論能精簡(jiǎn)調(diào)查問(wèn)項(xiàng),嚴(yán)格控制問(wèn)卷標(biāo)準(zhǔn),極大提高調(diào)查問(wèn)卷的設(shè)計(jì)質(zhì)量,對(duì)新農(nóng)村建設(shè)過(guò)程中切實(shí)了解民意、指導(dǎo)改造建設(shè)工作具有重要意義。
社情民意調(diào)查;項(xiàng)目反應(yīng)理論;問(wèn)卷設(shè)計(jì);村民生活滿意度;Likert量表
村莊改造是一項(xiàng)惠民工程。近年來(lái),新農(nóng)村建設(shè)如火如荼,各地相繼開(kāi)展了各種形式的村莊改造實(shí)踐工作,政府投入大量人力、物力和財(cái)力,在切實(shí)改善農(nóng)村地區(qū)生產(chǎn)、生活條件上取得了顯著成效,為推進(jìn)新農(nóng)村建設(shè)、統(tǒng)籌城鄉(xiāng)發(fā)展作出了積極探索和實(shí)踐。
但是,在改造的具體實(shí)施中,政府或集體一般處于主體地位,有些農(nóng)民反映強(qiáng)烈、生活生產(chǎn)急需改造的項(xiàng)目,政府并沒(méi)有作出及時(shí)安排,還有些改造項(xiàng)目是根本脫離了農(nóng)民實(shí)際需求的“面子工程”。這使作為改造受益人的村民長(zhǎng)期處于被動(dòng)地位。究其原因除了財(cái)政預(yù)算、施工過(guò)程等人為因素外,主要是政府站在改造的制高點(diǎn)俯視村民,不了解村民的真實(shí)需求。村莊是村民生產(chǎn)生活的家園,村莊改造如不能突出村民的主體地位,尊重村民意愿,就不能真正實(shí)現(xiàn)村莊改造政策的良好初衷,不但造成資源上的巨大浪費(fèi),最終損害廣大村民的利益[1]。為解決這種政府供給與農(nóng)民需求不對(duì)等的局面,切實(shí)了解村民需求,建設(shè)改造前進(jìn)行相應(yīng)社情民意調(diào)查顯得尤為必要。
社情民意調(diào)查是使用社會(huì)科學(xué)的調(diào)查和分析方法,對(duì)一個(gè)地方政府所管轄的居民的調(diào)查,通過(guò)調(diào)查了解公民的需求、行為特征、政策偏好及其對(duì)政府服務(wù)的評(píng)價(jià),并確定公民對(duì)政府服務(wù)評(píng)價(jià)高低的決定因素,以利于政府改進(jìn)服務(wù)的過(guò)程[2]。民意調(diào)查的方法與國(guó)際接軌,包括問(wèn)卷、焦點(diǎn)小組、網(wǎng)絡(luò)問(wèn)卷調(diào)查、數(shù)據(jù)挖掘等多種方法,其中問(wèn)卷調(diào)查法在我國(guó)應(yīng)用最為普遍。如何遵循科學(xué)理論,設(shè)計(jì)出合理的問(wèn)卷(量表),對(duì)公眾就政府行為及其產(chǎn)生的后果進(jìn)行準(zhǔn)確地心理特質(zhì)(如感受、意愿、態(tài)度等)測(cè)量,是社情民意調(diào)查中的關(guān)鍵問(wèn)題[3]。
民意調(diào)查設(shè)計(jì)中對(duì)問(wèn)卷設(shè)計(jì)質(zhì)量的評(píng)價(jià)主要是通過(guò)“信度”和“效度”進(jìn)行。實(shí)際中,一方面由傳統(tǒng)的問(wèn)卷設(shè)計(jì)理論所衍生出的信度指標(biāo)(克朗巴哈α信度、重測(cè)信度、評(píng)分者信度、復(fù)本信度、折半信度等)與效度指標(biāo)(結(jié)構(gòu)效度、鑒別效度、內(nèi)容效度、準(zhǔn)則效度等)在調(diào)查中發(fā)揮著積極作用,但也存在真值假設(shè)不足、平行性假設(shè)不足、信度定義不足、正態(tài)假設(shè)不足、評(píng)價(jià)理論適用范圍不足等缺點(diǎn)[4];另一方面,問(wèn)卷設(shè)計(jì)者多憑經(jīng)驗(yàn)或前者研究文獻(xiàn)主觀臆造問(wèn)項(xiàng),沒(méi)有邏輯依據(jù),從而導(dǎo)致問(wèn)卷設(shè)計(jì)質(zhì)量不高。而以項(xiàng)目反應(yīng)理論(IRT)為代表的現(xiàn)代反應(yīng)理論,彌補(bǔ)了傳統(tǒng)理論的不足,逐漸成為社情民意調(diào)查的重要理論。
項(xiàng)目反應(yīng)理論[5](Item response theory)也稱潛在特質(zhì)理論或潛在特質(zhì)模型,是一種現(xiàn)代心理測(cè)量理論,即在一定的假設(shè)之下,用一個(gè)數(shù)學(xué)函數(shù)去描述被試在項(xiàng)目上可觀察的作答表現(xiàn)與其不可觀察的特質(zhì)水平之間的函數(shù)關(guān)系。IRT認(rèn)為,任何受訪者就調(diào)查問(wèn)題能否得到肯定或滿意回答的概率,取決于兩個(gè)方面:一是自身態(tài)度,即主觀因素;二是用“難度”與“區(qū)分度”等屬性所反映的調(diào)查問(wèn)題的客觀屬性[5]。IRT具有以下特點(diǎn):(1)項(xiàng)目統(tǒng)計(jì)量不依賴于特定的被試樣組;(2)被試的測(cè)驗(yàn)分?jǐn)?shù)與測(cè)驗(yàn)的難度無(wú)關(guān);(3)能夠根據(jù)該測(cè)驗(yàn)理論選擇和被試能力相匹配的測(cè)驗(yàn)項(xiàng)目;(4)不要求測(cè)驗(yàn)誤差和方差對(duì)所有被試都相同;(5)不要求通過(guò)嚴(yán)格的平行測(cè)驗(yàn)來(lái)評(píng)價(jià)測(cè)驗(yàn)精確度。
自20世紀(jì)50年代誕生以來(lái),IRT已跨越近70個(gè)年頭,滲入軍事、醫(yī)療、教育、工業(yè)等眾多領(lǐng)域。在社情民意調(diào)查中應(yīng)用IRT理論,目的在于了解公民對(duì)政府行為及其產(chǎn)生后果的心理特質(zhì)(如感受、意愿、態(tài)度等)評(píng)價(jià),以及決定這些評(píng)價(jià)的影響因素,這與社情民意調(diào)查的目的一致。在調(diào)查問(wèn)卷設(shè)計(jì)中,采用IRT方法進(jìn)行調(diào)查問(wèn)題的取舍、等級(jí)量表的選級(jí)、基于不同受訪群體的問(wèn)卷選項(xiàng)、滿意度(和諧度)合格線標(biāo)準(zhǔn)劃分等方面優(yōu)勢(shì)明顯[5]。
文章主要論述村民生活滿意度問(wèn)卷的設(shè)計(jì)流程,從而切實(shí)了解村民需求。借助軟件對(duì)問(wèn)卷數(shù)據(jù)進(jìn)行處理,所以有關(guān)項(xiàng)目反應(yīng)理論的數(shù)學(xué)模型以及項(xiàng)目特征曲線本文不再詳述。
在民意調(diào)查中,被試者一般只根據(jù)切身體會(huì),做出對(duì)相應(yīng)調(diào)查結(jié)果的評(píng)價(jià),所以滿意度調(diào)查是民意調(diào)查的主要形式。滿意度是顧客或用戶接受產(chǎn)品和服務(wù)的實(shí)際感受值與期望值比較的實(shí)際程度。村民是政府實(shí)施村莊改造行為的“消費(fèi)者”,屬于顧客的范疇,因此本文將顧客滿意度理論應(yīng)用于農(nóng)民滿意度研究中。
3.1.1 村民生活滿意度指標(biāo)的構(gòu)建 滿意度測(cè)量有很多模型可供參考,其中最具主流代表性的是費(fèi)耐爾提出的包括顧客預(yù)期、感知質(zhì)量、感知價(jià)值、顧客抱怨和顧客忠誠(chéng)等五方面組成的邏輯模型[6,7](圖1)。借助費(fèi)耐爾邏輯模型(ACSI)的核心概念和架構(gòu),并結(jié)合村莊的具體情況,利用結(jié)構(gòu)方程模型等理論,構(gòu)建出村民生活滿意度評(píng)價(jià)模型(VL-CSI)(圖2),并在此基礎(chǔ)上形成了相應(yīng)的評(píng)價(jià)指標(biāo)體系(表1),將不可直接測(cè)量的一級(jí)指標(biāo)轉(zhuǎn)化為可直接測(cè)量的二級(jí)指標(biāo)。

圖1 費(fèi)耐爾邏輯模型Fig.1 The logical model of Fei Naier

圖2 村民生活滿意度指標(biāo)評(píng)價(jià)模型Fig.2 The evaluation model of satisfaction index for villagers’living

表1 村民生活滿意度評(píng)價(jià)指標(biāo)體系Table 1 The index system of satisfaction for villagers’living
3.1.2 問(wèn)項(xiàng)編制 根據(jù)所構(gòu)建的評(píng)價(jià)指標(biāo)體系,針對(duì)二級(jí)指標(biāo)編寫(xiě)問(wèn)項(xiàng)。一般情況下編寫(xiě)問(wèn)項(xiàng)要足夠多(至少30個(gè)[8]),并盡量保證調(diào)查問(wèn)項(xiàng)與調(diào)查目的的內(nèi)在一致性,以便后期優(yōu)化。同時(shí)為保證IRT的測(cè)量精度,被試一般在500以上[8]。本調(diào)查運(yùn)用可與IRT理論模型相擬合的五級(jí)Likert量表[9],正向問(wèn)項(xiàng)由非常滿意、滿意、一般、不滿意、非常不滿意5種答案分別設(shè)置5分、4分、3分、2分、1分,反向問(wèn)項(xiàng)設(shè)置1分、2分、3分、4分、5分,編寫(xiě)初始問(wèn)卷(共設(shè)置70個(gè)問(wèn)項(xiàng))。受農(nóng)村地區(qū)經(jīng)濟(jì)發(fā)展水平制約,抽取泰安地區(qū)經(jīng)濟(jì)發(fā)展?fàn)顩r不同的邱家店鎮(zhèn)(經(jīng)濟(jì)發(fā)展?fàn)顩r良好)、祝陽(yáng)鎮(zhèn)(經(jīng)濟(jì)發(fā)展?fàn)顩r中等)、石萊鎮(zhèn)(經(jīng)濟(jì)發(fā)展較落后)3個(gè)地區(qū)的657位村民進(jìn)行問(wèn)卷發(fā)放,做好預(yù)調(diào)查工作,并收回問(wèn)卷進(jìn)行數(shù)據(jù)處理。
3.1.3 數(shù)據(jù)預(yù)處理 將問(wèn)卷統(tǒng)計(jì)數(shù)據(jù)輸入IBM SPSS Statistics 2.1軟件進(jìn)行問(wèn)項(xiàng)數(shù)據(jù)的同向化,并作二級(jí)評(píng)分處理,得分為1、2、3的記0分,4、5記1分,得到IRT建模的基礎(chǔ)數(shù)據(jù)。
3.2.1 單維性檢驗(yàn) 所謂單維性,就是只有一種的潛在特質(zhì)對(duì)反應(yīng)數(shù)據(jù)起作用。單維性檢驗(yàn)是是IRT的一個(gè)基本假設(shè)。常用主成份分析法檢驗(yàn)單維性:若第一特征根與第二特征根之比均在3以上,而且第一主成分解釋的方差比率在20%以上,則可認(rèn)定測(cè)驗(yàn)滿足單維性要求;或第一、二特征根之比小于3,但是卻都是唯一的大于1的特征根,即可認(rèn)為數(shù)據(jù)滿足單維性[10];若第一主成份與第二主成份項(xiàng)目特征根之比小于3,且第二特征根大于0,為得到單維量表,要去掉第二公因素上負(fù)荷較大的問(wèn)項(xiàng)[5]。各一級(jí)指標(biāo)單維性檢驗(yàn)情況如表2所示。其中感知質(zhì)量所反映的內(nèi)容與村莊改造最為密切,所以將感知質(zhì)量劃分為七個(gè)維度的二級(jí)指標(biāo)分別檢驗(yàn)單維性(表3)。

表2 各一級(jí)指標(biāo)用主成份分析法抽取的第一和第二特征根Table 2 Trait root No.1 and 2 extracted from each level indexes by principal components analysis

表3 感知質(zhì)量指標(biāo)用主成份分析法抽取的第一和第二特征根Table 3 Trait roots No.1and 2 extracted from perceived quality indexes by principal components analysis
本調(diào)查去掉8個(gè)問(wèn)項(xiàng)后,各潛在變量的特征根如表1、2所示,各項(xiàng)被測(cè)數(shù)據(jù)均滿足要求,故可認(rèn)為基礎(chǔ)數(shù)據(jù)滿足單維性。
3.2.2 等區(qū)分度檢驗(yàn) 計(jì)算各個(gè)項(xiàng)目的點(diǎn)雙列相關(guān)系數(shù)(即項(xiàng)目區(qū)分度),然后計(jì)算每個(gè)分測(cè)驗(yàn)的相關(guān)系數(shù)的平均數(shù)和標(biāo)準(zhǔn)差。如果標(biāo)準(zhǔn)差相對(duì)平均數(shù)非常小的話,可認(rèn)為這些項(xiàng)目區(qū)分度比較接近,符合等區(qū)分度假設(shè)。如表4所示,各項(xiàng)目區(qū)分度比較分散,顯然不符合等區(qū)分度假設(shè)。
綜上所述,調(diào)查數(shù)據(jù)滿足單維性,故可用IRT模型擬合,因?yàn)閿?shù)據(jù)不滿足等區(qū)分度的要求,故不能采用單參數(shù)邏輯斯蒂模型;由于不存在猜測(cè)性問(wèn)題,不必采用三參數(shù)邏輯斯蒂模型,所以采用雙參數(shù)邏輯斯蒂ICC模型為好。

表4 各一級(jí)指標(biāo)點(diǎn)相關(guān)系數(shù)的平均數(shù)和標(biāo)準(zhǔn)差Table 4 Averages and standard differences of correlation coefficients of indexes
根據(jù)預(yù)調(diào)查的基礎(chǔ)數(shù)據(jù),可采用不同IRT軟件對(duì)各問(wèn)項(xiàng)的二參數(shù)邏輯斯蒂ICC模型的參數(shù)進(jìn)行估計(jì)。而問(wèn)項(xiàng)初選是根據(jù)估計(jì)出來(lái)的各問(wèn)項(xiàng)模型參數(shù),將有極端參數(shù)值的問(wèn)項(xiàng)去掉。通常講對(duì)于a≤0.3(或a≥4),b>2.95(或b<-2.95),c>0.4中的任意一個(gè)問(wèn)項(xiàng)均屬于項(xiàng)目區(qū)分度和難度不滿足要求的項(xiàng)目,需要修改或被刪除[7]。本文模型的參數(shù)估計(jì)運(yùn)用BILOG_MG軟件,得到各問(wèn)項(xiàng)的ICC曲線,刪除43個(gè)難度和項(xiàng)目區(qū)分度不滿足要求的問(wèn)項(xiàng),剩余29個(gè)問(wèn)項(xiàng)。如表5所示。

表5 村民生活滿意度調(diào)查的二參數(shù)邏輯斯蒂模型參數(shù)估計(jì)Table 5 The parameter estimation of two parameters logistic model of survey on villagers for life satisfaction
在調(diào)查精度的考量中,將信息量標(biāo)準(zhǔn)對(duì)調(diào)查精度的要求轉(zhuǎn)變成調(diào)查問(wèn)項(xiàng)的最低信息量。精度要求越高,對(duì)應(yīng)的信息函數(shù)值就越大。根據(jù)用戶對(duì)調(diào)查精度要求,計(jì)算調(diào)查的標(biāo)準(zhǔn)誤SE(θ),得出調(diào)查所需最低信息量的要求,即目標(biāo)信息曲線TIC。IRT規(guī)定,如果我們要顧及某個(gè)總體均數(shù),它的置信區(qū)間寬度就和標(biāo)準(zhǔn)誤的平方SE2有關(guān)。SE2越小,置信區(qū)間越小,則表示我們已經(jīng)獲得的信息量最大。因此,在能力水平θ處的能力估計(jì)標(biāo)準(zhǔn)誤SE(θ)為[5]等值化處理后,態(tài)度測(cè)量應(yīng)該把量表值為中性(即θ=0)以下的被試鑒別出來(lái),但由于測(cè)量誤差的存在,有些真實(shí)θ大于0的被試其測(cè)量值可能小于0,有些真實(shí)值小于0的其估計(jì)值也可能大于0。為此就要確定能夠允許的估計(jì)標(biāo)準(zhǔn)誤,在置信區(qū)間為98%的真實(shí)態(tài)度θ1的置信度下,θ1=0.8在θ0=0以上的兩個(gè)標(biāo)準(zhǔn)誤之外,即|θ0-θ1|≥2SE,于是θ=0.8處的SE(θ)=0.4,帶入上述公式得出問(wèn)項(xiàng)應(yīng)具有的最低信息量I(θ)=6.25。故問(wèn)卷所含問(wèn)項(xiàng)的信息函數(shù)累計(jì)值必須大于或等于6.25的最低信息量要求。如圖3所示。
根據(jù)所計(jì)算出的信息量θ在-0.8和0.8處的取值,分別從大到小順序排序,按θ大小依次提取選項(xiàng),直到累計(jì)的信息量達(dá)到6.25以上(表6)。最后去除6個(gè)選項(xiàng),最終形成包含23個(gè)問(wèn)項(xiàng)的村民生活滿意度調(diào)查問(wèn)卷。

圖3 最終生成的村民生活滿意度調(diào)查方案信息曲線Fig.3 The final information curve of the investigation scheme of villagers for life satisfaction
本文一改傳統(tǒng)滿意度問(wèn)卷的編制方法,首次將項(xiàng)目反應(yīng)理論應(yīng)用于村民生活滿意度調(diào)查問(wèn)卷的設(shè)計(jì)當(dāng)中,詳細(xì)闡述了項(xiàng)目反映理論在村民生活滿意度問(wèn)卷設(shè)計(jì)過(guò)程中各個(gè)技術(shù)環(huán)節(jié)的應(yīng)用,并指導(dǎo)生成結(jié)構(gòu)科學(xué)、邏輯嚴(yán)密的調(diào)查問(wèn)卷。
研究表明,村莊改造要以村民為主體。通過(guò)科學(xué)的問(wèn)卷設(shè)計(jì),切實(shí)了解村民意愿,對(duì)于村莊改造建設(shè)工作具有重要的指導(dǎo)意義和實(shí)踐意義。項(xiàng)目反應(yīng)理論能夠很好地規(guī)范問(wèn)卷設(shè)計(jì)流程,控制篩選標(biāo)準(zhǔn),合理精簡(jiǎn)問(wèn)項(xiàng),極大提高了村民生活滿意度問(wèn)卷編寫(xiě)的質(zhì)量,尤其在反映村民針對(duì)調(diào)查問(wèn)項(xiàng)的潛在特質(zhì)方面。

表6 各問(wèn)項(xiàng)信息量排序Table 6 Rank of each item query information amount
[1]蔡少華.閔行區(qū)村莊改造農(nóng)民滿意度研究[D].上海:上海交通大學(xué),2012
[2]劉 全,劉 勇,劉 汀.項(xiàng)目反應(yīng)理論在我國(guó)社情民意調(diào)查中的應(yīng)用[J].中國(guó)統(tǒng)計(jì),2011(9):48-49
[3]劉 全.基于項(xiàng)目反應(yīng)理論的社情民意調(diào)查問(wèn)卷設(shè)計(jì)[J].統(tǒng)計(jì)與決策,2012,358(10):29-32
[4]劉 全,張 勇.社情民意類調(diào)查問(wèn)卷設(shè)計(jì)的綜合研究[J].中國(guó)統(tǒng)計(jì),2013(4):23-26
[5]余嘉元.專著題名缺失[M].南京:江蘇教育出版社,1992
[6]涂榮庭,趙占波.顧客滿意度測(cè)量探討:量表設(shè)計(jì)、信度和效度[J].管理學(xué)報(bào),2008(1):33-39
[7]劉 武,楊 雷.中國(guó)高等教育顧客滿意度指數(shù)模型的構(gòu)建[J].公共管理學(xué)報(bào),2007(1):84-88,125
[8]漆書(shū)青.專著題名缺失[M].北京:高等教育出版社,1998
[9]郭慶科,陳英敏,孟慶茂.自陳量表式測(cè)驗(yàn)應(yīng)用IRT的可行性[J].心理學(xué)報(bào),2005,37(2):275-279
[10]楊業(yè)兵.兩級(jí)評(píng)分自陳式量表項(xiàng)目反應(yīng)理論分析的方法與模型選擇[D].西安:第四軍醫(yī)大學(xué),2011
Design ofVillage Life Satisfaction Questionnaire underthe Guidance of Item ResponseTheory
WU Guang1,ZHANG Yun-ji1*,ZHANG Jing-wei2,YAN Ming-hui2,ZHAO Xiu-hua2,XU Xue-dong2*
1.College of Horticulture Science and Engineering/Shandong Agricultural University,Tai’an271018,China
2.College of Water Conservancy and Civil Engineering/Shandong Agricultural University,Tai’an271018,China
Under the new rural construction,the village is transformed by the villagers as the main body.Through the scientific questionnaire design for public opinion survey,we can more accurately understand the true wishes of the villagers,and have guiding significance for the transformation of villages.In this paper,a questionnaire on the life satisfaction of villagers is guided by the project reflection theory,it elaborates the basic flow of questionnaire design,the selection of questions and the control of error,finally,a concise questionnaire was formed for the life satisfaction of villagers.The results showed that IRT theory can simplify investigation questions,strictly control the questionnaire standards,and greatly improve the design of the questionnaire quality,it is of great significance to effectively understand the public opinions and guide the construction work in the new countryside construction.
Public opinion surveys;item response theory;questionnaire design;village life satisfaction;Likert scale
C915
A
1000-2324(2017)05-0697-05
2016-04-23
2016-05-13
“十二五”國(guó)家科技支撐計(jì)劃:低成本村鎮(zhèn)基礎(chǔ)設(shè)施與環(huán)境建設(shè)技術(shù)研究與示范(2014BAL04B05)
吳 廣(1991-),男,碩士研究生,研究方向農(nóng)業(yè)園區(qū)規(guī)劃設(shè)計(jì).E-mail:1058707309@qq.com
*通訊作者:Author for correspondence.E-mail:yjzhangdeyouxiang@126.com;xdxu2007@163.com