高校數(shù)據(jù)分析類課程中測試問卷時(shí)長的分析

陳陌

摘? 要：依照教學(xué)目的進(jìn)行劃分，把課堂上的教學(xué)互動(dòng)分為3類：檢驗(yàn)互動(dòng)、啟發(fā)互動(dòng)和測試互動(dòng)。針對其中測試互動(dòng)類問卷，預(yù)留過短的答題時(shí)間會(huì)影響問卷信度，過長的答題時(shí)間又會(huì)影響課堂滿意度。該文結(jié)合近3年的課堂實(shí)踐數(shù)據(jù)，以層次分析法和價(jià)格敏感測試法為對象，重點(diǎn)分析了327個(gè)樣本答題時(shí)長和一致性系數(shù)之間的關(guān)系，發(fā)現(xiàn)：首先課堂上答題時(shí)長和問卷信度并沒有正相關(guān)性，其次平均答題時(shí)長近似服從均值為8.4 s，標(biāo)準(zhǔn)差為3.6的正態(tài)分布，最后建議數(shù)據(jù)分析類課程應(yīng)開設(shè)在低年級(jí)學(xué)期。

關(guān)鍵詞：數(shù)據(jù)分析? 測試互動(dòng)? 答題時(shí)長? 一致性系數(shù)? 問卷信度? 正態(tài)分布

中圖分類號(hào)：G642? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-3791（2021）05（c）-0011-06

Analysis on Test Questionnaire Length from College Data Analysis Type Courses

CHEN Mo

（School of Management， Tianjin University of Commerce， Tianjin， 300134? China）

Abstract： Divided by teaching goals， teaching interaction has three types： verification interaction， enlightenment interaction and test interaction. Aiming at test interaction questionnaire， too short answer time will lower questionnaire reliability， and too long answer time will lower student satisfaction. This paper analyzes the relationship between answer length and consistency coefficient in the past three years from 327 samples， based on Analytic Hierarchy Process and Price Sensitivity Measure. First， there is not positive correlation between class answer length and questionnaire reliability. Second， average answer length nearly obeys a normal distribution with mean 8.4 seconds and standard variance 3.6. Last， data analysis class should open in junior grade.

Key Words：Data analysis; Test interaction; Answer length; Consistency coefficient; Questionnaire reliability; Normal distribution

隨著信息的愈加多元化，大數(shù)據(jù)資深分析專家和決策經(jīng)理分析師的缺口均在幾十萬和上百萬人[1]，因此我國很多高校都會(huì)要求不同專業(yè)學(xué)生學(xué)習(xí)該類課程，但是側(cè)重點(diǎn)有所區(qū)別，比如有的側(cè)重商業(yè)數(shù)據(jù)分析，有的側(cè)重統(tǒng)計(jì)類分析，還有的側(cè)重機(jī)器學(xué)習(xí)預(yù)測，等等[2]?，F(xiàn)今高校的很多課程都越來越重視互動(dòng)教學(xué)[3]，其中在數(shù)據(jù)分析類課程中體現(xiàn)的特別明顯[4]。相應(yīng)的，一些教學(xué)輔助軟件也為互動(dòng)教學(xué)配置了相應(yīng)功能模塊，以雨課堂為例，就包括單選題、多選題、填空題和主觀題4種方式[5]。互動(dòng)教學(xué)的目的可以分為3類，第一類可以概括為檢驗(yàn)互動(dòng)，它的主要作用是通過少量試題來檢驗(yàn)學(xué)生當(dāng)堂的聽課效果，同時(shí)可以對走神的同學(xué)起到警示作用。第二類為啟發(fā)互動(dòng)，它通過一個(gè)引導(dǎo)問題讓同學(xué)進(jìn)行發(fā)散思維，分析大家的答案后再引出下面要講授的問題。第三類為測試互動(dòng)，它通過設(shè)計(jì)問卷來測試學(xué)生對知識(shí)的掌握程度，也可以讓學(xué)生結(jié)合所學(xué)知識(shí)對自己的數(shù)據(jù)進(jìn)行分析，達(dá)到鞏固練習(xí)的目的。

數(shù)據(jù)分析類課程需要學(xué)生一定的參與度，因此通過課堂測試互動(dòng)來布置作業(yè)是教師的一個(gè)常用手段，相比抽取題庫里的作業(yè)，這種方式更能提高學(xué)生的興趣。測試互動(dòng)在課堂應(yīng)用中面臨的主要問題是問卷長度與問卷信度的權(quán)衡[6]，Jepson等研究者在2005年研究了問卷長度與答題人回應(yīng)比例的關(guān)系，發(fā)現(xiàn)問卷過長的話回應(yīng)比例明顯下降[7]。另外，Yan等研究者在2010年指出有影響受訪者作答的因素主要有3個(gè)：（1）預(yù)留的答題時(shí)間;（2）實(shí)際問卷的長度;（3）是否有答題進(jìn)度提示[8]。但以上研究沒有闡述如果問卷長度適中，預(yù)留多長答題時(shí)間的問題。在實(shí)際課堂上，教師會(huì)盡可能給學(xué)生留出時(shí)間讓所有同學(xué)都完成問卷，期望可以收到質(zhì)量更高和更多的數(shù)據(jù)，但同時(shí)部分學(xué)生也會(huì)認(rèn)為過長的答題時(shí)間對部分較早完成的同學(xué)產(chǎn)生一種不公平，降低了課堂滿意度[9]。

從執(zhí)行情況來看，答題時(shí)間較長的問卷也會(huì)出現(xiàn)信度較低的情況，當(dāng)然如果答題時(shí)間過短，問卷的信度也肯定是無法保證的[10]。該文擬結(jié)合近3年來數(shù)據(jù)分析課程的實(shí)踐數(shù)據(jù)，從測試問卷答題時(shí)長和信度的角度進(jìn)行研究和分析。

1? 樣本描述

1.1 樣本選取

樣本分別來自2018—2019第二學(xué)期、2019—2020第二學(xué)期和2020—2021第一學(xué)期的“商業(yè)數(shù)據(jù)基礎(chǔ)分析”課程，該課程設(shè)立在第三學(xué)期，學(xué)生均為在校大二的學(xué)生，學(xué)生總數(shù)為218人。由于測試互動(dòng)都是在課堂上進(jìn)行的，無法做到反復(fù)詢問進(jìn)而測試問卷信度，因此特別地選取層次分析法（AHP）和價(jià)格敏感測試法（PSM）作為分析對象，原因在于AHP可以在結(jié)果分析中通過一致性系數(shù)CR來判斷每個(gè)人所答問卷的信度，而PSM也可以通過題目中預(yù)設(shè)的邏輯判斷關(guān)系來進(jìn)行信度判斷。

Rolstad等研究者在2011年做了關(guān)于病人問卷長度和答題負(fù)擔(dān)的研究，結(jié)論是問卷內(nèi)容和質(zhì)量是影響答題負(fù)擔(dān)的決定因素[11]。周鵬生在2009年研究了問卷長度和項(xiàng)目性質(zhì)的關(guān)系，發(fā)現(xiàn)問卷內(nèi)容和所在位置會(huì)對作答心向產(chǎn)生影響[12]。而AHP和PSM作為非常成熟的方法，在問題設(shè)計(jì)上是比較合理的，因此該文在后續(xù)分析中不考慮問卷內(nèi)容對問卷信度的影響，主要分析的是時(shí)長和信度之間的關(guān)系。AHP方法在2018級(jí)和2019級(jí)學(xué)生中進(jìn)行了測試，實(shí)際樣本數(shù)分別為69人和65人，合計(jì)134人;PSM方法在2017級(jí)、2018級(jí)和2019級(jí)學(xué)生中進(jìn)行了測試，實(shí)際樣本數(shù)分別為64人、63人和66人，合計(jì)193人。

1.2 題型設(shè)計(jì)

1.2.1 AHP的測試互動(dòng)設(shè)計(jì)

課堂上設(shè)計(jì)了教學(xué)和手機(jī)產(chǎn)品兩個(gè)主題的層次分析法問題，其中教學(xué)是一個(gè)4階的問題，包含教學(xué)內(nèi)容、教學(xué)方法、教學(xué)態(tài)度和教學(xué)效果[13];手機(jī)產(chǎn)品是一個(gè)7階的問題，包含外觀、品牌、內(nèi)存大小、電池容量、攝像頭、屏幕大小和系統(tǒng)，評(píng)價(jià)時(shí)使用的是7級(jí)李克特量表[14]。

在AHP方法的設(shè)計(jì)中，除了自身之間的重要性不需要詢問以外，4階和7階問題分別需要進(jìn)行12道和42道的詢問，顯然讓學(xué)生同一時(shí)間在課堂上作答54道重要性判別題是一個(gè)比較困難的測試，因此有必要在設(shè)計(jì)上做一些簡化。假設(shè)學(xué)生不會(huì)出現(xiàn)正反誤判，這樣僅需要對判別矩陣中的上三角部分進(jìn)行回答即可，下三角部分利用公式aij=1/aij得到。以教學(xué)矩陣為例（見圖1），題目數(shù)量就由12道變?yōu)?道了，該處理方法將誤判集中在三角誤判上，同時(shí)大幅降低了答題數(shù)量。

1.2.2 PSM的測試互動(dòng)設(shè)計(jì)

針對最新上市的蘋果手機(jī)進(jìn)行問卷測試，使用PSM中標(biāo)準(zhǔn)的4道問題進(jìn)行詢問[15]。Q1：該蘋果手機(jī)以哪一個(gè)價(jià)格銷售時(shí)您開始覺得便宜，樂意去購買？Q2：該蘋果手機(jī)以哪一個(gè)價(jià)格銷售時(shí)您開始覺得貴呢，仍然可以接受？Q3：該蘋果手機(jī)以哪一個(gè)價(jià)格銷售時(shí)您開始覺得太貴了，質(zhì)量再好也不去購買呢？Q4：該蘋果手機(jī)以哪一個(gè)價(jià)格銷售時(shí)您開始覺得太便宜了，不相信它的質(zhì)量，不買呢？

考慮到后期數(shù)據(jù)處理的便利性，沒有采用讓學(xué)生直接回答金額的方式，而是專門設(shè)計(jì)了兩套答題形式，第一種是讓學(xué)生在“萬千百十個(gè)”位上對0～9這10個(gè)數(shù)字進(jìn)行選擇，這樣后面進(jìn)行單元格合并就可以獲得學(xué)生在每道題所答金額。第二種是提前設(shè)定好價(jià)格檔級(jí)，即最低3 000元，最高8 100元，每檔間隔300元，讓學(xué)生對每道題進(jìn)行選擇，這樣后面也可以得到4道問題的答案。

2? 測試結(jié)果分析

該文的目的是探求課堂答題時(shí)長和信度的關(guān)系，下面利用積累下來的數(shù)據(jù)對AHP和PSM兩個(gè)方法的效度進(jìn)行分析。這里認(rèn)為不同年紀(jì)的學(xué)生在樣本上是同質(zhì)的，因此AHP一共有134個(gè)樣本，PSM一共有193個(gè)樣本。

2.1 AHP的測試分析

AHP測試中學(xué)生同時(shí)對教學(xué)和手機(jī)兩個(gè)問題進(jìn)行了作答，在問卷中只有一個(gè)答題的總時(shí)間，這里就按照6道和21道的比例來分配學(xué)生在兩個(gè)問題中的總答題時(shí)長，文章中圖2和圖3分別表示教學(xué)和手機(jī)兩個(gè)問題中答題時(shí)長和一致性系數(shù)CR的關(guān)系。

圖2中答題時(shí)長大多位于10～100 s之間，平均答題時(shí)間是55.1 s，平均CR值為0.30，AHP中認(rèn)定一致性是可以被接受的標(biāo)準(zhǔn)是CR小于0.1，但是在實(shí)際測試中發(fā)現(xiàn)大多樣本的CR指都是要超過0.1的，相對較高的幾個(gè)樣本中，答題時(shí)長在40～60 s區(qū)間較為集中，每題時(shí)間為8～10 s，剩下樣本的CR值分布較為平均。

圖3中答題時(shí)長主要分布在40～360 s，平均答題時(shí)長為192.9 s，平均CR值為0.39，高CR值的樣本在110～210 s區(qū)間內(nèi)較為集中，每題時(shí)間為5.2～10 s。

下面通過氣泡圖來觀察學(xué)生在教學(xué)和手機(jī)兩個(gè)問題上CR值的相關(guān)性，具體見圖4。橫軸表示學(xué)生在教學(xué)問題的CR值，縱軸表示學(xué)生在手機(jī)問題的CR值，氣泡大小表示學(xué)生平均每題的答題時(shí)長?？紤]到手機(jī)問題和教學(xué)問題CR的比值約為1.3，因此圖中添加了一條y=1.3x的輔助線。觀察到教學(xué)問題CR值在0.6及以下時(shí)，由x=0.6、y=0.78、x=0和y=0組成的區(qū)域①中，這些點(diǎn)是近似圍繞在y=1.3x附近的，說明大約有80%的學(xué)生做出的一致性判斷是符合認(rèn)識(shí)規(guī)律的。在②和③兩部分區(qū)域中，通過觀察氣泡的大小，可以發(fā)現(xiàn)在這兩個(gè)區(qū)域內(nèi)有面積很大的氣泡，說明一些學(xué)生在耗時(shí)較長的情況下，答題一致性卻比較差。

2.2 PSM的測試分析

PSM方法中Q1～Q4四道問題應(yīng)該遵守的邏輯順序是Q3>Q2>Q1>Q4，一般情況下如果符合這個(gè)邏輯，樣本中所答的數(shù)值就會(huì)被采納，否則該樣本的答案會(huì)被剔除，利用這個(gè)邏輯關(guān)系，設(shè)計(jì)了一個(gè)衡量樣本一致性系數(shù)CP的公式。

（1）

式中，CP表示樣本的一致性系數(shù);Nc表示括號(hào)中6個(gè)不等式成立的個(gè)數(shù)（Q3>Q2， Q3>Q1， Q3> Q4， Q2>Q1， Q2>Q4， Q1>Q4），。學(xué)生一共對兩套問卷進(jìn)行了回答，第一套問卷一共是20道題，第二套問卷是4道題，在度量樣本一致性時(shí)取兩套問卷的平均值，下面給出學(xué)生在PSM上平均答題時(shí)間和一致性系數(shù)CP的散點(diǎn)圖，具體見圖5。

橫坐標(biāo)是每個(gè)樣本的平均答題時(shí)長，可以看到平均時(shí)長大多分布在4～10 s，縱坐標(biāo)表示一致性系數(shù)CP，CP值越低說明一致性越好，取值方向與CR值是一致的，右上角表格是不同CP的樣本量占總樣本量的百分比，可以發(fā)現(xiàn)有62.7%的學(xué)生作答是完全符合PSM邏輯要求的，0.17及以下的占比為80.3%，樣本的不良率還是比較低的。

3? 測試結(jié)果總結(jié)

3.1 AHP的分析總結(jié)

（1）剔除過快和過慢以及CR值過高的學(xué)生，教學(xué)問題的平均答題時(shí)長在9.1 s，手機(jī)問題的平均答題時(shí)長在9.2 s，很接近。

（2）教學(xué)問題CR值較高的學(xué)生答題時(shí)長在8～10 s，手機(jī)問題CR值較高的學(xué)生答題時(shí)長在5.2～10 s，可以發(fā)現(xiàn)CR較高學(xué)生的答題時(shí)長也是分布在均值附近的。

（3）從數(shù)據(jù)圖可以看到，較短的答題時(shí)長與較高的CR值沒有必然關(guān)系，同時(shí)較長的答題時(shí)長與較低的CR值也沒有必然關(guān)系。

3.2 PSM的分析總結(jié)

（1）所有樣本的平均答題時(shí)長是7.9 s。

（2）CP值較高樣本的答題時(shí)間分布在4～10 s這個(gè)區(qū)間，有75%樣本答題的時(shí)長也是落在該區(qū)間。

（3）平均時(shí)長在4 s以下的樣本同時(shí)出現(xiàn)了高CP值和低CP值，平均時(shí)長在10 s以上樣本的CP值主要分布在0檔和0.25檔，較長答題時(shí)長的樣本分布相對集中，同時(shí)較長答題時(shí)長與較低CP值沒有必然關(guān)系。

4? 結(jié)論

通過3年的數(shù)據(jù)分析課程追蹤，該文選取了AHP和PSM兩個(gè)方法進(jìn)行深入分析，目的是來對課堂上測試問卷的時(shí)長給出建議，同時(shí)也有了一些該類課程的建設(shè)心得，下面逐條進(jìn)行闡述。

（1）從AHP和PSM的數(shù)據(jù)分析結(jié)果來看，問卷的答題時(shí)長與問卷答題質(zhì)量之間沒有正相關(guān)性，為了高完成比率而過度延長答題時(shí)間反而會(huì)將降低課堂的滿意度。

（2）繪制了AHP和PSM一共327個(gè)樣本的平均答題時(shí)長分布，具體見圖6。橫坐標(biāo)的范圍由327個(gè)樣本的最小值和最大值決定，間隔了20組，每組間距1.1。左側(cè)縱坐標(biāo)表示模擬的正態(tài)分布概率值，右側(cè)縱坐標(biāo)表示每組的頻數(shù)?？梢园l(fā)現(xiàn)，平均答題時(shí)長是接近服從均值為8.4，標(biāo)準(zhǔn)差為3.6的正態(tài)分布，則在95%的置信度下，平均時(shí)長的置信區(qū)間為[8.03， 8.81]，據(jù)此可以預(yù)估課堂測試互動(dòng)的預(yù)留總時(shí)長。

（3）數(shù)據(jù)分析類課程還是盡早設(shè)立比較好，在課程建設(shè)時(shí)也有專家建議應(yīng)該在統(tǒng)計(jì)類課程之后，一般來說是作為專業(yè)課放在第五學(xué)期，但是后面經(jīng)過實(shí)踐和學(xué)生調(diào)研，發(fā)現(xiàn)開設(shè)課程的時(shí)間需要提前，主要有兩點(diǎn)原因。一是一般學(xué)生日常學(xué)習(xí)和實(shí)習(xí)接觸到的數(shù)據(jù)分析，對于統(tǒng)計(jì)知識(shí)的要求并不高，掌握一些均值方差和分布的概念就可以了，沒有必要太過強(qiáng)調(diào)統(tǒng)計(jì)知識(shí)的儲(chǔ)備;二是目前像大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃（簡稱大創(chuàng)）之類的比賽參與度非常高，比賽的時(shí)間一般都是在春季學(xué)期，該課程的設(shè)置的時(shí)間點(diǎn)正好可以為大二學(xué)生打好數(shù)據(jù)基礎(chǔ)。

參考文獻(xiàn)

[1] 何海地.美國大數(shù)據(jù)專業(yè)碩士研究生教育的背景、現(xiàn)狀、特色與啟示——全美23所知名大學(xué)數(shù)據(jù)分析碩士課程網(wǎng)站及相關(guān)信息分析研究[J].圖書與情報(bào)，2014（2）：48-56.

[2] 周傲英，周烜.數(shù)據(jù)專業(yè)人才培養(yǎng)方案與核心課程體系建設(shè)[J].中國大學(xué)教學(xué)，2020（6）：15-21，33.

[3] 王林平，高云涌.用科學(xué)的教學(xué)互動(dòng)激發(fā)思政課課堂活力[J].中國大學(xué)教學(xué)，2020（11）：28-32.

[4] 沈玖玖，徐萍，張琴，等.大數(shù)據(jù)時(shí)代高校數(shù)據(jù)素養(yǎng)課程群構(gòu)建研究[J].圖書情報(bào)工作，2019，63（19）：66-74.

[5] 王成功，王君，曾雪瑩，等.基于雨課堂的混合式教學(xué)在高校足球教學(xué)中的應(yīng)用[J].當(dāng)代體育科技，2020，10（32）：118-121，124.

[6] 趙志裕，康螢儀.問卷長度與作答型式的關(guān)系[J].心理學(xué)報(bào)，1988（1）：15-19.

[7] Jepson C，Asch D A，Hershey J C，et al.In a mailed physician survey， questionnaire length had a threshold effect on response rate[J].Journal of clinical epidemiology，2005，58（1）：103-105.

[8] Yan T，Conrad F G，Tourangeau R， et al. Should I Stay or Should I go： The Effects of Progress Feedback，Promised Task Duration，and Length of Questionnaire on Completing Web Surveys[J].International Journal of Public Opinion Research，2010，23（2）：131-147.

[9] 馬莉萍，曹宇蓮.同步在線教學(xué)中的課堂互動(dòng)與課程滿意度研究——以北京大學(xué)教育博士項(xiàng)目為例[J].現(xiàn)代教育技術(shù)，2020，30（8）：15-25.

[10] 柯友枝，孫建剛，張業(yè)安，等.問卷是否可信——基于體育核心期刊論文（2010—2018年）的系統(tǒng)分析[J].體育科學(xué)，2020，40（2）：90-97.

[11] Rolstad S， Adler J， RydEn A.Response Burden and Questionnaire Length： Is Shorter Better？ A Review and Meta-analysis[J]. Value in Health，2011，14（8）：1101-1108.

[12] 周鵬生.問卷長度、問卷項(xiàng)目性質(zhì)與作答心向的關(guān)系[J].西北民族大學(xué)學(xué)報(bào)：自然科學(xué)版，2009，30（3）：82-85.

[13] 蔡紅梅，許曉東.高校課堂教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系的構(gòu)建[J].高等工程教育研究，2014（3）：177-180.

[14] 王彩珍，李彬彬.基于數(shù)學(xué)模型對手機(jī)產(chǎn)品質(zhì)量的分析[J].河南城建學(xué)院學(xué)報(bào)，2018，27（2）：85-92.

[15] 楊和財(cái)，徐顥.葡萄酒價(jià)值認(rèn)知及定價(jià)敏感區(qū)研究[J].中國釀造，2011（7）：188-191.