全國衛(wèi)生專業(yè)技術(shù)資格考試信度評價及影響因素分析

劉清偉，張學(xué)高，胡榮波，汪本奎，陳聲宇，張艷春

(1.國家衛(wèi)生計生委人才交流服務(wù)中心，北京 100097；2.國家衛(wèi)生計生委衛(wèi)生統(tǒng)計信息中心，北京 100044；3.國家衛(wèi)生計生委衛(wèi)生發(fā)展研究中心，北京 100191)

2000年，原人事部、衛(wèi)生部下發(fā)《關(guān)于加強(qiáng)衛(wèi)生專業(yè)技術(shù)職務(wù)評聘工作的通知》之后，全國衛(wèi)生專業(yè)技術(shù)資格考試工作全面開展。衛(wèi)生計生行業(yè)初、中級職稱以考代評，考試實行全國統(tǒng)一組織，統(tǒng)一考試時間，統(tǒng)一考試大綱，統(tǒng)一考試命題，統(tǒng)一合格標(biāo)準(zhǔn)。衛(wèi)生專業(yè)技術(shù)資格考試在衛(wèi)生計生人才隊伍建設(shè)過程中承擔(dān)著人才評價的重要角色，是衛(wèi)生人力資源建設(shè)的重要環(huán)節(jié)。[1]考試的質(zhì)量主要是以考試的信度和效度來體現(xiàn)，其中信度表示考試成績的穩(wěn)定性和可靠性，主要評價測量中的隨機(jī)誤差。效度表示考試的有效性，主要評價測量中的系統(tǒng)誤差。而科學(xué)、合理地確定測試長度，則是提高考試質(zhì)量、考試的信度和效度的重要途徑之一。如果題量過少，則試題取樣的總體代表性就差，不能全面地測試被試的目標(biāo)特質(zhì)；但題量過多，造成了題庫試題不必要的曝光，同時，考生在限定時間里的負(fù)擔(dān)過重，可能引起疲勞，這兩種情況都會降低考試的信度和效度。信度是效度最重要的基礎(chǔ)之一。因此在效度難以實際測量的情況下，測量信度就成為檢驗考試可靠程度可行并有效的方法。[2-5]因此，本文對全國衛(wèi)生專業(yè)技術(shù)資格考試信度及其影響因素進(jìn)行分析，為進(jìn)一步提高考試信度、效度，提高考試科學(xué)性提供理論依據(jù)。

1 資料來源與方法

1.1 全國衛(wèi)生專業(yè)技術(shù)資格考試試卷結(jié)構(gòu)

2017年全國衛(wèi)生專業(yè)技術(shù)資格考試每個專業(yè)開考基礎(chǔ)知識、相關(guān)專業(yè)知識、專業(yè)知識、專業(yè)實踐能力4個科目。其中臨床醫(yī)學(xué)類等73個專業(yè)均采用人機(jī)對話的方式進(jìn)行，前3個科目為100問選擇題(包含A1、A2、A3、A4及B1型題)，第四科目為A3、A4及案例分析題型，為80問左右選擇題；其他45個專業(yè)采用紙筆作答方式進(jìn)行考試，4個科目都為100問選擇題(包含A1、A2、A3、A4及B1型題)。紙筆考試所有試卷題型內(nèi)部按照試題難度和知識點排序，人機(jī)對話考試作答順序隨機(jī)。

1.2 數(shù)據(jù)來源及抽樣方法

分析抽取2017年全國衛(wèi)生專業(yè)技術(shù)資格考試118個專業(yè)中依據(jù)考試方式和專業(yè)級別分層抽樣，選取了6個專業(yè)。人機(jī)對話考試：內(nèi)科學(xué)(中級)、普通外科學(xué)(中級)；紙筆考試：藥學(xué)(士)、護(hù)理學(xué)(中級)、臨床醫(yī)學(xué)檢驗技術(shù)(師)、公共衛(wèi)生(中級)。所選專業(yè)包含了醫(yī)、藥、護(hù)、技、預(yù)防的二級學(xué)科。樣本量：由于護(hù)理學(xué)考生人數(shù)過多，所以隨機(jī)抽取10000名考生作為樣本，其他專業(yè)均為全樣本。

1.3 研究方法

1.3.1 衛(wèi)生專業(yè)技術(shù)資格考試信度的計算方法

根據(jù)衛(wèi)生專業(yè)技術(shù)資格考試包含題型豐富的特點，信度的計算選用同質(zhì)性信度值α系數(shù)

其中，α代表k為檢測項目數(shù)量(題量)，σ2xi為每一個檢測項目被試者得分的方差，σ2x為被試者在所有檢測項目總分的方差。

學(xué)者 DeVellis(1991)認(rèn)為信度值：0.60～0.65(最好不要)；0.65～0.70(最小可接受值)；0.70～0.80(相當(dāng)好)；0.80～0.90(非常好)。

1.3.2 計算并繪制題量-信度曲線

對抽樣專業(yè)四個科目進(jìn)行信度分析。為了在獲得測試長度與信度關(guān)系的同時，還能夠了解影響試卷信度的其他因素，采取兩種試題抽樣方式分析試卷信度。試卷試題的排序是按照知識點、難度進(jìn)行排序。第一種，按照試題序號順序，即從前2題逐漸增加至最大題號數(shù)；第二種，不考慮試題序號，隨機(jī)抽取試題，即從隨機(jī)抽取2題開始，每增加一道試題都隨機(jī)抽取，直至到最大題量。對于紙筆考試形式而言，第一種抽樣方法即是考生的實際作答順序；而第二種抽樣方法接近于人機(jī)對話考試的作答順序，人機(jī)對話考

試為題型內(nèi)部試題順序隨機(jī)。

2 研究結(jié)果

2.1 順序抽樣題量-信度計算結(jié)果

所有抽樣專業(yè)在測試長度(題量)10問以內(nèi)時信度值不穩(wěn)定，在10問至50問之間信度值迅速升高，達(dá)到60問時信度值均在0.76以上，60問后信度值上升緩慢，基本趨于平穩(wěn)，最大值均在0.83以上，最大值基本為測試長度的最長點，在測試長度內(nèi)未出現(xiàn)信度值下降現(xiàn)象，四個科目的曲線也呈現(xiàn)高度一致性，其中內(nèi)科學(xué)和外科學(xué)專業(yè)實踐能力的信度值在60問之前相對其他科目上升較慢，而在60問后仍然顯現(xiàn)較明顯的上升趨勢。具體見圖1～6。

2.2 隨機(jī)抽樣題量-信度計算結(jié)果

隨機(jī)抽樣與順序抽樣在信度值的上升趨勢、最大值及四個科目的一致性等方面均相似，60問時信度值都在0.71以上，各個科目最大值與順序抽樣完全相同，都在0.83以上。但是在測試長度60問以下時，信度值相對不穩(wěn)定，波動較大。內(nèi)科學(xué)和外科學(xué)專業(yè)實踐能力的信度值也沒有像順序抽樣一樣在60問后仍然顯現(xiàn)較明顯的上升趨勢，而是50問之前上升比順序抽樣明顯。具體見圖7～12。

圖1 護(hù)理學(xué)(中級)順序抽樣題量-信度曲線

圖2 藥學(xué)初級(士)順序抽樣題量-信度曲線

圖3 臨床醫(yī)學(xué)檢驗技術(shù)(師)順序抽樣題量-信度曲線

圖4 內(nèi)科學(xué)(中級)順序抽樣題量-信度曲線

圖5外科學(xué)(中級)順序抽樣題量-信度曲線

圖6公共衛(wèi)生(中級)順序抽樣題量-信度曲線

圖7 護(hù)理學(xué)(中級)隨機(jī)抽樣題量-信度曲線

圖8 藥學(xué)初級(士)隨機(jī)抽樣題量-信度曲線

圖9 臨床醫(yī)學(xué)檢驗技術(shù)初級(師)隨機(jī)抽樣題量-信度曲線

圖10 內(nèi)科學(xué)(中級)隨機(jī)抽樣題量-信度曲線

圖11外科學(xué)(中級)隨機(jī)抽樣題量-信度曲線

圖12公共衛(wèi)生(中級)隨機(jī)抽樣題量-信度曲線

3 討論與結(jié)論

3.1 全國衛(wèi)生專業(yè)技術(shù)資格考試信度評價

所抽取全部樣本試題按照順序和隨機(jī)兩種形式抽樣，也可以等同為紙筆考試和人機(jī)對話考試兩種形式在達(dá)到最大測試長度時，信度水平均已滿足測量學(xué)所要求的較高標(biāo)準(zhǔn)(0.8)，并且大多數(shù)專業(yè)在60題左右時信度水平就已達(dá)到0.8，在60題以上就呈緩慢上升趨勢。且各個專業(yè)、各個科目間的信度值相對均衡，沒有出現(xiàn)某一個專業(yè)的信度值過高或者過低的現(xiàn)象，也沒有出現(xiàn)某個科目的信度值過高或者過低現(xiàn)象，考試信度較好。全國衛(wèi)生專業(yè)技術(shù)資格考試信度較高也與所有試題都是客觀試題有關(guān)。[6]

3.2 全國衛(wèi)生專業(yè)技術(shù)資格考試信度影響因素分析

主要通過對比分析，即對于題量-信度曲線中出現(xiàn)的順序抽樣信度值曲線相對于隨機(jī)抽樣信度值曲線平滑進(jìn)行分析。

3.2.1 測試長度是考試信度的最重要影響因素

不管是順序抽樣還是隨機(jī)抽樣，當(dāng)試題量達(dá)到80問以上時信度系數(shù)都以達(dá)到0.8，并且已經(jīng)穩(wěn)定保持高信度值，該現(xiàn)象也進(jìn)一步驗證了題量是信度最重要的影響因素。隨機(jī)作答題量較少時信度值不穩(wěn)定，題量在60問以下時不同考試科目間的信度值大小相對于順序作答會有所變化，但是當(dāng)題量大于60問時，不同科目間的信度值大小基本與順序作答一致，且總體趨勢仍然是隨著題量的增加信度值增加。此結(jié)果對人機(jī)對話考試提出了達(dá)標(biāo)信度最低題量的要求，相對于紙筆考試的60問，人機(jī)對話考試要70問以上才保持信度穩(wěn)定。

3.2.2 試題難度的正太分布可以提高考試信度

在題量一定時，如果題目太難，考生得分普遍偏低，整個分?jǐn)?shù)分布變窄，信度值就低，如果題目太容易考生得分普遍偏高，同樣會使測驗分?jǐn)?shù)變窄，信度值也會低。[7]所以隨機(jī)抽樣時不同難度試題隨機(jī)出現(xiàn)，所以就會出現(xiàn)題量較少時信度值忽高忽低不穩(wěn)定的現(xiàn)象。因此試題的難度分布越接近正態(tài)分布，考試的信度也越好；

3.2.3 提高試題區(qū)分度可以提高考試信度

區(qū)分度在試題難度值大或小的兩端時水平較低，在順序抽樣時，初始幾題的區(qū)分度都較低，所以信度值相對穩(wěn)定的保持低水平，而隨機(jī)抽樣時信度值出現(xiàn)了波動，同難度對信度的影響類同。因此提高試題的區(qū)分度也是保證試題信度的重要方法。[7]

3.2.4 增加案例分析題題型題量可以提高考試信度

抽樣專業(yè)中只有內(nèi)科學(xué)(中級)和外科學(xué)(中級)的專業(yè)實踐能力科目中包含了案例分析題，順序作答時是先答A3、A4型題，后答案例分析題，所以這兩個科目的順序抽樣曲線和隨機(jī)抽樣曲線的差別表現(xiàn)，提示案例分析題這樣題型相對于其他題型更容易提高測試信度。

3.2.5 試題按知識點排序可以提高順序作答考試的信度水平

同一知識點難度有一定的相近性特點，因此在順序抽樣時，同一知識點試題多會連續(xù)作答，在隨機(jī)抽樣時同一知識點會隨機(jī)作答，所以試卷知識點分布即知識結(jié)構(gòu)不僅影響到試卷的內(nèi)容效度，試題與知識點相關(guān)的排序也可以成為影響信度的一個因素；知識點按順序排序分布可能提升全國衛(wèi)生專業(yè)技術(shù)資格考試的信度水平，但是知識點排序?qū)τ诩埞P考試提升信度水平有意義，而對于人機(jī)對話的隨機(jī)作答方式的信度提高沒有貢獻(xiàn)。

參考文獻(xiàn)：

[1] 張 蕾，張學(xué)高，張 宏，等.衛(wèi)生專業(yè)技術(shù)資格考試10年發(fā)展與展望[J].中國考試，2010，(11)：44-48.

[2] 李 鳴.對合理確定考試題量的探討[J].韶關(guān)大學(xué)學(xué)報，1995，16(2)43-47.

[3] 竺培梁.測驗信度大盤點[J].外國中小學(xué)教育，2005，(6)18-25.

[4] 熊麗萍.公開考試中表現(xiàn)性評價信度和效度之研究[D].廣州：華南師范大學(xué)，2007.

[5] 劉清偉，張學(xué)高，汪本奎，等.衛(wèi)生專業(yè)技術(shù)資格考試測試長度科學(xué)性實證分析[J].中國考試，2010，(4)50-54.

[6] 田文燕.TEM-4測試信度實證研究——以2006-2011年TEM-4試題為例[J].五邑大學(xué)學(xué)報，2014，16(4)：80-85.

[7] 戴海琦，張 鋒，陳雪楓.心理與教育測量(第三版)[M].廣州：暨南大學(xué)出版社，2011.