郭慶科+張愛芹
摘要:情景性面試(SI)和行為描述性面試(BDI)是結構化面試的兩種主要形式,但對二者哪個效度更高的問題國內外還沒有形成一致的意見。本文以68名大學生為被試,平衡設計情景性和行為描述性面試題目,采用多質-多法的驗證性因素分析模型比較兩種面試的構想效度,并以管理者評定為效標比較二者的效標關聯效度。結果發現BDI的因素效度更好,且BDI受評委效應和被試面試應答的社會期望性效應的影響更小;BDI和SI的效標關聯效度都較高,其中BDI略好。本研究的結論是BDI和SI都可以成為有效的人事測評工具,只是SI需要更嚴格的設計和控制。
關鍵詞:行為描述性面試;情景性面試;構想效度;效標關聯效度;MTMM研究
一、問題的提出
面試是目前人事選拔和心理健康評估中廣泛使用的方法[1]。面試一般分為結構化面試與非結構化面試,它們的主要區別在于允許面試官所提問題的靈活性程度,而這也是導致非結構化面試的重測信度與復本信度較低的重要原因[2]。結構化面試的效度顯著高于非結構化面試,面試的效度會隨著結構化程度的增加而提高[3]。
行為描述性面試(behavior description interview,簡稱BDI) 和情景性面試(situational interview,簡稱SI)是結構化面試的兩種主要形式。SI最早是1980年由Latham及其同事為改進傳統的非結構化面試而提出的面試方法。其理論基礎是動機理論中的目標設置理論,這一理論認為,一個人的未來行為會在很大程度上受到他的目標或行為意向的影響,個體為自己設置的目標或意圖是未來行為很好的預測指標。基于該假設,SI的要點是給求職者設置一系列工作中可能會遇到的事件,并詢問“在這種情況下你會怎么做”,以此來鑒別求職者與工作相關的行為意向,求職者對他們將來會怎么做的回答與他們將來真實的行為之間有非常大的相關性。BDI的假設則是“過去行為是未來行為的最好預測指標”,面試中讓應聘者追憶和表述過去的某種真實的行為事件,通過對這一事件的描述評定其心理素質。BDI要求用不帶有啟發性的問題提問,并通過帶有很高技巧性的追問來挖掘完整的行為信息。
SI與BDI的應用越來越廣泛,很多研究發現兩種面試的效度都較高,而且沒有明顯區別。不少元分析研究表明SI和BDI都能預測廣泛的效標行為,包括教育年限、任務績效、組織公民行為等。如Gibb和Taylor[4]在新西蘭的社會工作者中使用匹配的情景性與行為描述性面試題目,發現SI和BDI對社會工作者的績效都有較好的預測效度(r=.60和r=.40)。Day和Carroll[5]以120名申請某課程的大學生為被試,以學業成績為效標,研究發現SI與BDI對效標的預測效度同樣好(r=.37,r=.36)。Latham和Sue-Chan[6]對20個關于SI和BDI研究的元分析發現校正后的效度系數都在.50左右。Taylor和Small[7]對30個關于SI的研究和19個關于BDI的研究進行總結,發現前者的平均效度為.45,后者為.56。
也有研究表明SI的效度高于BDI。Latham和Skarlicki[8]發現只有SI與組織公民行為顯著相關,BDI則不顯著相關。Klehe和Latham[9]以79個MBA學生為被試,其中男生29人,女生50人,行為描述性與情景性題目平行設置,各為9個題目,以MBA期間的團隊工作成績為效標。結果發現SI和BDI的評分者信度分別為.83和.92,BDI的效度系數為.34,SI的效度系數為.41,二者差別不明顯。回歸方程中,SI在BDI之外對團隊工作績效提供了更多的變異解釋率,BDI則不然。他們認為出現這一結果的原因是在研究設計中突出了情景性面試的4個主要特征,即注重應試者的意圖、將應試者置于兩難情景中、制訂詳細的評分細則和通過前期研究篩除沒有區分性的問題。四個月后,Klehe和Latham[9]又讓同一批面試參與者用同伴評定的方法評定了每個人在團隊工作中的典型績效和最優績效,結果發現BDI(r=.34)和SI(r=.41)都能預測典型績效,而SI(r=.25)可以預測最優績效,BDI則不能(r=.11)。
近年來有些研究者發現SI的預測效度,尤其是在復雜工作中的預測效度不如BDI。如Pulakos和 Schmitt[10]在一種復雜工作職位的申請者中實施了SI和BDI,每種面試的參與者都是108人,結果發現SI的效度為-.02,BDI的效度為.32,這使人們認為SI可能不適用于高層職位的人事選拔。Huffcutt等[11]選擇59名加拿大海軍軍官申請人為被試,其中男性52人,女性7人,以錄取后上級對其工作表現的評價為效標,研究發現兩種條件下SI的效度系數分別是.20和.02,而兩種條件下BDI的效度系數分別是.47和.31,這支持了SI不適合高層職位選拔的觀點。Huffcutt等[12]對近期的54個研究進行了元分析,總樣本量為5536,研究發現工作復雜性影響SI的效度,即隨著工作復雜性的增加SI的效度會降低,但BDI的效度則不受工作復雜性的影響。
可見,國外對SI和BDI的效度問題尚存在爭議。有人認為SI的預測效度在簡單工作中與BDI一樣好,而在復雜工作中不如BDI[12,13]。Klehe和Latham等則不同意這一觀點,他們認為如果嚴格按照SI的原理設計面試,則SI在復雜職位選拔中也有很好的效度。Klehe和Latham認為之所以在有些研究中出現SI效度不高的情況,是因為面試題目中沒有設計兩難處境(dilemma),或者沒有充分的預備研究(pilot study)。兩難處境可以起到平衡社會期望性反應的作用,預備研究則有助于發現區分度不高的面試題目并加以刪除。
SI與BDI的效度問題也開始引起我國學者的重視。黎恒[14]發現在相對基層職位的人才選拔中,SI與BDI的效度并沒有體現出明顯差異;而在中層職位中,BDI的效度接近.50,SI的效度卻出現了負值。這一結果表明SI和BDI都適合簡單職位的人事選拔,但是只有BDI適用于相對復雜職位的人事選拔。但批評者[15]認為在多質-多法分析中,黎恒將測評的四個維度當做特質,將兩種面試方法(即行為描述和情景)當作方法,研究結果的真實性值得懷疑:SI與BDI各維度得分及總分間均是負相關,而且SI與效標間也是負相關,這與國外研究結果相左,令人懷疑面試的設計和評分的準確性。杜紅等[16]隨機抽取了某上市公司的43 位在崗中層管理人員作為面試實驗對象,結果發現SI與BDI的信度系數都較高,而且沒有明顯差異。SI在任務績效上的回歸系數為.35,在總體績效上的效度系數為.364;BDI在任務績效上的回歸系數為.395,在總體績效上的效度系數為.537。因此可認為BDI的預測效度高于SI。
但與國外相比,國內關于SI和BDI的效度研究還不豐富,我們仍然不知道在中國文化背景下哪種面試更有效,及是否存在工作復雜性的調節作用等,該領域尚需要大量研究加以系統探討。本研究試圖通過一個設計嚴格的模擬面試,借助先進的統計方法對此問題作出探索,希望研究結果能為我國的人事選拔工作提供建議。
二、研究方法
(一)被試
被試為某大學教育學院2005級的68名本科學生,所有學生都是自愿參加。被試被告知參加的是一個模擬面試,面試結果只供研究之用,不對其學績考核等產生任何影響;同時告訴他們面試過程和結果有助于其了解自身的優勢與不足,為將來的工作應聘面試積累經驗。這種處理最大限度地爭取了被試的合作,在保證被試較高測驗動機的情況下將面試中的社會期望性反應(social desirability responding,簡稱SDR)等偏差降低到最小,使研究結果更加客觀真實,所發現的規律更有普遍性。
面試前編排被試序號,被試按照序號隨機出場。
(二)面試設計與評分
與輔導員一起研討哪些維度是大學生綜合考評的主要依據,以及哪些維度會影響學生的學績、職業發展、學校適應等,以此為依據選擇了八項面試測評維度,分別是言語表達能力(verbal)、邏輯分析能力(reasoning)、計劃組織能力(organization)、協調能力(coordinating)、建立伙伴關系(alliance)、自我管理能力 (self-management)、責任心(responsibility)、應變能力(flexibility)。在每個面試維度上都平行設計情景性和行為描述性問題各一個,并采用李克特十點量表對情景性和行為描述性面試維度分別進行評分。面試時一半被試先提問行為描述性問題再提問情景性問題,另一半則是先提問情景性問題再提問行為描述性問題,以平衡順序效應。
每個被試面試時間大約為45分鐘,在10天時間內完成所有面試工作,5名評分者都參與了所有68名被試的面試和評分。面試結束后評委即根據評分標準進行獨立評分。為保證評分準確性,面試過程中做了錄音,間隔半個月后讓每個評委再聽錄音,根據錄音對初次評分進行修正。所有評委的兩次評分都是在研究者的監督下進行的,保證了每個評分都以被試的行為和情景描述為依據,并嚴格參照評分標準。所有評委都是先聽全部被試的行為描述性問題錄音,對行為描述性問題的初評結果進行修正,再聽全部被試的情景性問題錄音,然后對情景性問題的初評結果進行修正。行為描述性和情景性面試的錄音評分過程中均對順序效應進行了平衡,最大限度地減少了兩類面試問題在評分上的相互干擾,使評分準確客觀。
(三)試測和對主試的培訓
研究發現,有經驗且專業的主試可以提高面試的信度和效度[17]。因此,本研究面試評委小組為心理測量專業的5位研究生,都有從事人事測評工作的經驗,而且參加本研究前都接受了集體培訓(內容包括結構化面試的要求、誤差控制、面試中的人際互動等)。在正式面試之前選擇8名本科生(不屬于正式被試)進行了試測。試測時采用與正式面試相同的程序,試測后讓各評委獨立評分,面試結束后再討論各自評分的依據,直到評分標準統一。試測使各評委之間能協調一致,同時也增強了評委在面試過程中對偶然情況的應變能力。試測后再讓評委對面試中存在的問題進行研討,進一步熟悉面試要求。集體培訓、試測及試測后的研討時間不少于5個工作日。
三、結果
(一)行為描述性面試的多質-多法驗證性因素
分析
本研究采用多特質-多方法(multiple trait multiple method, MTMM)的設計思路編寫LISREL的驗證性因素分析(CFA)程序。MTMM是探究構想效度的一種有效方法,而且在人事測評與選拔及心理健康診斷領域有較為廣泛的應用。本研究借鑒前人研究,將MTMM應用到結構化面試中。在本研究中,程序中將5個評委對8個維度的40個評分向量定義為觀測變量,定義8個面試維度為8個潛變量,即8個特質效應,5個評委定義為5個潛變量,即5個方法效應,這樣共有13個潛變量,比較兩套對應的數據(即由行為描述性面試和情境性面試各自獲得的一套數據)與多個模型的擬合差異情況。
本研究在選擇合適的MTMM模型時使用的是可互換方法(interchangeable method),即從一組高度類似的方法中隨機挑選的方法。
本模型中,每個觀測變量都同時測量一個特質因素和一個方法因素。如評委1對維度1的評分向量被設定為在潛變量1(即面試的第一個維度)和潛變量9(即評委1的方法效應)上有載荷。設置方法因素的依據是每個主試在評分時都存在不同程度的主觀好惡,因此對每個被試評分時都會出現系統誤差,這一系統誤差于是被設置為方法因素。不同主試體現出的方法因素存在程度上的不同。
由于行為描述性和情景性測評數據都有不同程度違反正態分布的情況,因此在計算本文中所有模型的擬合度時采用了Satorra-Bentler提出的校正卡方統計量。
1.行為描述性面試的模型擬合度
運行LISREL程序,估計出行為描述性面試多質-多法CFA模型的擬合度指標,見表1。
表1.行為描述性面試多質-多法CFA模型的擬合度
(含評委效應)模型
χ2
χ2/df
NFI
NNFI
CFI
IFI
RFI
RMSEA
SRMR
1208.44
1.79
.91
.97
.97
.97
.90
.080
.084
表2.行為描述性面試驗證性因素分析的模型擬合度
(不含評委效應)模型
χ2
χ2/df
NFI
NNFI
CFI
IFI
RFI
RMSEA
SRMR
1433.94
2.01
.87
.92
.93
.93
.85
.120
.130
從表1中結果可知,行為描述性面試含評委效應的CFA模型的卡方/df比率小于2,NNFI、CFI、IFI都大于.90,接近.95,唯有RMAES和SRMR大于各自的理想值.05和.06,但仍處于可接受的臨界點上。從這些擬合指數的取值判斷,可認為假設模型是得到了數據的支持的。就是說從5個評委對8個維度的評分中可以抽離出8個特質因素(即面試的8個維度)和5個方法因素(即評委效應)。這一模型的擬合度明顯好于不含評委效應的八因素模型(即只將8個面試維度設為潛變量),結果見表2。表2中卡方、NNFI等幾個指標的取值尚好,RMSEA和SRMR卻大到了難以接受的地步,即使勉強認為模型擬合,也不得不承認,觀測變量的協方差沒有被充分地解釋。只有引入評委因素,即方法效應,模型擬合才能變得更好。這就是說面試中特質效應和評委效應都存在,但在行為描述性面試中評委效應所起的作用并不是很大,因為兩個模型間模型擬合度的差異不太大。這一點有待下文進一步驗證。
2.行為描述性面試的特質效應與方法效應
以下我們再通過計算MTMM模型中特質效應和評委效應的因素載荷系數來分析評委效應的大小,見表3和表4。兩表中所列都是標準化的載荷系數,其取值可直接比較大小,載荷的大小體現了一個觀測分數受潛變量影響的程度。從表3和表4中可以看出與方法效應相對應的載荷都不大,只有一個超過.50,且絕大多數小于特質效應的載荷。說明面試評分更多地受特質因素影響而較少受方法因素影響,即被試在行為描述性面試中的得分較多地取決于被試在各測評維度上能力的高低,而不太受主試者評分主觀因素(如感情好惡等)影響。也就是說,方法因素是存在的,但其影響不大。
表3.行為描述性面試多質-多法CFA模型中各維度的評委效應(方法效應)
評分向量
評委
效應1
評委
效應2
評委
效應3
評委
效應4
評委
效應5
言語表達得分
.28
.30
.10
.16
.34
邏輯分析得分
.32
.33
-.01
.14
.32
計劃組織得分
.18
.24
.08
.33
.35
協調能力得分
.44
.46
.22
.15
.29
建立伙伴得分
.26
.20
.11
.36
.24
自我管理得分
-.04
.17
.23
.28
.20
責任心得分
.10
.28
.73
.24
.27
應變能力得分
.42
.42
.10
.03
.12
絕對值的均值
.25
.30
.21
.21
.27
表4.行為描述性面試多質-多法CFA模型中各維度的載荷(特質效應)
評分向量
言語表達
邏輯分析
計劃組織
協調能力
建立伙伴
自我管理
責任心
應變能力
評委1評分
.67
.79
.73
.66
.68
.62
.55
.61
評委2評分
.77
.83
.81
.69
.70
.60
.67
.70
評委3評分
.85
.81
.80
.79
.88
.76
.69
.80
評委4評分
.86
.86
.80
.71
.78
.77
.75
.88
評委5評分
.88
.83
.87
.67
.79
.95
.87
.90
平均值
.81
.82
.80
.71
.77
.75
.72
.78
(二)情景性面試的多質-多法驗證性因素分析
1.情景性面試的模型擬合度
采用與行為描述性面試中相同的多質-多法驗證性因素分析模型,對情景性面試的結果也進行了CFA分析,結果見表5和表6。
表5.情景性面試多質-多法CFA模型的擬合度
(含評委效應)模型
χ2
χ2/df
NFI
NNFI
CFI
IFI
RFI
RMSEA
SRMR
963.32
1.43
.88
.93
.93
.94
.86
.110
.200
表6.情景性面試驗證性因素分析的模型擬合度
(不含評委效應)模型
χ2
χ2/df
NFI
NNFI
CFI
IFI
RFI
RMSEA
SRMR
1859.54
2.60
.82
.87
.88
.88
.80
.150
.220
從表5中的結果可知,情景性面試(含評委效應的多質-多法模型)的因素分析結果不很理想,雖然卡方/df、NNFI等指數可以接受,但RMSEA和SRMR的取值已經超出了可容許的最大限度,就是說模型很可能是與數據不擬合的。雖然總體上的因素結構可能是合理的,但至少有一部分觀測變量間的關系沒有被模型充分解釋。與行為描述性面試的多質-多法CFA結果相比,情景性面試的模型擬合度更差。這說明行為描述性面試有與理論假設更一致的因素結構,也即有更好的構想效度(construct validity)。相比之下情景性面試的因素結構則更為復雜。
表6中為不含評委效應的CFA模型(只將面試維度作為潛變量的八因素模型)。對比表5和表6中的結果可知,情景性面試的驗證性因素分析中,含評委效應和不含評委效應的模型擬合度都不好,但在引入評委效應后,模型擬合度有所改善。這說明情景性面試中也存在評委效應,即方法效應,且方法效應也不太大,但大于行為描述性面試的方法效應。
情景性面試中即使將評委效應引入多質-多法CFA模型,模型擬合度也不是非常理想,說明除8個特質效應和5個評委效應外,可能還有其他因素影響了面試結果。綜合以往文獻可知,這一因素可能是社會期望性應答因素或面試動機因素。為對這一因素進行評估,我們在8個特質因素和5個評委因素之外設置了第14個潛變量,即SDR因素。SDR因素被設定為在5個評委對8個面試維度的40個評分向量上都有載荷。該模型的擬合度列于表7中,為便于對比,表7中還列出了行為描述性面試引入SDR因素后的模型擬合度。
表7.引入SDR因素后兩類面試的模型擬合度
面試
類型
χ2
χ2/df
NFI
NNFI
CFI
IFI
RFI
RMSEA
SRMR
SI
872.76
1.38
.89
.93
.95
.95
.87
.076
.074
BDI
888.04
1.41
.90
.94
.95
.95
.87
.078
.068
從表7可見,情景性面試在引入SDR因素后模型的擬合度很好,即使按CFI等≥0.95的嚴格標準,也可認為模型是擬合的,即有很好的理論構想。這一模型與不含SDR的模型(見表5)相比擬合度發生了很大變化,說明情景性面試中SDR因素是存在的,而且起了不小的作用。
而行為描述性面試在引入SDR因素后模型的擬合度雖然也有改善,但改變量并不很明顯,說明行為描述性面試中SDR的作用沒有情景性面試中的大。這給我們的啟示是,情景性面試中更應控制SDR。
2.情景性面試的特質效應與方法效應
情景性面試中采用多質-多法CFA模型計算出的各維度的評委效應(方法效應)和特質效應見表8和表9。
表8.情景性面試多質-多法CFA模型中各維度的評委效應(方法效應)
評分向量
評委
效應1
評委
效應2
評委
效應3
評委
效應4
評委
效應5
言語表達得分
.36
.74
.33
.30
.44
邏輯分析得分
.34
.36
.34
.13
.45
計劃組織得分
-.24
-.07
.44
.28
.39
協調能力得分
.08
.40
.66
.40
.32
建立伙伴得分
.19
.22
.47
.53
.66
自我管理得分
.54
-.16
.35
.67
.54
責任心得分
-.17
-.16
.38
.53
40
應變能力得分
.20
.38
.38
.42
.29
絕對值的均值
.28
.32
.40
.42
.43
表9.情景性面試多質-多法CFA模型中各維度的載荷(特質效應)
評分
向量
言語表達
邏輯分析
計劃組織
協調能力
建立伙伴
自我管理
責任心
應變能力
評委1評分
.80
.79
.92
.93
.90
.92
.95
.90
評委2評分
.79
.84
.93
.94
.95
.94
.93
.94
評委3評分
.69
.62
.50
.52
.49
.27
.41
.46
評委4評分
.79
.81
.62
.47
.47
.42
.53
.53
評委5評分
.81
.75
.67
.42
.41
.37
.55
.55
平均值
.78
.76
.72
.66
.64
.58
.67
.67
從表8和表9中的結果可以看出,在情景性面試中也是特質效應大于方法效應,即情景性面試的結果較多受特質因素的影響而較少受方法因素的影響,情景性面試的效度也是可以接受的。但與行為描述性面試相比,情景性面試的方法效應更大一些(行為描述性面試的方法效應平均載荷量為.25,情景性的平均載荷量為.37),而特質效應更小一些(行為描述性面試的特質效應平均載荷量為.78,情景性的平均載荷量為.69)。
(三)面試數據與行為評定的相關
關于面試數據的多質-多法CFA分析屬于對面試內部結構的分析,雖然也能為面試效度提供較客觀的心理測量學證據,但終究不能代替外部效標研究。研究中我們選擇學生輔導員和學生干部的評定作為效標,請被試所在班級的2個專職輔導員和3名班級學生干部對8個面試維度進行了評定。專職輔導員都有7年以上學生工作經驗,對學生能力考評有著豐富的經驗。作為主評人的班干部也都是工作出色的優秀學生干部,能很好地理解本研究的目的。評定前研究者詳細講解了8個測評維度的含義,讓主評人根據對被評定者行為(包括操行、在班級中的表現、與同學關系、對集體活動的參與和組織等)的觀察為依據進行評定,并強調評定結果只用來做研究。參加本研究的被試都是大三年級及以上的學生,這為主評人的評定提供了較充分的行為樣本,從而保證了評定的準確性。
1.面試評分與輔導員評定的相關
面試結果與輔導員評定的相關關系見下頁表10。
從表10可以看出,無論是行為描述性還是情景性面試,在言語表達、邏輯分析、組織計劃能力三個維度上面試結果與教師評定間都出現了中度以上的相關(r>.50),在應變能力上相關也都達到了顯著水平。而在協調能力、建立伙伴關系、自我管理三個維度上行為描述性和情景性面試結果都與教師評定間不存在相關。在責任心維度上,行為描述性面試結果與教師評定間出現了相關,而情景性面試結果則與教師評定沒有相關。情景性和行為描述性面試的總分也與教師評定間出現了高相關,但行為描述性面試的相關系數更大。
分析這些結果可見,一些易于外顯的心理特質,如言語表達、邏輯分析、組織計劃等較易于被評定,面試評委和輔導員都能對這些特質給以較準確的評定;而責任心和自我管理是相對內隱的心理品質,不易于被他人評定出來,因此可能導致輔導員和面試評委都不能對這兩項特質準確地進行評定。由于輔導員與學生間是上下級關系,可能并不了解其同學關系,因而對學生在人際交往(建立伙伴關系、協調能力)方面的能力可能評定不夠準確,但這兩個維度在面試中是較容易評定的。當然,出現本研究的結果也有可能說明面試評委對建立伙伴關系、協調能力維度的評定不準確。
2.面試評分與班委評定的相關
面試結果與班委評定的相關見表11。
從表11中可見,行為描述性和情景性面試中的言語表達、邏輯分析、組織計劃能力3個維度與班委評定間也都出現了中度以上的相關(r>.50),在應變能力維度上為顯著相關,自我管理維度沒有相關,這一點與表10中的結果相同。而諧調能力、建立伙伴關系2個維度卻出現了顯著相關,說明與人際交往(建立伙伴關系、協調能力)有關的能力較容易被同學評定。
總結表10和表11中的結果可知,自我管理能力維度的效度是最差的,責任心、協調能力兩個維度的效度也不好,言語表達、邏輯分析、組織計劃能力3個維度的效度最好。對比兩類面試,可以發現行為描述性面試的效度略好于情景性面試。
四、討論
(一)情景性面試與行為描述性面試的因素結構
從本研究的結果可以看出,無論是不含評委效應的CFA模型還是含有評委效應的CFA模型,情景性面試的模型擬合度都不如行為描述性面試。這說明行為描述性面試有更符合理論假設的因素結構或構想效度。
本研究發現情景性面試的因素結構更為復雜,這與以往研究是一致的[13,18,19]。根據前人研究的結論,本研究中將這一因素定義為SDR因素。只有引入SDR因素后,情景性面試的CFA分析結果才達到了較理想的程度;而行為描述性面試在引入SDR因素前模型擬合度就達到了較好的水平,在引入SDR因素后模型擬合度也沒有太大改善。這說明情景性面試更容易受SDR的影響。
由于情景性面試中讓被試回答的是他在將來情景中的設想,因此更容易受社會期望性的影響,即被試在回答時更容易迎合主試的意圖,從而導致主試者對測評維度的評定不準確。Klehe和Latham[9,20]認為應該設置兩難問題情景來克服這一問題。兩難問題情景類似于人格量表中的迫選式題目,兩個選項的社會期望性相同,設置兩難問題后被試的回答將更體現自己的真實意圖。
行為描述性面試中也存在SDR因素或動機,即使其作用并不明顯。這說明被試在描述自己過去行為時也可能存在迎合測試者意圖的傾向,或者存在面試動機的作用。這是有待進一步研究的問題。
(二)情景性面試與行為描述性面試中的評委效應
從多質-多法的CFA結果可以看出,無論是行為描述性面試還是情景性面試,引入評委(即方法)效應后模型擬合度都有所提高。從模型擬合的改善度上對比可知,情景性面試的擬合度改善量較大,似乎說明情景性面試中評委效應所起的作用比較大。進一步比較評委效應的因子載荷,發現行為描述性面試中的方法效應平均載荷量為.25,情景性方法效應的平均載荷量為.37;而行為描述性面試的特質效應平均載荷量為.78,情景性特質效度的平均載荷量為.69。說明行為描述性面試的結果受測評維度的影響大一些,而情景性面試中評委效應所起的作用大一些。因此可以說兩類面試中都存在評委效應,但情景性面試中評委效應可能更為明顯。
這可能說明情景性面試中主試的評分更多地受主觀因素的影響,原因是在情景性面試中主試者評定的是被試的意圖或設想,而不是客觀存在的行為,使得主試者的寬嚴度、情感好惡、態度等起的作用大一些;而在行為描述性面試中,由于主試評分都是以被試的行為樣本為依據,因而更能做到客觀。因此克服評委效應在情景性面試中顯得更為重要。這就要求情景性面試的設計要更加嚴密,對主試的培訓也要更加嚴格,做到嚴格遵守評分細則。
總體上講,兩類面試中的特質效應都遠大于方法效應,說明主試評分中主要是根據被試在各測評維度上的表現評分,這也證明兩類面試的理論基礎都是正確的。
(三)情景性面試與行為描述性面試的效標關聯效度
情景性面試與行為描述性面試總體上講都有較高的效標關聯效度,其總體效度都在.50以上。兩類面試都在言語表達、邏輯分析、組織計劃維度上有很好的效度,而在自我管理、協調能力、責任心幾個維度上效度較差。在有的面試維度上情景性面試的效度好于行為描述性面試,而在有些維度上則是行為描述性面試的效度好于情景性面試。但從總體上講,行為描述性面試的效度略好于情景性面試。
從兩類面試的效度對比中可知,無論是行為描述性還是情景性面試,都不是在所有測評維度上都有或都沒有效度,通常是在容易外顯的維度上效度較好,在相對內隱的維度上則效度較差。就是說結構化面試存在的傳統問題在行為描述性和情景性面試中依然存在。這要求面試者要做好測評維度的設計。
(四)關于本研究的方法
本研究中的面試屬于模擬面試,純粹是為研究而設計的,在面試場地的選擇、材料的準備、被試選擇、主試培訓、面試過程的控制幾方面都做了充分的準備,并進行了嚴格的標準化。面試結束后進行了現場評分,又根據錄音對評分進行修正,做到了評分的準確、客觀。這些工作在相當高的水平上保證了本研究結論的嚴謹性。
本研究采用了結構方程建模的方法估計測評維度效應和評委效應,較傳統的多質-多法分析有方法上的優勢,不僅可以評定特質和方法效應是否存在,還估計出了效應的具體數量。雖然與驗證性因素分析的樣本量要求相比偏少,但程序運行中沒有出現模型不收斂的問題,參數估計結果沒有發現不合理的取值,因此即使樣本量較少,也基本不影響結論的正確性。
五、結論
(一)情景性面試與行為描述性面試的效標關聯效度都較好,與輔導員和班委(即上級管理者和班級管理者)的評定間出現了顯著相關。兩類面試的總分與輔導員和班委評定的總分間相關都在.50以上,行為描述性面試的效度略高些,但不明顯。面試的不同維度與輔導員和班委評定間的相關系數則各不相同。
(二)行為描述性面試的構想效度好于情景性面試,情景性面試受社會期望性即SDR的影響更大。雖然從行為描述性面試中也抽離出了SDR的成份,但其影響不大。
(三)行為描述性面試也受評委效應的影響,但情景性面試中評委效應對面試結果的影響更大。其原因是行為描述性面試評定的是被試的行為,更容易做到客觀,而情景性面試中評定的是被試的意圖和設想,更容易受主觀因素影響。
(四)本研究的結果證實情景性和行為描述性面試都是有效的面試形式,只要程序設計嚴謹,過程控制嚴密,都可用作有效的人事測評工具。
由于情景性更容易受評委效應(如評分寬嚴度、價值判斷標準等)的影響,因此在設計和控制上應更加謹慎。Klehe和Latham[9,20]認為情景性面試實施中要注意以下問題:即注重應聘者的意圖、將應聘者置于兩難情景中、制訂詳細的評分細則和通過前期研究篩除沒有區分性的問題。這四個方面都會影響情景性面試的效度。
行為描述性面試中也存在一定程度的評委效應和面試動機(可能也是SDR)效應,因此也應合理設計。行為描述性面試是否有效取決于能否準確完整地挖掘出被試過去的與測評特質有關的行為樣本。因此在行為描述性面試中要遵循STAR模式,要突出強調情境、任務、行動、結果四要素,做到行為信息的完整性和真實性。
[1]Macan T. The employment interview: A review of current studies and directions for future research[J]. Human Resource Management Review, 2009, 19: 203–218.
[2]王擁軍, 俞國良. 效度概化:預測效度元分析的30年成果述評[J]. 心理科學進展, 2008, 16(6): 964-972.
[3]Posthuma R A, Morgeson F P, Campion M A. Beyond employment interview validity: A comprehensive narrative review of recent research and trends over time[j]. Personnel Psychology, 2002, 55(1): 1–81.
[4]Gibb J, Taylor P J. Further analysis of structured employment interview question types[J]. Asia-Pacific Journal of Human Resource Management, 2001, 41: 371–382.
[5]Day A L, Carroll S A. Situational and patterned behavior description interviews: A comparison of their validity, correlates, and perceived fairness[J]. Human Performance, 2003, 16(1): 25-47.
[6]Latham G P, Sue-Chan C. A meta-analysis of the situational interview: An enumerative review of reasons for its validity[J]. Canadian Psychology, 1999, 40(1): 56–67.
[7]Taylor P J, Small B. Asking applicants what they would do versus what they did do: A meta-analytic comparison of situational and past behavior employment interview questions[J]. Journal of Occupational and Organizational Psychology, 2002, 75:277–294.
[8]Latham G P, Skarlicki D. Criterion-related validity of the situational and patterned behavior description interviews with organizational citizenship behavior[J]. Human Performance, 1995, 8(1): 67–80.
[9]Klehe U C, Latham G P. The predictive and incremental validity of the situational and patterned behavior description interviews for team playing behavior[J]. International Journal of Selection and Assessment, 2005,13(2): 108–115.
[10]Pulakos E D, Schmitt N. Experience-based and situational interview questions: studies of validity[J]. Personnel Psychology, 1995, 48(2): 289–308.
[11]Huffcutt A I, Weekley J A, Wiesner W H, Degroot T G, Jones C. Comparison of situational and behavior description interview questions for higher-level positions[J]. Personnel Psychology, 2001, 54(3): 619–644.
[12]Huffcutt A I, Conway J M, Roth P L, Klehe U C. Evaluation and comparison of the situational and behavior description interview formats[J]. International Journal of Selection and Assessment, 2004, 12(3): 262–273.
[13]Huffcutt A I, Conway J M, Roth P L, Stone N J. Identification and meta-analytic assessment of psychological constructs measured in employment interviews[J]. Journal of Applied Psychology, 2001, 86: 897–913.
[14]黎恒. 行為面試和情景面試的實證比較[J]. 人類工效學, 2003, 9(3): 8-12.
[15]王雪, 王國強, 凌文輇. 對《行為面試和情景面試的實證比較》一文的商榷[J]. 人類工效學, 2006, 12(2): 54-56.
[16]杜紅, 洪自強, 陸興海. 中層管理人員結構化面試測評效度的現場研究[J]. 應用心理學, 2007, 13(3): 44-249.
[17]田效勛, 車宏生. 面試預測效度和構想效度研究述評[J]. 心理科學進展, 2009, 17(4): 870-876.
[18]Conway J M, Peneno G M. Comparing structured interview question types: Construct validity and applicant reactions[J]. Journal of Business and Psychology, 1999, 13(4): 485–506.
[19]Roth P L, Van Iddekinge C H, Huffcutt A I, Eidson C E(Jr), Schmit M. J. Personality saturation in structured interviews[J]. International Journal of Selection and Assessment, 2005, 13(4): 261-263.
[20]Klehe U C., Latham G P. What Would You Do—Really or Ideally? Constructs underlying the behavior description interview and the situational interview in predicting typical versus maximum performance[J]. Human Performance, 2006,19(4): 357–382.
欄目編輯 / 丁堯.終校 / 黃才玲
表10.兩類面試與教師評定間的相關
言語表達
邏輯分析
組織計劃
協調能力
建立伙伴關系
自我管理
責任心
應變能力
總分
情景性面試
.579**
.521**
.558**
.176
.036
.062
.224
.360**
.512**
行為性面試
.580**
.506**
.643**
.143
-.008
.098
.307*
.296**
.532**
注:*p < .05,**p < .01,下同。
表11.兩類面試與班委評定間的相關
言語表達
邏輯分析
組織計劃
協調能力
建立伙伴關系
自我管理
責任心
應變能力
總分
情景性面試
.536**
.603**
.672**
.303*
.350**
.058
.154
.307*
.573**
行為性面試
.544**
.602**
.769**
.240
.333*
.085
.258
.275*
.585**