對外短期科技人力資源合作開發項目效度問題研究

霍宏偉，王 艷，汪 洋，肖 軼，白 楊

1 引言

對外短期科技人力資源合作開發項目主要是指由我國科學技術外事主管部門負責組織實施的，邀請發展中國家相應科技主管部門官員及專業技術人員來華接受中短期適用技術培訓的項目，是科技援外項目的重要形式之一，又稱發展中國家技術培訓班項目或者科技援外技術培訓項目。對國家科技主管部門而言，對外短期科技人力資源合作開發項目具有投入低、技術針對性強、效果好、影響面寬等特點，能夠起到展現中國國家科技成果、提升中國科技影響力等作用。對發展中國家而言，針對其技術需求，通過接受成熟和適用技術的培訓，能夠增強自身的自主發展能力，提升科學技術人才能力和科技管理水平［1］，促進中國與其他發展中國家之間的雙邊和多邊科技合作。根據中國國際科技合作網的信息統計［2］，2006—2012年，科技部共主辦發展中國家技術培訓班項目234個，按培訓班計劃招生人數估算，培訓人員規模應超4600人，涉及農業、裝備制造業和信息技術、新能源、資源環境、醫療衛生、科技管理等6個領域，近年來培訓班數量年均保持穩定。

對外短期科技人力資源合作開發項目也是一種投入產出活動，應該建立一套機制，衡量其效度。對培訓項目進行效度評價，國內外開展了大量研究。D.L.Kirkpatrick等［3］最早提出培訓評估理論，并提出Donald L.Kirkpatrick評估模型，提出了包括反應、學習、行為和效益在內的四層次模型理論。其中對培訓效度重點集中在行為和效益兩個層面，但該模型未給出定量的效度評估方法。Sheppeck等針對培訓項目的投資回報率進行了定義，并提出了著名的Sheppeck-Cohen公式，但是公式中仍存在部分模糊變量［4］。Earl D.H等［5］通過將上述兩個模型相結合，提出了新的方法，并在企業培訓中進行了驗證。但是考慮到科技援外培訓顯然超越一般企業培訓的范疇，借用經濟學方法的效度評價難度高且不易實現。就人力資源合作開發本身，由美國實用概念公司提出的LFA(Logical Framework Approach)方法很有代表性，該方法通過項目管理和項目計劃完成兩個角度衡量項目的效度，但是缺乏普遍適用的衡量指標［6］。OECD的發展援助委員會 (DAC)則對項目進行后評價，主要總結項目遴選和實施各環節中的經驗和教訓，其規定的評價方法也未提出相應的指標體系［7－8］。Pinto等從項目的實施效率、執行質量和客戶的滿意度來評價有效性，其引入的滿意度模型對于開展基于案例的效度研究具有很好的借鑒意義［9］。類似于 Diallo A［10］等提出的方法，韓紀琴等［11－12］在上述指標的基礎上，提出了短期教育培訓項目的有效性分析方法，給出了有效性框架要素，并通過引入偏最小二乘法 (Partial Least Squares Method，PLS)，分析了各要素的顯著性影響。

但是短期科技人力資源合作開發項目具有社會政治性、參與人員開放性和效果不可顯現性等特點，因此不能使用傳統科技項目評估的方法來衡量其有效性［11］。同時，對外短期科技人力資源合作開發項目同一般短期培訓項目相比更為復雜，主要體現在承辦機構參加培訓發展中國家學員的學術和技術專業性更強，培訓內容設置更應遵循產業技術鏈條自身的特點等。目前，對于短期科技人力資源合作開發項目效度，還沒有形成有效的評價體系，對應的理論框架也不完善。本文將結合國內科技援外實踐的基礎上，討論構建短期科技人力資源合作開發項目效度的框架體系，對25個培訓班的447位在中國參加培訓的發展中國家學員進行了抽樣問卷調查，使用偏最小二乘法分析了對外短期科技人力資源合作開發項目有效性的影響因素，并驗證其中各因素對效度的影響。

2 項目效度的概念分析與框架設計

2.1 短期科技人力資源合作開發項目效度的概念

效度又稱有效性評價，即項目產生的成果對預期目標產生的影響或對項目實施帶來的變化。短期科技人力資源合作開發項目的目標主要包括三個方面:一是按規定完成項目計劃，符合管理流程和財務規定;二是產生有效后續合作意向或協議;三是達到參加培訓人員的預期，使之獲得必要的知識和技能。因此短期科技人力資源合作開發項目效度是指項目是否高效地達成培訓目標。對該目標是否達成的評價既應來自實施管理方評價，還應包括培訓參與方的評價?？紤]該項目的目標并綜合有關文獻的論述［9－11］，本文使用項目實施效率、項目執行質量以及培訓參與方滿意度三個層面來對短期科技人力資源合作開發項目有效性進行評價。項目實施效率包含項目籌備和實施時間比率、培訓師資和管理人員投入率、資金有效使用率三個指標;項目執行質量包括實施天數與計劃天數比率、實際參加培訓人數與計劃培訓人數比率，有效后續合作項目數量三個指標。顯然上述兩個層次可以由項目實施管理方通過數據統計進行確定性衡量。而培訓參與方滿意度評價則是由參加培訓的國外技術和管理人員的主觀態度反映的，其核心為對此次培訓的有關安排是否滿意并達到培訓前的預期。培訓參與方滿意度評價很難進行確定性解析，必須構建一個滿意度分析模型進行描述。

2.2 項目效度的特征分析

項目效度模型包括確定性描述部分和非確定性描述部分。整個效度分析模型應該具備非確定性分析的全部基本特征，即滿意度的基本特征:

(1)個體主觀性。培訓效度是建立在培訓機構提供培訓的基礎上，盡管技術培訓是客觀的，但是參加培訓的專業技術人員體驗過后形成的感知評價卻是帶有很強的主觀性。通過這種感知評價形成的整體滿意度與參加培訓的專業技術人員自身條件有很大關聯。

(2)整體客觀性。短期科技人力資源合作開發項目設置是一個自上而下的體系，項目承辦單位有準入門檻，通常都是在特定技術領域內具備一定實力的科研或生產機構。參加培訓的專業技術人員總會給培訓活動一個客觀評價，這個評價總是客觀存在的，且總體評價應該能夠從整體上客觀反映培訓的水平。

(3)動態性。對項目的有效性評價，可能在一定時期會相對穩定，但并不意味著是一成不變的，在較長的時間維度分析，隨著技術發展以及學員的變化而動態變化的。

(4)差異性。因學員的自身因素 (自身能力因素、社會因素、知識背景因素等)的不同，個體對短期科技人力資源合作開發項目有效性判斷會產生合理的差異。

(5)全面性。有效性的評價貫穿于整個項目生命周期，這種評價不是只針對這一過程的特定環節而言，任何一個服務環節出現問題，都會直接造成有效性出現偏差。

2.3 模型框架及關鍵要素

項目有效性由項目實施效率、主管滿意度和項目執行質量三個因素確定。其中只有滿意度是可變的。換言之，盡管滿意度不能被直接觀測到，但是一旦確定主觀滿意度的描述方法，即可以得到項目有效性的表達。為確定主觀滿意度，考慮引入在一個培訓項目中能夠直接影響主觀滿意度的4個直接要素和2個間接要素同主觀滿意度要素一起構成完整的結構描述。4個直接要素，是指培訓過程中的三個基本環節，即教學過程和教學、技術實踐 (實驗)、文化參觀及貫穿于上述基本環節的接待環節。兩個間接要素分別是項目計劃安排和預設培訓目標。這兩個要素同時也是4個直接環節實施的指南。

由于2個間接要素與4個直接要素和主觀滿意度要素之間明確地體現了一種潛在的因果關系，因而可以用典型的結構方程關系來表達。結構方程模型由結構模式和測量模式兩部分組成。結構模式用來說明自變量 (潛在外生變量)和因變量(潛在內生變量)之間的結構關系 (主要是因果關系)，以圖形的形式表達出隱含變量之間的關系，這種圖形稱為路徑圖。顯然上述7個要素可以作為模型中7個結構變量進行處理。由于這些變量是無法直接觀測的，可以通過設置具體的觀測變量(顯變量)來反映，需要圍繞這7個結構變量設置若干可觀測的調查指標作為觀測變量來進行數據統計。圖1給出了該模型的預設框架。

上述7個要素中，項目計劃安排 (用ε1表示)和預設培訓目標 (用ε2表示)是培訓之前就確定的2個要素，反映了承辦機構能力和項目承辦單位的技術目標實現期望。項目計劃安排體現了項目承辦單位自身應該具備的技術實力和項目組織能力。這一指標體現了承辦單位的項目管理能力、技術實力和技術轉移能力。預設培訓目標是指作為技術培訓活動中通過課程設置、實踐、實習等環節傳遞給被培訓者的知識和技能的預期。這兩個要素是框架圖中因果聯系的根源，可以作為結構方程中的自變量。對4個直接要素，用η1表示教學安排與教材編制、用η2表示實踐和實驗環節、用η3表示文化參觀訪問活動、用η4表示接待工作。將主觀滿意度也作為直接要素，記為η5。這里依據上述要素的基本特征，提出了18個觀測指標，具體對應關系見表1。事實上，這18個指標是根據項目情況選擇設定的，變量之間是否存在兩兩相關或者多重相關并不確定。因此在這些觀測變量下能否形成完全連接結構圖也是不確定的。在這里僅能夠給出一個預設的框架，先假定能夠得到一個理想的因果關系結構圖，再通過實際數據的檢驗，去除反映不出因果關系的連接線，最終獲得實際的結構圖。

還應該說明的是，每個隱含變量間的箭頭上應該有一組數值，被稱為路徑系數，反映了隱含變量間的相互影響大小，兩個隱含變量之間沒有箭頭連接表明數據顯示模型中沒有建立直接聯系。在本文中用γij表示間接要素i到直接要素j的路徑系數，例如γ14表示項目計劃安排 (ε1)對接待工作 (η4)的影響;用βij表示直接要素i到直接要素j的路徑系數，例如β15表示項目教學安排與教材編制 (η1)對主觀滿意度 (η5)的影響。用每個觀測變量反映隱含變量的程度的高低也用數值來表示，被稱為因子載荷系數 (直接要素用εij表示，間接要素用ηij)。多數觀測變量的荷載系數較高，這說明觀測變量能夠反映出各自對應的隱含變量。

圖1 有效性評價預設框圖

3 研究方法與數據分析

3.1 數學工具與數據獲取

基于18個指標設置了一套調查問卷，該問卷采取李克特等級量表［13］，分值為 5到1。為確保數據準確性，調查選定信息、農業、資源環境等領域的25個培訓班的477位學員進行了抽樣調查。整個調研中發放調查問卷477份，收回477份，在剔除掉無效問卷 (一個選項或者多個選項未作回答的問卷)后，得到有效問卷392份。

如上文所述，在18個觀測變量之間會存在不同程度多重相關性。考慮到這一點，本文采用一種基于在多因變量與多自變量的因果建模方法-偏最小二乘法進行參數估計［14］。該方法采用主成分分析和多元回歸的新型迭代估計相結合，能夠有效克服變量相關性，許多效度模型基于該方法都展示出很好的效果［15－16］。

3.2 信度分析

首先考察學員樣本，從問卷反映的學員基本資料可以看出:接受問卷調查的學員中男性女性比接近2∶1，科研技術人員和政府科技官員比例達到78%;被調查學員的受教育程度主要集中為本科及以上學歷。描述性分析得到的結果與近年來受援國學員的特征基本吻合，能夠說明此次樣本結構的合理性。

問卷的信度是測評問卷中設置的問卷指標反映出學員評價的可靠程度。目前，學術界針對此類滿意度測評，主要是以Cronbachα信度系數法來檢驗其量表的可靠性。本研究使用SPSS統計軟件對調研所獲得數據進行信度檢驗［17］，獲得的總量表的Cronbachα系數為0.835，一般以為，α系數處于0.8～0.9之間，表明數據可靠性非常高，該結果說明了這一點。

3.3 數據處理結果與驗證

將圖1的模型及其剪切模型代入PLS［18］軟件進行數據分析。所謂剪切模型是指圖1的模型去掉至少一條連接線后的結構模型。對全結構模型及各種剪切模型數據進行處理，設定數據期望為0，方差為1.0，最大迭代次數300次，收斂判標為10－5，初始化權重為1.0。運算得到隱含變量路徑系數 (Path Coefficients)和觀測變量或稱外部因子的荷載系數 (Outer Loadings)、外部因子的外部權重 (Outer Weights)分別見表2(括號中為外部因子的外部權重)。取有效路徑系數最多的一組剪切模型作為輸出模型，結果如圖2所示。

表1 學員樣本的描述性信息

圖2 實際效度模型

通過SmartPLS2.0運行得到輸出模型各個隱含 變量的各項擬合指標 (Quality Criteria)，見表3。表3中，通過比較隱含變量的平均提取方差(AVE)來判斷隱含變量從測量變量處獲得的解釋信息的能力大小，一般認為AVE大于0.45時是合理的，表中隱含變量的AVE均大于0.45，說明這幾個隱含變量從對應的測量變量中獲得了程度較高的變異信息。組合信度系數 (Composite Reliability)作為測量工具的信度系數，表中系數均大于或等于0.4，表示各隱含變量對應測量值一致性程度高，表明使用的測量工具較為可靠;所有隱含變量的Cronbachα均值都超過0.60，說明該模型具有良好的信度;R平方值表示效度被其他隱含變量解釋的程度，表中可以看出其他隱含變量對改變量的解釋能力達到0.6999，這說明該評價模型是合理科學的。

表2 隱含變量路徑系數和觀測變量荷載系數簡表

表3 隱含變量各項擬合指標

以SmartPLS2.0分析軟件中的Bootstrapping方法為基礎，對模型中的隱含變量路徑系數(Path Coefficients)、外部模型權重 (Outer Weight)與因子載荷系數 (Outer Loadings)和模型總體效應 (Total Effects)的顯著性進行檢驗。檢驗結果表明，原始樣本 (Original Sample)值與重新選樣本 (ReSample Mean)值在 Bootstrapping檢驗中是相差無幾的，這說明 Bootstrapping檢驗從原始樣本中不斷抽取的新樣本集合與原始樣本數據所攜帶的信息是一致的。結果中，所有外部模型權重與因子載荷系數的 T-Statistics數值普遍大于2.0，證明兩者都是顯著的，整體模型的顯著性效果良好。

4 研究結果

(1)整體效度與技術目標實現期望、教學安排、實踐環節設置和接待工作具有正相關性。培訓的技術內容，課程的質量，乃至語言能力和授課技巧，實踐環節的安排都對培訓項目的有效性產生重要的影響。項目承辦單位的技術目標實現期望與教學、實踐和參觀訪問直接相關，且相關度較高，直接反映了適用技術在援外技術培訓班中的重要作用。

(2)承辦機構能力反映在教學安排、接待等工作之中，是實現項目有效性的基礎和前提。培訓機構的資質及管理人員的素質是完成短期援外培訓項目的關鍵。學員來自不同的國家，具有不同的文化背景，工作在第一線的教學、實踐和教輔人員是否具有有效的技術溝通能力，顯然會影響到各個培訓環節。

(3)教學和實踐環節的實施直接關系培訓的效度。在本模型中，二者與有效性的相關度均能達到0.2以上。不難理解，一個良好的培訓項目一定要保證培訓內容的針對性，能滿足學員對知識能力的需求。同時，培訓的目標要明確，并且要將此目標有效地傳遞給學員，教學和實踐環節正是實現這個有效傳遞的必要保證。

(4)做好接待工作對有效性具有重要的支撐作用。盡管接待工作不直接體現技術培訓班的目標，但對評價技術培訓班的整體有效性具有重要的支撐作用，接待工作與項目有效性的相關系數甚至達到0.4以上。此外在模型中也體現出，組織適當的文化參觀是做好接待工作的有效組成部分。不難理解，基于學員的宗教信仰、家庭狀況、生活習性、飲食習慣等的差異做好接待安排，可以最大限度地減少學員在生活方面的壓力和陌生感，最大限度地集中精力，專注于個人技術能力的提升。

5 結論

對外短期科技人力資源合作開發項目是中國科技援外項目的主要形式之一，目前尚缺乏對培訓效果的實證研究。提出了對外短期科技人力資源合作開發項目效度模型，對447位在中國參加培訓的發展中國家學員作問卷調查，并使用偏最小二乘法分析對外短期科技人力資源合作開發項目有效性的影響因素。結果表明:整體有效性與技術目標實現期望、教學安排、實踐環節設置具有直接正相關性。承辦機構能力反映在教學安排、接待等工作之中，是實現項目有效性的基礎和前提，教學和實踐環節的實施直接關系培訓的效度，盡管接待工作不直接體現技術培訓班的目標，但對評價技術培訓班的整體有效性具有重要的支撐作用。為進一步提升援外培訓效度，應努力加強對受援國技術性需求的調研，提高培訓針對性，重視基于不同的技術領域特點課程設置和實踐環節設置，提高交叉文化背景下的項目管理團隊執行和管理能力。

［1］Barry B.Hughesa，Peter D.Johnston.Sustainable futures:policies for global development［J］．Futures，2005，(37):813 －831.

［2］科學技術部國際合作司.中國科學技術部國際科技合作網培訓專題頁面2006—2012年培訓計劃［EB/OL］．訪問網址:http://www.cistc.gov.cn.2012－12－20.

［3］D.L.Kirkpatrick，J.D.Kirkpatrick.Evaluating Training Programs(3rd ed.)［M］．San Francisco，CA:Berrett-Koehler Publishers.2006.

［4］范柏乃，阮連法.干部教育培訓績效的評估指標、影響因素及優化路徑研究［M］．杭州:浙江大學出版社.2012.

［5］Earl D.Honeycutt Jr.，Kiran Karande，Ashraf Attia，Steven D.Maurer.An utility based framework for evaluating the financial impact of sales force training programs［J］．The Journal of Personal Selling and Sales Management，2011.21(3):229 － 238.

［6］CIDA.The Logical Framework:Making IT Resultsoriented［M］．Toronto:Performance Review Branch，1997.

［7］OECD.DAC Guidelines and Reference Series，Quality Standards for Development Evaluation［EB/OL］．訪問網址 http://www.oecd.org.2012－12－29.

［8］嚴啟發，林罡.世界官方發展援助(ODA)比較研究［J］．世界經濟研究.2006，(5):1－7.

［9］Pinto．JK．，Mantel S.J.Jr.．The causes of project failure［J］．IEEE Transactions on Engineering Management.1990，(37):269 －276.

［10］Diallo A．，Thuillier D．.The success dimensions of international development projects:the perspectives of African project coordinators［J］．International Journal of Project Management，2004，(22):19 －31.

［11］韓紀琴，陸華良，張紅生.中國政府教育援外短期培訓對學員個人能力發展影響研究［J］．東南大學學報(哲學社會科學版)，2011，13(4):122 －125.

［12］韓紀琴，陸華良，程偉華.中國政府教育援外短期培訓項目有效性分析［J］．中國礦業大學學報(社會科學版)，2010，(1):83－88.

［13］Elaine Allen，Christopher Seaman.Likert scales and data analyses［J］．Quality Progress.2007，(7)，64 －65.

［14］Svante Wold，Michael Sjstrm，Lennart Eriksson.PLS-regression:a basic tool of chemometrics［J］．Chemometrics and Intelligent Laboratory Systems.2011，58，(2):109 －130.

［15］王惠文，付凌暉.PLS路徑模型在建立綜合評價指數中的應用［J］．系統工程理論與實踐，2004，(10):80－85.

［16］Claes M．，Cassel P．H．，Anders H．W．.On measurement of intangible asset:A study of robustnessof partial least squares［J］．Total Quality Management＆ Business Excellence，2000，11(7):897 －907.

［17］Michel Tenenhaus，Vincenzo Esposito Vinzia，Yves-Marie Chatelin，Carlo Lauro.PLS pathmodeling［J］．Computational Statistics and Data Analysis，2005，48(1):159 －205.

［18］Ringle.Smartpls［EB/OL］．訪問網址:http://www.smartpls.de/.2012－12－11.