胡余平?蔡蘭?張園園
摘 要:根據科學研究項目的特點,分析現階段國內外科學研究項目的評估現狀,介紹了科研項目評估中的層次分析法、數據包絡分析法、群決策方法、同行評議法以及Fisher判別分析法五種方法的應用研究,最后針時我國科研項目評估現狀和特點提出了一些建議。
關鍵詞:科研項目評估;評估方法;文獻綜述
目前,國外對科研投入評價的方法主要有:回溯方法,定量方法,成本-效益分析和文獻計量學方法、定性方法、專家評議法等。我國對科研計劃、項目的評估工作起步較晚。目前對科研項目評估方法的研究主要有層次分析法、數據包絡分析法、群決策方法、同行評議法以及Fisher判別分析法。
一、國內外研究現狀
層次分析法。層次分析法(analytic hierarchy process, AHP)是在對復雜決策問題的本質、影響因素以及內在關系等進行深入分析之后,構建一個層次結構模型,然后利用較少的定量信息,把決策的思維過程數學化,從而為求解多目標、多準則或無結構特性的復雜決策問題,提供一種簡便的決策方法。
林建衡(2004)用四個指標( 經濟效益、學術水平、人才培養、社會效益) 來評價大學的科研項目并對假設的四個科研項目進行了評估,經過計算,經濟效益、學術水平、人才培養和社會效益權重分別為0.457, 0.300, 0.138, 0.105。因此經濟效益的權重約為學術水平的1.5倍,約為人才培養的3.3倍, 約為社會效益的4.3倍。
劉長穎(2011)對我國科研項評估中的指標進行篩選后,選擇了五個一級評審指標,分別為選題的必要性、技術的先進性、條件的可能性、經費的合理性和成果的可行性。對一級指標進行賦權重后得出的判斷矩陣具有一致性。最終的研究結果表明選題的必要性、技術的先進性、經費的合理性和成果的可行性的權重都是一致的,而條件的可能性所占的權重最大,為其他四個指標權重的兩倍。
數據包絡分析法。數據包絡分析法(data envelopment analysis, DEA)是著名運籌學家Charnes和Copper等學者以“相對效率”概念為基礎,根據多指標投入和多指標產出對相同類型的單位(部門)進行相對有效性或效益評價的一種新的系統分析方法。它應用數學規劃模型計算比較決策單元之間的相對效率,對評價對象做出評價,是處理多目標覺得問題的有效方法。
張繼將(2013)根據科研項目的評價需求構建了評價的指標體系,以投入和產出作為一級指標。人員、研制時間和經費三個指標為投入的二級指標;而產出的二級指標包括任務完成情況、項目的學術影響以及項目效益。基于科研項目評估的多輸入多輸出問題,采用CRR模型進行計算。通過CCR模型與超效率模型相結合的方法,DEA方法可以得出科研項目之間的效率排名以及各決策單元調整投入的幅度,擴大產出的可能方向和程度。
群決策方法。國外學者Hwang在1987年對群決策研究進行了分析和總結后,給出一個群決策的定義,即群決策是把不同成員的關于方案集合中方案的偏好按照某種規則集結為決策群體的一致或妥協的群體偏好序。
程巖、解帆(2003)認為在科研項目評估過程中,決策者往往不能提供精確的評估信息,從而使得一些評估方法并不能有效識別一些有爭議的科研項目。因而提出了一種根據不精確信息進行項目評估的群決策模型,利用該模型可以有效地識別具有爭議的科研項目,并幫助決策群達成一致的決策方案。
同行評議法。同行評議法的雛形真正成為科技期刊出版的基石是在二戰后的20世紀中葉。同行評議法常常被科學界用來判斷工作程序的正確性,確認結果的可靠性以及對有限資源分配,如雜志版面,研究資助經費的公認性和特殊榮譽。它可以定義為“由從事該領域或接近該領域的專家來評定一項研究工作的學術水平或重要性的一種方法”。
程際明(2005)認為同行評議一般的評議規則包括:科研項目是否具有內在價值;項目研究是否具有實用性;對相關領域和科學事業是否具有長遠影響;科研項目是否具有發展前景;項目申請人是否具有研究能力。而除一般評議規則之外,對科研項目評估的同行評議還包括權威的影響、匿名制的影響和是對評議人的評議問題三個潛規則。作者提出應通過評議公開化、建立合理的意見反饋機制及二級評審制度、建立同行專家數據庫等途徑完善同行評議方法。
Fisher判別分析法。判別分析是用于判別個體所屬群體的一種統計方法。判別分析的特點是根據已掌握的、歷史上每個類別的若干樣本的數據信息,總結出客觀事物分類的規律性,建立判別公式和判別準則。Fisher判別分析方法是一種線性判別的方法。它的工作思路是對原數據系統進行坐標變換,尋求能將總體盡可能分開的方向,也即采用方差分析的思想。
胡濤、王威(2005)等人基于核函數和線性Fisher判別分析方法構建了針對科研項目評估中的多總體非線性分類問題的核Fisher判別分析方法。通過確定訓練集、選取核函數、確定特征空間的投影向量和確定判別函數和判別規則四個步驟構建了科研項目評估體系。該體系中,將項目屬性作為系統輸入,該項目所屬類別作為輸出。實證結果表明核Fisher判別分析法對測試樣本的判別能力明顯優于Fisher判別分析方法對測試樣本的判別能力。
二、提高我國科研項目評估水平的意見建議
強調市場需求。對科研項目評估系統的制訂, 面對的不僅是國內市場, 而應是立足國內市場考慮、評價新技術應用對未來國內、國際市場需求所造成的影響和即將帶來的變化。要求所研究的新技術必須達到增加國家社會財富的目標。
突出新技術應用可行性。一是考察新技術被市場和社會所認知的可能性、認知程度及范圍, 從而確定該技術未來應用的價值和可能性高低。二是根據市場現狀預測對新技術發展需求的份額。三是通過用戶參與時間早晚, 進一步考證生產上對開展這項新技術研究需求的迫切程度。
參考文獻:
[1] 林建衡.層次分析法在高校科研項目評估中的應用[J].科研管理,2004(02):39-41.
[2] 劉長穎.層次分析法與高校科研項目評估指標權重的確定[J].遼寧師范大學學報(自然科學版),2011,03(34):30-33.