山東省科學技術獎勵評價現狀及評價指標體系研究

摘 要：科技獎勵評價是科技管理工作的重要組成部分，也是引導和推動科技進步的核心制度因素，通過對山東省科學技術獎勵工作現狀的研究，制定了科學、合理、公正的構建原則和方法，建立了科學、完整、簡便的評價指標體系，以適應當前科學技術獎勵工作的要求。

關鍵詞：山東省；科學技術獎勵；評價指標體系

中圖分類號：F127 文獻標志碼：A 文章編號：1673-291X（2012）24-0137-04

褒獎科技進步是黨和政府長期堅持的一項基本政策。為全面建設小康社會，以科技進步助推山東省工業化和現代化進程，提高山東省經濟運行質量和國際競爭能力，進一步明確山東省科技發展計劃的支持重點和前進方向，同時為更好地了解與研究山東省科學技術獎勵評價的現狀，加強科技獎勵政策的激勵和導向作用，重新構建和研究山東省科學技術獎勵評價指標體系非常重要。

一、山東省科學技術獎勵評價現狀

科學技術是先進生產力的集中體現，是推動經濟社會發展的主導力量。本世紀前二十年是山東省經濟社會發展的重大戰略機遇期，也是實現科學技術進步與跨越式發展的戰略攻堅期。科技成果獎勵評價是科技管理工作的重要組成部分，也是引導和推動科技進步的核心制度因素，制定客觀、公正、全面、可操作的指標體系是進行科技獎勵評價工作的基本前提和內在基礎。2003年科技部、教育部、中科院、中國工程院、國家自然基金委員會聯合發布了《關于改進科學技術評價工作的決定》和《科學技術評價辦法》（試行）明確了科學技術評價是科技管理工作的重要組成部分，是推動國家科技事業持續健康發展、促進科技資源優化配置、提高科技管理水平的重要手段和保障。中國科技評價歷經四十余年，使得科技管理水平大大提高，科技管理工作取得很大進步。山東省2007年制定的科學技術獎勵評價指標體系，極大地推動了以后若干年的科學研究工作。但是，隨著科學研究的深入發展和科技管理手段與信息技術的進步，對科技管理精細化的要求越來越高，現行科技獎勵評價指標體系逐漸暴露出了部分弊端。

（一）同行評議仍是目前進行評價的主要方式，主觀因素影響大

近年來，科技成果管理部門也在努力尋求一種更為客觀、公平、定性和定量評價相結合的評價機制，但長期以來已經形成的同行評議仍占據主導地位。同行評議的優點是能夠充分發揮專家的智慧和經驗作用，減少因信息數據不全或不精確而產生的片面性和局限性。但是在高度客觀化的科學領域，專家邏輯上的錯誤將直接影響評價的公正性和客觀性，一個專家的意見直接影響到整個評審組的評價方向，主觀因素影響較大，對項目申報單位來說有失公允。

（二）定性評價指標仍占主導地位，雖然主觀上力求實現成果定量評價，合理匹配定性、定量指標，但客觀上并未得到真正改善

無論是學術研討還是實際應用的評價指標體系都在強調定量評價的重要性，也相應的篩選了部分定量指標，但從現行的指標體系來看，絕大部分的定量評價指標體系，其評價標準仍是采用定性的判斷——通過專家咨詢賦予主觀的分值，并沒有在實質上實現從量的角度進行衡量，從客觀上講，定量指標的設置并沒有改變定性指標的本質，缺少由第三方直接采集數據進行計量分析的評價指標體系。同時，定性和定量指標分配數量也應該有度的概念，不同類型科技成果可量的指標數量應該有所區別，而所設置的定性和定量指標能夠從不同的角度衡量成果的全部價值，體現成果的重要性從權重多少進行區分。

二、科學技術獎勵評價指標體系的構建原則

評價指標體系是科學、合理、公正地評價科技成果的重要保證，是準確評價科技成果的一種有效方法。其主要作用是對科技成果進行評價時，按照科學、完整、簡便的評價指標，進行公正、準確、客觀的評價。根據《山東省科學技術獎勵辦法》及其《實施細則》相關文件要求，結合科技獎勵與評價活動的客觀規律和學術特點，科學技術獎勵指標體系的構建原則主要包括：

（一）客觀公正

科學技術獎勵與評價的目的是科研激勵和科學引導，因此客觀公正是設置科技獎勵與評價指標的重要原則，也是首要原則。按照《關于貫徹國家科委〈科學技術成果鑒定辦法〉的意見》，“科技成果鑒定工作，必須堅持實事求是、科學民主、客觀公正、注重質量、講求實效的原則，保證科技成果鑒定工作的嚴肅性和科學性。”

客觀公正原則首先，體現在評價指標的實際環節，在充分考慮國家科學技術獎勵評價指標體系的基礎上，更加突出不同獎項的特點差異，更加客觀的評價項目價值；其次，客觀公正還體現在權重賦值的差異上，新的指標體系通過權重賦值的差異，體現不同獎項評價的側重點和導向性，以便彰顯成果特色；最后，客觀公正體現在對指標評分標準的具體化上，細化二級指標，量化三級指標，使得評價過程更加理性、客觀，從技術層面減少了人為因素對評價結果的干擾。

（二）全面性

由于不同獎項的設置目標和評價標準各有側重，需要從科學價值、創新程度、技術水平、經濟效益、社會效益等多個方面分別進行衡量，個別獎項還包含一些獨特評價內容。因此，指標體系根據不同獎項的設置目標，確定不同的一級指標與二級指標，全面涵蓋了體現科研成果水平和特色的各個領域，從多角度對科技成果進行評價，防止成果的片面性。

（三）可操作性

可操作性是設計評價指標的重要原則。對原有體系中能夠量化的指標盡可能通過科學方法直接獲取或通過簡便易行的方式計算得到。定性指標則借助于同行專家能力做出判斷。應盡可能避免指標度量的模棱兩可、晦澀難懂和無法度量。

具體來說，無論定性指標還是定量指標，都可以通過一定的測定和計量技術，盡可能地采用定量數據進行分析。經過量化的指標，其質的差異才具有更精確、更深刻的特征；各級指標內涵要明確具體，末級指標要用可操作化的語言界定，易于實施。

（四）穩定性與動態性相結合

為了適應社會科技的快速發展，新指標體系兼顧穩定性與動態性。對于指標內容的界定，主要考慮其穩定性與連續性，從固定的模塊衡量其成果價值。對于指標評分標準的設定，兼顧動態性，對于經濟效益、社會效益的衡量，根據經濟社會發展狀況可以做出評分標準的調整。通過穩定性與動態性的結合，能夠更加客觀、準確的評價不同成果的水平。

（五）通用性

科學技術獎勵的評價由于受到不同行業特征的影響，在不同行業與領域其評價標準有較大的差別。為完成對山東省科學技術獎勵評價體系的重新構建目標，此次研究主要是設計針對所有行業的通用模板，同時也兼顧了不同行業和專業的個性化特點，因此新的評價體系在一級指標與二級指標的設置上充分考慮其通用性，更多涉及對不同行業科技成果共性的衡量，并為針對行業特性的三級指標設置留下空間，便于通用模板在不同行業的適用。

三、層次分析法在科學技術獎勵評價指標體系構建中的適用性

（一）層次分析法簡介

層次分析法（Analytic Hierarchy Process，簡稱AHP）是美國運籌學家匹茨堡大學教授薩蒂于20世紀70年代初應用網絡系統理論和多目標綜合評價方法提出的一種層次權重決策分析方法。它是一種整理和綜合人們主觀判斷的客觀方法，將決策有關的元素分解成目標、準則、方案等層次，在此基礎上將定性分析與定量分析相結合進行系統評價。

人們在進行社會的、經濟的以及科學管理領域的系統分析中，面臨的常常是一個相互作用、相互制約的眾多因素構成的復雜系統，在這類系統中總會有大量因素無法定量的表示出來。層次分析為研究這類系統提供了一種新的、簡明的、實用的分析方法。層次分析法通過分析復雜系統所包含的因素及其相互關系，將問題分解成不同的要素，并將這些要素并為不同的層次，從而形成一個多層次的分析結構模型。在每一層次可按某一規則定準則，對該層要素進行逐對比較，寫成矩陣形式，即構成和建立判斷矩陣。形成判斷矩陣后，可通過計算判斷矩陣的最大特征根及其相對應的特征向量，得出該層要素對于該準則的權重。在此基礎上進而算出各層次要素對于總體目標的組合權重，從而得出不同設想方案的權值，為選擇最優方案提供依據。

層次分析法的特點是：分析思路清晰，可將系統分析人員的思維過程系統化和模型化，分析時所需要的定量數據不多，但要求對問題所包含的因素及其相關關系具體明確。這種方法適用于多準則、多目標的復雜系統的評價和決策分析。

（二）層次分析法的適用性

科學技術獎勵是社會獎勵系統的一個重要組成部分，科學技術成果的評定涉及多方面、多因素，屬于較為復雜的系統。層次分析法之所以適用于科學技術獎勵，主要有以下幾個方面的因素：首先，在科學技術獎勵的評定中，存在很多主觀因素。科學技術獎勵主管單位往往邀請各個領域的專家組成獎勵評審委員會，然后由專家小組對科學技術成果的技術水平、應用價值等方面做出判斷。在這個過程中，評審專家的主觀判斷對科學技術獎勵的結果影響較大。而層次分析法是一種綜合人們主觀判斷的客觀方法，通過將專家評審過程的模型化，能夠最大限度的減少科學技術獎勵中的人為因素。其次，科學技術成果的評定中，存在著很多定性因素。這些定性因素很難量化，即使量化也會失去其科學性，反而是一種費力不討好的辦法。層次分析法在構建科學技術獎勵評價指標體系的過程中，既能考慮定量因素，又能兼顧定性因素，使得整個指標體系完整。最后，科學技術獎勵有多重準則。一般來說，對一項科技成果的評定包括很多標準，包括科學發現程度、技術水平、技術難度、應用價值等。要科學全面的評價科學技術成果，必須滿足各個方面的標準。而層次分析法在評價多目標、多準則的復雜系統中具有很好的適用性。

四、山東省科學技術獎勵評價指標體系的構建過程

（一）評價指標體系的設置過程

根據《山東省科學技術獎勵辦法》和《山東省科學技術獎勵辦法實施細則》，在山東省已有的科學技術獎勵評價指標體系的基礎上，結合國家科技部、北京市、天津市、廣東省和國外發達國家在科學技術獎勵評價指標構建上的先進做法，初步擬定了山東省科學技術獎勵評價指標體系。在初步評價指標體系的基礎上，采用德爾菲法，經過三輪的意見征詢，形成評價指標體系的基本框架，并對每個指標設置評分標準。具體過程如下：第一步，選擇42名熟悉科研獎勵評價的專家，形成本項研究的咨詢調查專家小組。第二步，以問卷調查的方式，將整理好的初步評價指標體系發送給所有專家，并附上有關科學技術獎勵的背景材料。各個專家根據他們所收到的材料，對初步的指標做出評價或提出自己的修改意見，并說明簡要說明理由。第三步，將各位專家第一次判斷意見匯總，列成圖表，進行對比，再分發給各位專家，讓專家比較自己同他人的不同意見，修改自己的意見和判斷。 第四步，重復第二步和第三步，經過三輪征詢意見的過程得出最終的指標體系。

最終的科學技術獎勵評價指標按照不同的項目類型分為自然科學獎項目、技術發明獎項目和科技進步獎三大類，其中，在科技進步獎下設置技術研究開發與應用類、社會公益類、重大工程項目類和軟科學類四小類，每一類科技獎勵都設置了一級指標和二級指標。其中調查具體結果分析如下：調查對象構成。（1）調查對象工作性質，科研工作者占52%，科研工作評價者占3%，科研工作管理者占45%。（2）調查對象申報科研成果評價情況，其中申報科技獎勵者占80%，沒有申報的占20%。（3）調查對象在所研究領域得獎情況，其中獲得過獎勵者占85%，未獲過獎勵者占15%。

（二）評價指標體系的權重系數設置

山東省科技獎勵評價指標體系各個指標之間即存在質的關系又存在量的關系。指標體系結構模型的建立已經解決了各個指標之間質的關系，剩下的量的關系需要通過設置各個指標的權重來實現。為此，課題組邀請了30位專家對設置的評價指標按重要程度進行排序，采用層次分析法對指標權重進行測算，最后將30位專家的測算結果進行算術平均，得出指標權重值。步驟如下：

1.建立判斷矩陣。層次分析法應以一定的信息為基礎，信息來源主要是人們對于每一層次指標的相對重要性給出一定的判斷。判斷矩陣表示針對上層次某指標，本層次與之相關指標之間的相對重要性的比較。以山東省自然科學獎項目評價為例（以下都以山東省自然科學獎項目評價為例，其他各類獎項的計算過程與該獎項的計算過程相同），在總目標下有三個一級指標，則可以構造如下判斷矩陣：

注：G表示山東省自然科學獎項目評價；C1表示科學發現；C2表示科學價值；C3表示科學影響力； bij（i=1，2，3；j=1，2，3）表示相關兩個指標的相對重要程度。

在層次分析中，為了使判斷定量化，關鍵在于設立使任意兩個指標關于上一級指標相對優越程度得到描述，也就是確定前一判斷矩陣中bij（i=1，2，3；j=1，2，3）的值。層次分析法采用1～9尺度法，對不同情況的評比給予數量尺度（見表2）。

2.層次單排序。層次單排序就是把本層所有指標對上一層次某指標來說，排出評比順序。這就要對判斷矩陣進行計算，最常用的方法有和積法和方根法。課題組采用和積法，具體步驟：將判斷矩陣的每一列元素作歸一化處理→將歸一化的判斷矩陣按行相加→對向量W=（W1，W2，W3）T歸一化→所得的W=（W1，W2，W3）T即為所求得特征向量，亦即判斷矩陣的層次單排序結果

3.判斷矩陣的一致性檢驗。判斷矩陣中bij是根據資料數據、課題組經驗反復研究后確定的。應用層次分析法保持判斷思維的一致性是非常重要的。但是，由于客觀事物的復雜性和人們在分析時對客觀世界認識的多樣性以及可能產生的片面性，要求每一個判斷矩陣都有完全一致性是不可能的。因此，為了保證應用層次分析法分析得到合理的結論，還需要檢驗判斷矩陣的一致性。

根據矩陣理論，當n階判斷矩陣G具有完全一致性時，它具有唯一的非零的，也是最大的特征根λmax=n，且其他特征根均為零。當判斷矩陣不能保證具有完全一致性時，相應的判斷矩陣的特征值將發生變化，且λmax＞n。這樣可利用判斷矩陣的特征根的變化來檢查判斷的一致性程度。

山東省自然科學獎項目評價的二級指標及其他五個獎項一級指標、二級指標的權重設置的計算過程與山東省自然科學獎項目評價一級指標的計算過程相同，在最終的權重系數設置中，考慮到評價過程的可操作性和簡易性，我們將通過層次分析法計算出來的各類獎項的二級指標的權重系數（相對權重系數）與其相對應的一級指標的權重系數（相對權重系數）相乘得出二級指標的絕對權重系數。

（三）評分標準的設置

山東省科技獎勵每一個類型項目的總分為500分；一級指標的得分是其所包含的二級指標得分的總和；二級指標的得分是其絕對權重與評審委員給出分數段值的乘積；評審委員根據候選科技成果的實際情況，按照評分標準給出候選成果的分數段值。

考慮到每類科技獎勵的側重不同，例如自然科學獎側重科學發現，技術發明獎側重技術的先進性和創新性，而科技進步獎側重技術的轉化，因此在指標中引入了綜合評價欄對候選成果進行等級建議。只有當候選成果既滿足總分要求，又滿足單項指標得分要求時，它才能入選相應的獎勵等級。

五、山東省科技獎勵評價指標體系構成

根據《山東省科學技術獎勵辦法》、《山東省科學技術獎勵辦法實施細則》以及《山東省科學技術獎勵網絡評審工作規范》中相關規定，評價指標體系按照不同獎項，不同項目類型的特點分類制定。

山東省自然科學獎的評審標準以科學水平、科學價值、論文發表和被引用情況等作為重要指標；設有科學發現、科學價值和科學界影響力3個一級指標，7個二級指標，并設有綜合評價項。

山東省技術發明獎標準突出原始創新，擁有自主知識產權，強調實施后取得的效益；設有技術水平和促進科技進步作用及發展應用前景、效益2個一級指標，6個二級指標，并設有綜合評價項。

科學技術進步獎以推進高新技術研究和培育高技術產業生長點為導向，促進產業化，評價標準不套用一個模式，不用一個尺度，分類制定。山東省科技進步獎（技術研究開發與應用類）設有技術創新、轉化效應、對行業和產業發展的推動作用3個一級指標，7個二級指標。山東省科學技術進步獎（社會公益類）項目評價指標設有技術水平、項目價值和意義2個一級指標，5個二級指標。山東省科技進步獎（重大工程類）設有工程技術，工程價值和意義2個一級指標，8個二級指標，并設有綜合評價項。山東省科技進步獎（軟科學類）設有科技水平，科技價值2個一級指標，6個二級指標。

參考文獻：

[1] 汪曉霞.科學技術獎勵多層次模糊綜合評價模型研究[J].數量經濟技術經濟研究，2002，(11).

[2] 吳丹.廣東省科學技術成果獎勵評價指標體系研究[J].中國科技論壇，2010，(6).

[3] 鄭孝國.論中國科技獎勵評價指標體系及其綜合評價的數據模型[J].科學管理研究，1998，(8).

[4] 蔣美仕.論中國科技獎勵評價指標體系的建構[J].中國科技獎勵，1998，(3).[責任編輯 陳鳳雪]