計量科學研究機構科研績效評價與實踐

任孝平 楊云 蘇爽 周小林 楊東

摘 要：開展科研院所的科研績效評價工作，有利于管理部門科學測度科研活動績效，為科研管理和優化資源配置提供依據。文中從績效評價方法研究出發，結合國家級計量科學研究活動的特點和規律，提出了科研績效評價邏輯模型和評價指標框架。評價指標除包含論文、專利等一般性科研績效評價指標之外，還納入了能反映計量科學研究特點的專有指標，如測量能力、國家標準等。在此基礎上利用DEA方法，通過對國家計量院2012—2018年間可搜集、可比較的投入產出數據進行分析，實證性的開展了研究所科研績效的評價分析并提出評價建議。關鍵詞：科研績效;指標框架;科研效率;DEA方法中圖分類號：X 936?文獻標識碼：A?文章編號：1672-7312（2019）06-0698-05

Research Performance Evaluation on National Institute of Metrology of China

REN Xiao-ping1，2，YANG Yun2，SU Suang1，ZHOU Xiao-lin2，YANG?Dong1

（1.Dept.of Science and Technology Management，National?Institute of Metrology，Beijing 100029，China;2.Dept of?International Evaluation and Research，National Center for?Science & Technology Evaluation，Beijing 100081，China）

Abstract：Carrying out scientific research?performance?evaluation work of scientific research institutes is?beneficial to the management department to scientifically?measure the performance of scientific research activities，

and provide basis for scientific research management and?optimization of resource allocation.Based on the research of?performance evaluation methods，this paper proposed a logical?model of scientific research performance evaluation and an?evaluation index framework based on the characteristics and?laws of national-level econometric research activities.In?addition to the general scientific research performance?evaluation indicators such as papers and patents，the?evaluation indicators also include proprietary indicators?that reflect the characteristics of measurement science?research，such as measurement capabilities，national?standards，etc.On this basis，using the DEA method，through?the analysis of the collectable and comparable input-output?data of the National Metrology Institute from 2012 to 2018，the evaluation and analysis of the research performance of?the Institute was carried out empirically and the evaluation?suggestions were put forward.

Key words：research performance;indicator?system;research?efficiency;data envelopment analysis method

0?引?言

當前，如何合理的配置科技資源、使有限的科研經費發揮出最大的效益，是各國政府科技管理部門關注的問題。2018年，國務院印發了《關于優化科研管理提升科研績效若干措施的通知》，提出“強化科研績效評價，推動項目管理向重實效、重結果轉變，對基礎和應用基礎、技術創新和產品開發項目實行績效分類評價”[1]。可見，推動科研績效評價、加強結果應用，是院所優化科研活動和經費管理，提升機構績效的重要手段。

中國計量科學研究院（簡稱“國家計量院”），是國家最高計量科學研究機構。其下屬13個研究所，科研人員占比72%，副高級以上人員占比63%，擁有博士學位人員占比31%，研究覆蓋力學、聲學、電學等多個學科的基礎和前沿研究[2]。截至2018年底，全院SCI論文發文比例是2008年的5.7倍;計量標準數量、標準物質數量分別是2008年的1.6倍和2.1倍;國家測量CMC能力也有了大幅提升，累計參加國際比對數量較2008年增長了82%;累計獲得國家級科研獎勵12項。伴隨科研水平和質量的不斷提升，如何客觀有效地評價科研績效[3]，引導機構健康有序發展，成為管理層制定機構發展戰略、優化管理亟待解決的問題。目前，國家計量院的科研評價工作尚處于比較初步的階段，主要是基于已取得的科研成果，如基標準、國際比對、獲獎、CMC能力等進行靜態描述，未開展投入產出比較分析，忽視了對不同類型科研活動分類評價的問題，也缺乏對各類評價指標權重系數的設定。文中嘗試通過引入投入產出模型，結合院內不同類型研究所創新資源和成果的定量數據，分析科研效益與投入的關系，評價技術效率/效益，以便更加科學、立體的評價科研績效，為機構科研管理提供有效支撐。需要指出的是，文中著眼點在于科研活動的績效評價，而非機構績效評價（如美國政府績效與結果法案GPRA評價模式）[4]。

1?國內外研究現狀

國內外學者在科研績效評價方面開展了大量從宏觀到微觀的研究工作。在院所機構層面，張義芳[5]研究了國外國家級科研機構績效評價相關制度;Mario通過建立數學模型對意大利科研機構進行了績效評價;羅莎莎[6]對公益類科研院所績效評價進行綜合研究，提出設立科研投入、科研產出、科研服務、人才團隊建設、創新發展5個一級指標實施科研機構績效評價。張鳳[7]等研究了國家級科研機構的創新績效，設計了創新產出、創新投入、創新績效概念模型，并對多個研究所績效的長期趨勢進行了研究。此外，其他研究人員還開展了與調動人員積極性、收入分配績效考核相關的研究[8]。在科研項目層面，William[9]基于多指標決策方法（Multicriteria decision making，MCDM），研究了科研項目績效評價和排序的方法;劉萌[10]分析了科研項目績效評價中存在的問題，給出了提高科研項目績效評價水平的對策;竇元名[11]構建了財務、科學技術、效益、團隊建設4個維度的指標，研究了采用平衡記分卡法（The Balance score card，BSC）對農業類科研項目實施績效評價方法。在科研人員和團隊層面，李沙金[12]針對科研人員顆粒度，闡述了若干績效評價理念;蔣日富[13]則以統計分析的方法，分析研究了科研團隊創新績效的影響因素。

評價指標體系的構建，是科研績效評價的關鍵環節之一。在指標合理性方面，業界常采用德爾菲方法[14]對指標框架進行優化。在指標權重設定方面，研究人員常利用層次分析法（Analytic hierarchy process，AHP）[15]或最優最劣法（Best-Worst Method，BWM）[16]，驗證科研績效考核指標權重設計的合理性。在科研產出質量評價方面，Salimi[17]同樣采用了BWM方法開展研究工作。在投入與產出效率分析方面，常使用數據包絡分析法（Data Envelopment Analysis，DEA）[18]評價生產績效，或基于知識生產函數[19]建立科研投入產出模型。在投入與產出影響因子分析方面，劉天佐[20]等采用Tobit模型，研究了區域分布對科研投入產出績效的影響。

綜上分析，國內外學者從機構、項目等不同維度、在體系、框架、指標等不同層次上對科研績效開展了研究，提出了具體的研究框架和解決辦法。然而，科研績效對一個有特定職能和功能的研究機構來說，是一個復雜的系統[21]。針對某一特定類型的科研機構，設計準確、可量化的評價指標體系，對實施科研績效評價至關重要。

2?科研績效評價邏輯模型及指標框架的構建

2.1?科研績效評價邏輯模型

有學者在構建科研績效評價邏輯模型時，將評價劃分為評價過程和決策過程[22]2個階段。提出將“科研績效”評價劃分為：任務實施、績效監測和績效評價3個階段，并以此為基礎，構建國家計量院科研績效評價邏輯模型。

如圖1所示，科技績效評價應始于任務實施階段。即伴隨任務推進，深入研究被評對象的科研活動規律，將科研活動細分為“科研投入、科研活動、科研產出、科研效果”邏輯鏈條。科研投入可分為經費投入和科研人員投入2部分。其中，科研經費是產生科研績效的基礎，而科研人員是使科研經費發揮作用的關鍵要素。科研活動反映了各研究所在投入經費和人力之后，開展科學研究過程中的一系列活動。如：科研設備采購、科研平臺建設、具體研發活動、國際合作交流、國內合作交流等。科研產出是開展科學研究得到的最直接的科研成果，往往能以定量的形式來反映，如科研論文、知識產權、測量能力、國家基標準、標準物質、標準、人才培養等。科研效果即科研產出經過積累后，發揮的作用，以及形成的具有標志性和影響力的效益，如：科研獲獎、人才獲獎、成果轉化應用，以及其他為國民經濟和社會發展中所做的貢獻。

在績效監測階段，首先基于評價邏輯鏈條，結合實施主體的活動規律，形成投入指標、活動指標、產出指標和效果指標。績效指標的構建原則為數據可搜集、可獲取、可比較。指標體系構建完成后，根據各科研實施主體，收集指標值。對于實在無法獲取具體數值的指標，可以結合定性評價來實施。

在績效評價階段，即根據各實施主體的定量化的投入數據，與定量的“產出+效果”數據進行關聯分析，形成投入與產出效率/效益分析結果;定性化的證據，由于無法轉換為數字并代入模型進行計算，可與定量分析結果相結合，進行補充分析。

2.2?科研績效評價指標框架的設計

國家計量院下轄13個研究所的領域和學科截然不同，有的研究所側重基礎研究，有的研究所基礎研究和應用研究并重。因此，其科研績效的表現形式也不盡相同。基于此，研究構建了科研績效評價一級指標（4個）、二級指標（17個）和三級指標（38個），見表1.

需要說明的是，在具體實施科研績效評價時，各指標不僅應采集近期數據，還應盡量采集長期的產出和效果數據。數據還應具有可獲取性，能夠從各研究所進行匯聚，以確保評價的可操作性。

3?基于DEA的科研績效評價

基于已構建的邏輯模型和指標框架，文中引入數據包絡分析（Data envelopment analysis，DEA），利用采集的數據，嘗試分析國家計量院13個研究所的科研投入產出效率/效益。

DEA方法是目前開展投入產出效率的主流方法。其主要用于評價具有多投入、多產出的同質決策單元（Decision Making Unit，DMU）之間的相對效率，是一種評價決策單元相對業績的非參數方法。由于該方法的計算原理與投入、產出指標值的量綱無關，因此在分析時可以直接采用原始數據。

在實施國家績效院科研績效分析時，利用DEAP 2.1效率分析軟件，以產出為向導計算13個下轄研究所的綜合技術效率。數據來源為院科技年報，指標為表1中14個三級指標（其中投入指標3個，產出指標11個），時間范圍為2012至2018年。數據經分析形成前6個研究所和后7個研究所科研效率變化示意圖（由于變化曲線較密，故分別繪制在圖2和圖3中，研究所由字母替代）。

從圖2和圖3中的趨勢可以看出，各研究所科研績效及其變化趨勢均不同。研究基于歷年的科研績效，取平均值和標準差，分析了比較典型的幾個研究所的績效。G和R的科研績效在所有研究所中表現相對最好，D和L研究所也是院內比較有優勢的研究所，其科研績效也表現不俗。GC研究所相對于每年有限的經費投入，也獲得了可觀的科研產出，因此其年平均科研績效排名也較靠前。

院內比較老牌的研究所S和H，在科研績效排名中表現一般。分析其歷年變化情況，可以發現各有一年科研績效明顯偏低（H：2012，S：2014年），因此將排名總體拉低。

NH和DL所歷年科研績效平均值排名最后，與2個研究所在2011年開展了較大的職能和人員調整有關。如，Y研究所源于NH和DL的重組。C研究所排名也比較偏后，分析其原因是N研究所成立之時，從C中抽調了相當的人力和物力影響了其發展，而這2個研究所的學科方向具有相似性。

表2中給出了2012—2018年各研究所總體技術效率，可以看出幾個老牌研究所，G，R，D，GC，L，S和H的績效均靠前，老牌研究所（DL和C）被拆分，新成立的幾個研究所（Y，N）由于歷史積淀不足導致排序比較靠后。

表2中最后一列將2012—2018年的總投入和總產出進行了區間科研績效（不是按年度計算）比較計算。數據顯示，按年度計算科研績效平均值小于1的研究所，按區間計算時科研績效被評為1.即科研績效表現差的年份，被表現好的年份拉高了。

4 研究與實證分析的局限性

本研究中，僅依據國家計量院的科研投入和產出，設計了機構科研績效評價指標，并非嚴格意義上的科研機構績效評價，即評價過程中，未充分考慮國家級科研機構的功能定位和使命。

研究中回溯收集了2012—2018年的院科技年報數據。鑒于國家計量院內部研究所之間的調整和人員的變動等，早年的數據可能與實際情況有所出入，定量研究準確性有所不足。此外，表1中部分指標（字體未加粗）僅獲取到院層面數據，難以搜集到各所的歷史數據，影響了分析的全面性。

科研論文是科研的重要表現形式之一。本研究目前僅以SCI論文數量作為考核論文的指標。未來可考慮增加發文期刊影響因子、發文被引頻次等指標，提升指標的內涵和評價的意義。此外，文中采用的DEA方法還有很多改進算法，如對指標賦予一定的加權系數等優化方法。未來可以就DEA方法本身進行深入研究，提升評價的準確性。

5?研究啟示

國家計量院擁有知識水平較高、數量龐大的科研隊伍，是國家計量科技創新的重要力量。文中設計了績效評價邏輯模型和指標框架，采用DEA方法并基于歷史數據，對國家計量院下轄13個研究所的科研績效進行了評價，得到如下啟示。

1）精細化各項科技管理工作。在文中初步研究成果基礎上，應建立和完善研究所科研績效評價體系，盡快制定績效評價工作方案。在日常管理中，應注重各類數據的搜集與精細化管理，以充實完善評價指標年度數據。需加大數據搜集管理的信息化程度，將其嵌入日常管理中，盡量避免給研究所和科研人員增加負擔。

2）實施經濟影響評價。國家計量院在國際上對標的機構，如美國標準與技術研究院（National Institute of Standards and Technology，NIST）[23]，早在2007年就開始了院內同行評議工作，開展了內部項目的經濟影響評價。其目的是為管理層提供NIST研究項目特性和重要性信息，并用以向政府預算管理部門和公眾展示NIST科研創新活動帶來的經濟、社會收益。國家計量院在這方面起步尚晚，未來應盡快實施此類評價研究工作。

3）提升科技管理人員的戰略思維能力。目前國家計量院非常重視通過交流、培訓、借調的方式、切實提升青年科技管理人員的綜合能力和管理水平。未來，應通過績效評價與試點，引導和培育科技管理人員的戰略思維能力。使其在管好科研項目的同時，積極利用各類數據和研究方法，深入總結科技管理中的經驗和問題，為管理層科學、客觀、合理地制定發展規劃、設置重點領域、配置院內經費等提供重要的依據，同時進一步優化配置院內科技資源，以達到機構績效可持續提升的目的。

參考文獻：

[1]邱超凡.科研院所優化科研管理提升科研績效的建議[J].科技中國，2018（12）：41-42.

[2]任孝平，陸?梅，楊?帆，等.不斷推進計量科技自主創新——中國計量院科技創新團隊介紹[J].中國計量，2015（08）：13-20.

[3]賀天偉，張景林.科研績效定量評價指標體系的初步設計[J].科技管理研究，2001（06）：58-61.

[4]Coccia M.A basic model for evaluating R&D performance：theory and application in Italy[J].2001，31（04）：453-464.

[5]張義芳.美、英、德、日國立科研機構績效評估制度探析[J].科技管理研究，2018，38（22）：25-30.

[6]羅莎莎，劉德娟，曾玉榮.公益類科研院所績效評價研究綜述[J].農業科技管理，2018，37（06）：71-75.

[7]張?鳳，霍國慶.國家科研機構創新績效的評價模型[J].科研管理，2007，28（02）：35-42.

[8]李姣姣，沈祥成，徐娥?.湖北省科研院所績效考核體系建設的現狀及建議[J].湖北農業科學，2018，57（22）：160-163.

[9]Bitman W R，Sharif N.A conceptual framework for ranking R&D projects[J].IEEE Transactions on Engineering Management，2008，55（02）：267-278.

[10]劉?萌，趙?蔚.科研項目績效評價中存在的問題與對策研究[J].農業科技管理，2018，37（06）：76-78.

[11]竇元名.基于平衡計分卡方法的農業科研項目績效評價指標體系的構建[J].安徽農業科學，2018，46（29）：141-143.

[12]李沙金，姜中蛟.綜合考慮OKR、KPI方法的科研人員績效評估方法[J].科技經濟導刊，2018，26（24）：181-182.

[13]蔣日富，霍國慶，譚紅軍，等.科研團隊知識創新績效影響要素研究——基于我國國立科研機構的調查分析[J].科學學研究，2007，25（02）：364-372.

[14]袁?媛，程?平，劉曉云.高校附院科研績效評價指標體系的構建與應用效果[J].安徽衛生職業技術學院學報，2018，17（04）：14-15+23.

[15]徐明玨，趙志梅，肖劍欽.應用型科研機構科研績效考核評價體系構建研究[J].中國衛生標準管理，2018（23）：15-19.

[16]Salimi N.Evaluating firms’ R&;D performance using best worst method[J].Evaluation and Program Planning，2017，66：147.

[17]Salimi，Negin.Quality assessment of scientific outputs using the BWM[J].Scientometrics，2017，112（01）：195-213.

[18]侯啟娉.基于DEA的研究型高校科研績效評價應用研究[J].研究與發展管理，2005，17（01）：118-124.

[19]肖晉芬，仲?實.科研投入產出模型在高校科研績效評價中的應用[J].科技管理研究，2010，30（02）：81-82.

[20]劉天佐，許?航.我國不同區域高校科研投入產出績效及其影響因素分析——基于DEA-Tobit模型的實證研究[J].科技管理研究，2018，38（13）：120-125.

[21]李曉軒.我國國立科研機構績效評價的實踐與思考[J].中國科學院院刊，2005，20（05）：395-398.

[22]李曉軒，楊國梁.中國科學院研究所評價的邏輯模型研究[J].科學學與科學技術管理，2009，30（04）.

[23]周建中.美國標準與技術研究院的評價實踐、方法及啟示[J].中國科技論壇，2009（01）：135-139.

（責任編輯：張?江）