陳小鋒,毛羽,蘇延森
(1.華中科技大學公共管理學院,湖北武漢 430074;2.安徽大學計算機科學與技術學院,安徽合肥 230601)
·中部崛起與湖北發展·省情調研
高校政府投入科研項目績效評價指標間關系研究
——以湖北省高校為例
陳小鋒1,毛羽1,蘇延森2
(1.華中科技大學公共管理學院,湖北武漢 430074;2.安徽大學計算機科學與技術學院,安徽合肥 230601)
科研項目績效評價指標間存在復雜的相互作用關系。當前,國家正在進行科技體制改革,各高校也正積極調整適應新的科技管理體制。在日常科研管理過程中,政府對高校科研項目所投入經費越高,那么高校所產生的科研論文數量越多,被SCI等收錄的文章也越多。上述現象說明在政府投入科研項目的相關指標間可能存在復雜的聯系。研究指標間的相互關系有助于分析高校的科研實力、科研投入、科研產出水平等方面的變化趨勢,為高校科研管理人員合理決策,提高管理水平提供參考。
科研項目;評價指標;指標間關系;湖北省高等院校
目前,科研相關的績效評價的研究很多。筆者認為,研究一類主要集中在如何構建合理指標體系。例如楊蓮芬等構建的浙江省高校科研項目績效評價指標體系,[1](p33-35)李筱林等構建的高校科技投入的績效評價體系,[2](p199-202)謝福泉等構建的財政科技投入績效評估體系等。[3](p25-27)另一類主要是采用不同的方法進行績效評價。例如陸根書等運用DEA方法對教育部直屬高校的科研效率進行了評價,[4](p75-79)孫海華等綜合運用群組層次分析法和TOPSIS法提出了一種提升科研績效的方法,[5](p5-8)楊蓮芬等運用AHP層次分析法和熵權法對浙江省高校科研項目績效評價指標進行賦權等。[1]但對指標間的相互關系的研究比較少。科研工作是一個復雜的系統工作,科研項目績效評價指標不會相互獨立存在的,我們有必要研究相關績效評價指標間的相互關系。
建立指標間關系的方法大多基于典型相關分析、相關性度量方法等。[6](p1-10)典型相關分析是先將多變量轉化為幾個典型變量,再通過其間的典型相關系數來描述變量間關系的統計學方法。其要求,兩組變量均是連續變量,數據為多元正態分布。相關性度量方法則不要求變量數據的連續性及分布特征。常見的相關性度量方法包括:皮爾遜相關性系數、斯皮爾曼相關性系數和互信息值。[7](p257-259)皮爾遜相關性系數用于測量兩變量之間的線性相關,斯皮爾曼相關性系數表示的是兩個變量之間的等級相關(單調相關)。然而變量間的相關除單調相關、線性相關外還有其他形式,例如非單調相關等。利用互信息計算兩變量之間的相關性是建立在信息熵的基礎上,從平均意義上來表征兩變量間的總體信息測度。相對于皮爾遜相關性與斯皮爾曼相關性,互信息能全面表達兩變量間的相關性。
(一)指標間的互信息。
“熵”是信息理論中核心的概念。[8](p77-84)熵的原始含義是對于物理系統紊亂程度的一種測度。將與看作兩個隨機變量,它們的對應向量分別為X與Y。

其中,p(xi)表示x取值xi為的概率,xi∈X′,X′表示x所有可能的取值的集合。


其中,(X′,Y′)表示(x,y)所有可能取值的集合。
在此基礎上給出互信息定義,采用以下基本形式:

當x與y相互獨立時,I(X,Y)=0;反之,I(X,Y)>0。因此,從統計學意義上講,互信息表達的是兩隨機變量間的相互依賴的程度。
指標間的相關性分析的目的是挖掘相關性較強的指標序對。基于互信息相關性的理論,計算指標間的相關性系數。主要分為以下三步:
設第t指標在各高校的指標值所組成的向量為Xt,那么

其中,t∈{1,...,m},xt,i表示t第指標在第i高校中的指標值。
(1)利用式(2.3)計算任意兩個指標間的互信息相關性:

其中t1∈{1,...,m},t2∈{1,...,m},t1≠t2。
由此得到任意兩個指標間的互信息相關性矩陣Mm×m:
(2)本文采用線性函數轉化法,將得到的互信息相關性矩陣進行歸一化。所得的歸一化后的矩陣為:

(3)本文假定歸一化后的互信息值超過最大值的60%時,認為指標間存在較為明顯的相關性。因此,本文設定互信息相關性閾值為0.6。挖掘互信息歸一化矩陣M′m×m中,互信息值超過互信息閾值的指標序對。
(二)復雜網絡模型。
復雜網絡模型是由節點和連接節點的邊來組成。[9](31-36)其中節點表示真實系統中的研究對象,邊表示對象間的關系。真實系統所表現出的網絡形式不勝枚舉。例如,互聯網網絡、蛋白質相互作用網絡、基因間相互作用網絡等。[10](p75-78)建立由真實系統轉化而來的復雜網絡模型的重點在于明確作為復雜網絡中節點的研究對象,以及對象間的聯系。復雜網絡模型系統具有其特殊的網絡結構性質。通常,采用網絡分析方法來進行網絡分析。例如,節點度及其他網絡拓撲結構指標的分析等。
1.復雜指標網絡的構建。
績效評價指標間關系的分析是本研究中的重要一環。績效評價指標體系中所包含的績效評價指標有多種,并且指標與指標間可能存在某種直接或者間接聯系。利用相關性較大的指標間的聯系將構成績效評價指的復雜網絡模型。
基于指標間的相關性的大小,設定閾值得到具有較強相關性的指標。我們以指標為節點。如果兩個指標間的相關性高于閾值,那么這兩個節點間存在一條邊。按照上述方式建立指標網絡模型。
2.復雜指標網絡的分析。
網絡拓撲結構指標有利于幫助分析網絡的拓撲結構。無向網絡中節點的度,即為與該點關聯的節點的數目。節點的度可以反映節點的重要性。[11](p426-429)具有較大度的節點在復雜指標網絡中的地位較為重要。例如指標相關網絡中度較大的節點node1對網絡較多的節點之間的相關性較大,說明與節點node1相關的多個節點中只要有一個節點(不妨設為node2)所對應的指標值發生改變,那么節點所對應的指標很可能發生改變。
由于我們比較關注科技項目的產出水平,因此有必要研究與科技產出指標具有緊密聯系的其他指標。高校的科技投入指標反映政府科技部門對高校的科研項目的資助力度。因此,挖掘對科技投入指標影響較大的指標有助于輔助政府科技部門開展對各高校的科研項目的投入力度的決策分析。指標網絡模型可以幫助我們尋找對科技產出指標以及科技投入指標影響較大的指標。

表1 湖北省高校政府投入科研項目績效評價指標體系
本文根據2013年初對湖北省18所高校的調研數據進行分析。根據調研數據的實際情況,筆者在其他文章中已構建了包括科研基礎、科研投入和科研產出為一級指標的包括59個三級指標的績效評價體系(表1)。[12](p117-121)
依照指標間的互信息相關性的計算步驟,我們計算59個三級指標間的互信息相關性的過程如下。
首先,數據的整理。因指標的量綱不同,為了便于計算,本文將59個三級指標的數據進行最大值歸一化,得到指標數據矩陣Data18×59(Data為18×59維的矩陣)。
其次,計算指標序對間的互信息相關性。為了便于互信息計算,將區間[0,1]等分為20個小區間,分別判斷指標數據矩陣Data18×59中的每個元素所處的小區間的編號。將元素所處的小區間的編號代替該元素值,最終將指標數據矩陣Data18×59離散化。離散化后的結果使得數據矩陣中的每個元素為1到20之間的任意自然數。利用I(Xt1,Xt2)=H(Xt1)+H(Xt2)-
H(Xt1,Xt2)公式計算任意兩個指標間的互信息相關性,其中Xt1與Xt2分別表示指標t1與t2的數據。我們不計同一指標間的相關性,發現指標間相關性的最大值為1.91(注:該值為指標“碩士學位授權一級學科數目”與指標“碩士點數目”之間的相關性),平均值為0.87。
再次,采用最大值歸一化法處理指標間的相關性,使得任意兩個指標間的相關性最大為1。指標間相關性值的分布見圖1。由圖1可見,指標間互信息值的分布呈單峰狀,在0.5附近達到最高,說明互信息值大多集中在0.5附近。互信息值大于0.7的指標序對的個數為226,互信息值大于0.75的指標序對的個數為128,互信息值大于0.8的指標序對的個數為88。

圖1 互信息相關性值的分布
假定歸一化后的互信息值超過最大值的60%時,認為指標間存在較為明顯的相關性。設定互信息相關性閾值為0.75,挖掘互信息值超過互信息相關性閾值的指標序對。我們得到具有較高互信息相關性的128個指標序對。例如,“教授數目”分別與“講師數目”、“經費數目”的相關性都較為顯著,“教授數目”與“講師數目”從屬于“科技基礎”指標,“經費數目”從屬于“科研投入”指標,可見從屬于不同一級指標的兩個三級指標間的互信息值也可能較大。
湖北省高校政府投入科研項目績效評價指標間存在復雜的相互作用關系,以上指標及指標間的關系將構成湖北省高校政府投入科研項目績效評價指標網絡。
(一)指標網絡模型。
1.指標網絡模型的構建。
我們將59個三級指標作為網絡的節點,并將指標間的互信息相關關系作為網絡中對應指標的節點之間的邊,從而建立指標的互信息相關網絡模型模型。設定互信息相關性閾值為0.75,128個指標序對的互信息相關性高于0.75(即互信息相關關系為128個)。本文所構建的指標的互信息網絡模型見圖2。

圖2 指標的互信息網絡模型
圖2中,紅色節點表示科技基礎所涉及的三級指標,綠色節點表示科技投入所涉及的三級指標,藍色節點表示科技產出所涉及的三級指標。圖中非孤立節點編號與指標的對應關系如下:教授數目(C2),副教授數目(C3),講師數目(C4),碩士學位授權一級學科數目(D3),碩士點數目(D5),湖北省重點實驗室數目(E7),湖北省工程研究中心數目(E8),博士后流動站數目(D1),國家級科研團隊數目(D13),國家自然科學基金委員會資助項目數目(G1),湖北省科技廳資助經費數目(H4),省級一等獎數目(J4_1),省級二等獎數目(J4_2),省級三等獎數目(J4_3),發表中文專著數目(K2),被EI檢索的論文數目(K5),培養的碩士生的數目(M3)。
由圖2可見,網絡中128條邊分布于17個節點之間,網絡中的大部分節點為孤立節點(即無與該節點關聯的邊)。該現象說明,59個指標中只有少部分指標之間存在相關關系,而大部分指標間無顯著的關聯關系。我們推斷無顯著的關聯關系的指標的數據即便有大的改動,也不會對其他數據產生太大的影響。
2.指標網絡模型的可靠性。
保持各指標數據向量中元素不變,隨機調換指標向量中元素的位置。隨機生成各指標數據隨機向量。再利用互信息方法,計算各指標數據隨機向量間的相關性。隨機指標數據間的相關性分布見圖3。
由圖3可見,隨機互信息值大部分分布于0.2,隨機互信息值大于0.75的個數為0。該結果可以驗證所得指標間關系存在的可靠性。從而進一步可以說明由這些可靠的指標間的關系所得的指標網絡模型的可靠性。

圖3 隨機互信息相關性值的分布
(二)指標網絡模型中的重要節點。
由1.2節的分析可知,網絡的拓撲結構指標(例如節點的度)可以幫助發現網絡中的重要節點。本節計算網絡中每個節點的度,并分別將節點按照節點度的降序進行排列。指標的相關網絡為無向網絡。無向網絡中節點的度數為與該節點相連的邊的數目。例如,網絡中編號為“C3”的節點分別于編號為“C4”及“J4_1”的節點存在一條邊。因此,編號為“C3”的節點的度為2。同理,我們計算出相關網絡中17個非孤立節點的度數,并將節點度數降序排列。相關網絡中節點的度數及相應的指標編號詳見表2。

表2 相關網絡中節點的度數
表2中節點編號與指標的對應關系如下:教授數目(C2)、副教授數目(C3)、講師數目(C4)、碩士學位授權一級學科數目(D3)、碩士點數目(D5)、湖北省重點實驗室數目(E7)、湖北省工程研究中心數目(E8)、博士后流動站數目(D1)、國家級特色團隊數目(D10)、國家自然科學基金委員會資助項目數目(G1)、湖北省科技廳資助經費數目(H4)、省級一等獎數目(J4_1)、省級二等獎數目(J4_2)、省級三等獎數目(J4_3)、發表中文專著數目(K2)、被EI檢索的論文數目(K5)、培養的碩士生的數目(M3)等。
值得注意的是,在判斷節點是否為重要節點時,由于節點的重要與否是一個相對的概念,節點重要性可根據個人主觀評判標準來定義節點是否重要。沒有一個專門的評判標準來評價所定義的節點的重要性。本研究中,我們選取了節點的度數為5。指標相關網絡中的重要節點分別為:講師數目(C4)、教授數目(C2)、碩士學位授權一級學科數目(D3)、碩士點數目(D5)、省級一等獎數目(J4_1)、省級二等獎數目(J4_2)、省級三等獎數目(J4_3)、發表中文專著數目(K2)、國家級科研團隊數目(D13)、湖北省重點實驗室數目(E7)、湖北省科技廳資助經費數目(H4)、湖北省工程研究中心數目(E8)。
(三)網絡模型分析。
我們發現,12個重要節點中的教授數目、講師數目、碩士學位授權一級學科數目)、碩士點數目、國家級科研團隊數目、湖北省重點實驗室數目、省級一等獎數目、省級二等獎數目、省級三等獎數目、發表中文專著數目等十個指標與多個指標有較強的相關性,尤其是該十個指標中的每一個與其他指標幾乎都有邊相連。說明以上十個指標數據具有較強的變化一致性。其中四個指標為科研產出三級指標,六個指標為科研基礎指標,說明科研基礎對科研產出水平存在重要影響。
在科研基礎的6個指標中和人才相關的是教授數目和講師數目和國家級科研團隊數目,說明教授和講師是高校科研的主體力量,國家級團隊在一定程度上作為人才集聚在高校的科研中起著重要的作用。學科相關的是碩士學位授權一級學科數目、碩士點數目,和科研平臺相關的為湖北省重點實驗室數目,這與湖北高校碩士學科點和湖北省重點實驗室的分布較廣有關,同時也說明學科和科研平臺的重要性。
科研產出中重要指標為省級一等獎數目、省級二等獎數目、省級三等獎數目、發表中文專著數目,與調研對象為湖北省高校有關。但同時也說明我們在過去的科研管理中對科研產出比較重視成果獎勵。對其他方面,特別是科研成果的社會化服務方面重視不夠。
同時,通過分析科研投入指標,我們發現科技廳資助經費數目(H4)與教授數目(C2)、講師數目(C4)、省碩士學位授權一級學科數目(D3),碩士點
數目(D5)省級一等獎數目(J4_1),省級二等獎數目(J4_2)和發表中文專著數目(K2);這說明科技基礎和科研產出中高水平成果對科研投入有較大的影響。
1.加強科技基礎建設,提升科技產出水平。高校應轉變觀念理念,從人才、學科、基地等方面綜合提升學校科技基礎水平,通過提升科研基礎水平來整體拉動學校科研產出質量。人才是科研項目完成的主體,學科代表高校在某個研究方向的研究實力,基地是科學研究的依托條件,團隊是針對特定方向的科學研究的隊伍建設。學校的科技基礎實力的高低在某種程度上極大影響了科研項目的完成質量和產出的水平。我們要注重科研基礎的建設質量。通過高水平人才引進與培養、先進科研平臺建設、優勢領先學科發展、優秀科研團隊的建設來促進科研基礎水平的質量。通過科研基礎水平的提升,爭取更多的科研項目,促進優秀的科研成果的產生。
2.積極重視科研成果服務經濟社會發展。各高校在重視科研的學術成果的同時,積極推進科研成果的轉化,強調科技服務于國家需求和社會、經濟發展。在重視科研長出的學術水平的同時,進一步注重科研產出的經濟效益、環境效益和社會效益。
3.做好教授、講師的科研主體隊伍建設,提高科研產出的水平。教授、講師等作為高校的科研主體,是高校科研產出的主要力量。目前各高校主要聚焦于高水平拔尖人才,給予全方位的優惠政策,在獲得部分優秀高水平成果的同時,對學校科研產出水平的整體提升影響較小,投入產出比也并不一定經濟。各高校應在積極支持優秀高水平人才的同時積極改善廣大科研人員條件,發揮教授、講師等科研主體隊伍積極性,使得科研產出既有亮點,又在水平上得到整體提升。同時,積極適應國家新科技體制,高校科研人員應在國家的基礎研究、技術攻關、成果轉化、產品研發的技術鏈條中合理定位,高校應根據科研人員不同作用,進行相應的人事考核和支撐條件建設的改革。
本文利用互信息度量績效評價指標間相關性的方法,將其運用于湖北省參研高校政府投入科研項目績效評價指標。從理論上分析了高校政府投入科研項目績效評價指標間的關系,通過實例證明了科研基礎對科研產出具有更重要的影響。為高校科研管理部門工作者提供參考。
目前,各管理部門對科研過程管理越來越重視,本研究的調研數據中缺乏科研過程數據,調研高校主要為湖北省高校,科研產出的數據主要為學術相關數據,缺乏社會效益等方面的數據。還應進一步擴大數據調研范圍,尤其是應加強針對科研過程和科研產出中社會效應的數據調研,同時拓寬高校的范圍,使得分析結論更具指導性。
[1]楊蓮芬,唐韻.浙江省高校科研項目績效評價指標體系研究[J].統計科學與實踐,2011,(3).
[2]李筱林,肖田野,盧進.高校科技投入績效評價模式研究[J].科技管理研究,2008,28,(6).
[3]謝福泉,任浩,張軍果.財政科技投入產出績效評價體系的構建-科技項目后評價視角[J].中國科技論壇,2006,(6).
[4]陸根書,劉蕾,孫靜春,顧麗娜.教育部直屬高校科研效率評價研究[J].西安交通大學學報, 2005,25,(2).
[5]孫海華,戚澇,李千目.一種新的基于TOPDIS的科研績效提升方法[J].科技進步與對策,2008,25,(6).
[6]楊珺暉.中國經濟結構性變革與經濟效率的典型相關分析[J].經濟問題探索,2015,(1).
[7]何紹榮,梁金明,何志勇.基于互信息和關系積理論的特征選擇方法[J].計算機工程,2010,36,(13).
[8]邢修三.物理熵,信息熵及其演化方程[J].中國科學:A輯,2004,31,(1).
[9]周濤,柏文潔,汪秉宏,劉之景,嚴鋼.復雜網絡研究概述[J].物理,2005,34,(1).
[10]朱恒民,蘇新寧,張相斌.互聯網輿情演化的動態網絡模型研究[J].情報理論與實踐,2010,(10).
[11]陳靜,孫林夫.復雜網絡中節點重要度評估[J].西南交通大學學報,2009,44,(3).
[12]陳小鋒,毛羽,蘇延森.政府投入類高校科研項目績效評價指標體系的構建及應用[J].科技進步與對策,2015,33,(5).
責任編輯 周剛
G472.5
A
1003-8477(2016)11-0059-06
陳小鋒(1977—),男,華中科技大學博士研究生;毛羽(1956—),男,博士,華中科技大學副教授;蘇延森(1985—),女,博士,安徽大學講師。