科研信息化評估指標改進有方

文/仰潔白

科研信息化評估指標改進有方

文/仰潔白

鑒于科研機構在信息時代的不斷發展，信息化水平的不斷提升，本文根據科研機構的特殊性、指標體系設置的科學性，采取增加定量問題的數量，降低科研管理信息化指標所占分值比例，提高信息化特征指標和數據庫指標所占分值比例、對門戶網站評估指標的調整等方法，對科研信息化評估指標體系進行調整。

科研信息化最早得名于英國的e-Science計劃，是指建立在新一代網絡技術和網格基礎上的全新科學研究模式。所謂科研信息化就是在信息化基礎設施支持下的科研活動。科研信息化的實質就是“科學研究的信息化”，包括兩個基本方面：

第一，信息化的基礎設施，比如英國、歐盟國家的e-infrastructure和美國的cyberinfrastructure建設；

第二，信息化的科研活動。

在信息化浪潮席卷社會各方面活動的今天，如何提高對信息的擁有率及高效利用率，從而改變傳統的、封閉的科研及管理模式，成為國內外科研機構必須直面應對的挑戰。在科研信息化建設中，信息化評估作為對信息化水平進行測度的一種重要手段，對提升科研機構信息化水平起到關鍵作用。

表 1 2009年信息化評估指標體系框架

科學理論背景

縱觀國內外衡量社會、行業直至企業的信息化發展狀況的研究，多數使用指數方法。本文在研究過程中，搜集、匯總了國內外關于信息化（信息社會）指數研究領域內的成果共11項：IT產業競爭力指數、聯合國電子政務調查2010，信息社會指數，信息化發展指數，網絡化就緒指數，日本電信與經濟研究所信息化指數法，信息化發展指數（國家統計局），2007年度中央企業信息化水平評價數據采集表，交通行業信息指數，制造業信息化指數，地方信息化發展總指數。包括國外研究成果6項，國內5項，重點將各研究工作中所涉及到的指標體系、權重、計算方法等內容加以整理，可以看出：

1. 制定與公布機構方面， 由于各機構性質不同，指標設置、權重設置、數據采集方法等呈現不同的特點；

2. 信息化評價要素范圍方面，差距較大；

3. 指標體系設置方面，大部分指數采用一籃子方法，設立逐級細化的指標，通過各種方法確定指標的權重，加權計算總體指數；

4.權重設置方面，超過一半的研究采用等權重或者專家指定的權重；

5. 數據采集方法方面，大部分指數研究采用公開或半公開的研究數據，國內部分行業主管部門所制定的指數采用調查問卷方式采集數據；

6. 指標粒度方面，相差很大。例如，ITU制定的IDI指數，只有11個指標；而中央企業信息化水平評價表中列入114個不同問題。

本文以某科研機構為例子。該科研機構由于其特殊性，國內外已有的關于信息化的指數對于科研機構的信息化狀況不完全適用，但是其構建方法論對于調整原有科研信息化水平指標體系提供了科學合理的依據。由于科研信息化工作的衡量是社會統計學的具體應用，其評估結果應服從正態分布。該科研機構至今已完成2008、2009年信息化水平評估，在指標體系設置方面均采用一籃子的方法，設立逐級細化的指標，在數據采集方面，均采用調查問卷的方式。

圖3 2009年四個指標得分分布情況

原有指標體系存在缺陷

該科研機構信息化評估指標體系分為三大部分：信息化環境、信息化應用、信息化效益。隨著2008年~2009年連續兩年的信息化水平評估，該科研機構的信息化水平已有大幅提升，部分信息化評估指標已不再適用，同時經過兩年信息化水平評估，原有指標體系不科學、不全面的部分也暴露出來，為準確測度2010年度該機構的科研信息化水平，有必要對其原有指標體系進行調整。表1是該科研機構2009年信息化評估指標體系框架。

首先，對2009年評估指標體系總體進行分析，定量指標數量約占28.29%，定性指標數量約占55.26%，既定性又定量的指標數量約占16.45%。定性指標數量所占比例較大，定量指標數量所占比例較小。

其次，對2009年所有二級單位信息化評估得分進行分析，得分分布呈密集狀態（見圖1、2）。大部分二級單位信息化評估得分都處于50~70分，然而通過對二級單位的調研及專家訪談了解到，大部分二級單位信息化水平較2008年雖有提升，但總體水平依然參差不齊；另外，對2009年該科研機構的信息化評估得分進行統計分析，2009年信息化評估結果模擬正態分布的效果并不好。故而2009年信息化評估指標體系不能夠完全反映真實的信息化水平。

對2009年評估指標體系的二級指標進行分析， 科研管理信息化指標、信息化特征指標、門戶網站和數據庫這四部分指標占全部問卷的問題數量的49.85%，分值占問卷總分的53.95%；科研管理信息化指標所占分值最高，依次是信息化特征指標、門戶網站、數據庫。我們分別對科研管理信息化、信息化特征指標、門戶網站和數據庫四部分指標得分進行分析（見圖3），科研信息化指標得分分布密集，大部分二級單位得分均處于7~9分，信息化水平較高；門戶網站指標得分分布密集，大部分二級單位得分均處于2~6分，信息化水平較低；信息化特征指標得分較分散，但普遍很低；數據庫指標得分較分散。

由此可見，該科研機構2009年信息化評估得分分布呈密集狀、不能完全準確反映信息化水平的原因是：科研管理信息化指標所占分值比重大，但得分差距較小；信息化特征指標和數據庫指標得分較分散，但這兩部分指標所占分值比重太低；門戶網站指標得分普遍較低，整體信息化水平都不高。

調整方法

為了準確測度2010年度該科研機構的信息化水平，我們對2009年信息化評估指標體系做出以下調整：

1.增加定量問題的數量，減少定性問題的數量。經調整后，2010年信息化評估指標中定量問題的數量比例達38.91%，增加10.62%；定性問題的數量比例達47.35%，減少7.91%；既定性又定量的問題的數量基本與2009年持平。

2.降低科研管理信息化指標所占分值比例。經調整后，科研管理信息化指標分值比例由24.9%降低至18.9%。

3.提高信息化特征指標和數據庫指標所占分值比例。經調整后，信息化特征指標分值比例由5.0%提升至5.4%，數據庫指標分值比例由6.1%提升至10.1%。

4. 對門戶網站評估指標的調整

我們對門戶網站的子指標進行分析。門戶網站2009年指標體系在測度門戶網站指標時僅采集量化數據，例如推送量、日均頁面瀏覽量、網站資源更新量等。根據2009年評估數據，門戶網站指標得分普遍較低，信息化水平不高。對科研信息化水平進行評估，不僅是為了解和掌握科研機構本年度的信息化水平，更重要是為了對信息化水平進行定位，在此基礎上不斷提高。

為鼓勵二級單位不斷加強門戶網站建設，提高信息化水平，在測度門戶網站信息化水平時，除了計算各項指標絕對數量，還將各二級單位下半年情況與上半年情況進行對比，從而得到門戶網站各主要指標的增長率，例如：推送量年度增長率、日均頁面瀏覽量年度增長率等等。我們還可以將絕對數量與增長率結合，一定程度上消除由于學科領域、二級單位體量不同而帶來的差異：小規模二級單位非IT類單位如果在門戶網站建設中有明顯進步，也可以獲得高分。

另外，2010年門戶網站指標體系中新增 “互動交流”指標，進一步考察除信息發布之外，各二級單位與外界的雙向信息互動。表2是中文網站指標體系，英文網站與中文網站類同。

?

表3 2009、2010年信息化評估得分的描述性統計結果

調整結果分析與下一步改進

在2010年該科研機構信息化評估項目結束后，將2010年信息化評估的得分與2009年的得分進行比較分析（見表3），2010年該科研機構的信息化評估得分的標準誤差和方差較大，數據分布更為分散，而數據2009的標準差和方差相對較小，數據分布較為集中。因此，經過對2009年信息化評估指標體系的調整，有效改善2009年信息化評估得分分布密集的狀況。

對2010年該科研機構信息化評估的得分進行統計分析，2010年評估得分較2009年更符合正態分布，如圖4所示。由此，經過對2009年信息化評估指標的調整，使2010年信息化評估結果更加科學合理。

日趨激烈的科技競爭呼喚高效的科研管理與科技創新，而高效的科研管理與科技創新呼喚更有力的信息化支撐。鑒于科研機構在信息時代的不斷發展，信息化水平不斷提升，本文經過對國內外相關評估指標體系的深入研究，根據科研機構的特殊性、指標體系設置的科學性，采取專家訪談、調研、數據統計分析的方法，對該機構的信息化指標體系進行調整，解決以下兩個問題，并在實際應用中取得了良好的效果：

1.調整原有的信息化評估指標體系結構，使之適應新的、不斷發展的信息化水平，并對之進行測度；

2.解決評估結果集中度過高的問題，使評詁結果更能反映真實的信息化水平。

由于該大型科研機構包括許多處于不同學科領域的科研子單位，部分指標對于其所在的學科領域并不完全適用，例如協同平臺、科普，不能真實、貼切地反映某些科研子單位的信息化建設水平。

本文在研究過程中，所有科研子單位均使用相同的信息化評估指標體系，沒有對子單位所在的學科領域進行劃分。今后將就不同學科領域對子單位進行劃分，根據其所在學科領域的特點，對現有指標體系進行部分調整，設置與其所在學科領域相關的信息化水平測度指標；另外，在學科領域劃分的基礎上，進行同一學科領域內的不同子單位的科研信息化水平的比較，以求更加真實地反映不同學科領域的科研信息化水平，并對科研機構的信息化建設起到激勵作用。

（作者單位為首都經濟貿易大學）