高等院校信息化項目申報評價體系探究

路 萍，耿志剛

（北京工業大學 信息處，北京100022）

一、引言

1.頂層設計的宏觀要求

根據《北京市經濟和信息化委員會關于開展“智慧北京”頂層設計的通知》文件要求，各高校根據自身發展的總體目標積極開展信息化頂層設計工作。自2013年起，頂層設計報告作為經信委評審信息化項目的重要依據，原則上不能申報頂層設計中未描述清楚與相關業務關系的新建或審計改造項目。同時，頂層設計也作為高校電子政務績效考核的重點內容。

2.高校信息系統建設現狀

隨著大數據、移動應用等各種信息化技術的快速發展，以及自身業務、管理需求的變革，每年各高校都有許多信息化建設需求。本文探討如何在學校頂層設計的總體框架下，在資金有限的前提下，根據已有的軟硬件環境、前期系統建設的應用情況、人力條件、數據資源等因素，建立一個校內信息化項目申報評價體系，對申報項目進行定性定量相結合的事前評價。從而實現校內信息化項目申報的有效管理和控制，提高申報的通過率和后續建設的成功率。

二、高校信息化項目申報管理活動

1.項目申報涉及人員范圍

任何一個信息化項目都是從需求開始，并以滿足需求為結束條件的。因此，在項目申報時就應進行需求管理，在相關人員之間建立對需求的基本共識，并進行協同。在選擇產品以及需求確定的過程中，涉及到學校的信息化主管人員、業務管理者、系統運維者、應用用戶等多個主體，以及供應商、服務商等外圍人員，因此對需求的評價是多維的。

2.項目申報活動的基本流程

項目申報活動的基本流程如圖1所示。

圖1 高校內部信息化項目評審工作流程

（1）需求開發：包括本年度新報項目以及去年通過專家評審，因預算經費不足放入待申報項目庫中的項目。起草項目申報材料，獲取需求，數據采集。

（2）需求評審：制定需求評價指標體系、評審計劃、專家評審會、記錄問題、修正問題。

（3）需求基線：對批復的項目建立需求基線、確定需求屬性。

（4）需求跟蹤：建立跟蹤矩陣、管理需求變更。

（5）變更統計：按項目統計功能、性能、經費以及人員變更情況。

（6）結題統計：按部門統計驗收結題百分比等。

三、高校信息化項目申報評價指標體系的建立

1.高校信息化項目申報評價指標體系的層次模型

在信息化項目申報需求評價活動的整個過程中，評價指標體系的建立起著至關重要的作用，其最基礎、最關鍵的工作是指標選取與分解。本文試將高校信息化項目申報評價工作表示為一個有序的、階梯層次的結構模型，具體分為以下三組指標。

（1）原有系統功能性能評價

申報的系統是否有前期建設，如果有，則應是校凈。eirong對原有系統的功能、性能進行評價：分析原有系統功能點使用百分比，原有功能與新需求的差異性；從軟硬件平臺基礎以及應用系統的開放性、可移植性、可擴充性，評估在原有系統升級改造的利弊；根據原有系統的功能可維護性、安全性等因素評估繼續使用原系統的弊端和潛在風險。其指標如圖2所示。

圖2 二級指標——原有系統功能性能評價指標

（2）新建（改造）系統必要性評價

必要性評價包括：從功能模塊使用頻率、歷史數據量、系統運行穩定性等因素判定原有系統的應用情況；評估能否利用原有模塊通過功能重組實現新需求；新需求引起的新功能是否會改變原有的業務模式；新的業務管理是否已成熟、已經能進行手工運轉，迫切需要計算機系統進行更為有效的操作；原有系統的軟硬件平臺已運行年限、有無校內外技術人員進行運維支撐等，都影響必要性評價結果。其指標如圖3所示。

圖3 二級指標——新建（改造）系統的必要性評價指標

（3）新建（改造）系統可行性評價

可行性評價從校內因素和校外因素兩方面判定申報項目是否具備建設（改造）的條件，有無實現的可能。①內部因素主要包括：1）人力因素：學校領導對該系統建設的支持力度，系統涉及部門的協調力度，以及系統管理員的技術水平等。2）管理因素考察：申報項目是否是業務部門根據其局部目標制定的，與學校整體戰略目標、信息化頂層設計的契合度如何，現有業務、需求業務的標準性、規范性等也是評價的重要指標，因為再好的產品，再先進的系統也只是輔助、促進作用，而不能代替管理本身。3）學校的網絡環境、數據中心的基礎軟硬件是否能滿足新建系統的需求，是否還有其他產品支出等。②外部因素包括：1）是否有滿足新需求的成熟軟件產品，是否需要大量二次開發，在高校應用效果如何，能否適應校院兩級管理需求。2）軟件開發商或集成商的技術實力、開發模式、產品版本控制、現場支持力度、運維服務模式等也是可行性分析必須參考的重要因素。其指標如圖4所示。

圖4 二級指標——新建（改造）系統的可行性評價指標

上述評價指標模型為1-3級指標描述。在實際應用中，評價指標體系可能需要建立更加細粒度的指標子集，例如：必要性評價中，對原有系統功能模塊的使用情況可以從“已使用模塊與現有業務的匹配度、用戶對已實施模塊的滿意度、已實施模塊的使用率”等4級指標進行評價。然而，等級劃分過細，會增加評判復雜度，也會影響最終評判結果，本文建議整個評價模型深度不超過4級，單級評價指標不超過7個。

2.高校信息化項目申報評價指標體系特點

（1）多層次結構、多目標、指標描述方式多樣。

（2）支持動態管理，即根據不同的評價對象分類（信息化辦公類設備、應用開發類、軟件采購類、硬件購買類、網絡及通訊類、安全產品類）進行指標項的動態選取，建立不同的評價子集。

（3）大部分指標值難以通過應用系統和工具直接獲取，需要人工采集。

（4）存在相當的主觀性，對專家的依賴性大，而且涉及應用行業、軟件、硬件、網絡、安全等不同方向的因素。因此評價結果的科學性、準確性、正確性很大程度上取決于專家的素質、指標設計的合理程度、評價計算方法的選擇等。

四、評價方法的構建

針對該評價體系層次多、指標多，且既考慮到實際數據的采集，又考慮到專家、校領導或主管部門的意見，本文考慮應用層次分析法（Analytic Hierarchy Process，AHP）進行評價。AHP是一種將半定性、半定量問題轉化為定量問題的擬定量方法，基于AHP所建立的高校信息系統項目需求評價系統是一個量標系統，由指標集和權重集組成。[1]其中指標集是反映學校信息化建設項目的評價因素所組成的標準序列，權重集是按指標的層次對應性有序排列而成的權重值表。根據這兩個集合，計算各層各指標的組合權重，得到相對于目標的優先順序。

1.指標權重集的確定

采用AHP方法確定權重集的主要工作是對同一層次的評價指標兩兩比較相對重要性，建立判斷矩陣，得到各評判指標的相對權重，獲得權重集合。基本實施過程如圖5所示。

圖5 基于AHP計算評價指標權重集流程

對于每一層（級）指標子集，需設定相應的單層權重子集vikm，且須保證，即第k層的某指標i下級指標層權重值和為1，其中m=1,2,……n表示以指標i為目標的層次模型的底層指標。

2.指標實際值的采集

基于學校的公共數據庫，建設指標參數和實際數據映射關系，抽取定量數據。例如，從固定資產庫獲取原有系統使用的軟硬件使用年限；從項目管理庫中獲得合同金額、驗收結題情況；從各原系統本身可獲取業務數據量等信息。但從指標體系可以看出，大部分指標實際值需人工采集，甚至是定性的打分數據，因此需根據評價指標體系設計、定義相應的流程和活動獲取指標實際值，并保證其可用性、準確性。

（1）制定數據采集計劃——規定數據采集的基本要求，確定所需的人力、物力資源、時間安排、規定結束條件等。

（2）數據采集表格設計及說明——根據評價指標體系最底層指標集設計數據采集表，以及指標項說明、取值范圍說明等。

（3）數據采集活動及范圍——向所涉及的業務部門、管理部門、以及供應商、運維商等發放數據采集表。

（4）數據填報及過程溝通——在各相關單位填寫數據的過程中，評價活動主管部門有責任向數據采集對象講解指標含義，協助理解指標體系，確保數據的合理性、規范性。

（5）利用工具對產品進行測試——在條件允許的情況下，對預采購產品進行測試，獲取相應的指標值，如代碼錯誤率、最大并發數、大數據查詢響應效率、高危漏洞數等。

（6）采集數據及文檔審查——評價活動主管部門對采集的各數據表和文檔進行審查。如項目驗收證明等。

3.指標實際值的無量綱化

在本文建立的評價指標體系中，指標實際值肯定存在異量綱情況，而且數值差異較大（有金額、數量、百分比等），直接加權平均不合理，且沒有實際意義。因此需將指標實際值轉化為無量綱的相對數——比重，數值大小在[0，1]范圍內。最簡單的方式可采用qms=tms/max（tms）×100%，其中tms表示指標實際值，qms為指標評價值，m=1,2，……n表示以某指標i為目標的層次模型的底層指標，s=1,2，……為各被評項目的順序編號。

4.評價計算及排名

利用無量綱化后的指標實際值，即指標評價值，以及評價指標體系的權重集，按下述方法進行單項指標、綜合指標評價計算，得到項目申報優先排序。

（1）單項統計

單項統計是指針對指標層次模型中的任一指標，對各評價對象進行考評。本文采用加權平均法計算相應的指標擬量值：設對各評價系統第k層的指標i進行單項考評，先利用單層權重子集對指標i所屬各層子指標進行多層次的權重組合計算，即把指標i當成總目標計算組合權重，從而得到最底層子指標對應指標i的權重集，記為vkim，再根據相應的指標評價值qms即可計算出指標i的擬量值，計算公式為

（2）綜合統計

對一個評價對象做出總評價需要把許多考察指標綜合成一個。[2]針對指標層次模型的總目標，利用總層權重子集中的權重向量(即層次模型的最低層指標對于總目標的組合權重），對各個評價對象進行綜合考評。綜合統計同樣是根據指標評價值qms和權重子集Ck，用加權平均法計算相應的指標擬量值pis。

（3）統計結果的使用

無論是單項統計還是綜合統計所得到的擬量值都是無量綱的。學校信息化項目主管部門可根據計算結果對各部門申報的項目進行單項排名（對各個二級、三級子目標的排序)、綜合比較（對總目標的排序），形成評價報告，作為評審依據，向有關校領導和專家評審委員會提出申報工作建議。

五、評價系統設計

1.模型設計

（1）指標層次模型的設計

用層次分析法建立的評價模型在理論上是一個網狀結構，考慮到對源數據的提取和最終評價數據的顯示，在實現上需將層次模型轉換為樹狀結構；即每個葉子節點有且只有一個父節點。

1）指標樹的錄入采用二維表形式：層次編號、根節點編碼、葉節點編碼，可通過指標對照表選擇。

2）專家填寫判斷矩陣以及后續的評價指標單層評價與綜合評價，使用TreeView等控件進行指標樹的顯示與指標項的選擇查詢。

（2）專家判斷矩陣模型設計

通過專家填寫判斷矩陣確定指標權重的方法，涉及的主要基表包括：

PG_PROFESSOR 專家信息

PG_PARAMETER 指標代碼和名稱對照表PG_TREE指標樹

PG_ROOT根節點目錄（用于顯示指標樹）PG_MATRIX 專家判斷矩陣

PG_MATRIX_CHECK 判斷矩陣的單層一致性檢查結果以及單層矩陣的權值

PG_RI 一致性指標

PG_KIM 某一專家的總層一致性檢查結果以及層次模型中各個指標的權值

PG_KIM_END專家權值表，即所有通過總層一致性檢查的專家給出的權值的平均值

PG_KIM_TOTAL 層次模型中各層指標相對于總目標的相對權值

關于判斷矩陣PG_MATRIX，在設計時特別考慮以下兩點：

1）相同的指標子集因評價對象的不同可設置不同的權重分類子集（例如，針對網絡通訊項目、軟件采購項目和應用開發項目的“產品因素”三級指標雖然相同，但權重值可以不同），需專家根據評價對象分類重復判斷相同節點的判斷矩陣。

2）判斷矩陣的上三角形與下三角形沿對角線對稱，且對角線值皆為1，因此只錄入和存儲上三角形即可。主要包括專家編碼、當前判斷矩陣根節點編碼、項目分類子集代碼、矩陣行號/列號、進行相對比較的分子指標代碼/分母指標代碼，以及相對比值。

2.功能設計

上述探究要想切實可行、具有應用價值，需建設相應的管理信息系統，包括以下五方面功能：

（1）評價指標體系樹狀模型的設置：包括指標的選取設置、層次模型的動態建立與調用。

（2）建立權重設置平臺：包括專家資質審查、專家填寫判斷矩陣、判斷矩陣的單層一致性檢查和總層一致性檢查、專家填寫判斷矩陣有效率確認，以及獲取最終的單層和總層權重子集。

（3）數據采集表的在線填報、集成、校驗和數據的無量綱化。

（4）評價計算，進行單項的、綜合的排名，按項目類型、申報部門等多角度生成評價報告。

（5）評價指標實際值、評價結果數據的歷史保存、縱向比較。這些評價排名雖然只是初步結果，還需領導和專家評議才能進行申報，有的項目甚至根本沒有上報資格，但這些結果依然可以作為一種參照進行保存，為以后的申報工作進行有意的判斷。例如，學校自行排名結果與經信委審批結果符合度、項目批復金額與申報金額百分比、各部門項目驗收率排行等。

六、結論

本文就高校每年進行信息化項目申報工作的評審方法和過程進行了初步探討，希望在理論上形成一套科學和系統的方法，包括：申報項目評價指標體系的建立、指標實際值的獲取、評價計算方法以及信息化項目評價系統的設計等。希望本文提出的方法和建議對高校的信息化項目申報工作是一次有益的嘗試。

[1]趙煥臣,許樹柏,和金生.層次分析法[M].北京：科學出版社，1986.

[2]張堯庭.指標量化、序化的理論和方法[M].北京：科學出版社,1999.

[3]胡永宏,賀思輝.綜合評估方法[M].北京：科學出版社,2000.