基于D&M模型的IT系統效能評估審計評價模型

王穎 張珂 趙蔚 戎偉 夏軍 李旭

[摘要]本文基于中國移動北京公司內部信息系統審計成果，從審計角度探索IT系統效能評估模型，在拓寬審計成果實踐應用的同時，為促進企業信息化管理能力的提升提供參考。

[關鍵詞]內部審計 ? ?IT系統 ? ?效能評估 ? ?模型

一、IT系統需求開發及使用效能審計內容

中國移動北京公司（以下簡稱北京移動）2020年開展了IT系統需求開發及使用效能審計調查項目，根據北京移動IT系統管理特點，審計從系統建設項目全生命周期角度開展，對項目立項、需求管理、開發測試、系統運行維護、費用結算、系統應用等環節重點把控，查找問題風險點。

審計發現，在項目立項階段，對IT系統進行宏觀規劃時，前期目標考慮不充分，導致后期IT系統功能需求頻繁變更，造成系統開發投入資金的浪費。因此，在項目立項前期應對IT系統功能建設的必要性、建設內容、建設規模、建設方案、進度安排、風險分析、配套等相關內容進行充分的可行性研究，從公司發展戰略、長遠目標、業務時限需求等方面進行評估和決策。

在需求管理方面，存在項目最終交付成果與立項內容不一致情況，經審查是由于IT系統建設過程中存在未經審批的項目變更導致。需求隨意變更，可能導致項目實際執行偏離立項目標，存在影響項目投資效益風險。在項目任務書下達后，如果涉及項目建設內容、建設規模、投資及進度等的變更，應及時提出變更申請并經相應層級審批。

在開發測試階段，未充分考慮系統程序架構、安全等問題，且測試不夠全面、完整，造成系統由于存在功能缺陷或安全漏洞等問題而下線，影響正常生產并造成投資損失。在系統立項及建設過程中，應充分考慮系統安全相關規定、指標，確保符合系統安全規定。

在系統運行維護階段，存在系統功能模塊上線、下線未及時發布通知，系統賬號管理粗放，功能模塊零使用率等問題，從應用維護角度反映出系統的使用情況。

在費用結算環節，工作量評估不合理、不嚴謹，導致需求工作量評估過高，對需求排期造成浪費，結算過多的人天工作量給公司帶來一定的經濟損失。應建立工作量評估模型，合理評估需求工作量，提升系統投資效益。

本次審計還通過線上調查問卷的形式，對系統的使用效果、使用頻率、用戶滿意度等方面進行調研，多渠道收集信息資料，為搭建系統效能評估模型提供充分依據。

二、IT系統效能評估模型探索

北京移動結合層次分析法將決策問題分為目標層、準則層和方案層，同時參考D&M模型中的信息質量、系統質量、服務質量、使用意愿、用戶滿意、凈收益等因素，分析IT系統需求開發及使用效能審計項目成果及其對公司的影響程度，對系統效能評估模型進行探索，最終確定IT系統效能評估模型。

IT系統效能評估模型分為5個維度，分別為目標評價維度、能力評價維度、效益評價維度、影響評價維度、持續性評價維度。每個維度由不同的指標共同進行評估，并根據企業實際情況設定指標評分依據及指標權重。

（一）系統效能評估模型架構

1.目標評價維度。包括制定合理性、戰略一致性和實施時效性指標，共同評估IT系統建設項目的目標完成情況。制定合理性主要評估目標制定及項目立項的合理性。戰略一致性主要評估IT系統建設項目立項是否符合公司發展前景或集團要求。實施時效性主要評估IT系統建設項目竣工完成的及時性。

2.能力評價維度。包括系統功能能力、系統運行能力和系統安全能力指標。系統功能能力主要評估IT系統建設項目竣工后，系統實際功能點完成度能否覆蓋全部立項需求。系統運行能力主要評估系統在運行過程中的性能能否滿足運行要求。通過系統性能評估、缺陷記錄等查看是否對項目中功能點提出了缺陷修復需求，同時結合系統定期運行情況通報數據及日常運維需求進行綜合判定。系統安全能力主要評估系統運行過程中的安全能力能否滿足公司要求。結合網絡與信息安全管理部門系統安全等級評判以及系統漏洞掃描記錄，對系統的安全能力進行評判。

3.效益評價維度。包括系統開發效益和系統運維效益評估指標，共同評估IT系統建設過程及建設后為企業帶來的效益。系統開發效益主要評估開發成本的合理性，查看人天價格是否合理、功能點人天工作量評估是否合理、評估開發過程中成本花費是否合理。系統運維效益主要評估項目功能點開發后帶來的收益或提升的工作效率。

4.影響評價維度。包括內部流程影響和用戶滿意度影響指標。內部流程影響主要評估系統建設或優化后對公司內部業務流程的影響。向系統使用部門發放調查問卷，問卷中設定項目功能點開發前及開發后的流程影響評分，收集反饋并進行統計評判。用戶滿意度影響主要評估系統用戶對系統的滿意度情況，調查問卷中設定客戶滿意度等級，收集用戶人員的反饋并進行統計評判。

5.持續性評價維度。包括系統點擊率與賬號活躍度兩個指標。系統點擊率主要評估系統功能的使用情況。定期統計系統使用率，查看系統功能點上線后的使用情況（點擊率），結合該項目下所有功能點的點擊率進行線性評分。賬號活躍度主要評估系統賬號的活躍程度。

（二）模型評分依據及指標權重

為使系統效能評估結果更準確、更貼合公司管理現狀，北京移動通過對系統進行全量數據分析，對抽樣數據進行重點審核，采用數據分析及概率統計的方法，確定本系統效能評估模型的評分依據及指標權重（見表1）。

三、系統效能評估實例展示

北京移動以某項目管理系統及2017年擴容項目二階段工程為例，通過資料審閱、問卷調查、數據收集與分析，參照系統效能評估模型，對該系統進行系統效能評估，評估得分結果見表2和圖1。

從某項目管理系統評估結果可以看出，該系統整體得分偏低，短板主要集中在效益評價維度和持續性評價維度方面。

為驗證該模型的評估效果，北京移動還抽取了除該系統之外的8個系統進行評估，評估結果見表3。

通過對9個系統效能評估結果進行分析對比，系統效能評估平均分為70.23分，其中5個系統評分超過平均分，4個系統低于平均分，根據系統評估結果的分布情況來看，該模型評估效果具備可參考價值。

四、結束語

北京移動以拓寬審計成果實踐應用范圍、提高審計成果轉化率為目標，本著審計價值利用最大化的原則，運用信息系統審計項目成果對IT系統效能評估模型進行探索。通過系統不同維度的得分結果，清晰得出系統建設項目存在的短板并分析原因，為后續系統建設項目投資立項及決策提供參考。不同企業可根據自身實際情況，調整模型指標打分依據及權重，為企業系統信息化評估提供思路，以審計之力助企業健康發展，最大限度發揮內部審計價值。

（作者單位：中國移動通信集團北京有限公司，郵政

編碼：100007，電子郵箱：wang_ying2@bj.chinamobile.com）