構建檔案信息化建設的績效評價指標體系研究*

朱麗梅

（華南理工大學檔案館，廣東廣州，510641）

開展檔案信息化建設的績效評價，旨在查找問題與不足，及時引導和規范后續的檔案信息化建設，從而充分盤活檔案信息資源、提升檔案服務效能及檔案的社會美譽度。績效評價的實施，亟需構建一個科學可行的績效評價指標體系。目前國內尚無統一的檔案信息化績效評價指標體系，對檔案信息化建設績效研究甚少，且多為定性分析。筆者嘗試將公共部門績效評價理論嫁接到檔案信息化建設工作上，打破單一的評價主體，采取定量與定性相結合的評價方法，提升評價結果的客觀性與準確性。

1 檔案信息化建設績效評價的內涵

績效評價是一個動態的過程，既表現為測量、評判和評級的活動，又是這三者組成的連貫過程［1］。本文對檔案信息化建設績效評價的內涵界定為：評價主體立足檔案信息化建設的根本目的及實踐，參照評價指標體系及評價標準，采用定性定量比對分析，對檔案部門在一定時期內實施檔案信息化建設進行客觀、準確的測量、評判與評級的活動與過程。

2 績效評價指標的遴選依據

評價指標直接反映評價內容與主題，關系著評價結果的可信度。本文密切結合績效評價理論、檔案信息化建設的理論與實踐、政策法規等進行指標遴選，具體如下所述：

2.1 緊扣績效的內涵，確立績效評價的一級指標

從語義學看，績效指成績、成效。在管理實踐上，人們對績效內涵的理解有單指行為或結果，也有認為是二者的結合［2］。本文結合績效的語義及管理實踐的內涵，認為績效涵蓋投入、產出與效果。投入是一種行為，它是踐行檔案信息化建設的前提，產出則反映了檔案信息化建設的內容或階段性成果，效果是測量檔案信息化建設帶來的服務質量與效果好壞的標尺。因此投入、產出與效果缺一不可，將三者設為檔案信息化建設的績效評價維度即一級指標。

2.2 以檔案信息化建設相關理論及綱要為基礎，明晰投入與產出所對應的二級指標

通過研讀檔案信息化建設的相關理論及《全國檔案信息化建設綱要》，明晰了開展檔案信息化建設需要以資金、人才、制度做保障。檔案信息化建設包括基礎設施、檔案信息資源、檔案服務平臺及信息安全保障體系的建設等內容［3］［4］，這為設計投入、產出所對應的二級指標奠定了堅實的基礎。

2.3 以重要會議精神為指導，確定評價目標與導向

為確保構建的評價模型科學可行，本文堅持以國家及檔案工作的重要會議精神為指導。首先以中國共產黨第十八次全國人民代表大會上重要會議精神及群眾路線為指導。會上有6處提及要提升服務效能，以民為本、提升服務質量，從而明晰開展檔案信息化建設績效測評的目的。其次，以國家檔案局局長楊冬權近年來在全國檔案局（館）長會議上的重要講話為指導。他強調以檔案信息化建設充分提升檔案服務效用，建立三個體系即覆蓋人民群眾的檔案資源體系、方便人民群眾的檔案利用體系及檔案安全體系，依法滿足人民群眾的查檔需求［5］，依此確定檔案服務結果與質量為評價導向。

2.4 汲取經驗，彌補不足

現有的檔案信息化評價標準如浙江省、常德市等地的檔案信息化評價標準及部分檔案學者提出的檔案信息化建設評價指標對本文有一定的借鑒意義，但同時認識到上述評價指標體系存在以下不足：

首先，評價指標不全。與學者所構建的指標相比，檔案部門制定的指標實踐性強，測評指標頗為全面、數據的采集可行性強，值得本文借鑒；但立足于績效評價角度，無論是檔案部門還是學者構建評價指標均存在偏頗之處，反映建設的指標過多、投入與服務效果的指標缺乏或過少，且指標間存在重復和交叉。因此構建檔案信息化建設的績效評價指標時，盡量優化之。此外評價指標的遴選還需與時俱進。信息時代利用者的遠程查檔意識及需求日益增強，故應適當增加遠程服務平臺的建設、遠程利用效果、網站訪問量與回應的速度等指標。

其次，可量化的指標過少，評價方法以定性為主。評價的科學性及準確性可通過數字和量化的評價指標來體現，雖然并非所有的指標均能簡單量化［6］，尤其對于具有公共服務職能的檔案部門來講，定性的評價指標更易制定，但僅有定性指標，評價結果的準確性與可信度必然降低。為此開展檔案信息化建設評價時，盡可能運用定量與定性相結合的分析方法，適當提升定量指標的比例以彌補定性指標評價的主觀性過強等不足。

最后，評價主體單一，多為上級對下級的評價或檔案部門自評，本文則增加了利用者對檔案服務滿意度的評價指標。

3 評價指標的遴選

構建檔案信息化建設的績效評價指標的基本流程如圖1所示。

3.1 首輪評價指標的設計

首輪檔案信息化建設績效評價指標體系在參考如上所述的遴選依據、檔案專家意見及檔案信息建設的實踐基礎上初步設計了3個一級指標（以An標識），9個二級指標（以Bn 標識），36 個三級指標（以Cn標識）。初設的評級指標具有以下特點：（1）涵蓋了投入、產出與效果三個維度。（2）正向指標和逆向指標相結合。一個較為全面的評價指標應該既有加分的指標，也有扣分的指標；（3）定性指標與定量指標相結合。

圖1 評價指標體系構建流程

3.2 評價指標重要程度的評判與篩選

參照德爾菲法的要求邀請13位專家參與各級評價指標的篩選及重要程度評判的問卷調查，其中12 位專家回復了問卷。這12 位專家有主管檔案信息化建設的領導、負責并參與檔案信息化建設實踐工作者、高校檔案教學科研工作者。經過3 輪的專家問卷，最終專家們對各級評價指標的意見基本一致。

3.2.1 各級評價指標重要程度的評判情況

本文檔案信息化建設績效評價的各級評價指標重要性及相應的量化分值為非常重要（4 分）、重要（3 分）、一般（2 分）、不重要（1分）、極不重要（0分）五個等級。

專家對各級評價指標重要程度判斷意見的集中程度可以通過各指標評分值的算術平均值、滿分頻率和評價等級和來進行測量［7-9］。本文選用算術平均值來測量。算術平均值在此指12 位專家對各項評價指標重要程度的分值平均值，計算公式為mj 為 專家數，Cij 表示第i（i=1，2…，12）個專家對Cj 指標的重要程度給分值）。

經過3 輪問卷，刪除了隸屬度Ri（Ri=MI/12，其中MI 表示認為評價指標XI是理想的指標專家數［10］，本文將評價指標的重要程度不小于2定位較為理想）小于0.5的各級評價指標，同時對二級及三級評價指標作了優化和調整。最終專家們對各級評價指標評判的重要程度平均值如表1、2、3所示。

從表1、2、3 可看出12 位專家對各評價指標的重要程度評判趨于一致。標準方差反映數據的波動性，標準方差越大表示數據的波動性越大。變差系數則反映評價指標的鑒別力大小，變差系數越大，表明該指標的鑒別力越大［10］。透過表3 的數據可看出，43 項的評價指標的標準方差均小于0.8，33項評價指標的變差系數不小于0.15，各項評價指標的隸屬度大于0.5，故可判斷12 位專家對各級指標的重要程度評判意見基本趨于一致，9 成以上的評價指標鑒別力強。

3.2.3 評價指標的信度及效度檢測

為進一步檢驗評價指標的信度與效度，運用SPSS 軟件對投入、產出、效果三個評價維度所屬的評價指標及總體的績效評價指標進行信度檢驗，測得上述3 個評價維度所屬的評級指標及總體的評價指標的克勞伯克α系數分別為0.6、0.891、0.824、0.925，除了投入績效小于0.7 外，其它都超過0.7。說明該評價指標體系信度符合要求。與此同時對總體績效評價指標進行效度檢測所得內容效度比（VCR）為0.89，大于0.7，由此可判斷最終構建的檔案信息化評價指標總體上是可靠有效的［10］。

4 運用層次分析法（AHP）法確定評價指標的權重

評價指標權重是衡量單項指標在整個評價指標體系中的重要性或比重［6］。權重確定的合理與否，直接影響到評價結果的準確性。本文運用層次分析法（AHP）確定評價指標的權重。

層次分析法（AHP）是美國運籌學家、匹茲堡大學教授馬斯·塞蒂（T．L．Saaty）提出的一種處理復雜的評價問題中，進行方案比較排序的方法。這是一種典型的定性和定量相結合的評價分析方法，是系統化、層次化的分析方法。廣泛應用于多指標的綜合評價模型的一種評價方法。在構建評估指標體系的基礎上，利用一定的方法對各指標進行預處理，然后構建綜合評估模型求得綜合評價值，以此對現象總體進行比較、分類和排序的一種統計方法［1］。

表1 專家對一級指標重要程度判斷的意見

表2 專家對二級指標的重要性判斷意見

表3 專家對三級指標重要程度的判斷意見

表4 檔案信息化建設績效評價指標體系

4.1 評價指標權重的確定

按照層次分析法的步驟首先建立遞階結構模型，然后構建兩兩比較判斷矩陣。確定受上層指標（除底層外）支配的同層次指標間的相對重要性比較，接著進行層次單排序及一致性檢驗，一致性檢驗通過后再進行層次總排序，最后確定檔案信息化建設評價指標的權重，各評價指標的權重如表4所示。

4.2 績效評價公式

依據構建的檔案信息化建設績效評價指標體系中各指標對總目標的權重與各級指標的評價分值，即可計算出檔案信息化建設績效的最終評價值［8］［9］，具體的計算公式為

公式中G 為檔案信息化建設績效綜合評價值，Wi 為第i個評價指標的權重，VCi為三級指標中第i個評價指標的績效分值，n 為三級指標的個數。

本文中檔案信息化建設績效的評價最終可用公式表示為：G=0.0553VC1+0.0553VC2+0.0277VC3+0.0093Vc4+0.0012VC5+0.0705VC6+0.0286VC7+ 0.004VC8+ 0.0042VC9+0.0009VC10+0.0019VC11+0.0009VC12+0.0042VC13

+ 0.0155VC14+ 0.0333VC15+0.007VC16+0.0032VC17+0.0015VC18+0.0029VC19

+ 0.0007VC20+ 0.0002VC21+0.0004VC22+0.0024VC23+0.0128VC24+0.0056VC25

+ 0.0056VC26+ 0.0012VC27+0.0183VC28+0.030VC29+0.0493VC30+0.0771VC31

+ 0.0493VC32+ 0.0295VC33+0.0119VC34+0.0082VC35+0.024VC36+0.0118VC37

+ 0.003VC38+ 0.0464VC39+0.0009VC40+0.1739VC41+0.0704VC42+0.0287VC43。

5.評價指標體系的實證分析

為檢驗評價指標體系的實踐應用性，在參照浙江省、常德市等地檔案信息評估標準以及專家的意見基礎上，設計了檔案信息化建設績效評分細則，同時還設計了檔案信息化建設的績效數據收集問卷。基于可比性，選擇了6 個同源且檔案信息化建設起步時間較為接近的樣本檔案館，收集他們2012、2013年檔案信息化建設的投入、產出與效果等績效相關數據，共回收了5 個樣本檔案館2012、2013年的數據，其中有效問卷4份，分別來自4個不同的樣本檔案館。

運用spss軟件分別對4個樣本檔案館的2012年、2013年檔案信息化建設績效評價結果及這2年的績效評價結果平均值進行信度檢驗（克勞伯克系數），結果分別為0.711、0.707、0.708，均大于0.7。由此說明本文所測得4個樣本檔案館的績效評價結果是可接受的信度水平，從而進一步驗證了本文構建的檔案信息化建設的評價指標體系的適用性。與此同時評價指標體系存在的不足之處還有待于后續的完善。

［1］李文彬.公共部門績效評價［M］.武漢：武漢大學出版社，2010.

［2］范伯乃.政府績效評估［M］.北京：中國人民大學出版社，2011.

［3］馮惠玲.檔案學概論［M］.北京：中國人民大學出版社，2001.

［4］國家檔案局.全國檔案信息化建設綱要［z］.2002-11-25.

［5］2012年楊冬權在全國檔案館（局）會上的重要講話［EB/OL］http：//www.qldaxxw.gov.cn.

［6］卓越.公共部門績效評估［M］.北京：中國人民大學出版社，2011.

［7］査先進.信息分析與預測［M］武漢：武漢大學出版社，2006.

［8］李麗燕.我國綜合檔案館效益評估指標體系的構建及實證研究［D］.杭州：浙江大學，2010.

［9］劉菁.檔案信息化評價指標體系—基于實證和定量方法的分析［D］.杭州：浙江大學，2009.

［10］鄭方輝.廣東省地方政府整體績效評價紅皮書［M］.廣州：華南理工大學出版社，2010.