檔案信息系統(tǒng)評(píng)價(jià)指標(biāo)體系研究

〔摘 要〕科學(xué)的評(píng)價(jià)指標(biāo)體系是對(duì)檔案信息系統(tǒng)進(jìn)行合理評(píng)價(jià)的前提，對(duì)促進(jìn)系統(tǒng)設(shè)計(jì)目標(biāo)的實(shí)現(xiàn)，提高系統(tǒng)建設(shè)質(zhì)量具有重要意義。本文針對(duì)檔案信息化管理的特點(diǎn)，就建立檔案信息系統(tǒng)評(píng)價(jià)指標(biāo)體系的原則和依據(jù)進(jìn)行了初步探討，力求建立一套較為完善、有效的評(píng)價(jià)指標(biāo)體系，為全面、客觀評(píng)價(jià)檔案信息系統(tǒng)奠定基礎(chǔ)。

〔關(guān)鍵詞〕檔案信息系統(tǒng)；綜合評(píng)價(jià)；評(píng)價(jià)指標(biāo)體系

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００８－０８２１．２０．０１．０３９

〔中圖分類號(hào)〕Ｇ２７５.９ 〔文獻(xiàn)標(biāo)識(shí)碼〕Ａ 〔文章編號(hào)〕１００８－０８２１（２０）０１－０１５３－０４

Research on Evaluation Index System of Archives Information SystemLiu Kun

（Archives，Shanxi University of Finance and Economics，Taiyuan 030006，China）

〔Ａｂｓｔｒａｃｔ〕It needs a set of scientific index system to evaluate objectively the development degree and status of Archives information system.It was important signification to promote the construction of Archives Information System.Based on the principle of system evaluation，this paper established the structural model of Archives information system evaluation index system.With the help of AHP，the index system and evaluation method were researched.

〔Ｋｅｙｗｏｒｄｓ〕archives information systems;comprehensive evaluation;evaluation index system

１ 建立檔案信息系統(tǒng)評(píng)價(jià)指標(biāo)體系的必要性

隨著信息技術(shù)和網(wǎng)絡(luò)技術(shù)的廣泛應(yīng)用，檔案管理模式和工作環(huán)境發(fā)生了根本性轉(zhuǎn)變。基于互聯(lián)網(wǎng)和信息技術(shù)的檔案信息系統(tǒng)，能夠整合檔案信息資源，改造檔案管理業(yè)務(wù)流程，提升檔案管理水平和管理效率，已經(jīng)成為了檔案信息化建設(shè)的重要組成部分。當(dāng)前，各級(jí)檔案部門都在不同程度的開展檔案信息系統(tǒng)建設(shè)。

檔案信息系統(tǒng)建設(shè)是一個(gè)復(fù)雜的系統(tǒng)工程，它的導(dǎo)入和實(shí)施必然會(huì)涉及檔案管理的方方面面，需要大量人力、物力、財(cái)力的投入。因而，系統(tǒng)的實(shí)際應(yīng)用效果受到了用戶和開發(fā)單位的共同關(guān)注。構(gòu)建一套完善、有效的評(píng)價(jià)指標(biāo)體系，對(duì)檔案信息系統(tǒng)進(jìn)行科學(xué)、合理評(píng)價(jià)，對(duì)于促進(jìn)系統(tǒng)設(shè)計(jì)目標(biāo)的實(shí)現(xiàn)，提高系統(tǒng)建設(shè)質(zhì)量具有重要的現(xiàn)實(shí)意義。

２ 評(píng)價(jià)指標(biāo)體系設(shè)計(jì)原則

科學(xué)、合理的評(píng)價(jià)指標(biāo)體系是檔案信息系統(tǒng)評(píng)價(jià)模型建立的基礎(chǔ)，指標(biāo)體系設(shè)計(jì)應(yīng)遵循一定的原則［１－２］：

２.１ 科學(xué)性

評(píng)價(jià)指標(biāo)體系構(gòu)建要以科學(xué)的理論為指導(dǎo)，符合檔案信息化管理的內(nèi)在規(guī)律和發(fā)展要求，有效地反映系統(tǒng)的基本特征和整體狀況，在基本概念和邏輯結(jié)構(gòu)上嚴(yán)謹(jǐn)、合理，能抓住評(píng)價(jià)對(duì)象的實(shí)質(zhì)。

２.２ 導(dǎo)向性

進(jìn)行系統(tǒng)評(píng)價(jià)的目的不僅是為了評(píng)價(jià)一個(gè)系統(tǒng)的優(yōu)劣程度，更重要的是為后續(xù)的系統(tǒng)設(shè)計(jì)和改進(jìn)提供科學(xué)的參考依據(jù)，引導(dǎo)系統(tǒng)建設(shè)向正確的方向和目標(biāo)發(fā)展。因此，指標(biāo)的選取應(yīng)具有一定的導(dǎo)向性。

２.３ 系統(tǒng)性

評(píng)價(jià)指標(biāo)體系應(yīng)是一個(gè)有機(jī)的整體，能全面、客觀地反映被評(píng)價(jià)對(duì)象的綜合情況。指標(biāo)間互相聯(lián)系、互相制約，同一層次指標(biāo)盡可能的界限分明，從中抓住主要因素，既能反映直接效果，又能反映間接效果，以保證綜合評(píng)價(jià)的全面性和可信度。

２.４ 可操作性

評(píng)價(jià)指標(biāo)體系要繁簡適中，指標(biāo)涵義明確，數(shù)據(jù)資料采集方便、易于獲取。即首先要明確評(píng)價(jià)目標(biāo)，不要搞大而全的評(píng)價(jià)，在能基本保證評(píng)價(jià)結(jié)果客觀性、全面性的條件下，指標(biāo)體系盡可能簡化，減少或排除沒有必要考慮的因素，使評(píng)價(jià)易于實(shí)現(xiàn)。

２.５ 定性分析與定量分析相結(jié)合

由于是多目標(biāo)評(píng)價(jià)，涉及到各個(gè)方面，單純采用定量或定性的方法都很難對(duì)系統(tǒng)做出客觀的評(píng)價(jià)。采用定性與定量相結(jié)合的方式，可以將部分反映系統(tǒng)基本特點(diǎn)的定性指標(biāo)定量化、規(guī)范化，為采用定量評(píng)價(jià)方法打下基礎(chǔ)。

２.６ 可比性

在具體指標(biāo)選擇上，必須是檔案管理共有的指標(biāo)涵義，統(tǒng)計(jì)口徑和范圍盡可能保持一致，以保證指標(biāo)在各檔案信息系統(tǒng)之間和不同歷史時(shí)期具有橫向和縱向的可比性。

３.１ 評(píng)價(jià)指標(biāo)體系模型結(jié)構(gòu)

傳統(tǒng)上對(duì)檔案信息系統(tǒng)的評(píng)價(jià)多側(cè)重于系統(tǒng)性能、軟硬件質(zhì)量等技術(shù)層面的因素。而實(shí)際上，檔案信息系統(tǒng)是涉及到技術(shù)、組織和管理等多種要素的社會(huì)技術(shù)系統(tǒng)，其評(píng)價(jià)也不是單純的技術(shù)評(píng)估問題，而是一個(gè)復(fù)雜的社會(huì)過程。建立一套科學(xué)的評(píng)價(jià)指標(biāo)體系，將反映檔案信息系統(tǒng)基本特點(diǎn)的定性指標(biāo)定量化、規(guī)范化，有助于盡可能的減少評(píng)價(jià)的不確定性，提高精確性。考慮到檔案管理部門應(yīng)用信息系統(tǒng)的主要目的是為了改造業(yè)務(wù)流程，改善管理績效。而檔案信息系統(tǒng)作為一種投資，必須高度重視效益，力求以最少的投入獲得最大產(chǎn)出，否則不利于其長遠(yuǎn)發(fā)展。本文在評(píng)價(jià)指標(biāo)體系的設(shè)計(jì)上，從系統(tǒng)使用者的角度出發(fā)，增加了反映系統(tǒng)應(yīng)用所產(chǎn)生的效益和績效改善的評(píng)價(jià)指標(biāo)，以便項(xiàng)目施行者全面了解系統(tǒng)的實(shí)際運(yùn)行狀況，及時(shí)發(fā)現(xiàn)存在的問題，提出改進(jìn)措施，更好地滿足用戶的實(shí)際工作需求。綜合考慮這些因素，結(jié)合檔案信息系統(tǒng)的特點(diǎn)，本文建立的檔案信息系統(tǒng)指標(biāo)評(píng)價(jià)體系由兩層指標(biāo)集構(gòu)成，共4個(gè)一級(jí)評(píng)價(jià)指標(biāo)和18個(gè)二級(jí)評(píng)價(jià)指標(biāo)，基本上可以比較全面、客觀地衡量一個(gè)檔案信息系統(tǒng)的綜合信息化水平。具體來說，檔案信息系統(tǒng)評(píng)價(jià)指標(biāo)體系的第一層為主指標(biāo)集，評(píng)價(jià)指標(biāo)包括：系統(tǒng)的技術(shù)水平U1、系統(tǒng)性能U2、效益U3、管理績效U4等4個(gè)一級(jí)指標(biāo)，而每個(gè)一級(jí)指標(biāo)又由若干個(gè)二級(jí)評(píng)價(jià)指標(biāo)所決定，相應(yīng)地為第二層指標(biāo)集，例如反映系統(tǒng)效益U3的二級(jí)指標(biāo)包括：直接經(jīng)濟(jì)效益指標(biāo)U31、間接經(jīng)濟(jì)效益指標(biāo)U32、社會(huì)效益指標(biāo)U33。由此構(gòu)成的檔案信息系統(tǒng)多目標(biāo)綜合評(píng)價(jià)指標(biāo)體系結(jié)構(gòu)模型如圖１所示［１－３］。圖１ 檔案信息系統(tǒng)評(píng)價(jià)的指標(biāo)體系結(jié)構(gòu)模型

３.２ 評(píng)價(jià)指標(biāo)的內(nèi)涵

以下簡要分析評(píng)價(jià)指標(biāo)體系中各一級(jí)指標(biāo)相應(yīng)的二級(jí)指標(biāo)的選擇依據(jù)和具體含義［２］。

３.２.１ 技術(shù)水平U1

（1）目標(biāo)功能實(shí)現(xiàn)度U：表示系統(tǒng)實(shí)現(xiàn)其規(guī)劃、分析階段提出的規(guī)劃目標(biāo)的程度。

（2）先進(jìn)性U12：系統(tǒng)是否融合了先進(jìn)的科學(xué)管理知識(shí)，系統(tǒng)的設(shè)計(jì)是否科學(xué)以及是否有較強(qiáng)的適應(yīng)性。

（3）標(biāo)準(zhǔn)性U13：系統(tǒng)的建立應(yīng)遵循相關(guān)的國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)，使用標(biāo)準(zhǔn)數(shù)據(jù)庫格式和元數(shù)據(jù)格式，文檔資料應(yīng)齊全而且規(guī)范。

（4）軟件質(zhì)量U14：包括系統(tǒng)軟件的實(shí)用性、可操作性和可升級(jí)性。

３.２.２ 系統(tǒng)性能U2

（1）功能的完整性U21：系統(tǒng)功能是否涵蓋電子檔案信息的采集、處理、存儲(chǔ)、歸檔、組織、提供利用等功能。包括數(shù)據(jù)管理功能、整理編目功能、檢索功能、輔助實(shí)體管理功能等。

（2）可靠性U22：是系統(tǒng)按設(shè)計(jì)要求持續(xù)運(yùn)行的基本保障，系統(tǒng)不僅要保證滿足功能需求、正常運(yùn)行，當(dāng)系統(tǒng)出現(xiàn)意外故障時(shí)還應(yīng)能夠盡快恢復(fù)運(yùn)行，保證數(shù)據(jù)不受破壞。它是由硬件和軟件系統(tǒng)等因素共同決定的。

（3）安全保密性U23：系統(tǒng)的軟硬件是否可靠，是否符合國家關(guān)于檔案管理軟件保密要求的規(guī)定，包括系統(tǒng)用戶識(shí)別、身份認(rèn)證、防非法侵入、防火墻、數(shù)據(jù)備份等檔案信息資源安全措施的應(yīng)用狀況等。

（4）可維護(hù)性U24：表示維護(hù)人員對(duì)系統(tǒng)進(jìn)行維護(hù)的難易程度。它由系統(tǒng)的模塊化程度、簡明性及規(guī)范性等因素決定。

（5）系統(tǒng)效率U25：是指系統(tǒng)的處理能力、處理速度、響應(yīng)時(shí)間等與時(shí)間有關(guān)的特性。系統(tǒng)效率主要指標(biāo)有：數(shù)據(jù)庫打開時(shí)間、數(shù)據(jù)檢索時(shí)間、數(shù)據(jù)刪除時(shí)間，以及完成編目等特定功能所需要的時(shí)間。

３.２.３ 效益U3

（1）直接、間接經(jīng)濟(jì)效益U31、U32：主要體現(xiàn)在通過應(yīng)用系統(tǒng)改進(jìn)檔案信息資源利用服務(wù)效率、降低成本而獲得的直接、間接收益。包括合理優(yōu)化資源；節(jié)約勞動(dòng)力成本、信息服務(wù)成本、管理成本；減少費(fèi)用支出等。

（2）社會(huì)效益U33：體現(xiàn)在為公眾提供檔案信息以及科學(xué)利用公共資源，提高社會(huì)信息化整體水平、實(shí)現(xiàn)決策科學(xué)化等方面。該指標(biāo)主要指為用戶解決實(shí)際問題所做出的貢獻(xiàn)，包括檔案信息被引用或向其它文獻(xiàn)信息轉(zhuǎn)化的狀況；用戶在解決問題過程中檔案信息所起作用的比重以及利用檔案信息作為憑證的狀況等。

３.２.４ 管理績效U4

（1）規(guī)劃目標(biāo)實(shí)現(xiàn)程度U41：預(yù)定的戰(zhàn)略規(guī)劃的階段性目標(biāo)、總體目標(biāo)及各項(xiàng)具體指標(biāo)的實(shí)現(xiàn)程度。

（2）管理效率U42：系統(tǒng)應(yīng)用是否帶來管理模式、組織結(jié)構(gòu)和業(yè)務(wù)流程的改革和創(chuàng)新；檔案信息收集、傳遞、處理速度、作業(yè)效率、對(duì)用戶需求的反應(yīng)能力及部門決策水平的提高程度。

（3）檔案信息服務(wù)質(zhì)量U43：體現(xiàn)在檔案信息服務(wù)的快捷度、準(zhǔn)確性、方便性、服務(wù)周期等質(zhì)量指標(biāo)是否提高。其中檢索查全率、查準(zhǔn)率和方便快捷程度是衡量檔案信息服務(wù)過程質(zhì)量高低的最基本的指標(biāo)，即系統(tǒng)是否能夠全面、準(zhǔn)確地檢索與用戶真實(shí)需求相關(guān)的信息；是否能在實(shí)現(xiàn)目錄信息檢索的基礎(chǔ)上，提供全文檢索及多媒體信息檢索等；檢索方式是否多樣化，檢索結(jié)果是否可以按相關(guān)度排序等。

（4）檔案信息利用率U44：系統(tǒng)應(yīng)用是否增強(qiáng)了檔案信息資源的開發(fā)利用程度，可以從信息的收集、深度加工和共享方面以及信息資源挖潛能力進(jìn)行評(píng)估。具體體現(xiàn)在年均查檔數(shù)量及人次、檔案利用頻率、檔案網(wǎng)站用戶訪問量等。

（5）成本節(jié)約量U45：總成本與應(yīng)用系統(tǒng)前相比是否下降，與同類單位相比是否領(lǐng)先。可以從減少人工信息處理的工作量，節(jié)約人工費(fèi)用、管理費(fèi)用、辦公開支等方面衡量。

（6）用戶滿意度U46：指用戶對(duì)系統(tǒng)的功能、用戶界面、容錯(cuò)性等的滿意程度；服務(wù)滿足顧客多樣化、個(gè)性化需求的提高程度。可以從系統(tǒng)易用性、友好性、交流功能、用戶參與程度等方面衡量。

以上分析了檔案信息系統(tǒng)的評(píng)價(jià)因素，這18個(gè)具體評(píng)價(jià)指標(biāo)構(gòu)成了檔案信息系統(tǒng)多目標(biāo)綜合評(píng)價(jià)指標(biāo)體系。

３.３ 評(píng)價(jià)指標(biāo)權(quán)重的確定

權(quán)重是一個(gè)相對(duì)的概念，是針對(duì)某一指標(biāo)而言。某一指標(biāo)的權(quán)重是指該指標(biāo)在整體評(píng)價(jià)中的相對(duì)重要程度。權(quán)重系數(shù)確定的合理與否，關(guān)系到綜合評(píng)價(jià)結(jié)果的可信程度。因而在評(píng)價(jià)指標(biāo)體系構(gòu)建中，合理確定指標(biāo)權(quán)重是一個(gè)關(guān)鍵環(huán)節(jié)。

確定指標(biāo)權(quán)重的方法一般有以下幾種：一是專家直觀判定法，它是最簡單的權(quán)重確定方法，由評(píng)價(jià)者個(gè)人根據(jù)自己以往的經(jīng)驗(yàn)和對(duì)各項(xiàng)評(píng)價(jià)指標(biāo)重要程度的認(rèn)識(shí)，對(duì)各項(xiàng)評(píng)價(jià)指標(biāo)的權(quán)重進(jìn)行分配。二是權(quán)值因子判斷表法，是指由評(píng)價(jià)人員組成評(píng)價(jià)專家組，由專家組制定和填寫權(quán)值因子判斷表，然后根據(jù)各位專家所填寫的權(quán)值因子判斷表，對(duì)評(píng)價(jià)指標(biāo)的權(quán)數(shù)取平均值并進(jìn)行統(tǒng)計(jì)處理，作為權(quán)重系數(shù)。三是層次分析法（Analytic Hierarchy Process，簡稱AHP），是將評(píng)價(jià)指標(biāo)分解成多個(gè)層次，通過兩兩比較下層元素對(duì)于上層元素的相對(duì)重要性，將人的主觀判斷用數(shù)量形式表達(dá)和處理以求得指標(biāo)的權(quán)重。前兩種方法比較簡單，但主觀性強(qiáng)，隨意性大，導(dǎo)致指標(biāo)間相對(duì)重要性得不到合理體現(xiàn)，評(píng)價(jià)精確度不高［４］。層次分析法是美國運(yùn)籌學(xué)家T.L.Saaty教授于70年代初期提出的一種簡便、靈活而又實(shí)用的多準(zhǔn)則決策方法，適用于難于完全定量分析的問題，本文以層次分析法為例說明如何確定評(píng)價(jià)指標(biāo)權(quán)重。

層次分析法確定權(quán)重的步驟［５－６］：

３.３.１ 構(gòu)造判斷矩陣

同理可構(gòu)造U～U14對(duì)U1的判斷矩陣，U21～U25對(duì)U2的判斷矩陣，U31～U33對(duì)U3的判斷矩陣，U41～U46對(duì)U4的判斷矩陣。其中，uij表示對(duì)于A(U1)而言，Ui對(duì)Uj的相對(duì)重要性。其它判斷矩陣可依此類推。

３.３.２ 層次單排序

計(jì)算各判斷矩陣的特征值最大值及其所對(duì)應(yīng)的特征向量，得出層次單排序，獲得指標(biāo)層對(duì)于目標(biāo)層的重要性數(shù)據(jù)序列，從而獲得最優(yōu)決策。先解出判斷矩陣A的最大特征值λmax，再利用公式：Aω=λmaxω。解出λmax所對(duì)應(yīng)的特征向量ω。經(jīng)過標(biāo)準(zhǔn)化后即為同一層次中相應(yīng)元素對(duì)于上一層次中某個(gè)因素相對(duì)重要性的排序權(quán)值。

３.３.３ 一致性檢驗(yàn)

由于問題復(fù)雜程度不盡相同，不可能要求所有判斷都完全一致，但卻應(yīng)該使判斷有大體上的一致性。因此需要對(duì)判斷矩陣A進(jìn)行一致性檢驗(yàn)。首先計(jì)算A的一致性指標(biāo)CI：CI=(λmax-n)/(n-1)。前式中，n為判斷矩陣的階數(shù)。當(dāng)A具有完全一致性時(shí)，CI=0。λmax-n愈大，矩陣的一致性愈差。當(dāng)判斷是否具有滿意的一致性，還需將CI與平均隨機(jī)一致性指數(shù)RI進(jìn)行比較。對(duì)于1～9階判斷矩陣T.L.Saaty給出了RI值如表２所示。表２ 均隨機(jī)一致性指標(biāo)R.I.標(biāo)準(zhǔn)值

階數(shù)R.I.階數(shù)R.I.10.0061.2520.0071.3530.5281.4240.8991.4651.12101.49

當(dāng)CR=CI/RI＜0.1時(shí)就認(rèn)為判斷矩陣A具有滿意的一致性，否則要對(duì)A重新調(diào)整，直到具有滿意的一致性為止。

３.３.４ 求得評(píng)價(jià)指標(biāo)權(quán)重體系

如果判斷矩陣通過一致性檢驗(yàn)，將層次單排序的結(jié)果轉(zhuǎn)換即可將得到評(píng)價(jià)指標(biāo)的權(quán)重體系。

從上面的分析可以看出，層次分析法原理比較簡單，應(yīng)用靈活，可以將定性因素轉(zhuǎn)化為定量計(jì)算，為決策提供定量的依據(jù)，是一種較好的權(quán)重確定方法。

４ 結(jié)束語

檔案信息系統(tǒng)綜合評(píng)價(jià)是一個(gè)系統(tǒng)而復(fù)雜的過程，既有定性評(píng)價(jià)問題，又涉及到定量方法的使用，而且隨著時(shí)代發(fā)展和科技進(jìn)步，評(píng)價(jià)指標(biāo)和指標(biāo)權(quán)重也有必要隨之做出相應(yīng)的調(diào)整，檔案信息系統(tǒng)評(píng)價(jià)工作是一個(gè)不斷變化的動(dòng)態(tài)過程。檔案信息系統(tǒng)綜合評(píng)價(jià)體系研究目前在我國尚處于一個(gè)初始階段，本文只是初步構(gòu)建了一個(gè)評(píng)價(jià)指標(biāo)體系，所提出的評(píng)價(jià)指標(biāo)體系結(jié)構(gòu)模型在指標(biāo)設(shè)計(jì)方面具有一定代表性，比較適合定性、定量計(jì)算，有利于科學(xué)、合理地對(duì)檔案信息系統(tǒng)進(jìn)行綜合評(píng)價(jià)，有一定借鑒意義，但是在許多方面還需要通過實(shí)踐的檢驗(yàn)，進(jìn)一步改進(jìn)和完善。

參考文獻(xiàn)

［１］閔文杰，陳建明，張仲義．信息系統(tǒng)評(píng)價(jià)指標(biāo)體系及方法研究［Ｊ］．鐵道學(xué)報(bào)，2000，22（5）：37-38．

［２］鄭麗．檔案信息化建設(shè)測度指標(biāo)體系探索［Ｊ］．檔案與建設(shè)，2007，（2）：21-22．

［３］郭東強(qiáng)．信息系統(tǒng)評(píng)價(jià)的定量化模型［Ｊ］．中國管理科學(xué)，2000，（8）：96-99．

［４］作者不詳．權(quán)重確定方法［ＥＢ］．MBA智庫百科，http:∥www.mbalib.com

［５］常建娥，蔣太立．層次分析法確定權(quán)重的研究［Ｊ］．武漢理工大學(xué)學(xué)報(bào)，2007，（1）：153．

［６］杜綱．管理數(shù)學(xué)基礎(chǔ)［Ｍ］．天津：天津大學(xué)出版社，2003：53-55．