基于評(píng)估過程數(shù)據(jù)的指標(biāo)體系優(yōu)度評(píng)價(jià)方法

劉彬 薛奇 劉同 張憲

（軍事科學(xué)院 戰(zhàn)略評(píng)估咨詢中心，北京100091）

1 引言

開展評(píng)估工作是督導(dǎo)任務(wù)開展、推進(jìn)落地見效、促進(jìn)管理水平提升的重要手段。高質(zhì)量指標(biāo)體系是開展高質(zhì)量評(píng)估工作的基本條件。當(dāng)前，針對(duì)各類對(duì)象建立的指標(biāo)體系五花八門，各具特點(diǎn)，構(gòu)成了龐大的“評(píng)估指標(biāo)庫”。若有一套定量評(píng)價(jià)指標(biāo)體系，可以幫助評(píng)估工作者從“評(píng)估指標(biāo)庫”中遴選出質(zhì)量較高的指標(biāo)體系，將大大提升評(píng)估工作的效率。而探索構(gòu)建這套指標(biāo)體系，開展“對(duì)評(píng)估工作的再評(píng)估”，則是推動(dòng)指標(biāo)體系構(gòu)建走向標(biāo)準(zhǔn)化、規(guī)范化的一個(gè)重要手段。

已有眾多研究者對(duì)指標(biāo)體系的規(guī)范化設(shè)計(jì)開展過學(xué)術(shù)研究。就設(shè)計(jì)原則來看，李遠(yuǎn)遠(yuǎn)等認(rèn)為綜合評(píng)價(jià)指標(biāo)體系的構(gòu)建要遵循目的性、全面性、可行性、穩(wěn)定性、協(xié)調(diào)性和結(jié)合性等原則［1，2］。蘇為華、邱東等則認(rèn)為在對(duì)指標(biāo)體系考察時(shí)，可以從齊備性、協(xié)調(diào)性、可行性、準(zhǔn)確性、區(qū)分度（辨識(shí)度）、冗余度（重疊度）等方面進(jìn)行考量［3～5］。德魯克在《管理的實(shí)踐》一書中提出目標(biāo)管理要遵循SMART原則，即準(zhǔn)確性（Specific）、可度量性（Measurable）、可實(shí)現(xiàn)性（Attainable）、相關(guān)性（Relevant）和時(shí)限性（Time-bound）［6］。由此可知，目的性、全面性、可行性、準(zhǔn)確性和協(xié)調(diào)性是目前學(xué)界普遍認(rèn)可的指標(biāo)體系設(shè)計(jì)原則。在“對(duì)評(píng)估工作的再評(píng)估”實(shí)踐應(yīng)用方面，國(guó)內(nèi)開展得還不多，近年來主要集中在教育評(píng)估和政府績(jī)效評(píng)估領(lǐng)域。王云峰等對(duì)河北省重點(diǎn)學(xué)科評(píng)估的元評(píng)估進(jìn)行了實(shí)證研究［7］；嚴(yán)芳對(duì)教育元評(píng)估的理論和方法做了有益的探索［8］；王穎等設(shè)計(jì)了學(xué)校辦學(xué)質(zhì)量元評(píng)估量表，并對(duì)17份省級(jí)基礎(chǔ)教育階段學(xué)校辦學(xué)質(zhì)量的評(píng)估方案進(jìn)行了評(píng)定［9］；徐夢(mèng)佳等針對(duì)2018 年開展的本科審核評(píng)估，采用元評(píng)估的方法分析了審核評(píng)估的優(yōu)點(diǎn)與不足［10］。在政府績(jī)效評(píng)估領(lǐng)域，盛明科等用元評(píng)估的方法分析了政府績(jī)效評(píng)估指標(biāo)體系效度的評(píng)價(jià)方法［11］；吳建南等針對(duì)元評(píng)估框架、指標(biāo)和方法等進(jìn)行了建設(shè)性的討論［12］；周碧華等對(duì)福建某縣級(jí)市的政府績(jī)效考核進(jìn)行了元評(píng)估分析［13］；黃健新等對(duì)公務(wù)員考核開展了元評(píng)估，驗(yàn)證了開展元評(píng)估對(duì)提升公務(wù)員考核的必要性［14］。

從已有研究看，針對(duì)指標(biāo)體系的“再評(píng)價(jià)”研究并不多，且容易陷入“自說自話，自我證明”的困境之中。“再評(píng)價(jià)”的基本邏輯是：為了評(píng)價(jià)原指標(biāo)體系構(gòu)建一套“再評(píng)價(jià)”指標(biāo)體系，借助Delphi專家評(píng)議求得指標(biāo)的“質(zhì)量”得分，再拿評(píng)分來證明這套“再評(píng)價(jià)”指標(biāo)體系可用，其操作過程基本與原評(píng)估工作割裂，給出的優(yōu)化意見也偏于表面。從各種評(píng)估實(shí)踐中可以看到，評(píng)估產(chǎn)生的偏差并不局限于數(shù)理統(tǒng)計(jì)，指標(biāo)內(nèi)涵不清晰、評(píng)價(jià)模型過于復(fù)雜等因素都是造成評(píng)估偏差的原因。因此，本文著眼于將可以表征指標(biāo)體系“優(yōu)劣”的過程信息納入優(yōu)度評(píng)價(jià)過程，并借鑒數(shù)理統(tǒng)計(jì)中的“優(yōu)度評(píng)價(jià)”概念，給出了一套定性定量相結(jié)合，但以定量為主的指標(biāo)體系“質(zhì)量”評(píng)價(jià)方法。

2 指標(biāo)體系優(yōu)度評(píng)價(jià)方法

2.1 相關(guān)概念內(nèi)涵

指標(biāo)體系優(yōu)度評(píng)價(jià)是以指標(biāo)體系為對(duì)象開展的一種綜合評(píng)估活動(dòng)，其目的是衡量指標(biāo)體系的“質(zhì)量”，即對(duì)其預(yù)期評(píng)價(jià)目標(biāo)的實(shí)現(xiàn)程度。優(yōu)度評(píng)價(jià)的輸入為被評(píng)指標(biāo)體系及其使用過程中產(chǎn)生的數(shù)據(jù)信息、優(yōu)度評(píng)價(jià)的專家意見，輸出為代表指標(biāo)體系“質(zhì)量”的優(yōu)度評(píng)價(jià)結(jié)果。通過優(yōu)度評(píng)價(jià)，發(fā)現(xiàn)已有指標(biāo)體系在指標(biāo)設(shè)計(jì)和數(shù)據(jù)統(tǒng)計(jì)方面可能存在的風(fēng)險(xiǎn)偏差，給出調(diào)整建議，進(jìn)而實(shí)現(xiàn)對(duì)原指標(biāo)體系的優(yōu)化。

借鑒數(shù)理統(tǒng)計(jì)中“優(yōu)度”概念，指標(biāo)體系優(yōu)度包括信度（Reliability）和效度（Validity）兩部分內(nèi)容。指標(biāo)體系信度是指指標(biāo)數(shù)值統(tǒng)計(jì)結(jié)果的可靠性程度，主要依托客觀數(shù)據(jù)；指標(biāo)體系效度是指評(píng)估指標(biāo)在多大程度上描述了評(píng)估對(duì)象的特征并反映了評(píng)估目的，反映的是用評(píng)估指標(biāo)描述評(píng)估對(duì)象客觀要素的準(zhǔn)確程度。指標(biāo)效度的評(píng)定主要依托專家，通過主觀經(jīng)驗(yàn)判斷指標(biāo)與所需測(cè)量的內(nèi)容之間關(guān)系的密切程度［5］。

評(píng)估過程數(shù)據(jù)是指在評(píng)估過程中，從每個(gè)正在執(zhí)行的活動(dòng)中收集到的原始測(cè)量值。例如各被評(píng)單位自評(píng)活動(dòng)的開始和結(jié)束日期，與評(píng)估方溝通對(duì)接的次數(shù)，提交材料中存在的缺陷數(shù)量、數(shù)據(jù)修正的次數(shù)及最終形成評(píng)估報(bào)告的時(shí)間等。在整個(gè)評(píng)估工作中可以收集到大量這樣的數(shù)據(jù)，這些數(shù)據(jù)需要結(jié)合評(píng)估任務(wù)進(jìn)行分析、匯總和轉(zhuǎn)化，才能成為反映原指標(biāo)體系是否“可用、好用”的信息。

2.2 指標(biāo)體系構(gòu)建

在文獻(xiàn)研究基礎(chǔ)上，按照二維交叉的方式構(gòu)建指標(biāo)全集，具體見表1。表中橫向?yàn)閮?yōu)度評(píng)價(jià)的原則維度，縱向?yàn)閮?yōu)度評(píng)價(jià)的內(nèi)容維度。

表1 交叉法構(gòu)建的初始指標(biāo)全集

（1）指標(biāo)體系目標(biāo)貼合度，即原指標(biāo)體系達(dá)到既定評(píng)價(jià)目的和評(píng)價(jià)要求的程度，為信度和效度綜合評(píng)價(jià)指標(biāo)。信度評(píng)價(jià)方面，利用原指標(biāo)體系針對(duì)評(píng)價(jià)目的設(shè)定的相關(guān)指標(biāo)權(quán)重進(jìn)行評(píng)價(jià)，權(quán)重分配越針對(duì)評(píng)價(jià)目的，貼合度越好；效度評(píng)價(jià)方面，可通過對(duì)專家評(píng)議結(jié)果進(jìn)行數(shù)據(jù)化處理得到的平均值及聚合度來描述貼合度，取值越高，貼合度越好。

（2）評(píng)價(jià)要素覆蓋度，即原指標(biāo)體系選取的評(píng)價(jià)要素占評(píng)價(jià)要素要求的比例，為信度和效度綜合評(píng)價(jià)指標(biāo)。根據(jù)評(píng)估目的和要求，評(píng)估對(duì)象會(huì)被定性分解為可評(píng)價(jià)的要素全集，而原指標(biāo)體系對(duì)應(yīng)的要素集，則是結(jié)合實(shí)際情況（如時(shí)間限制、人員限制、統(tǒng)計(jì)方式、技術(shù)手段等）從要素全集中選取的要素子集，該指標(biāo)通過計(jì)算要素子集中的要素個(gè)數(shù)占要素全集的百分比，定量衡量指標(biāo)體系的覆蓋度。

（3）指標(biāo)內(nèi)涵清晰度，即指標(biāo)內(nèi)涵明確具體的程度，為信度和效度綜合評(píng)價(jià)指標(biāo)，利用評(píng)估過程中一些關(guān)鍵統(tǒng)計(jì)數(shù)據(jù)的出錯(cuò)率或反復(fù)修改次數(shù)進(jìn)行定量計(jì)算，超過一定閾值，則認(rèn)為指標(biāo)內(nèi)涵清晰度差。

（4）指標(biāo)數(shù)據(jù)可測(cè)度，即指標(biāo)體系底層定量指標(biāo)占比，為信度評(píng)價(jià)指標(biāo)。盡管定性指標(biāo)對(duì)指標(biāo)體系評(píng)價(jià)效度的作用不可忽視，但在當(dāng)前指標(biāo)設(shè)計(jì)尚缺標(biāo)準(zhǔn)規(guī)范的情況下，應(yīng)保證指標(biāo)體系有較高的指標(biāo)數(shù)據(jù)可測(cè)度。

（5）指標(biāo)間獨(dú)立度，即指標(biāo)間信息重疊的程度，為信度和效度綜合評(píng)價(jià)指標(biāo)。評(píng)價(jià)要素重復(fù)越多，指標(biāo)體系的重復(fù)率越高，獨(dú)立度越低。

（6）指標(biāo)體系穩(wěn)定性，即不同專家在使用指標(biāo)體系進(jìn)行評(píng)價(jià)時(shí)意見的聚合程度，為信度評(píng)價(jià)指標(biāo)。聚合程度越高，該指標(biāo)體系的穩(wěn)定性越高。

（7）指標(biāo)賦權(quán)合理度，是指標(biāo)體系中被賦予合理權(quán)重的指標(biāo)個(gè)數(shù)占比，為信度和效度綜合評(píng)價(jià)指標(biāo)。效度評(píng)價(jià)需要依靠?jī)?yōu)度評(píng)審專家意見。

（8）指標(biāo)數(shù)據(jù)可靠度，即體系底層數(shù)據(jù)來源可證實(shí)的指標(biāo)個(gè)數(shù)占同級(jí)指標(biāo)總數(shù)的百分比，為信度評(píng)價(jià)指標(biāo)。該指標(biāo)強(qiáng)調(diào)指標(biāo)數(shù)據(jù)有權(quán)威或有第三方說明材料輔助證明，保證指標(biāo)體系有可靠的基礎(chǔ)。

（9）指標(biāo)使用滿意度，實(shí)際上是對(duì)評(píng)估委托方的滿意度調(diào)查，為效度評(píng)價(jià)指標(biāo)。

2.3 指標(biāo)建模

2.3.1 指標(biāo)體系目標(biāo)貼合度A1

針對(duì)給定評(píng)估目標(biāo)或重點(diǎn)關(guān)注的評(píng)估對(duì)象（要素），指標(biāo)體系目標(biāo)貼合度包括權(quán)重貼合度和評(píng)價(jià)貼合度2 項(xiàng)子指標(biāo)。權(quán)重貼合度的計(jì)算基于原指標(biāo)體系相關(guān)指標(biāo)的權(quán)重設(shè)置，為信度指標(biāo)；評(píng)價(jià)貼合度則基于專家意見的統(tǒng)計(jì)均值和離散度，為效度指標(biāo)。

設(shè)原評(píng)估任務(wù)可分解為G項(xiàng)子目標(biāo)，對(duì)其中的第g個(gè)子目標(biāo)的貼合度bg可表示為：

式（1）中，Ug為原指標(biāo)體系中與該項(xiàng)子目標(biāo)的相關(guān)指標(biāo)權(quán)重之和（這里的“相關(guān)” 主要指兩類：一是“有無相關(guān)”，二是“趨勢(shì)相關(guān)”），qg為原指標(biāo)體系對(duì)第g個(gè)子目標(biāo)的貼合度自適應(yīng)權(quán)重，表達(dá)式為：

引入貼合度自適應(yīng)權(quán)重可以同時(shí)處理以下兩類問題：若某項(xiàng)評(píng)估任務(wù)子目標(biāo)同原指標(biāo)體系中的某項(xiàng)評(píng)估指標(biāo)對(duì)應(yīng)，且該指標(biāo)相對(duì)于其他指標(biāo)完全獨(dú)立，則其自適應(yīng)權(quán)重為1，貼合度即為指標(biāo)權(quán)重；若原指標(biāo)體系中有多項(xiàng)指標(biāo)指向同一評(píng)估任務(wù)目標(biāo)，且彼此間不完全獨(dú)立，則須結(jié)合自適應(yīng)權(quán)重求解。

對(duì)各項(xiàng)子目標(biāo)的權(quán)重貼合度計(jì)算完成后，可知指標(biāo)體系的權(quán)重貼合度為：

評(píng)價(jià)貼合度是從效度的維度，對(duì)目標(biāo)貼合度的評(píng)價(jià)意見均值、聚合度進(jìn)行求解。與文獻(xiàn)［15］ 采用協(xié)調(diào)度評(píng)價(jià)相比，本文直接采用期望和方差處理，其數(shù)學(xué)含義更明確，數(shù)據(jù)實(shí)際意義更直觀。若原指標(biāo)體系中有N個(gè)指標(biāo)，請(qǐng)P個(gè)專家對(duì)指標(biāo)體系目標(biāo)貼合度進(jìn)行評(píng)議，并將評(píng)價(jià)意見分為J檔，則P個(gè)專家對(duì)第i個(gè)指標(biāo)與體系評(píng)估目標(biāo)貼近程度的期望值為：

式（3）中，sij表示第i個(gè)指標(biāo)第j檔貼合度的評(píng)分值；pij表示將第i個(gè)指標(biāo)評(píng)為第j檔貼合度的專家人數(shù)。

評(píng)價(jià)意見的聚合度能夠反映出專家對(duì)貼合程度意見是否統(tǒng)一。聚合度越高，說明專家評(píng)價(jià)的意見越統(tǒng)一，評(píng)價(jià)期望越可信。基于專家意見數(shù)據(jù)，借鑒標(biāo)準(zhǔn)差的形式來描述聚合度的大小，對(duì)第i項(xiàng)指標(biāo)的評(píng)價(jià)意見聚合度可表示為：

式（4）中，sip為第p個(gè)專家對(duì)第i個(gè)指標(biāo)的評(píng)分值。一般地，若，表明意見聚合度較高。指標(biāo)體系的評(píng)價(jià)貼合度可表述為：

式（5）中，Wi為該指標(biāo)占指標(biāo)體系權(quán)重。對(duì)權(quán)重貼合度、評(píng)價(jià)貼合度分別賦權(quán)，且，可得指標(biāo)體系目標(biāo)貼合度的計(jì)算模型為：

2.3.2 評(píng)價(jià)要素覆蓋度A2

指標(biāo)體系的評(píng)價(jià)要素覆蓋度是衡量指標(biāo)體系全面性的重要指標(biāo)［16］。基于評(píng)價(jià)目標(biāo)分解出由M個(gè)評(píng)價(jià)要素形成的集合E ＝｛E1，E2，…，EM｝，由指標(biāo)體系反映出的要素集為K個(gè)評(píng)價(jià)要素形成的集合E＇ ＝｛E＇1，E＇2，…，E＇K｝。若K ＝M，且指標(biāo)不重復(fù)，表明指標(biāo)體系對(duì)評(píng)價(jià)要素實(shí)現(xiàn)全覆蓋。

若各評(píng)價(jià)要素的重要性相同，則評(píng)價(jià)要素覆蓋率的計(jì)算公式為：

若各評(píng)價(jià)要素的重要性不同，則可以為各評(píng)價(jià)要素設(shè)定相應(yīng)的權(quán)重，按照指標(biāo)集反映的要素權(quán)重之和占比求解。

通常情況下，由于評(píng)估對(duì)象的內(nèi)涵和外延會(huì)隨認(rèn)識(shí)的深入、外界環(huán)境的變化有所調(diào)整，因此評(píng)價(jià)要素全集很難獲得，也可考慮采用負(fù)面清單式評(píng)分，按遺漏重要要素、多項(xiàng)一般要素、個(gè)別一般要素等劃分評(píng)分標(biāo)準(zhǔn)。

2.3.3 指標(biāo)內(nèi)涵清晰度A3

指標(biāo)內(nèi)涵清晰度同樣采用客觀數(shù)據(jù)和主觀經(jīng)驗(yàn)相結(jié)合的方式進(jìn)行評(píng)價(jià)。一方面，該指標(biāo)評(píng)分以審核發(fā)現(xiàn)的數(shù)據(jù)錯(cuò)誤率為依據(jù)，對(duì)指標(biāo)內(nèi)涵的清晰度進(jìn)行界定。若單項(xiàng)指標(biāo)統(tǒng)計(jì)數(shù)據(jù)錯(cuò)誤率超過一定閾值則認(rèn)為內(nèi)涵清晰度存在問題，其計(jì)算模型為：

式（8）中，Wi為該指標(biāo)占原指標(biāo)體系權(quán)重，ei為該項(xiàng)指標(biāo)統(tǒng)計(jì)出錯(cuò)次數(shù)，為該指標(biāo)的樣本數(shù)。

另一方面，對(duì)單個(gè)指標(biāo)的內(nèi)涵清晰度劃分為“清晰”“一般”“模糊”三個(gè)等級(jí)，并分別賦值1，0.6，0.2（階梯劃分和賦值均可按照實(shí)際情況調(diào)整）。借鑒式（3）得出單個(gè)指標(biāo)及整個(gè)指標(biāo)體系清晰度的效度評(píng)價(jià)值

2.3.4 指標(biāo)數(shù)據(jù)可測(cè)度A4

設(shè)原指標(biāo)體系中指標(biāo)總數(shù)為N，可量化的指標(biāo)個(gè)數(shù)為Ca，則指標(biāo)可測(cè)度可表示為：

2.3.5 指標(biāo)間獨(dú)立度A5

指標(biāo)間獨(dú)立度可以用指標(biāo)體系重復(fù)率的倒數(shù)來度量。用Tm表示評(píng)價(jià)要素集的第m個(gè)評(píng)價(jià)要素被涉及的次數(shù)，則評(píng)價(jià)要素集重復(fù)的次數(shù)集為T ＝｛T1，T2…，TM｝。

若各評(píng)價(jià)要素的重要程度相同，則指標(biāo)體系獨(dú)立度為：

若各評(píng)價(jià)要素的重要程度不同，評(píng)價(jià)要素集對(duì)應(yīng)的權(quán)重集為W＇ ＝｛W＇1，W＇2，…，W＇M｝，則指標(biāo)體系重復(fù)率為：

由式（13）可知A5≤1；若A5＝1，則各指標(biāo)不存在重疊或交叉；A5越小，各指標(biāo)重疊交叉現(xiàn)象越嚴(yán)重。因此，根據(jù)較少重疊性原則，A5取值應(yīng)盡可能接近1。

2.3.6 指標(biāo)體系穩(wěn)定性A6

假設(shè)存在一組數(shù)據(jù)可以反映被評(píng)價(jià)對(duì)象的真實(shí)水平，那么不同參評(píng)者的評(píng)價(jià)結(jié)果與這組數(shù)據(jù)越“相似”，則可以認(rèn)為指標(biāo)的穩(wěn)定性越好。通常情況下，這組真實(shí)數(shù)據(jù)無法獲得，在操作中通常選取所有參評(píng)方測(cè)評(píng)結(jié)果的平均值，或個(gè)別具有代表性參評(píng)方的結(jié)果作為“相對(duì)真實(shí)值”。

設(shè)評(píng)審專家數(shù)量為P，第p名專家的測(cè)評(píng)分為將專家測(cè)評(píng)的平均分?jǐn)?shù)組作為理想數(shù)據(jù)組，其中xi為：

計(jì)算每一個(gè)參評(píng)專家的測(cè)評(píng)分與該理想數(shù)據(jù)組的差異程度ρp：

最后，對(duì)P個(gè)參評(píng)專家的測(cè)評(píng)分差異程度求平均，可得指標(biāo)體系的穩(wěn)定性系數(shù)A6為：

A6越大，表明采用該指標(biāo)體系得出的數(shù)據(jù)差異性越小，其穩(wěn)定性越高；反之，A6越小，指標(biāo)體系的穩(wěn)定性就越差。

2.3.7 指標(biāo)賦權(quán)合理度A7

指標(biāo)賦權(quán)合理度結(jié)合專家評(píng)議的方式開展。設(shè)指標(biāo)總個(gè)數(shù)為N，專家個(gè)數(shù)為P，認(rèn)為存在指標(biāo)賦權(quán)不合理的專家意見數(shù)為L(zhǎng)，則指標(biāo)賦權(quán)合理度為：

另外需要注意的是，提出一項(xiàng)指標(biāo)賦權(quán)不合理則意味著其他指標(biāo)權(quán)重須做出相應(yīng)調(diào)整，此處須留好專家意見作為后續(xù)權(quán)重調(diào)整的依據(jù)。

2.3.8 指標(biāo)數(shù)據(jù)可靠度A8

指標(biāo)可靠度的度量有兩種方式。當(dāng)既有數(shù)據(jù)可以被權(quán)威部門溯源時(shí)，可靠度為：

式（18）中，可溯源指標(biāo)數(shù)為R，相應(yīng)指標(biāo)權(quán)重為Wi。

若指標(biāo)數(shù)據(jù)無法被權(quán)威部門溯源，則須借助專家打分法。對(duì)可靠度進(jìn)行分級(jí)并設(shè)置相應(yīng)分值，由專家對(duì)指標(biāo)數(shù)據(jù)的可靠度進(jìn)行評(píng)定。一般來說，有定量數(shù)據(jù)支撐的指標(biāo)更可靠，具體指標(biāo)的結(jié)果比綜合指標(biāo)結(jié)果更可靠。

借鑒式（3）得出單個(gè)指標(biāo)可靠度的評(píng)價(jià)值，則指標(biāo)體系可靠度為：

2.3.9 指標(biāo)使用滿意度A9

由委托方和參評(píng)方進(jìn)行評(píng)分，分別針對(duì)指標(biāo)數(shù)據(jù)統(tǒng)計(jì)渠道是否通暢、評(píng)估模型（含評(píng)分標(biāo)準(zhǔn)）是否合理、特殊情況是否被考慮三個(gè)方面進(jìn)行評(píng)價(jià)。設(shè)委托方及參評(píng)方個(gè)數(shù)為S，第s個(gè)參評(píng)人對(duì)第i個(gè)指標(biāo)的滿意度為uis，則評(píng)價(jià)模型為：

2.4 指標(biāo)集成

根據(jù)前面分析的評(píng)價(jià)內(nèi)容，建立指標(biāo)體系“優(yōu)度” 評(píng)價(jià)的目標(biāo)函數(shù)Zsup：

式（21）中，Ai為各指標(biāo)評(píng)價(jià)結(jié)果，wi為體系優(yōu)度評(píng)價(jià)模型中各指標(biāo)的權(quán)重，其值根據(jù)具體要求設(shè)定。需要強(qiáng)調(diào)的是，一級(jí)指標(biāo)的5 個(gè)維度必不可少，9 項(xiàng)指標(biāo)中指標(biāo)體系目標(biāo)貼合度、評(píng)價(jià)要素覆蓋度、指標(biāo)內(nèi)涵清晰度、指標(biāo)數(shù)據(jù)可測(cè)度、指標(biāo)賦權(quán)合理度和指標(biāo)使用滿意程度6 項(xiàng)指標(biāo)為主功能指標(biāo)，建議采用相對(duì)較大權(quán)重。

3 案例研究

假設(shè)某集團(tuán)對(duì)其下屬的10 家產(chǎn)品研制單位開展年度計(jì)劃及規(guī)劃任務(wù)執(zhí)行情況評(píng)估，指標(biāo)體系見表2。項(xiàng)目立項(xiàng)率、經(jīng)費(fèi)下達(dá)率及到賬率為集團(tuán)現(xiàn)階段主要關(guān)注點(diǎn)，“競(jìng)爭(zhēng)擇優(yōu)率” 和“優(yōu)勢(shì)民企配套率” 兩項(xiàng)指標(biāo)為政策指導(dǎo)性指標(biāo)。

表2 年度研制計(jì)劃執(zhí)行情況評(píng)估指標(biāo)體系

按照優(yōu)度評(píng)價(jià)專家意見，對(duì)各優(yōu)度評(píng)價(jià)指標(biāo)分別賦權(quán)為：0.20，0.10，0.15，0.1，0.05，0，0.1，0.15，0.15。由于案例為各單位組織的自評(píng)估，評(píng)估對(duì)象差異較大，其結(jié)果的聚合度沒有實(shí)際價(jià)值，因此指標(biāo)體系穩(wěn)定性A6權(quán)重設(shè)為0。

3.1 計(jì)算指標(biāo)體系目標(biāo)貼合度A1

權(quán)重貼合度的計(jì)算：在被評(píng)指標(biāo)體系中，規(guī)劃任務(wù)累計(jì)立項(xiàng)率B1和年度新上項(xiàng)目立項(xiàng)率B5這2 項(xiàng)指標(biāo)與立項(xiàng)率直接相關(guān)，且立項(xiàng)率低會(huì)明顯影響當(dāng)年的任務(wù)執(zhí)行和經(jīng)費(fèi)規(guī)模，使得B6～B9指標(biāo)得分偏低；B10～B12指標(biāo)的設(shè)置主要針對(duì)新上項(xiàng)目，也會(huì)受立項(xiàng)率影響，由此得到與立項(xiàng)率相關(guān)的權(quán)重總值為0.10+0.13+0.12+0.11+0.13+0.08+0.05+0.05+0.03＝0.80；與經(jīng)費(fèi)下達(dá)率直接相關(guān)的指標(biāo)為計(jì)劃經(jīng)費(fèi)下達(dá)率B7，受其影響明顯的指標(biāo)為B8～B12，其相關(guān)權(quán)重總值為0.11+0.13+0.08+0.05+0.05+0.03＝0.45；與經(jīng)費(fèi)到賬直接相關(guān)的指標(biāo)為計(jì)劃經(jīng)費(fèi)到賬率B8，受其影響明顯的指標(biāo)為B9～B12，其相關(guān)權(quán)重總值為0.13+0.08+0.05+0.05+0.03＝0.34。將上述計(jì)算值代入式（2），可得

表3 評(píng)價(jià)貼合度計(jì)算過程數(shù)據(jù)

表3 評(píng)價(jià)貼合度計(jì)算過程數(shù)據(jù)

3.2 計(jì)算評(píng)價(jià)要素覆蓋度A2

結(jié)合評(píng)估目標(biāo)，將計(jì)劃管理要素分為｛規(guī)劃、計(jì)劃、項(xiàng)目、合同、經(jīng)費(fèi)、風(fēng)險(xiǎn)、質(zhì)量｝7 項(xiàng)，“規(guī)劃”“計(jì)劃” 分別對(duì)應(yīng)一級(jí)指標(biāo)下內(nèi)容，“項(xiàng)目”“合同”“經(jīng)費(fèi)” 則由執(zhí)行環(huán)節(jié)的指標(biāo)反映。“風(fēng)險(xiǎn)” 由風(fēng)險(xiǎn)可控度指標(biāo)反映。“質(zhì)量” 則由競(jìng)爭(zhēng)擇優(yōu)率、自主研發(fā)比例和優(yōu)勢(shì)民企配套率反映。綜上，原指標(biāo)體系反映的評(píng)價(jià)要素實(shí)現(xiàn)全覆蓋，因此A2＝100%。

3.3 計(jì)算指標(biāo)內(nèi)涵清晰度A3

信度評(píng)價(jià)：對(duì)10 家被評(píng)單位在自評(píng)報(bào)告中出現(xiàn)錯(cuò)誤評(píng)分的次數(shù)進(jìn)行統(tǒng)計(jì)，并認(rèn)為出現(xiàn)1 次錯(cuò)誤為偶然錯(cuò)誤，最終發(fā)現(xiàn)有7項(xiàng)指標(biāo)存在2次或2次以上錯(cuò)誤，見表4。由式（9）可知指標(biāo)內(nèi)涵清晰度為81.6%。

表4 各被評(píng)單位自評(píng)報(bào)告中出現(xiàn)錯(cuò)誤評(píng)分的次數(shù)

效度評(píng)價(jià)：請(qǐng)5 位專家對(duì)12 個(gè)指標(biāo)的清晰度進(jìn)行評(píng)價(jià)，過程數(shù)據(jù)見表5，可知B2＝0.877。

表5 指標(biāo)內(nèi)涵清晰度效度評(píng)價(jià)過程數(shù)據(jù)

3.4 計(jì)算指標(biāo)數(shù)據(jù)可測(cè)度A4

被評(píng)指標(biāo)體系中12 項(xiàng)指標(biāo)均被量化，且各單位均可按要求上報(bào)量化數(shù)據(jù)，可知指標(biāo)可測(cè)度A4為100%。

3.5 計(jì)算指標(biāo)間獨(dú)立度A5

分別對(duì)評(píng)價(jià)要素｛規(guī)劃、計(jì)劃、項(xiàng)目、合同、經(jīng)費(fèi)、風(fēng)險(xiǎn)、質(zhì)量｝進(jìn)行統(tǒng)計(jì)，過程數(shù)據(jù)見表6，可得A5＝26.8%。

表6 指標(biāo)內(nèi)涵清晰度效度評(píng)價(jià)過程數(shù)據(jù)

從該指標(biāo)的結(jié)果可以看出，本套指標(biāo)體系的指標(biāo)間獨(dú)立性不強(qiáng)，其主要原因是評(píng)價(jià)要素存在管理邏輯上的強(qiáng)關(guān)聯(lián)，規(guī)劃執(zhí)行情況為計(jì)劃執(zhí)行的累計(jì)，計(jì)劃執(zhí)行的內(nèi)容反映在項(xiàng)目和經(jīng)費(fèi)兩個(gè)途徑，項(xiàng)目又是通過合同開展實(shí)施，經(jīng)費(fèi)不到位勢(shì)必影響項(xiàng)目執(zhí)行的風(fēng)險(xiǎn)與質(zhì)量。指標(biāo)間獨(dú)立度也體現(xiàn)出，實(shí)際評(píng)估的對(duì)象是一個(gè)系統(tǒng)和復(fù)雜整體，體現(xiàn)出很強(qiáng)的關(guān)聯(lián)性。

3.6 計(jì)算指標(biāo)賦權(quán)合理度A7

將合理度分為“可靠”“一般”“不可靠”3 個(gè)等級(jí)，對(duì)應(yīng)評(píng)分為1，0.6，0.2。評(píng)估后請(qǐng)5 位專家對(duì)指標(biāo)賦權(quán)的合理程度進(jìn)行評(píng)議，結(jié)果為無調(diào)整意見，圖1 給出了原指標(biāo)體系權(quán)重與指標(biāo)評(píng)價(jià)貼合度的計(jì)算結(jié)果，曲線形態(tài)基本一致，可知賦權(quán)合理度A7為100%。

圖1 原指標(biāo)體系權(quán)重與指標(biāo)評(píng)價(jià)貼合度的計(jì)算結(jié)果比較

3.7 指標(biāo)可靠度A8

從統(tǒng)計(jì)數(shù)據(jù)看，項(xiàng)目管理機(jī)構(gòu)掌握的數(shù)據(jù)有項(xiàng)目立項(xiàng)、經(jīng)費(fèi)的下達(dá)和到賬情況，可與被評(píng)單位數(shù)據(jù)對(duì)表，可靠度較高。但項(xiàng)目過程管理的相關(guān)指標(biāo)，如競(jìng)爭(zhēng)擇優(yōu)率、自主研發(fā)比例及優(yōu)勢(shì)民企配套率的統(tǒng)計(jì)數(shù)據(jù)均由被評(píng)單位上報(bào)，項(xiàng)目管理機(jī)構(gòu)并不掌握實(shí)際情況，沒有形成數(shù)據(jù)驗(yàn)證的閉環(huán)，因此無法驗(yàn)證。結(jié)合式（18），B5＝（1-0.05-0.05-0.03）×100%，則指標(biāo)體系的數(shù)據(jù)可靠度為87%。

3.8 指標(biāo)使用滿意度A9

案例中設(shè)定的滿意度評(píng)價(jià)標(biāo)準(zhǔn)為：若評(píng)估渠道、模型合理性、特殊情況被限定三方面均達(dá)到要求，評(píng)分ui為1；若有一方面未達(dá)到要求，評(píng)分ui為0.8；有兩方面未達(dá)到要求，評(píng)分ui為0.3；均達(dá)不到要求，評(píng)分ui為0。10 位被評(píng)方代表和1 位委托方代表分別對(duì)原指標(biāo)體系的使用滿意度打分，規(guī)劃任務(wù)完成率B2、規(guī)劃任務(wù)風(fēng)險(xiǎn)可控度B4、計(jì)劃任務(wù)完成率B6、競(jìng)爭(zhēng)擇優(yōu)率B10、優(yōu)勢(shì)民企配套率B12等5項(xiàng)指標(biāo)的滿意度不高，綜合專家意見打分，得出A9＝74.14%。

3.9 改進(jìn)建議

綜上，結(jié)合各指標(biāo)權(quán)重可得原指標(biāo)體系綜合優(yōu)度得分為82.88，指標(biāo)體系優(yōu)度良好，但仍存在問題，依據(jù)評(píng)分情況提出如下建議。

（1）明確個(gè)別指標(biāo)內(nèi)涵邊界。計(jì)劃經(jīng)費(fèi)到賬率B8、競(jìng)爭(zhēng)擇優(yōu)率B10、優(yōu)勢(shì)民企配套率B12等3 項(xiàng)指標(biāo)存在明顯內(nèi)涵清晰度問題，其指標(biāo)模型還須深化研究。

（2）統(tǒng)一評(píng)分邏輯。個(gè)別計(jì)算模型與常規(guī)評(píng)分邏輯不符，如規(guī)劃任務(wù)風(fēng)險(xiǎn)可控度B4的評(píng)分模型與得分為負(fù)相關(guān)，即計(jì)算結(jié)果越小，指標(biāo)評(píng)分越高，與其他指標(biāo)正相關(guān)的評(píng)價(jià)邏輯明顯不一致，多個(gè)參評(píng)單位本項(xiàng)指標(biāo)計(jì)算出錯(cuò)。

（3）評(píng)分標(biāo)準(zhǔn)需要區(qū)別。指標(biāo)滿意度顯示，個(gè)別指標(biāo)的滿分標(biāo)準(zhǔn)不應(yīng)設(shè)定為100%，尤其對(duì)于顯示競(jìng)爭(zhēng)擇優(yōu)和優(yōu)勢(shì)民企配套情況的B10，B12兩個(gè)指標(biāo)，須結(jié)合產(chǎn)品的特殊性重新制定更為合理的評(píng)分標(biāo)準(zhǔn)。

4 主要結(jié)論

本文給出了一套考慮因素較全、評(píng)價(jià)模型較豐富的指標(biāo)體系優(yōu)度綜合評(píng)價(jià)方法，并給出了指標(biāo)體系目標(biāo)貼合度和指標(biāo)內(nèi)涵清晰度的定量評(píng)價(jià)模型，案例研究表明，提出的優(yōu)度評(píng)價(jià)指標(biāo)體系具有較好的可行性。此外，指標(biāo)體系目標(biāo)貼合度計(jì)算模型是一種獨(dú)特的標(biāo)簽算法，具有可按特定評(píng)價(jià)目標(biāo)，對(duì)不同指標(biāo)體系進(jìn)行模塊化選用的潛在應(yīng)用價(jià)值。