綜合評價方法與應(yīng)用的統(tǒng)計學內(nèi)涵

甄峰

（中國人民大學應(yīng)用統(tǒng)計科學研究中心，北京100872）

綜合評價方法與應(yīng)用的統(tǒng)計學內(nèi)涵

甄峰

（中國人民大學應(yīng)用統(tǒng)計科學研究中心，北京100872）

文章針對綜合評價活動在實際工作中的廣泛應(yīng)用，特別是在政府統(tǒng)計中的應(yīng)用，討論了綜合評價方法和其應(yīng)用過程所反映的統(tǒng)計學思想。提出了綜合評價的金字塔模型其概括為理論演繹和統(tǒng)計計算、統(tǒng)計檢驗和理論升級，以及提煉問題和統(tǒng)計應(yīng)用研究三個過程，構(gòu)建統(tǒng)計信息系統(tǒng)，經(jīng)濟管理監(jiān)測系統(tǒng)和應(yīng)用研究系統(tǒng)。

綜合評價；統(tǒng)計學；內(nèi)涵；金字塔模型

0　引言

綜合評價研究是統(tǒng)計學應(yīng)用中的一類非常實用的研究方法，特別是對于復(fù)雜現(xiàn)實問題的系統(tǒng)把握，對于經(jīng)濟社會新概念和新問題的闡釋上有廣泛的應(yīng)用。該方法要求對統(tǒng)計知識有深入的了解，對數(shù)據(jù)信息有敏感的反映，同時對經(jīng)濟社會理論和現(xiàn)實問題有較好的把握，是一個既要求理論方法功底，又需要科學靈活應(yīng)對的應(yīng)用研究方向，需要不同學科知識，不同專長研究人員的緊密配合，因此在應(yīng)用過程中有廣闊的空間，也產(chǎn)生了多樣的爭論，特別是在統(tǒng)計科學性上的爭論。多數(shù)研究從評價問題或評價方法出發(fā)，主要是對評價合理性和方法展開研究，還未從統(tǒng)計學學科內(nèi)涵方面進行思考。

本文以國內(nèi)外有影響的相關(guān)實證研究為基礎(chǔ)，提出了綜合評價的金字塔模型，討論綜合評價方法及其應(yīng)用反映的統(tǒng)計學內(nèi)涵，以及該方法作為一套完整的信息處理和統(tǒng)計應(yīng)用研究系統(tǒng)應(yīng)獲得的全面認識。

1　文獻描述與特點

伴隨經(jīng)濟社會問題的復(fù)雜化和多樣化，要求人們對事物的認識越來越精細和準確，與之相伴的信息多樣性和數(shù)字化發(fā)展，為綜合評價研究的發(fā)展提供了主客觀條件，使得綜合評價問題和應(yīng)用廣受關(guān)注，評價方法本身也日益完善。以CSSCI期刊刊出的文章為例，1998—2014年就有3.32萬篇文章從題目看即與綜合評價有關(guān)，圖1給出了與綜合評價密切相關(guān)的兩組關(guān)鍵詞檢索結(jié)果，論文題目有“綜合評價”或“指標體系”字樣的平均每年354篇，自2005年起近10年來平均每年496篇；擴大檢索范圍，論文題目有“評價”或“指標”字樣的平均每年1953篇，2005年以來平均每年2678篇，科技類刊物和學位論文的相關(guān)發(fā)表也是數(shù)以萬計，蘇為華對相關(guān)刊載做了詳細描述和分類統(tǒng)計[1]。

圖1　1998—2014年CSSCI刊物刊載相關(guān)文章數(shù)量變動

綜合評價研究在國際上也有豐富的案例和積極的探討，至少在以下方向為人們所孰知：如聯(lián)合國發(fā)展計劃署（UNDP）推出的人文發(fā)展指數(shù)刻畫了公平共享的人類發(fā)展方向；達沃斯世界經(jīng)濟論壇（WEF）背后是其對國際競爭力的深入研究和評價；世界銀行國際比較項目（WB-ICP）希望將各國和地區(qū)放在一個可比的平臺上討論發(fā)展問題；歐盟創(chuàng)新指數(shù)（EUR0STAT）則結(jié)合創(chuàng)新調(diào)查的結(jié)果研究了主要發(fā)達國家的創(chuàng)新發(fā)展問題。國際的相關(guān)研究集中在兩方面：一是各國政府或國際組織的官方統(tǒng)計活動，二是信息綜合提取方法的學術(shù)研究。

從這些文章的研究方向來看，可分為如下幾類：

一是對經(jīng)濟社會重大問題的綜合評價與分析。二是對經(jīng)濟社會專題問題的綜合評價與分析。三是對綜合評價中具體方法的研究，以及不同評價方法的比較。四是對綜合評價方法應(yīng)用和適應(yīng)性的討論。

綜合來看，國內(nèi)外的相關(guān)研究至少在以下方面體現(xiàn)了綜合評價研究的共同特點：一是時事性，針對時政或經(jīng)濟社會熱點問題，將抽象概念具體化，數(shù)量化和系統(tǒng)化；二是實用性，對具體工作給出標準和方向，提高工作目標的可操作性；三是靈活性，評價方法和指標體系設(shè)定靈活，量化可比方法較多，且二者均能與時俱進；四是一致性，好的評價體系在其結(jié)果和應(yīng)用上與主觀認識基本相同，能夠揭示一般規(guī)律。另一方面，由于指標選擇的靈活性，評估方法的多樣性，以及主觀意識的較強能動性，使得人們亦質(zhì)疑綜合評價的科學性，或除了統(tǒng)計指標和指數(shù)構(gòu)建，它是否能體現(xiàn)現(xiàn)代統(tǒng)計學的方法論和意義。

這些特點表明，綜合評價研究的實踐既是挑戰(zhàn)和爭議所在，又有發(fā)展與完善空間，在這個空間內(nèi)，統(tǒng)計學思想和方法大有可為。那么，這些評價活動在現(xiàn)代統(tǒng)計學的引入和發(fā)展中，是否是統(tǒng)計學，又體現(xiàn)了什么樣的統(tǒng)計思想和內(nèi)涵？

2　統(tǒng)計學內(nèi)涵

綜合評價研究的過程，包括方法選擇、體系構(gòu)建、指標框架、應(yīng)用研究等，體現(xiàn)了統(tǒng)計學研究問題的基本思路，即計算、檢驗與分析應(yīng)用，三個過程又分別可以概括為統(tǒng)計信息構(gòu)建系統(tǒng)、經(jīng)濟管理監(jiān)測系統(tǒng)和應(yīng)用統(tǒng)計研究系統(tǒng)，用圖2的金字塔模型予以概括。

圖2　綜合評價研究的統(tǒng)計學內(nèi)涵金字塔

2.1理論演繹和統(tǒng)計計算

從研究過程來看，首先是構(gòu)建統(tǒng)計信息系統(tǒng)，即明確研究主題，依照評價問題的相關(guān)理論對主題進行不同層級的要素分解和指標解釋，從不同方面闡釋理論涵義，并爭取用統(tǒng)計指標量化。構(gòu)建評價體系和框架的同時，也要考慮如何將基礎(chǔ)指標標準化、可比化，或構(gòu)建不同層級指標和綜合層的指數(shù)，來量化評估主題。

從現(xiàn)有實證研究來看，這一過程是大多數(shù)研究所討論的重點和主要內(nèi)容，即如何將研究主題指標化、指數(shù)化。這一過程體現(xiàn)了對理論問題的演繹過程和統(tǒng)計計算過程，從統(tǒng)計學角度來看，即用什么樣的統(tǒng)計指標來描述研究主題，用什么樣的統(tǒng)計計算方法來處理不同量綱、不同方向、不同數(shù)據(jù)特征的統(tǒng)計指標，如何獲得對描述主題有概括性的指數(shù)、指數(shù)體系或評價標準。圖2由上及下的指標體系構(gòu)建過程體現(xiàn)了這一維度的統(tǒng)計思想。

2.2統(tǒng)計檢驗和理論升級

其次是構(gòu)建經(jīng)濟管理監(jiān)測系統(tǒng)。建立評價體系和指數(shù)體系后，評價的結(jié)果和指數(shù)的情況是否能夠客觀反映和如實描述評價主題，即在由上而下的體系構(gòu)建和運算后，結(jié)果能否用統(tǒng)計方法檢驗，并且能夠經(jīng)受研究主題所在領(lǐng)域的專業(yè)檢驗，進而用于經(jīng)濟管理等實務(wù)的監(jiān)測。

檢驗也無非有兩種可能，要么方法有效，誤差可控，結(jié)果與初始預(yù)期一致或基本一致；要么誤差不易衡量或結(jié)果與初始預(yù)期差異較大，進而調(diào)整體系方法，或糾正初始認識。這些都是推動評價方法和指標體系進一步完善的動力，也是數(shù)據(jù)支持下評價活動的理論升級過程，或概括為經(jīng)濟管理監(jiān)測系統(tǒng)，即由下而上的通過恰當統(tǒng)計指標監(jiān)控和測量測研究主題。

2.3應(yīng)用研究

第三個維度是應(yīng)用統(tǒng)計研究系統(tǒng)，旨在指標和數(shù)據(jù)層面重新組合，開發(fā)新問題和展開深入分析的統(tǒng)計應(yīng)用過程。這是最容易被忽略的一個過程。從研究的角度來看前兩個維度為系統(tǒng)和概覽性認識問題提供了依據(jù)，統(tǒng)計應(yīng)用過程的展開則是深入分析和認識研究主題的重要步驟，也是綜合評價方法發(fā)展的重要方向。

綜合評價體系的構(gòu)建本身是以評價主題為核心的信息平臺搭建過程，信息平臺上的指標和數(shù)據(jù)，不僅支持評價過程的計算和檢驗，同時更是不可多得的統(tǒng)計分析數(shù)據(jù)信息平臺。在這些數(shù)據(jù)和指標的基礎(chǔ)上，可以重新定義問題，組合指標，選擇方法，在不同要素和指標間建立專題分析，對以研究主題為核心的問題的內(nèi)在關(guān)系，關(guān)鍵指標和要素間的關(guān)聯(lián)與變動進行探索性研究，乃至于發(fā)揮預(yù)警和預(yù)測功能。

在這三個維度中，前兩個維度評價性更強，第三個維度研究性更強；前兩個維度實用性更強，第三個維度探索性更強；前兩個維度系統(tǒng)性更強，第三個維度專題性更強。它們的恰當結(jié)合，體現(xiàn)了實證研究中，統(tǒng)計數(shù)據(jù)與實際問題相結(jié)合，統(tǒng)計方法與研究過程相結(jié)合，統(tǒng)計研究與數(shù)據(jù)發(fā)掘相結(jié)合的統(tǒng)計學內(nèi)涵。

3　一般過程

在理論方法和實證研究的基礎(chǔ)上，我們提出綜合評價研究的一般過程供討論。這些步驟的科學開展可以保證綜合評價研究客觀真實性，也是體現(xiàn)統(tǒng)計學方法在不同專業(yè)領(lǐng)域應(yīng)用的系統(tǒng)范例。

綜合評價研究從問題分解開始，到研究成果的獲得，可分為如圖3的四個步驟：

第一步，體系構(gòu)建與指標檢驗，即在研究問題主體所涉及的理論支持下，對研究的問題進行不同層級的分解，初步建立評價框架和指標體系。這是一個循環(huán)往復(fù)的過程，需要檢驗指標的代表性，數(shù)據(jù)的差異性，指標的評估方向，以及驗證評價體系對參評單元的區(qū)分度，且整個體系具有可比性，進而得到初步可用的評價指標體系。

第二步，綜合評價，即選擇恰當?shù)男畔R總方法，構(gòu)建評價指數(shù)體系或評估標準，得到初步結(jié)果。由于統(tǒng)計方法選擇的靈活性，使得輸出結(jié)果也是多樣的，不存在絕對最優(yōu)。哪種方法相對更優(yōu)，需要下一步的檢驗，但這并不影響盡量多的使用不同的信息匯總方法，在背景信息，統(tǒng)計方法、信息損失和評價結(jié)果的對照中進行選擇。

第三步，檢驗評價結(jié)果。對結(jié)果的檢驗應(yīng)從不同角度著手，首先是直觀判斷，結(jié)果與初始主觀判斷是否一致，有何差異，差異的來源是主觀認識的偏差，還是評價體系的偏差。其次是先驗信息對照，即評價結(jié)果與經(jīng)驗結(jié)論是否一致，是否需要修訂其一。再次是不同統(tǒng)計方法得到不同結(jié)果的比較，結(jié)合方法、結(jié)果、背景條件來選擇更好的評估方法和結(jié)果。這一步也需要在綜合評價，甚至指標選擇上不斷往復(fù)，以期達到最優(yōu)。

第四步，研究與應(yīng)用。通過以上三步，可獲得直觀的綜合評價結(jié)果，也構(gòu)建了評價主題的綜合統(tǒng)計信息平臺。在此基礎(chǔ)上，首先是展開綜合評價活動，對研究主題在綜合層次，要素層次和指標層次進行評價和分析；此外還可以在指標層次或要素層次重新組合，設(shè)立新的專題問題進行統(tǒng)計研究，分析評價體系內(nèi)部的深層關(guān)系；進而可以形成對評價主題的新的科學認識，指導(dǎo)實踐和推動相關(guān)理論升級。

圖3　綜合評價研究的一般過程

4　問題與挑戰(zhàn)

系統(tǒng)的綜合評價研究過程是一個科學的統(tǒng)計實證研究過程，實踐中存在諸多統(tǒng)計學和非統(tǒng)計學的問題與挑戰(zhàn)，影響該方法的認可程度，也創(chuàng)造了該方法發(fā)展和完善的機遇。

一是指標體系構(gòu)建問題，即指標選擇與框架搭建問題。綜合評價體系的靈活性和主觀能動性，使得不同研究者對同一評價主題可能選擇不同的指標和框架。什么樣的指標或框架更合理，并沒有統(tǒng)一的標準。這個問題的優(yōu)化一方面要求對評價主題專業(yè)知識的掌握，另一方面要求對統(tǒng)計指標和統(tǒng)計數(shù)據(jù)的熟悉。一個值得推薦的思路是對評價主題的“多維密集測度”，即在要素方面和指標選擇上力求完善，在體系設(shè)計上力求均衡與對稱，以均衡的設(shè)計減小權(quán)重的差異和影響，如國家統(tǒng)計局課題組的和諧社會統(tǒng)計監(jiān)測指標體系[2]，趙彥云、甄峰的創(chuàng)新指數(shù)設(shè)計都實踐和體現(xiàn)了這一思想[3]。

二是數(shù)據(jù)信息的綜合方法，即評價標準的建立和綜合指數(shù)的計算。評價結(jié)果的獲得主要有兩類：一類是指數(shù)化方法，通過對標準化指標的逐級等權(quán)或不等權(quán)匯總，獲得要素指數(shù)和綜合指數(shù)，如楊新洪對文化軟實力的量化評價[4]；另一類是針對每個指標提出目標標準，將數(shù)據(jù)與固定標準對照得出評價結(jié)論，如農(nóng)村社會經(jīng)濟調(diào)查司對我國糧食安全的評價[5]。這一大類問題還包括權(quán)重的設(shè)定，權(quán)數(shù)的獲得，指數(shù)體系的設(shè)計，對照標準的設(shè)定，與標準的距離評判等等，本文不能一一論及，但信息綜合的原則應(yīng)當是：最大化的應(yīng)用數(shù)據(jù)所反映出的統(tǒng)計特征，客觀反映指標內(nèi)的差異信息；全面體現(xiàn)指標間的差異信息，特別是關(guān)鍵指標的信息；綜合后的結(jié)果可以在統(tǒng)計學范疇和評價主題專業(yè)領(lǐng)域內(nèi)檢驗并得到認可。

三是輸出結(jié)果的檢驗，即輸出結(jié)果如何進行統(tǒng)計學和專業(yè)領(lǐng)域的檢驗。統(tǒng)計學的檢驗是一個博弈過程，多元統(tǒng)計方法中對多指標的處理是在多維度下尋找非重疊信息，并特別關(guān)注能夠代表信息最大化的方向。綜合評價研究則強調(diào)在體系構(gòu)建過程中盡可能全面的考慮評價方向，即一開始就是發(fā)散性思維，引入的指標必然有重疊信息。如何均衡兩個相反的方向，在統(tǒng)計上和專業(yè)上均能檢驗結(jié)果的有效性是綜合評價方法面臨的挑戰(zhàn)。

四是統(tǒng)計開發(fā)和應(yīng)用，即如何開發(fā)指標體系所搭建起來的統(tǒng)計學數(shù)據(jù)和信息“富礦”。評價體系的構(gòu)建考慮了評價主題的方方面面，在對主體問題的研究上提供了豐富的指標和數(shù)據(jù)信息，如何對這些數(shù)據(jù)進行深入開發(fā)研究是綜合評價研究的重要延續(xù)性工作。在評價體系的科學性和評價結(jié)果的有效性之外，基于指標體系的問題選擇和數(shù)據(jù)挖掘是綜合評價研究的重要步驟，是深入理解所研究主題的絕好機會，也是檢驗評價結(jié)果和要素關(guān)系，正確指導(dǎo)實踐的重要參考。

總之，綜合評價方法與應(yīng)用研究體現(xiàn)了統(tǒng)計學在統(tǒng)計計算、統(tǒng)計檢驗和統(tǒng)計應(yīng)用的思想和內(nèi)涵，是統(tǒng)計學結(jié)合其他學科的重要應(yīng)用研究領(lǐng)域。理想的綜合評價體系可以構(gòu)建統(tǒng)計信息系統(tǒng)，經(jīng)濟管理監(jiān)測系統(tǒng)和應(yīng)用統(tǒng)計研究系統(tǒng)。統(tǒng)計學的發(fā)展和統(tǒng)計方法的應(yīng)用將有助于解決綜合評價中存在的問題和面臨的挑戰(zhàn)，統(tǒng)計學方法在評價活動中的深入也是保障綜合評價活動科學性的重要步驟。

[1]蘇為華.我國多指標綜合評價技術(shù)與應(yīng)用研究的回顧與認識[J].統(tǒng)計研究，2012,(8).

[2]國家統(tǒng)計局課題組.和諧社會統(tǒng)計監(jiān)測指標體系研究[J].統(tǒng)計研究，2006,(5).

[3]趙彥云,甄峰.我國區(qū)域自主創(chuàng)新和網(wǎng)絡(luò)創(chuàng)新能力評價與分析[J].中國人民大學學報，2007,(4).

[4]楊新洪.關(guān)于文化軟實力量化指標評價問題研究[J].統(tǒng)計研究，2008,(9).

[5]農(nóng)村社會經(jīng)濟調(diào)查司.我國糧食安全評價指標體系研究[J].統(tǒng)計研究，2005,(8).

（責任編輯/亦民）

C829.2

A

1002-6487（2016）19-0081-03

國家社會科學基金資助項目（15BTJ013）；國家統(tǒng)計局設(shè)計管理司委托課題；北京高等學校青年英才計劃項目（YETP0226）

甄峰（1979—），男，河北藁城人，博士，副教授，研究方向：應(yīng)用統(tǒng)計、國際金融。