技術評估中專家一致性評價方法研究綜述

黃 超，劉書雷，吳昕陽，武小悅

（1.國防科技大學系統工程學院；2.國防科技大學前沿交叉學科學院，湖南長沙 410073）

1 研究背景

“技術評估”的概念于1960 年在美國首次提出，重點關注超音速運輸、環境污染和基因篩查倫理等的影響［1］。1972 年，美國國會通過了《技術評估法案》，成立了技術評估辦公室（Office of Technology Assessment,OTA），為公共政策和立法相關的科學和技術問題提供中立客觀依據，為技術影響和發展提供早期預警［2］。Coates［3］將技術評估定義為一種政策研究工具，通過系統地識別、分析和評估技術對社會、文化、政治、環境等產生的短期和長期的影響，為決策者提供合理選擇技術的決策信息。任何國家投入科學研究領域的資源是有限的，不可能大力發展所有領域的各項技術［4］，因此，為了識別領域中的關鍵技術，了解關鍵技術的發展現狀，預測關鍵技術的未來發展趨勢，幫助決策者合理分配資源，指導制定正確的發展路線和科學的戰略決策，各個國家都十分重視開展技術評估工作。

專家評價是利用專家給出的信息對事物進行評價的方法。在實際應用中，對于難以獲取數據進行客觀分析的問題常采用專家評價進行評估分析［5］，例如績效評價、技術方案評價、人員選拔、風險評估和科研項目立項評審等。專家評價是現有技術評估領域用于獲取數據的主要方法之一，由于技術的復雜性和評估標準的多樣性，單一領域內的專家難以給出客觀結論，因此，技術評估需要不同領域內的專家進行合作，通常涉及R&D 研究人員、工程技術專家、政治學家、經濟學家等［6］。與個體評價相比，專家群體評價集成了多位專家的評價信息，能充分利用不同專家的知識結構和思維優勢，從而對一些復雜、重大的決策問題作出相對科學的評估分析［7］。由于專家的知識結構、社會經驗、個人偏好、評價尺度不同，以及其他因素的影響，對于同一問題，不同專家可能有不同的認識和判斷，給出的評價結果會存在一定程度的差異［8］。專家一致也稱為“意見一致”或“專家共識”，又被稱為“專家意見的協調程度”［9］，反映了所有專家對研究對象的評價結果一致或相近的程度。專家一致性可用于描述專家群體的評價結果達成一致的程度［10］。對專家一致性進行評價，有助于甄別與群體意見差別較大的專家，從而進一步了解產生不一致的原因或剔除不一致的評價意見，逐漸使群體達成共識，有助于研究人員作出更科學合理的判斷與決策［11］。

專家一致性是群決策的核心重點問題，受到領域學者的廣泛關注。對現有相關文獻進行梳理分析發現，國內外學者對專家一致性評價方法進行研究時，多以使用現有專家一致性評價方法解決現實應用中的專家一致性評價問題為目標，如Wei 等的研究［12］，或提出一種新的專家一致性評價方法為目標，如Han 等的［13］，且已發表的文獻中應用類和理論類文獻居多、綜述類文獻較少，僅發現張恒杰等［14］對群體共識的研究范式和進展進行了綜述，但該研究并未介紹專家一致性評價方法的分類和研究現狀。經過回顧分析發現，鮮有針對專家一致性評價方法發展現狀及趨勢的綜述類文章。鑒于此，本研究依據現有文獻，系統梳理總結關于專家一致性評價方法的研究現狀和發展趨勢，并對未來的研究工作進行展望，以期幫助相關領域學者對專家一致性評價方法有一個系統清晰的認識，促進專家一致性研究的進一步發展和實際應用。

2 專家一致性評價方法的分類

技術評估中的專家評價主要用于以下兩類問題：（1）指標評價。針對特定指標，要求專家給出評價對象的指標評價值。在這種情況下，專家給出的是一種絕對意義上的信息，例如采用百分制描述某項技術的發展水平。（2）方案排序，即要求專家給出若干被評價對象的偏好排序。在這種情況下，專家給出的是一種相對意義上的信息，例如依據重要性對多項技術進行排序。這兩類問題都需要運用集結模型將各位專家意見聚合成專家群體的評價結果。

根據上述專家評價的兩類問題，將專家一致性評價方法分為指標評價問題的專家一致性評價方法和方案排序問題的專家一致性評價方法。由于專家一致性評價方法的提出背景不同，模型的復雜程度以及應用領域的范圍不同，因此每個方法都有其適用性和局限性。其中，指標評價問題中的專家一致性評價方法的關鍵目的為識別專家對指標賦值是否達成一致；方案評價問題中的專家一致性評價方法則主要用于解決排序信息，例如偏好矩陣和序數值等類型的專家數據的一致性判斷問題，不僅需要判斷專家之間是否達成一致，而且還需要給出不一致的修改方向，以促進共識達成。兩類問題中的一致性方法如表1 所示。

表1 專家一致性評價方法分類

3 指標評價問題的專家一致性評價方法

依據評價指標的數量，可將專家一致性評價方法分為單指標下專家一致性評價方法和多指標下專家一致性評價方法。

3.1 單指標下專家一致性評價方法

單指標是指對專家給出的各項指標的評分值獨立處理，即針對所有指標下的評價信息獨立判斷。現有研究主要依據方差/標準差、變異系數等離散程度統計量對專家一致性進行分析。

方差/標準差反映了專家評價數據的絕對離散程度。若方差/標準差小，說明專家意見集中，反之則說明專家意見離散程度大。如丁夢蘭［15］通過計算每個指標下專家評分的標準差，判斷一、二級指標中專家對某一指標重要性評價的一致性程度，用于構建政府數字化轉型背景下公務員數字素養評價指標體系；邢文濤［16］利用方差衡量專家對指標打分意見的統一程度，將均值和方差作為標準，對單個指標的標準性、指標體系的科學性進行評估，依據這兩項參數篩選指標，實現了水運工程質量評價指標體系的測驗和完善。

變異系數反映了專家評價的相對離散程度，描述了專家評分的相對波動程度，變異系數越小，表示專家意見分歧越小，意見越集中、協調程度越好［17］。根據王瑞等［18］、Hou 等［19］的研究，一般情況下，當變異系數小于0.25 時，表示專家協調性較好。如田丹等［17］在構建北京市產科護理安全管理評價指標體系過程中，使用變異系數衡量各專家對指標的重要性、可行性、敏感性評分的波動程度，判斷專家評分是否一致；Hou 等［19］在建立基于護理結局分類的中國腦卒中住院患者護理結果核心評價指標體系的研究中，運用變異系數度量被咨詢專家對一級指標、二級指標、三級指標的評分意見的一致性。

基于離散程度的專家一致性評估方法模型簡單、計算難度小，解釋直觀、容易理解，常被應用于細化分析專家群體對評估對象在各個評價指標下評分的一致性程度，例如在進口食品社會關注度研究中專家對不同品類食品的社會關注度的評價一致性［5］、指標體系構建過程中專家對各指標重要性的評分一致性等，但該方法忽略了專家獨特的知識背景、興趣和社會關系，在評估過程中認為專家的重要性一致，未考慮專家權重對專家一致性的影響。

3.2 多指標下專家一致性評價方法

多指標是將專家給出的多項指標的評分值統一處理，即針對多個指標下的評價信息集中判斷。對于多指標評價問題，主要依據相關關系、顯著性檢驗等方法分析專家一致性。

3.2.1 基于相關關系的專家一致性評價方法

基于相關關系的專家一致性評價方法，通過利用不同的相關關系測度衡量專家個體評價信息與專家群體評價信息之間的相似程度，進而對專家群體的一致性進行判斷。目前常用的相關關系測度方法包括皮爾遜相關系數、距離測度、組內相關系數等。

采用皮爾遜相關系數可以計算專家個體與專家群體對同一研究對象給出的評價信息之間的相似程度，基于此定義群體共識指標。如Zhang 等［20］針對具有猶豫模糊語言信息的緊急多屬性群決策問題提出了一種自適應共識模型，利用皮爾遜相關系數定義了專家在各方案上的共識度，將各方案上所有專家的共識度聚合得出各方案的共識度，進一步定義了專家個體貢獻度指標和軟群體共識指標。

距離測度根據專家個體評價信息與專家群體評價信息的距離值定義群體共識指標。如Li 等［21］要求專家使用1～100 的數值對各方案在各指標下的表現進行評分，利用距離測度計算每位專家給出的實數值評價信息與專家群體實數值評價信息之間的距離值，得出專家個體共識度，對所有專家個體共識度加權平均獲得群體共識度，基于此提出了一種基于有限信度和社交網絡的大規模群體決策共識方法；魏翠萍等［22］運用猶豫模糊語言術語集的距離測度方法，計算兩兩專家給出的猶豫模糊信息的共識水平，將所有成對專家之間的共識水平聚合，構建了群體共識指標。

組內相關系數（intraclass correlation coefficient，ICC）常用于度量不同評定者對同一研究對象評價結果的一致性或可靠性，可解釋為組間方差與總方差的比值［23］。在專家一致性評估過程中，根據是否考慮評定者誤差，可分為絕對一致性和相對一致性。絕對一致性ICC 表示為研究對象方差與總方差（研究對象方差、評定者方差和均方誤差的和）的比值，用于衡量評定者是否給予研究對象一致的評分；相對一致性ICC 則不考慮評定者方差，用于測量專家之間的評分是否高度相關，在表現形式上僅分母與絕對一致性有所差別，僅包括研究對象方差和均方誤差［23］。ICC 值位于區間［0,1］內，越接近1 則表示越一致，一般認為低于0.40 表示一致性較差，大于0.75 表示一致性較高［24］。如劉思琦等［25］使用組內相關系數分析專家在對錯 畸形嚴重程度的主觀判斷中評價的一致性；Chamberlain 等［26］在構建預測營養風險的指標研究中，利用組內相關系數測試了專家群體對指標重要性評分的一致性。

基于相關關系的專家一致性評價方法，既可用于定量數據，也可用于定性數據，適用范圍廣，已被廣泛應用于解決專家整體一致性評價問題。

3.2.2 基于顯著性檢驗的專家一致性評價方法

基于顯著性檢驗的專家一致性評價方法，首先對專家給出的總體評分值或總體評分值的分布形式作出一個假設，然后構建統計量判斷假設（備擇假設）是否成立。現有相關研究主要依據卡方檢驗和方差分析檢驗專家之間的評分值是否存在顯著性差異。

方差分析是基于專家給出的評分數據，假設由于不同專家（或研究對象）導致的偏差效應為0，構建檢驗統計量判斷假設是否成立。如楊依霏等［28］要求專家從4 個評分維度對11 個學科門類中的每篇論文進行評分，利用單因素方差分析評估同一門類中3 位專家對論文的評分是否存在顯著差異；高先務等［29］利用重復二元方差分析檢驗m個專家對n個方案在m個屬性下主觀評價偏差的一致性，判斷專家、方案對評分有無顯著影響，以及專家與方案之間有無顯著交互影響。

顯著性檢驗法可以從專家群體、專家個體、方案和屬性等多個角度對專家一致性進行檢驗，能夠快速找出與其他意見有差異的評價信息，計算量較小，可操作性強。

4 方案排序問題的專家一致性評價方法

依據專家評估的信息形式，將方案排序問題中的專家一致性評價方法分為兩類：基于判斷矩陣的專家一致性評價方法和基于序數值的專家一致性評價方法。

4.1 基于判斷矩陣的專家一致性評價方法

在一些決策問題中，由于需要考慮不同因素的影響，專家直接給出所有評價對象的全序較為困難，所以在對比時，專家常常采用相對尺度，通過兩兩比較建立同一環境下不同評價對象的判斷矩陣，盡可能減少不同評價對象相互比較的困難，提高準確度。現常用相似性度量、距離測度、主成分分析等方法分析判斷矩陣信息形式下的專家一致性。

4.1.1 基于相似性度量的專家一致性評價方法

基于相似性度量的專家一致性評價方法根據不同的相似性測度衡量兩兩專家給出的判斷矩陣或是專家個體與專家群體判斷矩陣之間的相似性，對其群體一致性進行評估。現有常用的相似性測度有相容性、余弦相似度、灰色關聯等。

相容性被定義為兩兩專家之間的判斷矩陣或是專家與群體之間的判斷矩陣的對稱元素之積的平均值，基于此構建專家一致性指標。如陳俠等［30］利用相容性指標定義了各方案的一致性指標及專家群體一致性指標，給出了基于互反判斷矩陣的專家一致性判別方法及調整方法，當專家群體判斷結果未達成一致時，選出一致性最差的方案，通過相應調整方法修改專家原始意見，以促進專家群體達到滿意的一致性；Gro?elj 等［31］針對三角模糊偏好矩陣信息形式的決策問題，利用傳統層次分析法的相容性指數定義了個體模糊共識指數來衡量兩個決策者之間的接近程度，進而對專家群體的一致性進行分析。

余弦相似度以專家給出的判斷矩陣為依據，利用幾何平均法將各專家對方案評價的判斷矩陣聚合為各專家對方案的評價向量，通過余弦相似函數計算由判斷矩陣得出的兩位專家的評價向量之間的接近程度，然后度量群體成員的一致性水平值。如王丹力等［32］在專家群體一致性研究過程中，首先對專家給出的判斷矩陣的一致性進行檢驗，以保證專家邏輯的前后一致，而后考慮了專家權重的影響，根據余弦值的大小判斷兩個專家之間為強一致性或是強不一致性，基于此提出了專家群體強一致性指標和專家個體一致性指標，用于衡量專家群體的一致性和專家個體的一致性。在群體一致性判斷過程中，通過個體一致性指標可以找出一致性較差的專家和一致性較好的專家，通過建議一致性較差的專家對比參照一致性較好的專家的評估意見，用于修改自身判斷，促進群體共識達成。

灰色關聯是利用灰色關聯度描述每位專家給出的判斷矩陣與群體判斷矩陣對于同一方案判斷值之間的緊密程度，灰色關聯度越大，說明專家與決策群體的評估越接近，即一致性越高，將各方案下所有專家的灰色關聯度指標值聚合得出各方案的一致性指標，將所有方案的一致性指標加權平均獲得專家群體的一致性指標。如李禮等［33］針對基于互反判斷矩陣的群體決策的不一致問題，運用灰色關聯度理論建立了專家一致性判別方法和調整方法，設置一致性閾值為0.73，對不滿足一致性要求的專家評價值進行調整。該方法能夠識別偏離群體的專家意見，定位到具體需要修改的某個評價值。

基于相似性度量的專家一致性評價方法在評估過程中考慮了不同專家重要性的影響，有效利用了專家權重信息，可以確定需要調整的專家和某項具體評價內容，但是該方法是基于專家給出的兩兩判斷矩陣進行的，在評估過程中需要首先考慮專家給出的判斷矩陣的一致性，以保證專家邏輯的正確性。

4.1.2 基于距離測度的專家一致性評價方法

基于距離測度的專家一致性評價方法是，通過運用不同的距離測度計算專家個體判斷矩陣與專家群體判斷矩陣之間的距離值或是專家與專家判斷矩陣之間的距離值，定義專家個體共識度指標，對專家個體共識度進行加權平均定義群體共識度指標或是選取最小專家個體共識度作為群體共識度，并根據實際問題設定相應群體共識度閾值，判斷群體的共識程度是否達到標準。現大多使用以下4 種距離測度：一是漢明距離，例如Ren 等［34］針對猶豫模糊語言偏好關系的群決策問題，運用猶豫模糊語言漢明距離度量專家個體偏好信息與整體偏好信息的最小相似度，提出了最差共識指數，建立了共識達成算法，提出了一種基于矩陣一致性和群體共識測量的群決策求解方法；二是曼哈頓距離，例如Cheng等［35］利用對數曼哈頓距離度量兩個專家給出的區間互補判斷矩陣的差異，定義了兩決策者之間的個體共識指數，將任意兩個決策者的所有個體共識指數中的最小值作為群體共識指數；三是歐氏距離，例如Wan 等［36］針對概率語言偏好關系的大規模群體決策問題，基于歐式距離測度開發了一種新的基于個性化個體語義的共識達成過程，用于判斷在大學COVID-19 監測計劃選擇過程中決策者的共識度；四是閔可夫斯基距離，例如Zhang 等［37］研究了直覺乘法偏好關系的群體決策背景下共識問題，提出了改進的直覺積性模糊數之間的漢明距離、歐幾里得距離和閔可夫斯基距離，基于提出的閔可夫斯基距離度量專家個體與群體之間的距離值，定義了專家個體共識度，以最小專家個體共識度作為群體共識度。

基于距離測度的專家一致性評價方法可以解決多種含有不確定信息和模糊信息的專家一致性評價問題，例如猶豫模糊語言偏好、區間互補偏好、直覺模糊偏好等。該方法處理效率高，已被廣泛應用于模糊決策中的共識研究。

4.1.3 基于主成分分析的專家一致性評價方法

基于主成分分析的專家一致性評價方法是根據每位專家給出的判斷矩陣的最大特征值及對應的特征向量，將該特征向量歸一化后作為專家對評價對象給出的評價系數，得出專家群體決策的評價系數矩陣，使用主成分分析法將多位專家的評價系數融合，利用主成分貢獻率衡量專家群體決策結果的一致性程度。如邱夢奇等［38］基于層次分析法（AHP）要求m位專家通過兩兩比較建立每位專家對于g個雷達導引頭系統抗干擾能力的判斷矩陣，分別對m位專家給出的判斷矩陣進行特征值分解，將最大特征值對應的特征向量作為同一環境下不同雷達導引頭系統抗干擾能力的評價系數，得出m×g維群體評價矩陣，利用主成分分析法對該矩陣進行降維處理成1×g維群體評價矩陣，通過主成分貢獻率衡量專家群體決策結果的一致性程度。

基于主成分分析的專家一致性評估方法，將專家一致性判斷、信息聚合和綜合評價融為一體，不僅可以根據主成分貢獻率來定量分析專家群體決策結果的一致性程度，還可以利用降維后的數據直接得出最終決策結果，更有效地剔除了不一致的專家意見，使得專家個體評價結果對最終決策結果的影響變小、評價結果更為合理。此外，該方法還具有計算速度快的優勢。

4.2 基于序數值的專家一致性評價方法

在分析多個研究對象的重要性次序時，常要求專家對整體研究對象進行排序，給出所有研究對象的全序值，據此選出一個最優值作為決策結果。目前常用Kendall 協調系數解決序數值類型的專家一致性評價問題。Kendall 協調系數是基于專家給出的研究對象的排名順序，計算評估對象序數的偏離值總和，構建檢驗統計量W，根據W值判斷專家一致性，W取值范圍為0～1，數值越大代表專家意見的一致性越高［9］。如Akhmetshin 等［39］采用專家估計方法獲得稅收分析所必需的數據集，要求一組專家按重要性對俄羅斯聯邦稅法進行降序排列，使用Kendall 協調系數評估專家意見的一致性；Shapo 等［40］在運用德爾菲法和排序方法實現軟件項目風險評估技術的研究中，采用Kendall 協調系數評估專家對排序法的意見一致性；Nikitin 等［41］在混合系統的研究過程中，將Kendall 協調系數作為共識指標，判斷10 位專家對因素影響程度的意見一致性，并進行卡方檢驗，以證明結果具有統計學意義。

基于Kendall 協調系數的專家一致性評價方法，實現過程直觀簡潔、計算簡便，魯棒性強、易于掌握，被廣泛應用于解決各類一致性評價問題。

5 結論

隨著實踐應用環境的變化、知識和信息量的急劇增長以及技術評估的問題日益復雜，專家評價作為技術評估研究中獲取數據的重要方法，為我國科技創新、經濟增長和社會發展中的技術評估問題提供了科學有效的解決途徑，專家一致性評價是群體偏好有效集成的前提條件。本研究從技術評估中的指標評價和方案排序兩類問題，對國內外學者提出的不同適用環境的專家一致性評價方法進行了較為系統的綜述。依據實際應用中涉及的指標數量將指標評價問題細分為單指標和多指標兩類，單指標下專家一致性評價方法主要被應用于反映專家群體對指標體系中各指標重要性評價的一致性程度，幫助決策者篩選指標，用于解決此類問題的專家一致性評價方法主要有方差/標準差和變異系數；多指標下專家一致性評價方法主要被應用于度量群決策中專家群體對評估對象評分的一致性，用于解決此類問題的專家一致性評價方法主要有皮爾遜相關系數、距離測度、組內相關系數、假設檢驗、方差分析。依據專家給出的評價信息的數據類型將方案排序問題細分為判斷矩陣（偏序）和序數值（全序）兩類，基于判斷矩陣的專家一致性評價方法主要被應用于測量專家群體達成共識的程度，用于解決此類問題的專家一致性評價方法主要有相容性、余弦相似度、灰色關聯、距離測度和主成分分析；基于序數值的專家一致性評價方法主要被應用于衡量專家群體對研究對象排名順序的一致性程度，用于解決此類問題的專家一致性評價方法主要是Kendall 協調系數。

現有專家一致性評價方法研究成果較多可用于解決不同環境下的專家一致性評價問題，每種方法都具其自身優勢，但也存在一定的局限性。為進一步推進和拓展專家一致性評價方法的研究工作，本研究認為未來專家一致性研究應用如下：

（1）如何根據不同問題選擇一種合適有效的專家一致性評價方法。現有相關研究缺乏一個評估框架幫助研究人員依據不同問題選擇相適應的專家一致性評價方法。研究人員在判斷專家一致性的過程中，并不應該僅以測量專家一致性或是判斷專家是否一致為目標，應充分考慮進行專家一致性測量的目的，從而判斷選用哪一種評價方法最為恰當。

（2）在專家一致性評價過程中，閾值是判斷專家一致性是否達到要求的重要評判標準。目前鮮有文獻分析閾值的設定方法，常采用主觀方式設定閾值，缺乏客觀性和合理性。因此，應開發更為客觀的方法確定閾值，使得專家一致性判斷結果更加客觀合理、準確有效。