基于變權(quán)-理想點(diǎn)-潛在主題（VW-TOPSISLDA）的科技項(xiàng)目評(píng)審專家動(dòng)態(tài)綜合評(píng)價(jià)方法研究

■ 胡雨欣 韓樾夏 陳狀，2 張偉＊

1.中國(guó)科學(xué)院空間應(yīng)用工程與技術(shù)中心 北京 100094

2.中國(guó)科學(xué)院大學(xué)經(jīng)濟(jì)與管理學(xué)院 北京 100190

0 引言

2012年以來，我國(guó)科技水平顯著提升，不斷取得新的歷史性成就，為建設(shè)世界科技強(qiáng)國(guó)奠定了堅(jiān)實(shí)的基礎(chǔ)[1]。在科技革命和產(chǎn)業(yè)發(fā)展深度融合的背景下，大規(guī)模、多學(xué)科的科技項(xiàng)目對(duì)推動(dòng)重要科技領(lǐng)域跨越發(fā)展、實(shí)現(xiàn)科技能力全面提升、促進(jìn)人類認(rèn)知范圍和生活水平不斷優(yōu)化具有重要作用。習(xí)近平總書記在多個(gè)場(chǎng)合的重要論述中強(qiáng)調(diào)，要把握科技發(fā)展趨勢(shì)和國(guó)家戰(zhàn)略需求，加強(qiáng)科技項(xiàng)目可行性論證和遴選評(píng)估，充分尊重科學(xué)家意見，把握大趨勢(shì)、下好“先手棋”[2]。

項(xiàng)目評(píng)審專家作為科技項(xiàng)目評(píng)審活動(dòng)的主體，其主要角色和功能是提供項(xiàng)目立項(xiàng)建議，把控科技項(xiàng)目質(zhì)量。由于項(xiàng)目質(zhì)量又與產(chǎn)出效益息息相關(guān)，因此項(xiàng)目評(píng)審專家在預(yù)判產(chǎn)出成果的科學(xué)價(jià)值、應(yīng)用價(jià)值等方面也發(fā)揮著重要作用（圖1）[3][4]。為實(shí)現(xiàn)科技項(xiàng)目質(zhì)量控制，提升科技投入產(chǎn)出效益，如何全面衡量專家評(píng)審資格，動(dòng)態(tài)評(píng)價(jià)科技項(xiàng)目評(píng)審專家綜合水平，滿足項(xiàng)目評(píng)審的專業(yè)性需求，進(jìn)而提升評(píng)審客觀性、準(zhǔn)確性、專業(yè)性，成為項(xiàng)目評(píng)審管理亟需解決的關(guān)鍵問題。

圖1 項(xiàng)目評(píng)審專家對(duì)科技項(xiàng)目的影響作用

為滿足科技項(xiàng)目評(píng)審需求，國(guó)內(nèi)外科研機(jī)構(gòu)積極開展了評(píng)審專家評(píng)價(jià)體系的研究。

以美國(guó)為例，美國(guó)航空航天局（National Aeronautics and Space Administration,NASA）、國(guó)防部（United States Department of Defense,DOD）、國(guó)立衛(wèi)生研究院（Nation‐al Institutes of Health,NIH）、能源部（United States De‐partment of Energy,DOE）和美國(guó)國(guó)家科學(xué)基金會(huì)（Na‐tional Science Foundation,NSF）基于項(xiàng)目特點(diǎn)分別建立了適合自身的科技項(xiàng)目評(píng)審專家評(píng)價(jià)體系。對(duì)于國(guó)際空間站的空間項(xiàng)目評(píng)審專家的評(píng)價(jià)問題，NASA 建立了NSPIRES 系統(tǒng)，從評(píng)審專家的基本信息、專業(yè)水平、評(píng)審經(jīng)歷3 個(gè)維度構(gòu)建評(píng)價(jià)指標(biāo)體系[5]，并采用德爾菲法，由項(xiàng)目官員對(duì)專家的學(xué)術(shù)能力和知識(shí)廣泛度、技術(shù)創(chuàng)新和成果貢獻(xiàn)、項(xiàng)目管理經(jīng)驗(yàn)進(jìn)行重點(diǎn)評(píng)價(jià)[6]。對(duì)于地面科技項(xiàng)目評(píng)審專家，在評(píng)價(jià)指標(biāo)選擇方面：（1）DOD涉及的科學(xué)項(xiàng)目有著高度的不確定性和風(fēng)險(xiǎn)性，項(xiàng)目評(píng)審專家具有極強(qiáng)的穩(wěn)定性[7][8]。因此，DOD 將專業(yè)能力、專家誠(chéng)信、評(píng)審表現(xiàn)作為專家評(píng)價(jià)主要考察的方向，要求評(píng)審專家在特定的研究領(lǐng)域、政策制定等方面有著一定的知名度，確保評(píng)審過程的公正性、完整性[9]。（2）NIH 則主要將評(píng)審專家在相關(guān)科學(xué)或技術(shù)領(lǐng)域的經(jīng)驗(yàn)和權(quán)威性作為評(píng)價(jià)依據(jù)，同時(shí)考慮到專家對(duì)項(xiàng)目評(píng)審的貢獻(xiàn)和協(xié)同工作能力等因素，最大限度保證評(píng)審公正性[10]。（3）DOE在不斷地探索與改進(jìn)后，確定了更為完善的評(píng)價(jià)指標(biāo)體系，分別從項(xiàng)目相關(guān)領(lǐng)域經(jīng)驗(yàn)、學(xué)術(shù)成果、教育背景、領(lǐng)域認(rèn)可度4 個(gè)維度對(duì)項(xiàng)目評(píng)審專家開展細(xì)致的評(píng)價(jià)[11]。（4）NSF 則在限定評(píng)審專家來源的情況下，重點(diǎn)關(guān)注評(píng)審專家在項(xiàng)目相關(guān)專業(yè)領(lǐng)域的了解程度及專家的個(gè)人特征[12]。在評(píng)價(jià)方法方面，4 大機(jī)構(gòu)主要依靠項(xiàng)目主任對(duì)研究領(lǐng)域和專家背景的認(rèn)識(shí)與了解，實(shí)現(xiàn)主觀評(píng)價(jià)[10]。其中，NSF還通過TF-IDF數(shù)據(jù)挖掘技術(shù)輔助開展評(píng)價(jià)工作[13]。

在我國(guó)國(guó)內(nèi)，科學(xué)技術(shù)部（以下簡(jiǎn)稱“科技部”）和國(guó)家自然科學(xué)基金委員會(huì)（以下簡(jiǎn)稱“基金委”）以國(guó)務(wù)院印發(fā)的政策措施為指導(dǎo)，包括《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見》[4]、《關(guān)于分類推進(jìn)人才評(píng)價(jià)機(jī)制改革的指導(dǎo)意見》[14]等，建立各自的評(píng)審專家綜合評(píng)價(jià)體系。在評(píng)價(jià)指標(biāo)選擇上：（1）科技部和基金委都將評(píng)審專家研究領(lǐng)域評(píng)價(jià)作為綜合評(píng)價(jià)的基礎(chǔ)，以衡量專家在項(xiàng)目相關(guān)領(lǐng)域的專業(yè)性。（2）科技部還從學(xué)術(shù)水平、知識(shí)結(jié)構(gòu)、專家信譽(yù)和學(xué)術(shù)任職4個(gè)維度綜合評(píng)價(jià)項(xiàng)目評(píng)審專家，衡量專家的專業(yè)認(rèn)可度和活躍度[4]。（3）基金委采用“RCC”特色評(píng)價(jià)機(jī)制，從責(zé)任、信譽(yù)、貢獻(xiàn)3 個(gè)角度對(duì)評(píng)審專家進(jìn)行綜合評(píng)價(jià)，注重考察評(píng)審專家潛在評(píng)審建議的質(zhì)量[15]。在評(píng)價(jià)方法應(yīng)用上：（1）科技部項(xiàng)目管理人員基于關(guān)鍵詞網(wǎng)，利用文本挖掘技術(shù)，實(shí)現(xiàn)對(duì)評(píng)審專家的綜合評(píng)價(jià)[16]。（2）基金委項(xiàng)目管理人員則參考科學(xué)基金網(wǎng)絡(luò)信息系統(tǒng)，從定性角度評(píng)價(jià)項(xiàng)目評(píng)審專家[17]。

通過對(duì)國(guó)內(nèi)外相關(guān)研究的梳理發(fā)現(xiàn)，科技項(xiàng)目評(píng)審專家的評(píng)價(jià)指標(biāo)體系不夠細(xì)致，存在評(píng)價(jià)完整性與可操作性的問題。在評(píng)價(jià)方法方面，國(guó)內(nèi)外科研機(jī)構(gòu)大多采用主觀、定性評(píng)價(jià)方法，缺乏對(duì)項(xiàng)目評(píng)審專家的動(dòng)態(tài)化定量評(píng)價(jià)，難以衡量專家間的實(shí)際差距，在專家提升路徑識(shí)別上也存在較大困難。

變權(quán)模型（VW）能夠從客觀的角度分析評(píng)審專家的優(yōu)勢(shì)，對(duì)評(píng)價(jià)指標(biāo)進(jìn)行動(dòng)態(tài)賦權(quán)，有利于衡量不同指標(biāo)對(duì)不同專家的影響程度，體現(xiàn)突出指標(biāo)對(duì)評(píng)價(jià)結(jié)果的影響，適用于多指標(biāo)體系，凸顯評(píng)審專家的特點(diǎn)；理想點(diǎn)法（TOPSIS）同時(shí)考慮不同的評(píng)價(jià)標(biāo)準(zhǔn)，以相對(duì)貼進(jìn)度衡量專家得分，對(duì)原始指標(biāo)數(shù)據(jù)的要求較低，能夠準(zhǔn)確、直觀地反映評(píng)審專家間的差距，適用于評(píng)價(jià)指標(biāo)量綱不一致，評(píng)價(jià)體系靈活變化的情況；潛在主題模型（LDA）可以通過機(jī)器學(xué)習(xí)快速提取大量專家文檔中的主題與關(guān)鍵詞，有效分析評(píng)審專家在項(xiàng)目相關(guān)領(lǐng)域的熟悉情況，并從定量的角度衡量專家專業(yè)度，滿足科技項(xiàng)目對(duì)評(píng)審專家領(lǐng)域?qū)I(yè)性的需求。本研究通過識(shí)別科技項(xiàng)目評(píng)審專家特點(diǎn)，利用問卷調(diào)研構(gòu)建較為完整、具有可操作性的專家評(píng)價(jià)指標(biāo)體系，結(jié)合長(zhǎng)期評(píng)審的需求，基于專業(yè)領(lǐng)域建立VW-TOPSIS-LDA 綜合評(píng)價(jià)模型，實(shí)現(xiàn)主客觀動(dòng)態(tài)賦權(quán)與專業(yè)度調(diào)整，以中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家為例，完成對(duì)項(xiàng)目評(píng)審專家的動(dòng)態(tài)綜合評(píng)價(jià)，并驗(yàn)證其有效性，從而為分領(lǐng)域的科技項(xiàng)目評(píng)審專家管理提供依據(jù)，進(jìn)一步提升項(xiàng)目評(píng)審的客觀性、準(zhǔn)確性、專業(yè)性，保障科技項(xiàng)目質(zhì)量，提升項(xiàng)目產(chǎn)出效益，并助力推動(dòng)專家評(píng)價(jià)系統(tǒng)的智能化建設(shè)。

1 科技項(xiàng)目評(píng)審專家評(píng)價(jià)指標(biāo)體系構(gòu)建

構(gòu)建科技項(xiàng)目評(píng)審專家評(píng)價(jià)指標(biāo)體系要遵循科學(xué)性、全面性、顯著性和可操作性等原則，進(jìn)而保證綜合評(píng)價(jià)結(jié)果的可靠性。本研究結(jié)合科技項(xiàng)目評(píng)審專家的特征，采用李克特五級(jí)量表設(shè)計(jì)指標(biāo)問卷，結(jié)合線上與線下兩種方式開展調(diào)查，回收問卷30 份，回復(fù)率93%。通過指標(biāo)合理性檢驗(yàn)，本研究構(gòu)建由基礎(chǔ)資質(zhì)、專業(yè)水平、評(píng)審水平3個(gè)維度組成的科技項(xiàng)目評(píng)審專家評(píng)價(jià)指標(biāo)體系，包括工作資歷、學(xué)術(shù)成果、評(píng)審信譽(yù)等9 個(gè)二級(jí)評(píng)價(jià)指標(biāo)和23個(gè)三級(jí)評(píng)價(jià)指標(biāo)。具體評(píng)價(jià)指標(biāo)如表1所示。

表1 科技項(xiàng)目評(píng)審專家評(píng)價(jià)指標(biāo)體系

基礎(chǔ)資質(zhì)維度由工作資歷和科研團(tuán)隊(duì)兩部分組成，在一定程度上衡量了評(píng)審專家的社會(huì)認(rèn)可度與行業(yè)權(quán)威性。其中，工作資歷包括職稱、獲獎(jiǎng)情況、學(xué)會(huì)/期刊任職等指標(biāo)；科研團(tuán)隊(duì)則主要從團(tuán)隊(duì)規(guī)模的角度來衡量。

專業(yè)水平維度包括學(xué)術(shù)成果、項(xiàng)目承擔(dān)、會(huì)議報(bào)告、學(xué)術(shù)道德4個(gè)部分?？萍柬?xiàng)目評(píng)審專家需要具有較高的學(xué)術(shù)能力和學(xué)術(shù)活躍度，以確保科技項(xiàng)目在科學(xué)價(jià)值、應(yīng)用價(jià)值、技術(shù)基礎(chǔ)等方面的先進(jìn)性和合理性。其中，學(xué)術(shù)成果不僅包含論文，還包括專利、標(biāo)準(zhǔn)等；項(xiàng)目承擔(dān)從項(xiàng)目和專家兩個(gè)角度衡量專家對(duì)項(xiàng)目的把控能力；會(huì)議報(bào)告和學(xué)術(shù)道德則從側(cè)面體現(xiàn)專家的專業(yè)影響力、學(xué)術(shù)視野和學(xué)術(shù)倫理水平。

評(píng)審水平維度由評(píng)審質(zhì)量、評(píng)審信譽(yù)、評(píng)審態(tài)度3部分組成。評(píng)審專家需要對(duì)科技項(xiàng)目做出準(zhǔn)確的判斷，同時(shí)遵守項(xiàng)目評(píng)審的規(guī)定，并保持良好的科技項(xiàng)目評(píng)審態(tài)度。其中，評(píng)審質(zhì)量體現(xiàn)專家的歷史評(píng)分偏差、命中情況等；評(píng)審信譽(yù)包含保密、回避等情況；評(píng)審態(tài)度則衡量專家的評(píng)審意愿及意見發(fā)表充分性。

本研究構(gòu)建的科技項(xiàng)目評(píng)審專家評(píng)價(jià)指標(biāo)體系通過合理性檢驗(yàn)，可以作為綜合評(píng)價(jià)模型的輸入，為科技項(xiàng)目評(píng)審專家綜合評(píng)價(jià)奠定基礎(chǔ)。

2 基于VW-TOPSIS-LDA的動(dòng)態(tài)綜合評(píng)價(jià)模型

為有效滿足基于專業(yè)領(lǐng)域的動(dòng)態(tài)評(píng)價(jià)需求，本研究提出基于VW-TOPSIS-LDA 的動(dòng)態(tài)綜合評(píng)價(jià)模型，以衡量項(xiàng)目評(píng)審專家的綜合資質(zhì)，保證項(xiàng)目評(píng)審質(zhì)量。傳統(tǒng)的基于SAW 算子的常權(quán)評(píng)價(jià)模型無法有效反映相應(yīng)指標(biāo)對(duì)不同專家在不同時(shí)期的重要程度，難以通過橫向、縱向?qū)Ρ葏^(qū)分專家間的實(shí)際差距，且不能從定量的角度保證評(píng)審專家在科技項(xiàng)目相關(guān)領(lǐng)域的熟悉度。因此，本研究通過構(gòu)建變權(quán)模型實(shí)現(xiàn)動(dòng)態(tài)賦權(quán)，利用相對(duì)貼進(jìn)度實(shí)現(xiàn)綜合評(píng)價(jià)，并引入文本挖掘方法進(jìn)行專業(yè)度調(diào)整，解決了基于專業(yè)領(lǐng)域動(dòng)態(tài)評(píng)價(jià)科技項(xiàng)目評(píng)審專家的問題，提高了評(píng)價(jià)的準(zhǔn)確性，有利于為專家管理和項(xiàng)目質(zhì)量控制提供依據(jù)。

2.1 VW動(dòng)態(tài)賦權(quán)

基于變權(quán)理論構(gòu)建變權(quán)模型，實(shí)現(xiàn)評(píng)價(jià)指標(biāo)的動(dòng)態(tài)賦權(quán)[18]。該模型同時(shí)考慮了項(xiàng)目管理人員偏好和客觀性需求，能有效突顯各評(píng)價(jià)指標(biāo)對(duì)不同科技項(xiàng)目評(píng)審專家的影響顯著性，有利于實(shí)現(xiàn)長(zhǎng)期動(dòng)態(tài)評(píng)價(jià)。

其中，wsj為指標(biāo)Cj的主觀權(quán)重，woj為指標(biāo)Cj的客觀權(quán)重，ρ∈(0,1)，表示評(píng)價(jià)者對(duì)主觀權(quán)重的偏好程度。

（2）計(jì)算科技項(xiàng)目評(píng)審專家評(píng)價(jià)指標(biāo)混合型狀態(tài)變權(quán)值?；诟髦笜?biāo)閾值，判斷標(biāo)準(zhǔn)化指標(biāo)值所屬區(qū)間，并計(jì)算指標(biāo)變權(quán)值Sj(Z)為

其中，α為調(diào)權(quán)參數(shù)，表示指標(biāo)調(diào)整程度；Z=(z1,z2,...,zn) ∈[0,1]n，zj為指標(biāo)Cj的標(biāo)準(zhǔn)化指標(biāo)值；tholdzj_down，tholdzj_up分別表示第j個(gè)指標(biāo)的閾值下界和閾值上界。

（3）計(jì)算評(píng)價(jià)指標(biāo)的變權(quán)向量。根據(jù)主客觀組合權(quán)重及指標(biāo)變權(quán)值，利用Hadamard 乘積可得到指標(biāo)變權(quán)向量W=(w1,w2,...,wn)為

其中，S(Z) =(S1(Z),S2(Z),...,Sn(Z))為評(píng)價(jià)指標(biāo)的狀態(tài)變權(quán)向量。

2.2 TOPSIS綜合評(píng)價(jià)

本研究采用TOPSIS 評(píng)價(jià)模型對(duì)評(píng)審專家進(jìn)行綜合評(píng)價(jià)[19]。該方法通過權(quán)衡不同標(biāo)準(zhǔn)來逼近理想點(diǎn)，其對(duì)數(shù)據(jù)分布無要求，且在科技項(xiàng)目評(píng)審專家評(píng)價(jià)指標(biāo)體系調(diào)整時(shí)有較強(qiáng)適應(yīng)性，便于實(shí)現(xiàn)對(duì)比分析，具體分為以下4個(gè)步驟：

（1）計(jì)算各評(píng)價(jià)指標(biāo)的加權(quán)歸一化決策矩陣G={gij}m×n。首先基于指標(biāo)初始數(shù)據(jù)進(jìn)行歸一化處理，并根據(jù)指標(biāo)權(quán)重得到加權(quán)歸一化的指標(biāo)值如式（4）。

其中，fij為第i個(gè)專家在第j個(gè)指標(biāo)上的歸一化指標(biāo)值。

其中，C+、C-分別代表正向指標(biāo)集與負(fù)向指標(biāo)集。

（3）計(jì)算各評(píng)審專家與正負(fù)理想解的距離?；跉W氏距離方法，則

其中，Ri為評(píng)審專家的相對(duì)貼近度。相對(duì)貼近度越小，則專家得分越高；反之，相對(duì)貼近度越大，則專家得分越低。

2.3 LDA文本挖掘優(yōu)化

本研究基于Python 框架構(gòu)建LDA 文本挖掘主題模型，快速提取科技項(xiàng)目評(píng)審專家研究文本的關(guān)鍵信息，從專業(yè)度方面對(duì)專家評(píng)價(jià)結(jié)果進(jìn)行定量?jī)?yōu)化調(diào)整，保障評(píng)審的專業(yè)性[20]。其主要步驟如下：

（1）獲得主題-詞語(yǔ)概率分布矩陣P1?；趯＜椅臋n訓(xùn)練LDA模型，輸出不同詞語(yǔ)在每個(gè)主題中出現(xiàn)的概率，整理成矩陣為

其中，p′τω表示詞語(yǔ)ω在主題τ中的概率，t為主題個(gè)數(shù)，w為詞語(yǔ)個(gè)數(shù)。

（2）主題推斷。利用訓(xùn)練的LDA 模型，提取各科技項(xiàng)目評(píng)審專家文本數(shù)據(jù)主題，輸出文檔-主題概率分布矩陣P2為

其中，p″表示主題τ在文檔δ中的概率，d為文檔個(gè)數(shù)。

（3）計(jì)算文檔-詞語(yǔ)概率分布矩陣。根據(jù)主題-詞語(yǔ)概率分布矩陣與文檔-主題概率分布矩陣，提取文檔關(guān)鍵詞，則

其中，P3為文檔-詞語(yǔ)概率分布矩陣。

（4）計(jì)算科技項(xiàng)目評(píng)審專家在項(xiàng)目相關(guān)領(lǐng)域的專業(yè)度。通過整合專家文檔與項(xiàng)目文檔的關(guān)鍵詞及相應(yīng)概率，可計(jì)算專家專業(yè)度σi為

其中，pi=(pi1,pi2,...,piw)、pk=(pk1,pk2,...,pkw)分別為專家文檔i和項(xiàng)目文檔k的詞語(yǔ)概率分布向量。

（5）調(diào)整評(píng)審專家評(píng)價(jià)結(jié)果?；趯＜蚁鄬?duì)貼近度與專業(yè)度，設(shè)評(píng)審專家i的評(píng)價(jià)得分為Scorei，則

得分越高，則評(píng)審專家綜合情況越好，越適合參與科技項(xiàng)目評(píng)審活動(dòng)；反之亦然。

3 中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家綜合評(píng)價(jià)應(yīng)用

3.1 算例演示

鑒于單個(gè)項(xiàng)目的評(píng)審專家平均數(shù)量為10～12 位，本研究選取某次中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審的10 位評(píng)審專家作為評(píng)價(jià)對(duì)象，開展動(dòng)態(tài)綜合評(píng)價(jià)分析。具體評(píng)價(jià)流程如圖2所示。

圖2 中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家綜合評(píng)價(jià)流程

在中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家評(píng)價(jià)指標(biāo)的動(dòng)態(tài)賦權(quán)階段，分別通過AHP法和熵權(quán)法對(duì)各評(píng)價(jià)指標(biāo)進(jìn)行主觀賦權(quán)和客觀賦權(quán)，取組合賦權(quán)系數(shù)ρ= 0.5，根據(jù)式（1），得到各評(píng)價(jià)指標(biāo)的初始權(quán)重。通過整理10 位中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家的相關(guān)信息，獲取各評(píng)審專家在指標(biāo)體系中對(duì)應(yīng)的指標(biāo)值，并將各指標(biāo)值進(jìn)行標(biāo)準(zhǔn)化。以0.1 作為臨界比例，分別計(jì)算各指標(biāo)的閾值上界和閾值下界，并取調(diào)權(quán)參數(shù)α= 0.5，根據(jù)式（2）-（3），衡量各指標(biāo)對(duì)不同專家的影響程度，實(shí)現(xiàn)動(dòng)態(tài)賦權(quán)，賦權(quán)結(jié)果如表2所示。

表2 中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家評(píng)價(jià)指標(biāo)動(dòng)態(tài)權(quán)重

根據(jù)項(xiàng)目評(píng)審專家評(píng)價(jià)指標(biāo)初始權(quán)重及變權(quán)結(jié)果，并計(jì)算兩者絕對(duì)差，可以發(fā)現(xiàn)：（1）評(píng)審偏差、評(píng)審命中、科研誠(chéng)信、評(píng)審意愿、評(píng)審意見發(fā)表、項(xiàng)目中所處角色是評(píng)審專家綜合評(píng)價(jià)的關(guān)鍵影響因素。（2）關(guān)鍵因素中，項(xiàng)目中所處角色對(duì)于專家5、專家3、專家4 的動(dòng)態(tài)權(quán)重均高于評(píng)審意見發(fā)表指標(biāo)，與指標(biāo)初始權(quán)重順序及其他專家的指標(biāo)動(dòng)態(tài)權(quán)重順序相反，表明項(xiàng)目中所處角色指標(biāo)對(duì)該3位專家的影響比其他專家更為顯著。（3）評(píng)審命中和評(píng)審偏差指標(biāo)在中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家評(píng)價(jià)指標(biāo)體系中的變權(quán)幅度最大，表明大多評(píng)審專家在該兩項(xiàng)指標(biāo)上表現(xiàn)優(yōu)異，但存在少量極端值，導(dǎo)致各評(píng)審專家在以上兩項(xiàng)指標(biāo)上的差異較大。

基于項(xiàng)目評(píng)審專家評(píng)價(jià)指標(biāo)的動(dòng)態(tài)權(quán)重及相應(yīng)指標(biāo)值，根據(jù)式（4）至式（7），利用TOPSIS 模型獲得各專家相對(duì)貼進(jìn)度。通過計(jì)算評(píng)價(jià)結(jié)果的有序增量集，按梯度將專家分為4個(gè)等級(jí)（見表3），并計(jì)算評(píng)審專家離散程度（見表4）。

表3 中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家相對(duì)貼進(jìn)度

表4 中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家平均得分、方差

可以發(fā)現(xiàn)，中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家整體水平較為均衡，各評(píng)審專家間差異較小，不存在明顯極端值。具體而言：（1）對(duì)于評(píng)價(jià)等級(jí)較高、排名靠前的專家，表明其在基礎(chǔ)資質(zhì)、專業(yè)水平、評(píng)審水平3 個(gè)維度上均表現(xiàn)較好，在項(xiàng)目候選評(píng)審專家整體中最具優(yōu)勢(shì)。（2）評(píng)價(jià)等級(jí)較低、排名靠后的專家則存在較大提升空間。（3）70%的專家均處于中間等級(jí)，分布較為集中，有望得到進(jìn)一步提升。

通過爬取各評(píng)審專家發(fā)表在Web of Science、AIAA Electronic Library、中國(guó)知網(wǎng)、國(guó)家空間科學(xué)數(shù)據(jù)中心等國(guó)內(nèi)外數(shù)據(jù)庫(kù)的相關(guān)文獻(xiàn)及中國(guó)空間站空間科學(xué)項(xiàng)目產(chǎn)出成果，通過提取標(biāo)題、摘要和關(guān)鍵詞作為主要信息，基于Python 框架訓(xùn)練LDA 主題模型，并根據(jù)式（8）至式（12），計(jì)算各專家在空間科學(xué)項(xiàng)目相關(guān)領(lǐng)域的相似度，以表示專家對(duì)于空間站科學(xué)實(shí)驗(yàn)項(xiàng)目的熟悉程度，從而實(shí)現(xiàn)對(duì)初始評(píng)價(jià)結(jié)果的調(diào)整與優(yōu)化，綜合評(píng)價(jià)結(jié)果如表5所示。

表5 中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家最終評(píng)價(jià)結(jié)果

根據(jù)綜合評(píng)價(jià)結(jié)果可以發(fā)現(xiàn)：（1）專家1、專家5、專家4 和專家10 的得分較高。（2）專家2 和專家8 由于評(píng)審偏差較大，項(xiàng)目領(lǐng)域?qū)I(yè)度較低等導(dǎo)致綜合得分偏低，評(píng)價(jià)結(jié)果較差。在遴選中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家時(shí)，可以參考評(píng)價(jià)結(jié)果，優(yōu)先考慮評(píng)價(jià)等級(jí)較高、排名靠前的專家，盡可能保證中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審的客觀性、準(zhǔn)確性、專業(yè)性。

3.2 方法比較

為驗(yàn)證提出的動(dòng)態(tài)綜合評(píng)價(jià)方法在評(píng)審專家評(píng)價(jià)方面的有效性，本研究將VW-TOPSIS-LDA 模型（方法1）與層次分析法（方法2）、熵權(quán)法（方法3）、基于線性加權(quán)（SAW）算子的變權(quán)評(píng)價(jià)法（方法4）進(jìn)行比較。

設(shè)評(píng)審專家i(i= 1,2,...,m) 對(duì)科技項(xiàng)目j(j=1,2,...,n)的打分為Xij，項(xiàng)目j的實(shí)際評(píng)分為Vj，則評(píng)審專家i的偏差系數(shù)Li為

評(píng)價(jià)方法ζ(ζ= 1,2,3,4)對(duì)項(xiàng)目評(píng)審專家的評(píng)價(jià)結(jié)果為Yζi。基于相關(guān)系數(shù)分析驗(yàn)證評(píng)價(jià)結(jié)果與評(píng)審專家綜合偏差系數(shù)——式（13）之間的相關(guān)關(guān)系，相關(guān)系數(shù)λk∈[ - 1,1]。λk∈)[-1,0 ，表明評(píng)價(jià)方法有效。具體地，當(dāng)評(píng)審專家的評(píng)價(jià)得分越高時(shí)，其評(píng)審偏差系數(shù)越小，即評(píng)審準(zhǔn)確性、客觀性、專業(yè)性越強(qiáng)，項(xiàng)目評(píng)審質(zhì)量越高。|λk|越大，評(píng)價(jià)結(jié)果與專家評(píng)審偏差系數(shù)的負(fù)相關(guān)關(guān)系越強(qiáng)，表明評(píng)價(jià)方法的有效性越高。比較結(jié)果見圖3。

圖3 評(píng)價(jià)模型有效性比較

可以發(fā)現(xiàn)，評(píng)價(jià)結(jié)果與專家評(píng)審偏差系數(shù)呈明顯負(fù)相關(guān)。得分越高，排名越靠前的評(píng)審專家在項(xiàng)目評(píng)審中的偏差系數(shù)越低，即評(píng)價(jià)結(jié)果較好的專家越能遴選出高質(zhì)量的中國(guó)空間站空間科學(xué)項(xiàng)目，并剔除科學(xué)或應(yīng)用價(jià)值不足的項(xiàng)目，進(jìn)而保證項(xiàng)目評(píng)審質(zhì)量，提高空間站應(yīng)用效益。同時(shí)，|λ1|>|λ4|>|λ2|>|λ3|，即與其他評(píng)價(jià)方法相比，VW-TOPSIS-LDA 模型的評(píng)價(jià)有效性最強(qiáng)，評(píng)價(jià)結(jié)果更符合實(shí)際評(píng)審情況，更有利于為專家管理提供參考，提升評(píng)審的客觀性、準(zhǔn)確性、專業(yè)性。

3.3 障礙分析

識(shí)別項(xiàng)目評(píng)審專家的主要障礙因素，對(duì)實(shí)現(xiàn)專家優(yōu)化管理，推動(dòng)專家培訓(xùn)工作具有重要指導(dǎo)意義。本研究利用障礙度模型[21]對(duì)專家的指標(biāo)得分進(jìn)行細(xì)化分析，基于因子貢獻(xiàn)度、指標(biāo)偏離度等計(jì)算指標(biāo)障礙值，明確項(xiàng)目評(píng)審專家的主要障礙因素。10 位中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家的障礙因素診斷結(jié)果如表6所示。

表6 中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家各指標(biāo)障礙值分析

可以發(fā)現(xiàn)，科研團(tuán)隊(duì)、學(xué)術(shù)道德、評(píng)審信譽(yù)、評(píng)審態(tài)度所涵蓋的相應(yīng)指標(biāo)均不屬于影響專家提升的主要障礙因素，表明各專家在以上指標(biāo)方面處在較高水平。對(duì)于綜合評(píng)價(jià)結(jié)果排名靠前的中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家而言，障礙因素?cái)?shù)量相對(duì)較少，且障礙因素集中在學(xué)術(shù)成果相關(guān)指標(biāo)，符合專家工作側(cè)重點(diǎn)轉(zhuǎn)移的情況；對(duì)于綜合評(píng)價(jià)結(jié)果靠后的評(píng)審專家而言，阻礙其綜合能力提升的因素?cái)?shù)量則相對(duì)較多，障礙因素相對(duì)分散，包括工作資歷、項(xiàng)目承擔(dān)、評(píng)審質(zhì)量中的多個(gè)相關(guān)指標(biāo)。根據(jù)障礙度診斷結(jié)果，可以有效識(shí)別中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家的優(yōu)化提升路徑，從而開展定向的專家培訓(xùn)，提升評(píng)審專家綜合資質(zhì)，進(jìn)一步提高項(xiàng)目評(píng)審質(zhì)量與空間站應(yīng)用效益。

4 研究結(jié)論與建議

為發(fā)展科技事業(yè)，建設(shè)科技強(qiáng)國(guó)，不僅要實(shí)現(xiàn)技術(shù)創(chuàng)新，也要推動(dòng)管理體系的更新迭代。在新一輪科技革命與產(chǎn)業(yè)變革的機(jī)遇和挑戰(zhàn)下，需要依托多學(xué)科的科技項(xiàng)目進(jìn)一步提升我國(guó)科技水平，實(shí)現(xiàn)高水平科技自立自強(qiáng)。為了遴選出高質(zhì)量的科技項(xiàng)目，開展基于專業(yè)領(lǐng)域的科技項(xiàng)目評(píng)審專家動(dòng)態(tài)評(píng)價(jià)，對(duì)于優(yōu)化項(xiàng)目評(píng)審專家管理，保障評(píng)審質(zhì)量，提升項(xiàng)目產(chǎn)出效益具有至關(guān)重要的意義。本研究通過專家調(diào)研法構(gòu)建了多維度、可操作的科技項(xiàng)目評(píng)審專家評(píng)價(jià)指標(biāo)體系，建立了動(dòng)態(tài)綜合評(píng)價(jià)模型，以中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家為例，進(jìn)行了綜合評(píng)價(jià)與分析，驗(yàn)證了評(píng)價(jià)的有效性，主要結(jié)論與建議如下：

（1）本研究深入開展了基于管理需求的專家調(diào)研，從基礎(chǔ)資質(zhì)、專業(yè)水平、評(píng)審水平3方面構(gòu)建了科技項(xiàng)目評(píng)審專家綜合評(píng)價(jià)指標(biāo)體系，滿足了科學(xué)性、全面性、顯著性、可操作性的原則，并識(shí)別出評(píng)審偏差、評(píng)審命中、科研誠(chéng)信、評(píng)審意愿、評(píng)審意見發(fā)表、項(xiàng)目中所處角色是對(duì)科技項(xiàng)目評(píng)審專家影響程度較大的因素，有助于開展基于不同需求的評(píng)審專家綜合評(píng)價(jià)。

（2）針對(duì)項(xiàng)目評(píng)審專家綜合評(píng)價(jià)方法存在的主觀性強(qiáng)，靈敏度低等問題，本研究首次提出了基于VW-TOP‐SIS-LDA 的綜合評(píng)價(jià)模型，既能通過變權(quán)實(shí)現(xiàn)動(dòng)態(tài)評(píng)價(jià)，又衡量了領(lǐng)域?qū)I(yè)度對(duì)項(xiàng)目評(píng)審專家的影響，能夠有效應(yīng)對(duì)不同時(shí)期、不同領(lǐng)域的項(xiàng)目評(píng)審需求，有助于提升項(xiàng)目評(píng)審的客觀性、準(zhǔn)確性、專業(yè)性。

（3）在實(shí)際應(yīng)用方面，本研究面向中國(guó)空間站空間科學(xué)項(xiàng)目評(píng)審專家實(shí)現(xiàn)了動(dòng)態(tài)綜合評(píng)價(jià)，驗(yàn)證了評(píng)價(jià)有效性?；谠u(píng)價(jià)結(jié)果，通過聚類分析明確了項(xiàng)目評(píng)審專家等級(jí)分布，并首次利用障礙度分析對(duì)項(xiàng)目評(píng)審專家主要障礙因素及提升路徑進(jìn)行了識(shí)別，為專家管理提供了數(shù)據(jù)支撐。

在中國(guó)科技自立自強(qiáng)作為國(guó)家發(fā)展戰(zhàn)略支撐的背景下，本研究為科技項(xiàng)目評(píng)審專家優(yōu)化管理提供了依據(jù)。在完善科技評(píng)價(jià)體系的過程中，首先要根據(jù)科技項(xiàng)目評(píng)審需求，從多層次、多角度完善科技項(xiàng)目評(píng)審專家評(píng)價(jià)指標(biāo)體系，提高評(píng)價(jià)的完整性與準(zhǔn)確性。同時(shí)，要根據(jù)科技項(xiàng)目領(lǐng)域與評(píng)審時(shí)期，跟蹤評(píng)審專家的因素變化情況，充分利用評(píng)審數(shù)據(jù)，提高評(píng)價(jià)的有效性與客觀性，進(jìn)一步提升科技項(xiàng)目評(píng)審質(zhì)量。此外，要明晰評(píng)審專家整體資質(zhì)，分析影響專家提升的主要因素，開展專家培訓(xùn)，利用正負(fù)反饋結(jié)合的方法，優(yōu)化專家結(jié)構(gòu)，賦能科技發(fā)展?？傮w而言，要不斷優(yōu)化科技項(xiàng)目評(píng)審專家評(píng)價(jià)體系，保障科技項(xiàng)目評(píng)審質(zhì)量，提升科技項(xiàng)目產(chǎn)出效益，形成良性的科技生態(tài)，以推動(dòng)我國(guó)科技事業(yè)進(jìn)一步發(fā)展，強(qiáng)化國(guó)家科技力量，逐步邁向科技強(qiáng)國(guó)。