科技項目評審監(jiān)測及行為智能分析研究與應用

金山 邵之一 陳曉珊 裘誠

摘? 要： 評審專家作為評審環(huán)節(jié)的關鍵核心要素，很大程度上影響著評審結果的可行性和可信度，其評審水平直接影響著項目決策的科學性。文章研究了專家評審的監(jiān)測及行為智能分析技術。以科技項目評審為重心，以系統(tǒng)監(jiān)控及網絡監(jiān)視技術、大數據分析挖掘技術以及層次分析法等技術為基礎，對專家的評審行為進行全程監(jiān)測，對采集的監(jiān)測數據進行實時智能分析，針對專家不規(guī)范操作進行智能提醒。

關鍵詞： 評審專家; 系統(tǒng)監(jiān)測; 智能分析; 項目決策

中圖分類號：TP315? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2021）05-13-03

Research on the monitoring and behavior intelligent analysis of

the science and technology project reviewing

Jin Shan， Shao Zhiyi， Chen Xiaoshan， Qiu Cheng

（Zhejiang Topcheer Information Technology Co.，Ltd.， Hangzhou， Zhejiang 310006， China）

Abstract： Review experts as the key core elements of the review process， greatly affect the feasibility and credibility of the review results， their ability of reviewing directly affects the scientificity of project decision. This paper studies the technologies for monitoring and behavior intelligence analyzing of expert review. Focusing on the science and technology project reviewing， based on the technologies of system monitoring and network monitoring， big data analysis and mining， and analytic hierarchy process， and the other technologies， fully monitor the review behavior of experts， conduct real-time intelligent analysis of the collected monitoring data， and intelligently remind the experts of their non-standard operation.

Key words： review expert; system monitoring; intelligent analysis; project decision

0 引言

隨著科學技術的持續(xù)發(fā)展和社會的不斷進步，各類科學技術研究項目的申報數量也越來越多。科技項目評審是科技計劃管理的重要環(huán)節(jié)之一，是推動科技事業(yè)持續(xù)健康發(fā)展，促進科技資源優(yōu)化配置，提高科技管理水平的重要手段[1]。如何利用信息化手段來避免部分專家在評審過程中的隨意性、盲目性，發(fā)揮專家的專業(yè)性是很關鍵的。科技申報項目既要考慮其管理效率又要保證公平評審是目前科技管理部門遇到的管理難點。

本文提出一種在科技項目評審過程中的監(jiān)測及行為智能分析的方法，其通過對專家的評審行為進行全程監(jiān)測，全面分析專家評審行為，建立評審專家行為畫像技術指標體系和評估模型，對評審專家進行反評估，之后將指標體系和評估模型應用于系統(tǒng)中，規(guī)范專家評審行為、發(fā)揮專家專業(yè)性，保證科技項目評審過程的客觀、公平、公正、公開，為決策者提供更科學、精準的評審結果及決策依據。

1 Zabbix介紹

Zabbix是一個基于Web界面的提供分布式系統(tǒng)監(jiān)視以及網絡監(jiān)視功能的企業(yè)級的開源解決方案。Zabbix能監(jiān)視各種網絡參數，保證服務器系統(tǒng)的安全運營;并提供靈活的通知機制以讓系統(tǒng)管理員快速定位/解決存在的各種問題。Zabbix由兩部分構成，zabbix server與可選組件zabbix agent。Zabbix server可以通過SNMP，zabbix agent，ping，端口監(jiān)視等方法提供對遠程服務器/網絡狀態(tài)的監(jiān)視以及數據收集等功能，它可以運行在Linux，Solaris，HP-UX，AIX，Free BSD，Open BSD，OS X等平臺上。

本文所實現指標體系及評估模型通過Zabbix在項目里對專家評審時的操作動作進行記錄和監(jiān)測。

2 RapidMiner介紹

RapidMiner是世界領先的數據挖掘解決方案，具有豐富數據挖掘分析和算法功能，常用于解決各種的商業(yè)關鍵問題，如營銷響應率、客戶細分、客戶忠誠度及終身價值、資產維護、資源規(guī)劃、預測性維修、質量管理、社交媒體監(jiān)測和情感分析等典型商業(yè)案例。

擁有以下產品特點。

⑴ 拖拽建模，自帶1500多個函數，無需編程，同時支持各常見語言代碼編寫。

⑵ 數據提取、轉換和加載（ETL）功能。

⑶ 生成和導出數據、報告和可視化。

⑷ 為技術性和非技術性用戶設計的交互式界面。

⑸ 通過WebServices應用將分析流程整合到現有工作流程中。

本文利用RapidMiner大數據分析挖掘算法關鍵技術，結合科技評審管理方法，通過評審項目全過程的需求分析，提煉并整合出適合系統(tǒng)的算法模型。

3 層次分析法

層次分析法（The analytic hierarchy process）簡稱AHP，在20世紀70年代中期由美國運籌學家托馬斯·塞蒂（T.L.saaty）正式提出。它是一種分析多目標、多準則量化、將人腦分析方案的過程數學化、定性與定量相結合的系統(tǒng)分析方法。其原理是把復雜的問題分解為n個組成元素，將這些因素按支配關系分組，以形成有序的階梯層次結構。最簡單的是頂中低三層，頂層通常是決策的目標和目的，是唯一的。底層是可供選擇的不同方案，中層是分析評價影響方案好壞的因素[2]，然后通過兩兩比較的方法確定各因素的相對重要性。

AHP法的基本思路是：首先找出目標問題涉及的主要因素，將這些按其關聯、隸屬關系構成遞階層次模型[3]，然后在每一層次按照某一規(guī)定準則，對該層要素進行逐對相對重要性比較建立判斷矩陣，通過計算來判斷矩陣的最大特征值和對應的正交化特征向量，得出該層要素對于該準則的權重;最后在這個基礎上計算出各層次要素對總體目標的組合權重，從而得出不同設計方案的權值，為選擇最優(yōu)方案提供依據。

本文基于層次分析法構建了專家評審行為評估模型，為專家?guī)旃芾韺崿F公開透明、績效導向、動態(tài)調整提供科學有效的管理工具。

4 技術先進性

4.1 隨機雙盲專家遴選系統(tǒng)

評審系統(tǒng)采用全程無人值守的方式運作，只需要提前設定好需要的專家數和要求，系統(tǒng)就會自動對統(tǒng)一批次的項目進行自動分組，自動匹配專家（專業(yè)、項目經歷）、隨機抽取（自動規(guī)避項目相關的專家及單位）、自動確認并開啟項目評審，自動分發(fā)賬號，自動增補替代未及時到位的專家和臨時自主規(guī)避的專家，已應用于項目評審過程中。

4.2 智能推薦

對申報項目、評審專家進行大數據分析，比較項目的相似度，按照相似度排序，提醒項目審核人員進行決策判斷。在評審專家智能推薦環(huán)節(jié)，根據專家參加評審項目類型的相似度進行智能匹配推薦。

5 功能介紹

系統(tǒng)根據國家互聯互通標準建立專家?guī)旒軜嫞楦黝愋晚椖吭O立不同類別的子庫來適應各類計劃項目的評審工作;通過系統(tǒng)構建的專家與技術領域、專家與企業(yè)等關系模型，提高專家抽取的精準匹配度，降低專家廉政風險。

5.1 專家評審配置和抽取

當抽取專家參與評審時，可設定對應的抽取條件，管理員只需要設定評審相關參數即可自動對統(tǒng)一批次的項目進行自動分組。

系統(tǒng)會根據預設的模式自動通知合適的專家，確認專家是否能來參加，在專家到齊后自動開啟評審并發(fā)放賬號，在專家數不夠時自動增補專家，并在專家主動回避時自動替換專家。抽取過程中，全程自動處理，避免人工干預。

在選擇專家評審模式后，可配置短信模板，可針對不同情況配置短信模板。當評審結果為平票時，本系統(tǒng)還支持多輪評審，直至票選出最優(yōu)項目。

5.2 后臺監(jiān)控進度

采用系統(tǒng)監(jiān)控及網絡監(jiān)視技術，管理員可以通過后臺監(jiān)控模塊對專家評審結果進行實時的監(jiān)控分析，包括現場評審監(jiān)控，監(jiān)管專家實際登錄及評審進度等情況，如圖1所示。該界面顯示所有在評項目，支持對單個項目的狀態(tài)監(jiān)控，在屏蔽掉專家基礎信息后僅顯示評審的進度，保護了在評專家的隱私信息。

5.3 導出專家評審結果

在專家完成評審后，可將評審結果導出并發(fā)送至上級單位進行驗證，在發(fā)送結果的同時，可將該信息通過短信通知上級單位。

5.4 專家信用評價

專家在項目管理過程中缺乏專家進行評價的重要依據，在評審過程中對專家的評審行為進行全程監(jiān)測，依據專家在評審時的評審意見、評審時長、評審分數等，對專家評審行為做出統(tǒng)計，進而進行信用評價，統(tǒng)計圖表如圖2所示。系統(tǒng)錄入專家響應的評價等級、失信行為程度、具體失信行為、信用記錄原因等因素，采用層次分析法的方式構建專家評審行為評估模型，對評審專家行為特征進行智能分析，針對專家不規(guī)范操作進行智能提醒，限制信用等級低的專家的評審資格。

6 結束語

專家評審是科技項目管理工作的重要組成部分，科學合理的評審，有利于科技資源的優(yōu)化配置，提升科技工作者的積極性，提高科技管理水平。因此，需要加強專家評審過程中的過程監(jiān)測。本文結合系統(tǒng)監(jiān)控及網絡監(jiān)視技術、大數據分析挖掘技術以及層次分析法等技術，對評審專家評審過程進行監(jiān)測，對行為特征進行智能分析，對評審專家進行反評估，針對專家不規(guī)范操作進行智能提醒，為專家評審行為和評審專家?guī)斓囊?guī)范和優(yōu)化提供參考依據，進而提高科技項目評審質量。基于上述研究成果實現了科技項目評審監(jiān)測及行為智能分析系統(tǒng)，項目成功推廣應用到多個省市自治區(qū)科技項目管理系統(tǒng)中，成效結果表明，專家推薦結果是比較合理和準確的，驗證了本文提出的專家評審行為評估模型是可行的和有效的。

參考文獻（References）：

[1] 郭曉巖，邵武杰.科技評價是提高科技管理水平的重要手段[J].中國科技成果，2006.8：26-27，36

[2] 王麗玫.層次分析法在系統(tǒng)評價方法中的應用[J].煤，2001.1.

[3] 吳殿廷，李東方.層次分析法的不足及其改進的途徑[J].北京師范大學學報：自然科學版，2004.40（2）：264-268