基于移動網數據的區域化學術會議評價指數體系研究與應用

李娜 孟繁瑞 韓璐

摘? 要：區域化學術會議活動在當地科研體系建設、人才交流、經濟發展和學科拓展中起著重要的作用。舉辦高質量、高水平的學術會議活動需要合理、科學、規范的會議評價機制作為保障。文章提出了一種基于移動網數據的區域化學術會議評價指數體系，通過對多場學術會議的用戶數據研究，建立8個評價會議維度并結合數據分析方法，制定科學化評價標準，客觀、準確評價和分析會議，為當地政府及主辦部門提供會議評價依據和決策性支持。

關鍵詞：區域化學術會議;會議質量;會議評價;評價指數

中圖分類號：TP391;C27 ? ? ? ?文獻標識碼：A文章編號：2096-4706（2022）04-0016-05

Research and Application of Evaluation Index System of Regional Academic Conference Based on Mobile Network Data

LI Na， MENG Fanrui， HAN Lu

（Shandong Branch of National Computer Network Emergency Response Technical Team/Coordination Center of China， Jinan? 250002， China）

Abstract： Regional academic conference activities play an important role in the construction of local scientific research system， talent exchange， economic development and discipline expansion. Holding high-quality and high-level academic conference activities needs a reasonable， scientific and standardized conference evaluation mechanism as a guarantee. This paper proposes an evaluation index system of regional academic conferences based on mobile network data. Through the research on the user data of multiple academic conferences， eight evaluation conference dimensions are established， and combined with the data analysis method， scientific evaluation standards are formulated to objectively and accurately evaluate and analyze the conferences. It provides the evaluation basis and decision-making support for the local government and the host department.

Keywords： regional academic conference; conference quality; conference evaluation; evaluation index

0? 引? 言

為促進科學發展、學術交流、課題研究，學術會議成為必不可少的互動交流、學習研討的平臺，它具有權威性、高知識性、高互動性的特點，匯聚吸引各方科研工作者、學者、教師等專業研究人員，一同研討相關領域內高關注度的前沿發展趨勢及專業學術成果，利于學術交流合作，促進領域科研進步[1]。在區域發展規劃中，為發揮人才吸引和聚集作用，優化人才發展，地區科研體系建設尤為關鍵，學術性會議召開必不可少，當前，會議質量參差不齊，會議評價主觀性強，統計指標單一且領域狹窄，會議統計數據的真實性、科學性亟待解決，由此，主辦部門在確定會議議題和制定會議組織方案上，沒有專業的參考依據，難以科學評價區域化學術性會議的效果及影響力，可能會盲目組織會議，浪費有效資源，錯過發展時機。客觀、準確、公正評價和分析會議，制定科學化標準的會議評價體系尤為重要，為此，本文提出一種基于移動網的多源數據結合數據分析的區域化學術會議評價指數體系。

1? 國內外學術會議質量評價方法現狀

在國外，會議評價方法在評價工具上，多采用文獻計量分析、問卷調查、綜合評價等方法[2，3]，將參會者滿意度或重復參會意愿、論文文獻計量表現、參會人員對會議內容感知度和認可度進行綜合評價，過多地注重會議直接產出，缺少過程與結果關聯分析，存在較強局限性，缺乏深層次、整體性的有效分析，僅適用于特定學科、特定類型或特定規模的學術會議。

在國內，針對會議評價方法并不多，多數為主觀因素綜合評價，研究領域單一。利用研究會議組織、會議作者、會議論文、會議出版物、會議網絡影響、會議讀者影響構建評價指標[4]，采用綜合評價法，在多元指標層面對會議學術影響力進行研究;通過選取較為成熟的主客觀質量指標[5]，結合會議特點和參會者質量偏好，將過程和結果指標相關聯，對會議開展分類評級研究;通過會議及發表論文信息，選取評價會議及論文的相關指標與會議等級做相關性分析[6]，綜合多方面展現會議排名情況;通過采取廣泛查找資料和問卷調查方式[7]，構建14個影響因素構成的指標體系，形成計算機領域內國際會議綜合影響力排名系統。上述文獻對本文學術會議評價指標提供了豐富的資料，結合移動網數據分析結果，設計不同維度評價指標，客觀、準確、公正的評價區域化學術性會議。931C75FE-E100-404C-9440-6CF2565DE3AF

2? 基于移動網數據的區域化學術會議質量評價指數框架

2.1? 評價對象和基礎數據分析

評價對象是指區域化學術會議，指在特定區域內舉辦的學術型會議，區域限定于某省、市、區及某片研究范圍內舉辦的學術會議，旨在分析該區域內會議質量和影響力，為后辦會提供指引和建議。學術性會議，指以促進經濟發展、學術交流、課題研究等學術性話題為議題的會議，可分為邀請參會或報名參會等模式。

利用移動網數據分析參加會議用戶行為，該數據包含大數據5V特征，即規模性（Volume）、多樣性（Variety）、高速性（Velocity）、價值性（Value）和真實性（Veracity），數據量大、獲取統一、成本低，其時空全覆蓋的特點相比較傳統意義的會議特征、會議流程、與會者反響等評價指標更為嚴謹科學和全面準確。在特定時空區域內，刻畫參會用戶人群行為、參會企業畫像、會議組織數據，為學術會議評價指標體系提供了充足的數據支撐。

2.2? 評價指標體系及維度分析

評價指標體系，利用數據挖掘技術對移動網數據進行不同規則的篩選并建模分析，結合第三方應用統計數據，從參會人群、參會企業、會議組織和開展情況等多個角度，綜合對會議進行評價，確定了人力資本指數、會務經濟指數、企業指數、網絡影響力指數、到會質量指數、商務發展促進指數、議題相關性指數、參會人群真實度指數共八個維度指數。

2.2.1? 會議指數定義

（1）人力資本指數：通過分析參會人群畫像中的基礎屬性、社會屬性、經濟屬性綜合反映人力資本情況。

（2）會務經濟指數：通過分析會議對城市旅游、住宿、交通等的促進作用，反映會務經濟指數。

（3）參會企業指數：對參會人群所屬企業信息、企業影響力、企業關鍵性標簽等多維度分析，反映會議相關企業指數。

（4）網絡影響力指數：統計公開網絡中對會議的相關媒體報道情況。

（5）到會質量指數：統計實際到會人員和企業占比情況。

（6）商務發展促進指數：對比會議前后人群的商務熱度。

（7）議題相關性指數：分析會議議題與參會人群之間的相關性。

（8）參會人群真實度指數：剔除偽參會人員，反映實際參會人群的真實度。

2.2.2? 評價指數體系構建

根據移動網數據詳細字段，評價指標細分為八個維度指數，不同維度進一步細化為數據指標，每個維度指數細分如圖1所示。

2.3? 數據規則定義及評價分析

參會用戶分析是基于移動網數據選取指定時域和空域分析，其中涉及時間和空間定義如下：

（1）學術會議期間：定義為會議召開日前三天至會議結束日后三天。

（2）旅游人群：會議期間，分析人群軌跡，在單個旅游景點范圍停留20分鐘。

（3）留宿人群：會議期間，外地參會人群在晚上21時至次日7時在濟南停留4小時以上。

定義數據規則后，通過對參會人群真實數據統計，得到各項數據指標并反映到數據指標，通過統計分析反映8個維度指數，構建學術會議指數體系，全方位分析區域化學術會議質量。

2.4? 數據分析方法

2.4.1? 層次分析法

層次分析法用于解決定性決策多準則問題決策方法。把目標分解，按層次結構排序，將每項劃分適當詳細程度，確定層次結構，在成對矩陣結構比較中判斷每個標準的重要性。運用層次分析模型對會議綜合評價，在多位專家意見基礎上確定成對比較矩陣，滿足綜合評價的實際需求，通過對會議8個維度的考察，提出排序結果，客觀地反映出學術會議全方位面貌，具有可比性和統一性，為區域化會議評價指數體系提供了科學有效的量化方法。

2.4.2? 模糊綜合評價法

模糊綜合評價法，將定性評價轉化為定量評價，對涵蓋非確定性因素事件做總體評價，結果清晰，系統性強，既能反映主觀定性、又能發揮客觀定量的方法，用于事項評估、績效和效益考核等領域。使用模糊綜合評價法，將評估中對軟性因素（如企業類型、行業分類）的模糊評價通過函數關系量化，構建評價矩陣，采用合成因子合成，對結果向量進行解釋，有效解決了評價中的模糊性問題。

2.4.3? 專家評分法

專家評分法，綜合多數專家經驗與判斷，直觀簡便地對難以定量分析的因素做出合理估算，多采用加權評價打分。學術會議評價指標中，專家背靠背匿名對會議維度打分，對影響會議的維度進行全方位的評比。

3? 區域化學術會議質量評價實踐

3.1? 樣本選取和數據來源

統計數據為移動網數據及部分軟件合法開源數據，某市人力資本產業研究院調研數據，及各會議組織方提供進行統計;數據周期為會議前后各一個月的數據。會議名稱及信息如表1所示。

3.2? 數據統計分析

3.2.1? 會議維度分析

此處分析中大咖分享會簡稱A會，HC·HR大會簡稱B會，高級研修班簡稱C會，對八個維度指數及細分的數據指標進行分析。

3.2.1.1? 人力資本指數

人力資本指數各項指標占比情況如表2所示。

（1）所屬城市占比：學術型會議來自二線城市的參會人群，本地參會人群占比達75%以上，主要原因是具有區域化的會議議題，本地企業參會意愿較高。

（2）公司職位占比：學術型會議參會人群的公司職位占比中，中高級管理層總占比達90%

以上，會議議題方向決定了職位占比的差異。

（3）月均乘坐火車、飛機次數占比：對參會人群會議前兩個月的乘坐火車或飛機出行情況進行統計，參會人群月均乘坐交通工具次數的占比情況基本一致，近75%的參會人員沒有乘坐火車出行，近90%的參會人員沒有乘坐飛機出行，參會人群的長途出行不是很頻繁。931C75FE-E100-404C-9440-6CF2565DE3AF

3.2.1.2? 會務經濟指數

會務經濟指數各項指標占比情況如表3所示。

（1）人群旅游情況：參會人群是否到城市景區旅游，與多個因素有關，比如會議持續舉辦時間、會議規模大小、會議日程安排、季節、天氣等都會對參會人群的旅游意愿產生影響。進一步統計和分析旅游人群實際旅游的景點個數，由于A會旅游人群較少，所以數據偏離較大，而另外兩場會議的旅游人群實際旅游景點個數分布比較平均，其中旅游景點個數為4個及4個以上的占比達40.17%、38.81%和22.04%，旅游人群對該地的旅游景點熱情比較高。

（2）會議期間消費情況占比：會議期間參會人群消費情況，學術型的三場會議基本接近。

3.2.1.3? 參會企業指數

（1）企業行業分類占比：C會和A會兩場會議中，租賃和商務服務業，信息傳輸、軟件和信息技術服務業，占比都達到50%以上。B會，高校、政府及事業單位、銀行及金融業占比較高。

（2）企業類型占比：A會和C會兩場會議中，有限責任公司類型占比都達到80%以上。

（3）企業成立時間占比：C會企業成立時間在1-5年之間的占比最高達43.44%，“年輕”參會企業較多。A會企業成立時間在5-10年和10-15占比例總和50%以上，受到成熟企業的關注度高。

（4）企業所屬城市占比：A會和C會來自二線城市的參會企業與參會人群占比基本一致，達80%以上。B會來自一線城市的企業較多。

（5）注冊資本占比：注冊資本達千萬級的企業占比最高，C會為36.04%，A會為55.77%，B會為47.10%。

（6）第三方平臺企業影響力評分分析及標簽分析：采集天眼查（第三方企業信息平臺）對企業的綜合評分（分值在60以上）均在70%以上，采集啟信寶（第三方企業信息平臺）對企業添加的關鍵性標簽，A會企業高新企業48家，新三板企業17家，上市公司2家，A級納稅人企業5家，企業綜合實力較高。

3.2.1.4? 網絡影響力指數

會議相關資訊條數、報道傳播天數、報道媒體平臺數：A會和C會相關資訊報道偏少，B會相關資訊報道相對正常。

3.2.1.5? 到會質量指數

實際到會人員占比、實際到會企業占比：三場會議該比例均達到90%以上。

3.2.1.6? 商務發展促進指數

（1）會議前后商務聯系熱度人數、次數環比：C會會議結束后一個月與會前一個月數據相比，商務聯系人數環比下降的占比24%，環比上升的占76%;商務聯系次數環比下降的占11.43%，上升的占88.57%，C會議對促進參會人群的商務聯系有積極作用。A會結束后一個月與會前一個月數據相比，商務聯系人數環比下降的占比41.82%，環比上升的占58.18%;商務聯系次數環比下降的占49.77%，上升的占50.23%，A會議對促進參會人群的商務聯系的作用不明顯。

（2）新建立的商務聯系數占比：三場會議有利于促進參會人群建立商務聯系。

3.2.1.7? 議題相關性指數

（1）參會人群所屬行業占比、參會人群公司職位占比：參會人群的公司職位占比中，中高級管理層總占比達90%以上，會議議題比較吸引企業中高級管理層的關注，所以相關性比較高。

（2）商務聯系情況占比：三個會議前后各一個月的參會人群間的商務聯系熱度較高，會議議題相關性較高。

3.2.1.8? 參會人群真實度指數

參會人群真實度占比：由于采用邀約制，參會人群真實度為100%。

3.2.2? 總體分析

通過全方位評價指數體系，分析三場會議整體情況，綜合情況如圖2所示，會議具有以下特點：

（1）高級研修班：網絡影響力指數較差，相關新聞資訊很少;人力資本指數一般，原因是參會企業多為本地企業，參會人群中層管理層占比較多。

（2）大咖分享會：網絡影響力指數方面較差，相關新聞資訊很少;會務經濟指數不高，原因是會議持續時間為1天，參會企業多為本地企業，旅游人群少;商務發展促進指數不高，數據顯示會議前后商務聯系熱度無明顯提升;企業指數和議題相關性指數高，議題受企業關注，參會企業質量高。

（3）HC·HR大會：會務經濟指數不高，會議持續時間為1天，外地人群留宿占比不高;企業指數、議題相關性指數和到會質量指數很高，議題受企業的關注，參會企業質量高。

3.2.3? 數據分析結果

對上述統計結果結合層次分析法、模糊綜合評分法及專家打分法進行分析。將會議評價指數分層，最高層表示會議評價指數，中間層為會議評價指數各個維度，最低層為各維度具體的數據指標。以人力資本指數為例，數據指標可分為一線城市、新一線城市;公司職位為高層管理、中層管理等。

3.2.3.1? 構造判斷矩陣

把數據指標兩兩比較，采用相對尺度，將兩個數據指標相對某層因素量化。形成成對比較矩陣，通過相對標度量化比較。矩陣具有比較測度的各種屬性，也充分利用專家經驗，可使無結構問題向結構化和有序化轉化并簡單排序。

3.2.3.2? 計算得出權重

將矩陣行列向量歸一化處理并更新矩陣，計算各屬性維度的權重，專家打分法矩陣得到人群旅游情況、人群住宿情況、會議期間消費情況權重分別為0.154 9、0.068 5、0.776 6。

3.2.3.3? 一致性檢驗

檢驗矩陣符合大小傳遞的原則，通過專家打分法矩陣得到會議經濟指數矩陣通過一致性檢驗。其中會議指數總得分（=∑每一項權重×每一項得分），高級研修班、大咖分享會、HC·HR大會分別為0.124 944、0.082 375、0.078 288。其他指數分數可視化為圖2。931C75FE-E100-404C-9440-6CF2565DE3AF

結合8項學術會議評價指數總體得分和移動網數據統計信息，清晰從時間、模式、位置、內容等方面展現會議特點與影響。

4? 結? 論

會議統計數據的真實性、科學性一直是亟待解決的問題，客觀、準確評價和分析區域化學術會議，制定科學化標準化的會議評價指數體系，在一定區域和行業范圍內有理論研究和實踐應用意義，傳統的學術會議評價方法多采用主觀評價、經驗積累來判斷會議優劣，要素簡單且領域狹窄，針對此問題，本文通過移動網數據真實數據特征提取并分析，建立8個評價會議維度并結合數據分析方法，通過對區域化學術會議橫縱向對比分析會議質量，為主管部門確定同類別會議議題和組織方案提供數據參考;在理論研究方面，區別多數學術會議績效評價管理研究，該指數體系全面客觀分析會議，提供充足數據基礎，結合理論增加應用的可行性，有利于合理配置會議資源，提升會議水平和實現會議成效。

參考文獻：

[1] 馮長根.重視學術交流作用 提高學術交流質量 [J].學會，2003（4）：6-8.

[2] MAIR J，THOMPSON K. The UK association conference attendance decision-making process [J]. Tourism management，2009，30（3）：400-409.

[3] MAIR J，LOCKSTONE-BINNEY L ，WHITELAW P A . The motives and barriers of association conference attendance：Evidence from an Australasian tourism and hospitality academic conference [J]. Journal of Hospitality & Tourism Management，2018，34：58-65.

[4] 周金娉，閆敏，沐光雨.會議錄學術影響力評價指標體系構建研究 [J].圖書館學研究，2018（22）：97-101+96.

[5] 唐家蕙，李曉軒，鄭毅，等.學術會議質量綜合評價研究及實踐 [J].科技導報，2021，39（17）：106-114.

[6] 張洋，葉月.基于多指標的學術會議動態評價研究 [J].數字圖書館論壇，2018（7）：37-44.

[7] 高敏，石進，于笑豐.計算機學科國際會議綜合排名的影響因素研究 [J].晉圖學刊，2018（2）：5-10.

作者簡介：李娜（1994.03—），女，漢族，山東淄博人，工程師，碩士研究生，研究方向：數據分析、數據安全;通訊作者：孟繁瑞（1984.08—），男，漢族，山東濟南人，高級工程師，碩士研究生，研究方向：數據分析、人工智能;韓璐（1990.06—），女，漢族，山東青島人，助理工程師，碩士研究生，研究方向：網絡安全監測。931C75FE-E100-404C-9440-6CF2565DE3AF