數據可視分析挑戰賽三年回顧

趙穎，張卓，袁曉如

?

數據可視分析挑戰賽三年回顧

趙穎1，張卓2，袁曉如3

（1. 中南大學信息科學與工程學院，湖南 長沙 410075；2. 360企業安全集團，北京 100016；3. 北京大學機器感知與智能教育部重點實驗室，北京 100871）

數據可視分析挑戰賽作為我國可視化與可視分析領域的一項重要賽事，經過2015~2017三年發展，已成為推動領域競技交流、人才培養和實踐創新的重要力量。首先闡述了數據可視分析挑戰賽產生的背景和意義，然后從組織形式、比賽內容和信息統計等方面對挑戰賽進行了全面的回顧和分析，最后對挑戰賽的未來發展進行了展望。

可視化；可視分析；學科競賽；數據可視分析挑戰賽

1 引言

競賽是各學科領域完善其教育和科研體系的重要組成部分。對教學科研來說，競賽具有示范和導向效應，可以豐富教學方式和引領科研方向；對人才培養來說，競賽為參與者提供鍛煉和展示自我、與同行競技交流的平臺；對學科發展來說，競賽推動知識和技術共享，促進實踐與創新融合。以網絡安全和數據挖掘領域為例，網絡安全領域已形成奪旗類、破解類和培養類百花齊放的國際化競賽體系[1,2]，有效地促進了學術界與工業界的協同發展；數據挖掘領域頂級學術會議KDD每年舉辦的KDD Cup[3]被譽為大數據分析“奧運會”，從1997年至今已有二十幾年歷史，見證和推動了數據挖掘領域的發展與繁榮。

近年來，我國在可視化與可視分析領域呈現出較為均衡且加速發展的態勢。各高校和研究院的可視化與可視分析研究取得了令人矚目的進步，尖端研究初具國際影響，基礎教育日益擴大，更多單位開始關注并加入其中。工業界正加速布局相關領域的技術研發與行業應用，阿里和百度分別推出了組件式可視化基礎開發庫DataV[4]和ECharts[5]，360企業安全[6]和海云數據[7]等企業也紛紛推出了面向行業的大數據可視分析解決方案。與此同時，可視化技術也逐步被廣大民眾熟悉與接受，2016年“可視化推動大數據平民化”位居中國計算機學會大數據專家委員會評選的大數據發展十大趨勢之首[8]。

在此背景下，我國各界有志之士積極借鑒國際賽事的經驗，在國內逐步發起各類可視化與可視分析競賽，以進一步推動領域人才培養和實踐創新。效仿國際著名數據分析競賽平臺Kaggle[9]，阿里云在國內創辦了天池大數據競賽平臺[10]，并于2016和2017年分別推出了2個數據可視化競賽項目“公益云圖數據創新大賽”和“廣東政務數據創新大賽”，2項賽事連續成功舉辦，使其成為國內工業界可視化大賽的標桿。借鑒國際頂級會議IEEE VIS Conference[11]每年舉辦國際可視分析挑戰賽VAST Challenge[12,13]的成功經驗，國內規模最大的全國性年度可視化與可視分析技術及產業應用大會ChinaVis[14]，于2015年首次設置數據可視分析挑戰賽（ChinaVis Data Challenge）[15]，三年來，挑戰賽飛速發展，已成為學術界主導的國內可視化頂尖賽事。

本文對數據分析挑戰賽三年發展過程進行回顧與總結。首先介紹挑戰賽的產生背景和組織形式，幫助讀者快速了解挑戰賽；然后對三年挑戰賽的報名情況、評審情況、開發工具使用情況等參賽者普遍關心的問題進行解答，希望能幫助參賽者快速融入比賽節奏；同時還提供了這三年挑戰賽題目與數據信息以及其他相關競賽信息，希望能促進各類競賽互相學習和共同進步，更廣泛、更長遠地推動領域人才培養和實踐創新；最后對挑戰賽未來發展進行展望。

2 挑戰賽起源

數據可視分析挑戰賽依托于每年召開的中國可視化與可視分析大會。該大會前身是由北京大學機器感知與智能教育部重點實驗室主辦的可視化研討會，從2008年到2013年間共舉辦了4次。隨著可視化與可視分析研究與應用在社會各界的影響不斷加深，為促進中國及周邊地區相關領域產、學、研、用協同發展，由我國可視化業界工作者聯合發起了中國可視化與可視分析大會，分別于北京（2014年）、天津（2015年）、長沙（2016年）和青島（2017年）成功舉辦了4屆，大會每年吸引了國內外數百名可視化研究人員與領域專家匯集一堂，共同探討在大數據與人工智能時代，可視化與可視分析領域面臨的機遇與挑戰。

中國可視化與可視分析大會于2015年首次設立數據可視分析挑戰賽，至今已成功舉辦3屆。作為大會的一個重要環節，挑戰賽提供一系列精彩的劇本、詳實的數據和具體的問題，并邀請研究人員、開發人員和愛好者使用他們最有效的可視分析技術和工具完成數據分析任務。挑戰賽旨在為參賽者提供鍛煉自我和競技交流的平臺，幫助參賽者評估他們的技術和工具在解決復雜問題中的有效性和新穎性，推動可視化與可視分析的專業人才培養，促進相關研究與應用的發展與進步。

3 挑戰賽組織形式

挑戰賽的組織工作每年與ChinaVis籌備同步進行，總體分為題目準備、發布宣傳、公開報名、作品提交、綜合評審、會場交流6個階段。

題目準備階段一般每年年初開始，工作內容包括成立挑戰賽組委會、確定贊助商、討論組織方案、準備比賽題目。360企業安全集團是2015年和2016年挑戰賽的獨家贊助商，2017年挑戰賽由360企業安全和海云數據共同贊助。贊助商不但為挑戰賽提供獎金和獎品，還在題目準備、發布宣傳、綜合評審和會場交流多方面提供技術支持。近三年挑戰賽題目背景和數據都來自真實場景，一般先由贊助商提供樣本數據和總體設想，然后組委會與贊助商技術人員一起確定題目細節，并根據題目設置對數據集進行清洗、脫敏、加工和驗證性分析。

發布宣傳與公開報名階段在每年4到5月進行。挑戰賽組委會首先會在ChinaVis官方網站上發布當年賽題、答卷和數據集，然后通過微博、微信和其他學術交流平臺進行宣傳。參賽者以組隊形式網上報名，全國普通高等學校和科研院所的師生和研究人員、企事業單位的開發人員和設計師、愛好者都可以報名參加挑戰賽。

作品提交時間一般在ChinaVis召開前一個月左右，提交要求與VAST Challenge非常類似，每個參賽隊必須同時提交答卷、視頻和論文。答卷要求參賽隊在完成對數據的綜合分析后，用圖文并茂的方式盡可能全面和準確地回答題目中預設的問題。視頻要求參賽隊通過影音手段解釋其分析方法和流程。論文則是希望參賽隊用不超過兩頁篇幅總結其可視分析方案的亮點。

所有參賽作品同時提交給可視分析專家和領域專家進行通信評審，評審重點關注參賽作品對預設問題解答的準確性以及可視分析方案的有效性，同時還會從新穎性、可擴展性和文檔質量3個方面對作品進行綜合評價。挑戰賽委員根據專家通信評審結果進行討論后，評選出一等獎、二等獎、三等獎和優秀獎作品，并邀請所有獲獎參賽隊來ChinaVis進行現場交流。

挑戰賽在這三年的ChinaVis期間都安排了主會場、分會場和海報3個不同的交流環節。一等獎參賽隊將獲得在大會主會場報告的機會，同時組委會和出題方代表也將在主會場介紹本年度比賽總體情況和題目背后的故事。分會場環節包括特邀報告、部分獲獎作品分享、現場討論和頒獎儀式。海報環節則為所有獲獎參賽隊提供更自由和深入的交流機會。ChinaVis結束后，組委會會擇機公布當年賽題的參考答案和獲獎作品，使其能夠在一定程度上成為業界科研與應用研發的標準測試數據集。

4 挑戰賽三年內容回顧

本節分別介紹2015至2017三年挑戰賽的比賽內容，包括賽題背景、相關數據和分析需求。

4.1 2015年挑戰賽題目介紹

2015年挑戰賽題目[15]以多源異構大數據分析為主題，故事背景發生在一家為企業和政府機構提供定制化網絡服務的互聯網公司。該公司內部網絡平臺上運行著很多業務系統，這些業務系統每天都會產生很大流量，不幸的是，某幾天公司某個內部系統出現了安全問題，導致該公司的部分重要數據泄露。該公司想了解那幾天到底發生了什么事情，因此將那一段時間的多種網絡安全日志數據提供出來，希望參賽者能以網絡安全分析人員的身份，采用可視分析技術對這些數據進行分析，幫助該公司找到答案，并提供網絡安全改進方案。

挑戰賽在上述業務場景下設置了兩道比賽題目。第一題關注公司內網正常運行模式分析，提供了一周約700 MB的Tcpflow日志數據，希望參賽者準確找到公司內部網絡的客戶端和服務器，總結公司內網有哪些正常網絡通信模式。第二題關注安全事件分析，提供了兩周共10 GB的4種網絡安全日志數據（Tcpflow日志、HTTP Header日志、數據庫行為日志、各應用系統登錄日志），希望參賽者能分析出這次安全問題發生的原因、相關網絡資源、演化過程以及造成的危害。

4.2 2016年挑戰賽題目介紹

2016年挑戰賽[16]設置了2個背景完全不同的題目。第一個題目是對2015年挑戰賽題目的延續，該題仍以某互聯網公司的內網安全為背景，提供的仍是Tcpflow網絡流量日志數據。不同的是這次Tcpflow數據的信息更為豐富，記錄了網絡數據流在應用層、網絡層和鏈路層3個層面的信息，時間跨度2個月，數據量230 MB。參賽者被要求分析流量數據中隱含的正常模式和異常事件，并設計新穎的可視化方案，有效展示多層次網絡行為模式。

第二題背景來自網絡安全領域一個非常著名的真實事件。Hacking Team[17]是一家意大利米蘭的信息技術公司，該公司向客戶提供信息系統入侵、文件解密與通信監視服務。2015年7月5日，Hacking Team公司被黑客入侵，入侵者通過公司官方Twitter賬號公布了該公司許多內幕信息并通告該公司的內部數據已經泄露，近400 GB被公開的內部電子郵件、各種相關文件和源代碼引起了業界的一片嘩然。挑戰賽從這批數據中提取了公司內部十多年約400 MB的郵件數據作為比賽數據集，邀請參賽者通過分析郵件數據，解密Hacking Team公司的組織結構，分析該公司的發展歷程及各發展階段的業務特點。

4.3 2017年挑戰賽題目介紹

2017年挑戰賽[18]以時空數據分析為主題，設置了兩道賽題，分別對應2個不同社會熱點問題。第一題的背景是偽基站行為分析。偽基站即假基站，能夠搜集以其為中心、一定半徑內的手機卡信息，利用GSM驗證漏洞偽裝成真基站，冒用銀行、運營商、國家機關或他人號碼，強行向用戶發送詐騙、色情、賭博、廣告等垃圾短信，這不僅干擾公共頻率資源，影響正常通信，而且嚴重侵害了社會秩序。手機衛士軟件可以根據用戶舉報的垃圾短信信息，初步確定當時偽基站的近似位置，但偽基站流動性強，依據近似位置和傳統數據分析方法，仍然很難準確把握偽基站的活動規律。本題提供北京市2個月約753 MB標注為偽基站發送的垃圾短信樣本數據，希望參賽者鑒別不同垃圾短信類型，并分析其相關偽基站時空活動規律，為執法人員打擊整治偽基站出謀劃策。

第二題背景是關于某市黑網吧整治行動。隨著網絡寬帶進入千家萬戶，網吧經營舉步維艱，于是部分經營者不惜采用接納未成年人、通宵營業等違規經營方式吸引顧客。某市正在開展嚴查黑網吧的專項執法行動，但網吧數量龐大，傳統挨個排查方法不僅耗時耗力，還為黑網吧提供了規避查處的準備時間。為了提升全局掌控能力和執法效率，某市公安局將市內3 000多個網吧基本信息及3個月約1.7 GB上網記錄數據提供出來，希望參賽者從數據中識別不同上網人群，探索上網人群的時空行為特征，檢測非法上網行為與團伙上網行為，為甄別黑網吧提供線索，為犯罪預防和維護社會公共安全提供新思路。

5 挑戰賽三年統計分析

本節從報名情況、評審情況和其他情況3個方面對2015至2017年挑戰賽的相關信息進行統計與分析。

5.1 報名情況

挑戰賽要求參賽者以組隊方式報名，圖1顯示了這三年的報名隊伍數量和隊伍類型所占比例。三年來，挑戰賽的影響力迅速擴大，報名隊伍數量保持高速增長，2017年相比2015年增加了三倍多。如果某個參賽隊的成員以學生居多，則將這支參賽隊當作學生隊，否則當作企業工程師或愛好者隊。這三年參賽隊絕大多數都是學生隊，其中專科生占1%，本科生占35%，碩士生占42%，博士生占4%，指導老師占18%。參加形式多樣的學科競賽對青年學生來說有著多方面意義，因此依托學術會議舉辦的數據分析挑戰賽，學生順理成章地成為主力軍。

圖1 挑戰賽報名隊伍數量與隊伍類型三年統計

企業工程師和愛好者隊2015年有1支，2016年有3支，2017年達到了9支，雖然總體占比很少，但仍是挑戰賽的亮點之一。特別是企業工程師隊，他們一般會根據其行業背景非常有針對性地選擇賽題，能給人們帶來更深入的見解，2017年有2支獲獎企業工程師隊的日常工作都與賽題背景有關。企業工程師和愛好者越來越多地參與進來，反映了挑戰賽正在逐步引起工業界更多的關注，有利于促進學術界與工業界間多種形式的互通與交流。

5.2 評審情況

正式提交進入評審階段的作品數量一般要比報名隊伍數少，2016和2017年報名隊伍的提交比例大概在60%左右，2015年提交比例最高，19支報名隊伍中有14支提交作品，這與第一屆比賽只有相對小范圍人群關注有關。在作品提交數量和獲獎率上，本文將挑戰賽與VAST Challenge進行比較分析。圖2和圖3分別顯示了挑戰賽和VAST Challenge這三年的作品提交與獲獎情況。挑戰賽作品提交數量增長很快，而VAST Challenge作品提交數量呈現較大幅度波動，挑戰賽的獲獎率明顯高于VAST Challenge獲獎率。一方面反映出VAST Challenge參賽者具有更高的專業水平，另一方面也因為在創辦初期的挑戰賽希望通過適當提高獲獎比例來吸引更多參賽者。

圖2 挑戰賽作品提交數量與獲獎比例三年統計

圖3 V AST Challenge作品提交數量與獲獎比例三年統計

挑戰賽通信評審采取分項打分形式，每位評審專家要對所評作品從分析質量（解答題目預設問題的準確性）、可視化設計、交互設計、新穎性、可擴展性和文檔質量6個方面做出量化評價，5分制評分，1分為最差，5分為最好，這6個方面的權重占比分別是30%、20%、20%、10%、10%和10%。圖4顯示了三年所有提交作品分項打分統計情況，包括每項的平均分和方差。從平均分方面看，參賽者普遍提交了較為整齊、清晰和可讀性高的作品文檔與視頻，因此文檔質量平均分明顯高于其他評分項；挑戰賽這三年每個賽題都提供了參考答案，評審專家可以較客觀地對分析質量打分，平均分較好的分析質量反映了參賽者都能認真地理解題目需求和努力地分析數據，并較好地解答了題目預設問題；可視映射與交互功能是可視分析系統相輔相成的2個最重要的組成部分，交互設計平均分明顯低于可視化設計，反映了許多參賽者把更多精力投入到了呈現和解釋數據方面，而忽略了交互功能帶來的分析和理解作用；新穎性平均分也相對較低，反映了提出和實現有創新性的可視化與交互設計及新算法，對大部分參賽者難度較大。從方差方面看，交互設計和新穎性2個打分項的方差明顯高于其他4項，結合這2項平均分也相對較低，說明它們是目前評價體系中對作品質量區分度最大的評分項。

圖4 挑戰賽作品評審各評分項的平均分與方差統計

5.3 其他情況

在其他情況分析中，本文重點討論開發工具使用和數據下載情況。本文按年統計了所有提交作品用到的開發工具，表1給出了每年使用次數排名靠前的開發工具。D3（data driven document）[19]連續三年排名榜首實屬意料之中，強大的定制能力和方便的數據驅動模式，使它成為當前可視分析領域復雜系統開發與前沿技術研究的首選工具。同為BI（business intelligence）工具的Excel和Tableau[20]出鏡率都很高，其中，Excel因微軟Office系列工具在國內更為普及，排名一直比Tableau靠前。在數據處理方面，MySQL是數據存儲首選工具，Python則成了算法處理首選。Gephi[21]的使用率高，主要因為這三年賽題都與網絡分析有關。非常值得一提的是開源可視化庫Echarts[5]，它從2015年和2016年的第七名飛躍至2017年的第二名，這是國產可視化工具甚至國產開源軟件的驕傲。

表1 挑戰賽作品使用開發工具統計排名

每年挑戰賽數據被下載次數要遠大于報名隊伍數量，這間接反映了挑戰賽不但為參賽者提供鍛煉和交流的機會，還為廣泛的業內人士和愛好者提供了背景故事和標準測試數據集。據不完全統計，2016年第一題數據在比賽期間就被來自961個不同IP地址的用戶下載了1 120次，第二題數據被下載了607次；2017年第一題數據在比賽期間被來自380個不同IP地址的用戶下載了556次，第二題數據則被下載了305次。在比賽完成后，這些數據仍持續被下載，據不完全統計，2016年的第一題數據在賽后5個月內又被累計下載了400多次。

6 結束語

數據可視分析挑戰賽吸引了眾多學生、教師、企業工程師和愛好者，并為他們提供了一個競技、交流、學習的舞臺。這三年，挑戰賽在規模增長和影響力擴大等方面取得了令人鼓舞的成績，筆者收到了參賽者和關注者大量正面積極的評價，也收到了很多非常好的建議。今后幾年，挑戰賽將進一步吸引學會、政府部門及社會各界有志之士以多種形式參與進來，努力擴大國內甚至國際影響力。筆者還將不斷完善和豐富比賽組織形式，例如，設置應用創新類或創意設計類題目、設置單項獎勵、優化賽程和評審機制等?？傊?，筆者仍然非?？春脭祿梢暦治鎏魬鹳惖陌l展前景，也期待與社會各界一起努力，共同推動可視化與可視分析領域競賽體系建設，促進領域的發展與進步。

致謝

感謝中國可視化與可視分析大會指導委員會對挑戰賽籌備的大力支持；感謝2015年及2016年挑戰賽共同主席新疆大學努爾布力、中國科學院時磊、天津大學張亞平和國防科大大學宋漢辰對挑戰賽組織工作的貢獻；感謝360企業安全的黃鑫、黃偉、李秋生，海云數據的李龍輝和華德禹，西南電子電信技術研究所的王勁松為挑戰賽提供技術支持；感謝所有通信評審專家在百忙之中為參賽作品給出中肯細致的評價；感謝所有參賽者和參會者的熱情參與。

[1] 諸葛建偉. 我國網絡空間安全技能競賽現狀漫談[J]. 中國計算機學會通訊, 2016, 12:(6):49-50.

ZHUGE J W. Discussion on the present situation of Chinese cyberspace competition[J]. Communications of the CCF, 2016, 12(6): 49-50.

[2] 余翔湛, 張宏莉, 于海寧, 等. 網絡空間安全競賽及人才管理[J]. 中國工程科學, 2016, 18(6):49-52.

YU X Z, ZHANG H L, YU H N, et al. Cyberspace security competition and talent management[J]. Engineering Sciences, 2016, 18(6): 49-52.

[3] KDD Cup 2017 homepage[EB/OL]. http://www.kdd.org/kdd2017/ calls/view/kdd-cup-2017-call-for-proposals.

[4] DataV homepage[EB/OL]. https://data.aliyun.com/visual/datav.html.

[5] ECharts homepage[EB/OL]. http://echarts.baidu.com.

[6] 360企業安全集團主頁[EB/OL]. http://www.360.net.

360 Enterprise Security Group homepage[EB/OL]. http://www. 360.net

[7] 海云數據主頁[EB/OL]. http://www.hiynn.com/hy-zh.

HYDATA homepage[EB/OL]. http://www.hiynn.com/hy-zh.

[8] 潘柱廷, 程學旗, 袁曉如, 等. CCF大專委2016年大數據發展趨勢預測—解讀和行動建議[J]. 大數據, 2016, 2(1):105-113.

PAN Z T, CHENG X Q, YUAN X R, et al. Developing trend forecasting of big data in 2016 from CCF TFBD: interpretation and proposals[J]. Big Data Research, 2016, 2(1):105-113.

[9] Kaggle homepage[EB/OL]. https://www.kaggle.com.

[10] 阿里天池主頁[EB/OL]. https://tianchi.aliyun.com.

Tianchi homepage[EB/OL]. https://tianchi.aliyun.com.

[11] IEEE VIS conference homepage [EB/OL]. http://ieeevis.org

[12] VAST challenge homepage[EB/OL]. http://www.vacommunity.org.

[13] COOK K, GRINSTEIN G, WHITING M. The VAST challenge: history, scope, and outcomes: An introduction to the Special Issue[J]. Information Visualization, 2014, 13(4):301-312.

[14] 中國可視化與可視分析大會主頁[EB/OL]. http://chinavis.org.

ChinaVis conference homepage[EB/OL]. http://chinavis.org.

[15] ChinaVis data challenge 2015 Homepage [EB/OL]. http://chinavis. org/2015/challenge.html.

[16] ChinaVis data challenge 2016 Homepage [EB/OL]. http://chinavis. org/2016/challenge.html.

[17] Hacking team Wiki homepage[EB/OL]. https://en.wikipedia.org/ wiki/Hacking_Team.

[18] ChinaVis data challenge 2017 homepage[EB/OL]. http://chinavis. org/2017/challenge.html.

[19] D3 homepage[EB/OL]. https://d3js.org.

[20] Tableau homepage[EB/OL]. https://www.tableau.com.

[21] Gephi homepage[EB/OL]. http://gephi.org.

ChinaVis Data Challenge from 2015 to 2017

ZHAO Ying1, ZHANG Zhuo2, YUAN Xiaoru3

1. School of Information Science and Engineering, Central South University, Changsha 410075, China 2. 360 Enterprise Security Group, Beijing 100016, China 3. Key Laboratory of Machine Perception (Ministry of Education), Peking University, Beijing 100871, China

The evolution of the ChinaVis Data Challenge from its origin 2015 to 2017 was presented. Firstly, the background and organization of the Data Challenge were introduced. Then, the competition contents and statistical data of the three years were summarized. Finally, the future development of the Data Challenge was discussed.

visualization, visual analytics, discipline contest, ChinaVis Data Challenge

TP393

A

10.11959/j.issn.2096-109x.2018012

趙穎（1980-），男，湖南益陽人，博士，中南大學副教授，主要研究方向為信息可視化與可視分析。

張卓（1988-），男，山東青島人，360企業安全集團高級工程師，主要研究方向為高級威脅檢測、大數據與網絡安全、安全可視化與可視分析。

袁曉如（1975-），男，江蘇吳江人，博士，北京大學研究員，主要研究方向為科學可視化、信息可視化、可視分析、計算機圖形學和人機交互。

2017-12-05；

2018-01-13

趙穎，zhaoying@csu.edu.cn

國家自然科學基金資助項目（No.61402540, No.61672538）

The National Natural Science Foundation of China (No.61402540, No.61672538)