新冠疫情數據可視化平臺的設計與實現

李澤沁 鞏如悅 宋秉鍵

摘? 要：新型冠狀病毒感染疫情數據高效率利用一直是值得研究的問題，到目前為止，還沒有一個完美的可視化工具能滿足醫療學科對疫情的要求。文章基于Django網絡框架，借助ECharts完成疫情數據可視化處理和界面的交互功能，通過爬蟲獲取疫情數據并建立數據庫，完成網頁端可視化界面多元化疫情數據展示的構建，可視化內容涵蓋各省市的確診數、死亡數等，疫情數據可視化平臺的搭建為廣大人民群眾和醫療從事人員了解疫情提供技術支持。

關鍵詞：信息采集與過濾；網絡信息抽?。恍滦凸跔畈《荆豢梢暬?/p>

中圖分類號：TP311；TP391 文獻標識碼：A 文章編號：2096-4706（2023）09-0157-05

Abstract： The efficient utilization of novel coronavirus pneumonia epidemic situation data has always been a problem worth studying. So far， there has been no perfect visualization tool that can meet the requirements of medical disciplines for the epidemic situation. This paper is based on Django network framework， completes the visualization processing of epidemic situation data and the interactive function of the interface with the help of ECharts， obtains epidemic situation data via crawler and establishes a database， and forms the construction of a diversified epidemic situation data display in the visual interface on the web terminal. The visualization contents cover the number of confirmed cases and deaths in various provinces and cities. The establishment of the epidemic situation data visualization platform provides technical support for the broad masses of people and medical practitioners to gain an insight into the epidemic situation.

Keywords： information collection and filtering; web information extraction; novel coronavirus; visualization

0? 引? 言

新型冠狀病毒感染（Corona Virus Disease 2019， COVID-19）自2019年末爆發以來，在全世界范圍內快速蔓延。截至本文寫就之時，國內疫情雖得到有效控制，但局部地區仍出現疫情反彈現象，政府官網、主流媒體等實時公布疫情動態，疫情數據、全民輿情關注等信息每天更新。因信息更新速度快、周期短，海量的疫情數據如雨后春筍般涌現，信息數據驟然劇增，這些數據只有被合理解讀與展示，才能將數據利用最大化。因此，全國各地為了科學化地管理新冠疫情數據，不斷推出各種數據管理平臺，但都存在疫情數據散亂、模塊獨立、集成度低等問題。針對上述問題，本文提出利用爬蟲技術實現對新冠疫情數據的爬取和可視化展示，方便人民群眾和科研醫務人員更好地了解新冠疫情實時動態，并為預測疫情的發展趨勢提供參考。

1? 疫情可視化平臺研究

1.1? 系統結構框架設計

在傳染病毒和大量人口流動雙重條件影響下，新冠疫情防控面臨重大挑戰，人類社會受到前所未有的健康挑戰，應用數據分析等方法成為防控疫情的一項重大工作。本系統的設計目的在于將散亂無序、數據量龐大的疫情數據以高效、可視化的方式展現出來。疫情數據的收集以每日更新的疫情數據為主，字段含省累計確診數、省累計死亡數、省累計治愈數、省累計疑似病例數、市累計確診數、市累計死亡數、市累計治愈數、市累計疑似病例數，數據搜索設計可通過搜索定位框查看全國各省市的疫情數據。本系統設計的主體思想以Django作為服務器框架，選定特定URL發送Requests請求，獲取清洗出初始數據，將數據儲存到MySQL數據庫完成初步工作，在結合了ECharts、Scrapy等工具從而實現疫情可視化平臺的設計。各模塊相互協同工作對數據進行深度統計，在探索新冠疫情發展趨勢層面有著重大意義。本文可視化平臺的構建由四大模塊組成，分別為：數據采集、數據篩選、數據存儲和數據可視化，如圖1所示。

1.2? 數據采集

國家衛生健康委員會網站會發布當日各?。ㄗ灾螀^、直轄市）的疫情通報情況[1]，需要獲取上述網頁中不同省市的新增確診病例、新增疑似病例、新增出院病例、新增死亡病例及統計出以上四項累計報告病例。數據采集的方法使用Scrapy框架對網頁數據進行爬取，選擇MySQL數據庫進行數據的存儲[2]。網絡爬蟲模塊：向Web服務器發送HTTP請求，通過選取初始URL策略，對網頁發送爬取請求，獲取相應的數據存儲到文本文檔中，同時，規定爬取的時間規則。獲取疫情數據的技術路線，也可通過丁香醫生或騰訊網、阿里健康等網站的API地址獲取開源的疫情數據源。實驗系統采用Pthon 3.10為編程語言，以Chrome瀏覽器為例，發出請求，同時查看瀏覽器的user-agent，使用Requests請求時，設置user-agent偽裝瀏覽器，由于字符串格式不方便數據進行分析，在網頁預覽中發現數據為類似字典的JSON格式，JSON數據標準化；解析JSON數據；以xls格式輸出到本地，建立不同數據的列表元素名稱，如表1所示。

1.3? 數據清洗

在信息爬取階段會面臨著數據冗雜等問題，數據清洗廣泛應用在大數據之中，數據清洗旨在識別和糾正數據中的噪聲，以盡量減少數據噪點對數據分析結果的影響。數據中的噪點主要包括不完整的數據、冗余數據、沖突數據和錯誤數據[3]。抓取疫情數據并處理篩選數據的工作中，存在省市疫情數據時間維度上的雜亂，造成數據分析上的噪點，因此需要單獨處理各屬性疫情數據進行數據聚類，分詞識別等嘗試性融合，形成一個每次可以處理的全部屬性，然后僅運行一輪即可處理各元組全部屬性的問題[4]。

1.4? 疫情數據可視化

ECharts是百度開源的數據可視化圖表庫，PyEcharts是一款將Python與ECharts結合的強大的數據可視化工具，借著良好的交互性，精巧的圖表設計，得到了眾多開發者的認可。Python在所有編程語言里面，代碼量最低，非常易于讀寫，遇到問題時，程序員可以把更多的注意力放在問題本身上，而不用花費太多精力在程序語言、語法上。從海量數據中尋找規律是非常困難的，通過對疫情數據分析和可視化處理，得益于直觀的圖表，可以大大降低理解數據的難度，幫助人們更快地理解數據[5，6]。如圖2所示，本文通過折線圖、柱狀圖、地圖等形式對疫情數據進行可視化處理，實驗所采用的開發工具及相應擴展庫的版本為Python 3.10、PyEcharts 1.7.1，使用Py-Charm 2022.1.1作為語言編輯器，PyEcharts可視化的步驟可以分為：導入數據包；準備數據庫；生成圖表；對圖表進行處理，繪制折線圖、熱力圖以及柱狀圖。

蘇格蘭工程師、政治經濟學家威廉·普萊費爾最先在《The Commercial and Political Atlas》和《The Statistical Breviary》中使用了折線圖、條形圖和餅狀圖等圖表表達方式用于傳達復雜的經濟數據[7]。折線圖在數據統計中廣泛應用，在統計疫情數據在省/市疫情動態和時間維度關系上有利于展示信息的波動情況，折線圖還可以應用在分析疫情數據治愈率/病死率/重癥率等在時間序列上的規律特征，有助于揭示疫情的拐點。柱形圖常常應用于不同類別事物的具體事件數據對比，可以幫助數據閱讀者快速對比數據的大小規律，疫情數據可視化處理過程中可通過柱形圖表對立城市/省/全國/海外疫情數據進行多維度對比。熱力圖采用顏色深度來顯示該區域的數值，直觀地展示了國內外疫情的增長趨勢，可用于分析疫情的空間傳播，控制傳染源。詞云用于對出現頻率較高的“關鍵詞”予以視覺上的突出，可對疫情數據中的關鍵字按照出現次數進行展示。

2? 疫情可視化平臺設計與實現

2.1? 系統總體框架

本系統采用四層架構設計模式，具體可分為應用前端、服務終端、數據庫、運行基礎，如圖3所示，主要實現疫情數據的爬取和疫情數據的分析并可視化兩大主要功能。運行基礎是系統的硬件設備和軟件系統的集成基礎支持，通過獲取的疫情數據資源儲存至已經建立的MySQL數據庫中，基于系統的需求，完成后端的數據提取與封裝。Django是一個用Python語言編寫的開源Web開發框架，可以快速地實現網站的快速開發和維護，因其語言的兼容性和使用的靈活性受到廣泛的關注。本系統的服務層利用Django搭建網頁框架平臺，Ajax技術實現前后端的交互[8]，在ECharts中豐富多樣化的可視化圖庫支持下實現全國各個疫情數據資源的可視化。

2.2? 系統需求分析

用于增強認知所采用的計算機輔助抽象數據，其直觀的表達方法能夠為數據觀察者理解信息提供便利。疫情數據可視化是指通過數據分析與可視化設計等手段把疫情信息直觀易懂地展現在大眾面前，需要根據需求對可視化設計進行優化[9]。綜合考慮新冠疫情相關數據可視化設計的問題，在搜集已有互聯網平臺上發布的優秀可視化案例并進行對比分析的基礎上，重點對新冠疫情數據的內容信息、呈現形式以及交互形式等方面進行可視化可用性分析。計算機性能與數據存儲瘋狂而令人難以置信的發展正改變著科學，知識、監控、自由、讀寫能力、藝術等一切可被表達成數據或者基于這些表達的事物，大數據正影響人們未來的生活[10]。百度、丁香醫生和網易等互聯網公司紛紛發布了各自專屬的疫情數據可視化平臺。如圖4所示[11-13]，疫情伊始這些平臺就扮演了重要角色，給民眾和醫護人員帶來了言簡意賅的數據理解。大數據具有數據規模龐大（Volume）、種類繁多（Variety）、更新迅速（Velocity）3個典型特點[14，15]，依據以上理論基礎，本文搭建了一個輕量級的疫情數據可視化平臺，該平臺可高效快捷地對系統海量疫情信息進行快速集成和圖表可視化處理，其中系統數據處理能力涵蓋了基本的數據收集模塊，優化數據分析能力，提升數據使用者對可視化圖表的交互體驗。

2.3? 系統功能設計與實現

2.3.1? 全國疫情數據可視化

全國疫情數據追蹤可視化方式通過熱力地圖加以顏色區分展示出來，通過數據綁定可實現移動鼠標到指定省份會顯示各省疫情數據，進而實現數據的多層次展示。如圖5所示，除湖北省外浙江省的確診人數最多，其次為河南，為了使可視化效果更佳，在前端設計上加入鼠標懸停發生事件的功能，當鼠標懸停到特定省份板塊上會彈出浮動框顯示本省份的確診、新增、死亡等疫情數據，豐富界面功能，數據來自國家衛生健康委員會官方網站[1]。

2.3.2? 各省疫情數據可視化

各個省疫情數據可視化方式通過熱力地圖的形式展示，在全國熱力地圖的基礎上加上數據下鉆的功能模塊。顯示效果如圖6所示，下鉆可以理解成增加維度的層次，從而可以由粗粒度到細粒度來觀察數據，對熱力地圖情況分析時，可以沿著層次維度更細粒度的觀察數據，在可視化領域中廣泛應用。數據下鉆的實現思路是獲取鼠標點擊的參數跳轉至指定的JSON，本實驗中定義兩層數據維度，數據下鉆到省級熱力地圖直觀地展示了疫情的增長趨勢，可用于分析疫情的區域空間的傳播。

2.3.3? 各市級疫情數據可視化

市級疫情數據可通過折線圖統計方式可視化，日期時間為橫軸，累計疫情數據為縱軸，渲染效果如圖7所示。折線圖統計的方式主要包括累計確診、累計死亡、疑似人數、治愈人數，從圖可以看出2020年2月14日附近武漢市累計確診人數劇增，折線圖統計方式有利于快速判斷疫情發展趨勢，數據來自國家衛生健康委員會官方網站[1]。

3? 結? 論

圖表可視化數據已經成為人們日常生活中理解信息的重要途徑，數據量的急劇變化，加快了計算機科學技術對大數據處理方法的發展，從而更加高效、直接地對大規模數據流進行快速的數學模型構建、數據分析、圖表繪制效率。新型冠狀病毒可視化系統有效地應對大規模數據難以短時間規劃構建等問題，在用戶應用層面，方便人們隨時進行對疫情數據的查看，根據每日疫情數據呈現的結果也可推斷出我國疫情的控制情況以及預測出疫情未來的發展趨勢。通過可視化系統及時準確評估疫情傳播、根據每日疫情情況了解疫情實時形勢，分析疫情發展趨勢、防控措施有著重要意義。

參考文獻：

[1] 中華人民共和國國家衛生健康委員會.疫情通報 [EB/OL].（2022-07-01）[2022-07-01].http：//www.nhc.gov.cn/xcs/yqtb/list_gzbd.shtml.

[2] 王君，馬樂榮.新冠肺炎疫情信息累積更新采集系統的設計與實現 [J].延安大學學報：自然科學版，2021，40（2）：96-99.

[3] 郝爽，李國良，馮建華，等.結構化數據清洗技術綜述 [J].清華大學學報：自然科學版，2018，58（12）：1037-1050.

[4] 楊東華，李寧寧，王宏志，等.基于任務合并的并行大數據清洗過程優化 [J].計算機學報，2016，39（1）：97-108.

[5] 裴丹丹.基于ECharts的數據可視化實現 [D].北京：北京郵電大學，2018.

[6] 王竟儼，侯彥東.基于PyEcharts的第三次農業普查數據可視化分析 [J].河南科學，2021，39（4）：517-523.

[7] 陳小巧.西方信息圖表的崛起 [J].設計，2015（10）：132-133.

[8] 李相霏，韓珂.基于Flask框架的疫情數據可視化分析 [J].計算機時代，2021（12）：60-63+68.

[9] 鞏如悅.基于本體的蘋果病蟲害垂直搜索引擎研發 [D].咸陽：西北農林科技大學，2017.

[10] DOCTOROW C. Big Data： Welcome to the Petacentre [J].Nature，2008，455（7209）：16-21.

[11] 網易新聞.肺炎疫情實時動態 [EB/OL].（2022-06-26）[2022-06-26].https：//wp.m.163.com/163/page/news/virus_report/index.html.

[12] 丁香醫生.疫情實時動態 [EB/OL].（2022-06-26）[2022-06-26].https：//ncov.dxy.cn/ncovh5/view/pneumonia.

[13] 百度.疫情實時大數據報告 [EB/OL].（2022-6-26）[2022-06-26].https：//motion.baidu.com/activity/yiqing_predict/main.

[14] MCAFEE A，BRYNJOLFSSON E. Bigdata： The Management Revolution [J].Harvard Business Review，2012，90（10）：60-68+128.

[15] 沈恩亞.大數據可視化技術及應用 [J].科技導報，2020，38（3）：68-83.

作者簡介：李澤沁（2001—），男，漢族，廣東湛江人，本科在讀，研究方向：電子信息工程；鞏如悅（1990—），女，漢族，山東濱州人，助教，碩士研究生，研究方向：智能信息化；宋秉鍵（2000—），男，漢族，廣東湛江人，本科在讀，研究方向：人工智能。