利用python對新冠肺炎數據進行收集和分析

孫佩杰 呂 國

(河北建筑工程學院，河北 張家口 075000)

0 引 言

由于2019年底新冠病毒的來襲，全國各地都陸續出現新增的確診病例.為了能夠更好的控制疫情，需要了解全國各地的疫情現況，對疫情嚴重的地區進行嚴格的管控，并且出行要避開這些疫情爆發的城市.這時我們就需要從網上收集各個地區的新增確診病例人數.本文介紹采用python實現對國內出現過確診病例城市疫情數據的爬取，并存儲成csv文件，將疫情人數前N名的城市排列出來，并且以柱狀圖展示.

1 用到的技術

1.1 數據可視化

數據可視化是數據視覺表現形式的科學技術研究，主要是借助圖形化的手段來清晰有效地傳達與溝通信息[1].數據可視化的目的就是要更加直觀的觀測數據、分析數據，突出數據的重點，挖掘數據中隱藏的規律和趨勢，進而預測和推理.本文采用python的數據可視化工具—matplotlib，將全國疫情前N名城市的疫情數據以柱狀圖的形式顯示出來，突出疫情較為嚴重的地區.

1.2 爬蟲技術

網絡爬蟲能夠自動下載網頁信息，主要原理是模仿瀏覽器瀏覽網頁，獲取網頁上所需要的資源[2].爬蟲技術是一個可以搜集數據、解析數據，并將這些數據進行分析的工具.我們可以通過爬蟲技術，從互聯網上更好地收集我們需要的數據，從而避免因為無用的數據而花費時間，大大地提高了我們的收集效率.

1.3 爬取的內容

國內疫情數據有很多的數據源，本文采取的是騰訊新聞網站的數據源.數據源的網址是：https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5，瀏覽器訪問此網址的結果如圖1所示：

圖1 網頁原始數據部分截圖

2 實現流程

首先獲取給定網址的網頁數據，將這些數據存儲下來.此時存儲下來的數據是混亂的，我們需要將它重新整理，轉換成易于觀察的類型，進而分析數據的內容；然后對整理過的數據進行排序，將排序后的數據存儲成csv文件以便查詢；最后用python的matplotlib將前N個城市繪制成柱狀圖.

圖2 實現流程圖

2.1 爬取數據

根據指定的網址用requests.get()函數獲取網頁數據，將獲取的數據轉換成json對象，之后用json.loads()函數把json對象轉化為python字典類型，然后用json.dumps()函數將字典形式的數據改為字符串類型，以便于后面進行數據處理，最后輸出.代碼如下：

url="https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5"

resp=requests.get(url)

html=resp.json()

data=json.loads(html["data"])

data_formate=json.dumps(data,sort_keys=False,indent=4,separators=(',', ':'),ensure_ascii=False)

print(data_formate)

運行結果如圖3所示：

圖3 整理后的數據

2.2 查詢需要的數據

首先輸出：最近一次的更新時間，中國的情況.根據提示輸入要求(例如：新增確診病例人數排名前5名城市，需要先輸入today_confirm，然后輸入5).如果數據中province名字(省份名字)是4個直轄市、2個特別行政區或者臺灣，那么直接將它的疫情數據添加列表中，并且疫情城市的數量加1.如果不是，那么先判斷它的children(省內的城市名)是否為境外輸入，如果是，那么先將它的名字改為所屬省份的境外輸入；如果不是，那么直接將它的children(省內的城市)疫情數據添加到列表中，疫情城市數量加1.代碼如下：

areaTree=data["areaTree"]

print(f'截至{data["lastUpdateTime"]},中國情況為：')

da=[]

i_city=0

item=input('請輸入查詢項目英文代碼： (新增確診-today_confirm，累計確診-total_confirm，累計疑似-total_suspect， 累計死亡-total_dead，累計治愈-total_heal，總死亡率-total_deadRate， 總治愈率-total_healRate)，例如：total_confirm ')N=input('請輸入想查詢前多少名城市？(300以內正整數,例如:20)')

for province in areaTree[0]["children"]:

if province["name"]=="北京"or province["name"]=="上海"or

province["name"]=="天津"or province["name"]=="重慶"or province["name"]=="香港"or province["name"]=="澳門"or province["name"]=="臺灣":

i_city+=1

da.append([province["name"],province["today"]["confirm"],province["total"]["confirm"],province["total"]["suspect"],province["total"]["dead"],province["total"]["heal"],povince["total"]["deadRate"],province["total"]["healRate"]])

else:

for city in province["children"]:

i_city+=1

if city["name"]=="境外輸入":

city["name"]=province["name"]+"境外輸入"

da.append([city["name"],city["today"]["confirm"],city["total"]["confirm"],city["total"]["suspect"],city["total"]["dead"],city["total"]["heal"],city["total"]["deadRate"],city["total"]["healRate"]])

運行結果如圖4所示

圖4 輸入提示

2.3 存儲篩選后的數據

首先輸出中國共有多少個城市出現確診.然后將出現過確診病例城市的疫情數據存到表格df中，表格的第1列是城市的名字，第2列是今日新增確診人數，第3列是累計確診人數，第4列是累計疑似人數……等等，然后用to_csv()函數將表格保存到文件中，文件名為“新冠肺炎各城市數據-最近的更新時間”，代碼如下：

print(f'中國共{i_city}個城市出現確診')

df=pd.DataFrame({})

df["name"]=[x[0]for x in da]

df["today_confirm"]=[x[1]for x in da]

df["total_confirm"]=[x[2]for x in da]

df["total_suspect"]=[x[3]for x in da]

df["total_dead"]=[x[4]for x in da ]

df["total_heal"]=[ x[5]for x in da ]

df["total_deadRate"]=[x[6]for x in da ]

df["total_healRate"]=[x[7]for x in da ]

df.to_csv(f'新冠肺炎各城市數據{data["lastUpdateTime"][:10]}.csv')

存儲的內容如圖5所示：

圖5 存儲的數據

2.4 數據排序

將出現過確認病例城市的疫情數據，用sort_values()函數將表格按照輸入的要求(例如今日新增確診人數today_confirm)進行從大到小排序，用reset_index()重置城市的索引號(例如陜西境外輸入原來是14，重置之后變成了4)，將前N個城市的疫情數據按序輸出，代碼如下：

N=int(N)

df=df.sort_values(item,ascending=False)

df=df.reset_index(drop=True)

df2=df[:N]

print(df2)

運行結果如圖6所示：

圖6 運行結果

2.5 可視化處理

繪制柱狀圖.柱狀圖的標題設置成最近一次更新的時間item(某項疫情數據例如今日新增確診人數today_confirm)排名前N個城市.x軸的標題設置為城市，刻度值是城市名字.y軸坐標設為默認，刻度值為數字.柱狀圖的顏色為橘色，高度值為城市的某項疫情數據值，寬度為0.8.代碼如下：

plt.title(f'截至{data["lastUpdateTime"][:N]}{item}前{N}城市')

ax1 = plt.gca()

ax1.set(xlabel='城市',ylabel='')

plt.xticks(range(len(df2["name"])),df2["name"])

plt.bar(range(len(df2["name"])),df2[item],width=0.8,color='orange')

plt.show()

圖7 運行結果的柱狀圖

3 結果分析

由運行結果可知，今日國內新增確診人數最多的前五個城市分別為：香港、臺灣、上海、福建境外輸入和陜西境外輸入.其中香港人數最多，達到了80人之多，臺灣新增確診人數達到16人，其他三個城市(上海、福建境外輸入和陜西境外輸入)新增確診人數分別為3，1，1.由此可推測，國內疫情控制基本穩定，以上這些城市(尤其香港和臺灣)需要加大管控力度，并且建議國內人員出行要盡量避開這些高危城市，這樣可以減少感染新冠肺炎的風險.

4 總 結

利用爬蟲和可視化技術，我們可以實現網上數據的最大價值化.在大數據時代的今天，用戶對各類數據的需求越來越多，對數據進行有效的分析，可以為相關決策提供依據，爬蟲作為一種自動收集數據的手段，有廣闊的應用[3].