基于社交媒體的暴雨災情信息實時挖掘與分析
——以2019年“4·11深圳暴雨”為例

黃 晶，李夢晗，康晉樂，曹 陽，曾慶彬

(1.河海大學商學院，江蘇 南京 211100； 2.丹陽市建設工程質量監督站，江蘇 丹陽 212300；3.深圳市水務規劃設計院股份有限公司，廣東 深圳 528200)

隨著氣候變化與人類活動的雙重影響，近年來我國自然災害的發生頻率和強度有所增大[1]。應急管理部發布的2019年全國自然災害基本情況顯示，2019年我國自然災害以暴雨、臺風、干旱、地震、地質災害為主，共造成1.3億人次受災，直接經濟損失達3 270.9億元。暴雨是我國主要的氣象災害之一，在其發生、發展過程中，往往誘發一系列的次生、衍生災害，有時比原生災害的危害更大，不僅造成巨大的經濟損失，也對人民群眾生產生活帶來不利影響。如暴雨災害一般會引發積水內澇、雷擊、電桿倒折、墻體倒塌等，進一步會導致人員傷亡，嚴重的城市交通癱瘓、大面積停水停電、房屋損毀等后果，直接影響了城市運行、居民生活和生產，造成了巨大的損失。盡管政府及有關部門已制定相關預案，實現災前的緊急預警與災害的損失評估，但卻無法對災情信息尤其是災害帶來的影響和后果進行即時監測與分析。因此，實時獲取災情詳細信息尤其是災害帶來的影響和后果，對災情的評判和應急救災措施的部署有著重要的意義。隨著互聯網的普及，社交媒體作為新興的災害數據源已得到廣泛應用，通過社交媒體反映暴雨災情及其發展特征已經成為指導應急響應、救災部署行之有效的手段之一[2]。

由于社交媒體中80%以上的信息是文本信息，大多數研究使用文本挖掘技術對災害事件相關文本進行采集與識別，具體過程分為文本預處理、文本特征提取、分類模型構建等。文本的預處理過程要求對文本進行分詞，常用的分詞工具有Jieba、 ICTCLAS、 SnowNLP等，其中ICTCLAS是張華平等[3]研發的，2009年更名為NLPIR，是目前廣泛使用的漢語分詞開源系統。文本特征提取包括特征詞選擇與特征詞量化，常用特征詞選擇的方法有卡方檢驗(CHI統計)、信息增益(IG)、互信息等，常見特征詞量化的方法有詞頻-逆文檔(TF-IDF)、信息熵等，其中TF-IDF法因其簡單快速且結果較符合實際情況而得到廣泛應用。姚春華等[4]采用TF-IDF法計算不同類別和長度文檔的特征權重，提出一種網絡文本信息情感分類的方法；梁春陽等[5]采用卡方檢驗對臺風“莫蘭蒂”相關微博文本的詞匯進行特征詞選擇，再使用TF-IDF法進行特征詞量化。對于文本分類模型的構建，現有研究大多結合主題挖掘方法與分類算法。在主題挖掘方法中，隱含迪利克雷分布(LDA)主題挖掘方法已經被證明是一種非常有效的方式，Chen等[6]采用LDA主題挖掘方法對Twitter文本中隱含的主題進行挖掘，發現了其與流感發病狀態的關聯；張連峰等[7]應用LDA主題挖掘方法進行建模，挖掘出微博輿情中的關鍵節點。常見的分類算法有決策樹、支持向量機、樸素貝葉斯、隨機森林、邏輯回歸等。由于支持向量機算法具有全局最優、結構簡單、推廣能力強等優點，近年來被廣泛使用[8]。白華等[9]采用支持向量機(SVM)作為文本分類算法，識別和分類與地震相關的社交媒體數據，開發了高效的災害事件即時監測系統；夏夢南等[10]使用支持向量機作為分類算法，對微博中的情感進行分類。

國內外相關研究證明，由于其自身的時間和地理空間屬性，社交媒體數據能夠應用于災害事件的實時監測和趨勢預測[11-12]。基于社交媒體數據進行災情信息的挖掘時，通常對災害相關的文本數據進行主題分類。如梁春陽等[5]結合LDA與SVM構建主題分類模型，將臺風“莫蘭蒂”相關微博文本分成“預警信息”“災情信息”“無關信息”與“救援信息”4類主題；王艷東等[13]結合LDA與SVM構建應急主題分類模型，將北京與暴雨相關的微博數據分為“交通狀況”“天氣預報”“災情信息”“損失與影響”“救援信息”“內澇原因”6類主題。雖然上述研究對災情相關的關鍵詞進行了提煉和劃分，識別了隱藏在微博文本數據中的災害相關主題，但是并不能反映詳細的災情信息，尤其是災害導致的次生、衍生災害，無法為政府應對突發災害事件時的應急響應和救援部署提供信息支撐。

為充分挖掘微博中蘊含的災情詳細信息，實現對暴雨災害事件帶來的后果和影響的實時監測，本文以2019年的“4·11深圳暴雨”為例，結合LDA主題挖掘模型和SVM分類算法，構建暴雨災情信息挖掘模型，將微博文本分為4個主題并對“災情信息”這一主題進行二次分類。通過將時空分布結果與現實災情對比分析，驗證該模型的可靠性，從而為暴雨災害的應急管理與救災部署提供決策支持。

1 數據來源與方法

1.1 研究區域及災害事件選擇

研究區域為位于廣東省中南沿海地區的深圳市，該市屬亞熱帶海洋性氣候，降水情況各地區差異很大，容易出現局地性的洪澇災害和短時雷雨大風天氣。深圳市是中國經濟特區，下轄福田區、羅湖區、鹽田區、南山區、寶安區、龍崗區、龍華區、坪山區、光明區9個行政區和大鵬新區1個新區，其中福田區和羅湖區是深圳市商業中心，為最繁華區域。2019年深圳市GDP總量26 927.09億元；截至2018年末，常住人口1 302.66萬人，常住人口城鎮化率全國排名第一。此外，深圳市作為中國“最互聯網”城市，互聯網普及率位居全國第一，截至2017年末，網民滲透率高達87.1%。

2019年4月11日晚，受冷暖氣流交匯影響，深圳市出現冰雹、大風、雷暴和強降雨等強對流天氣，全市平均雨量40.6 mm，其中羅湖區平均雨量 65.0 mm，10分鐘最大雨量達39.2 mm。短時極端強降水導致深圳市多個區域突發洪水，羅湖區、福田區等區域受災嚴重，造成11人死亡。暴雨天氣一直持續，18—20日再次迎來一輪強降雨，造成南山區一簡易住房土墻坍塌，2人被困。除了人員傷亡外，此次持續的暴雨洪澇災害還造成部分地區建筑物倒塌、道路積水等災情，引起了人們的廣泛關注。

1.2 數據的獲取和預處理

基于目前國內最受歡迎的社交媒體平臺——新浪微博，利用網絡爬蟲，收集了從2019年4月11日0時到4月23日0時，以“深圳暴雨”為關鍵詞的微博文本數據，去除其中非常短(少于4個字)和重復的微博文本，最終留下10 015條微博數據，其中有 1 321條帶有位置信息，有1 044條定位在深圳市。

1.3 模型與方法

結合LDA主題挖掘方法和SVM分類算法，構建暴雨災情信息挖掘模型。首先，利用LDA主題挖掘方法，通過計算文本集合的離散詞語共現頻率找出隱藏在文本集合中的相關主題，同時輸出對應主題的詞匯分布。基于已發現的主題，利用SVM分類算法訓練已有的文檔樣本(主題和主題的詞匯分布)。當有新的微博文本進入時，通過該模型的判斷確定該微博文本的主題類別，從而實現微博文本的實時分類。然后，利用相同的處理方式對“災情信息”這一文本類別進行二次分類。最后，將分類結果可視化。相關步驟如圖1所示。

圖1 基于社交媒體的暴雨災情信息挖掘流程

1.3.1中文分詞

使用NLPIR大數據搜索與挖掘實驗室研發的NLPIR-ICTCLAS漢語分詞系統(http：//www.nlpir.org)對微博數據進行分詞，結合暴雨災害領域知識，對暴雨災害特征詞匯進行補充，形成適用于暴雨災害的分詞詞典，如“特大暴雨”“雷陣雨”“暴風雨”“大雨”“中雨”“暴雨紅色預警”“暴雨橙色預警”等。去除廣告、部分標點符號和介詞等無關詞匯，去除常見且缺乏價值信息的停用詞，實現對文本數據的有效處理。

1.3.2隱含主題的挖掘

LDA主題挖掘方法由3層貝葉斯模型構成，文本層、主題層、單詞層。基本思想是每條文本由多個主題以多項式分布構成，每個主題又由多個單詞以多項式分布構成，而多項式分布的先驗概率分布為狄利克雷分布，依此法可以生成一個包含多個文本的數據集。由于它是一種無監督學習算法，不需要事先對文檔進行標記，輸入的參數僅包括用戶構建的語料庫以及用戶設定的主題個數，輸出結果為文檔-主題矩陣，即文檔在各個主題上的概率分布，和主題-詞矩陣，即主題在各個詞匯上的概率分布，最后人工對分出的主題類別進行歸納與相似主題的合并。本文基于Java編程語言，利用Phan學者發布的開源Gibbs采樣代碼(https：//github.com/hankcs/LDA4j)，實現基于LDA主題挖掘方法的主題挖掘。

1.3.3特征詞的抽取

采用卡方統計量對詞匯進行特征選擇，根據詞匯卡方值篩選每個文本類別的特征詞匯：

(1)

式中：N為訓練樣本集文檔總數；A為一個類別中，包含某個詞的文檔數量；B為在一個類別中，排除該類別，其他類別包含某個詞的文檔數量；C為在一個類別中，不包含某個詞的文檔數量；D為在一個類別中，不包含某個詞也不在該類別中的文檔數量。

1.3.4特征矩陣的構建

因卡方檢驗在文本特征選擇時會產生過分夸大低頻詞的現象，為此，在選擇特征詞匯后，使用詞頻-逆文檔算法對特征詞匯進行特征量化：

(2)

1.3.5分類器選擇

基于標注好的文檔樣本集，采用SVM方法進行訓練。為了驗證模型分類的精準度，將選取的訓練樣本劃分為M部分，其中M-1部分作為模型的訓練樣本，剩下的一部分作為模型參數確定的檢驗樣本，利用檢驗樣本來驗證M-1部分數據分類結果的精度。

準確率是分類問題中最簡單直觀的評價指標，是分類正確的樣本占總樣本個數的比例：

(3)

式中：ncorrect為被正確分類的樣本個數；ntotal為總樣本個數。

2 結果與分析

2.1 總體時空分布

根據采集到的“深圳暴雨”微博數據，分析其隨時間變化的趨勢(圖2(a))。從微博的總體趨勢圖來看，數據集中在暴雨暴發后的3天內，然后開始慢慢平息，淡出社交媒體的熱門話題。圖2(a)中每天的凌晨都會出現最低點，然后數據開始上升，呈現循環波動。因此，假設此時間序列有多期的按天循環波動趨勢，利用季節性趨勢分解來進一步分析災害事件情況。季節性趨勢分解后的微博文本時間序列如圖2(b)所示。可見4月11—12日微博數量波動幅度最大，在11日的23時達到峰值，并且維持在較高的水平。23時15分，全市取消暴雨黃色、大風黃色預警，微博數量有減少趨勢，但此后的4月12、13日“深圳暴雨”依然是比較熱門的話題。4月18日下午微博數量再次上升，在4月19—20日有較大幅度的波動，并在19日14時達到最大值，之后有減少趨勢。但4月20—21日微博數量再次出現不同尋常的波動。

此次深圳暴雨事件引起了全國各地的廣泛關注，但主要集中在深圳市及其周邊城市。為給城市暴雨的災情管理提供決策支持，著重分析深圳市內各區域的微博數量分布情況。圖3為深圳暴雨微博數量的分區空間分布，可見微博數量主要集中在深圳市西部，其中南山區最多，其次是寶安區、福田區。據深圳市氣象局報道，在此次暴雨災害事件中，南山區、寶安區均遭遇了嚴重的強降雨和冰雹侵襲。

(a) 時間序列的總體趨勢

(b) 時間序列的季節性調整序列

圖3 “4·11深圳暴雨”微博數據區域空間分布

2.2 主題分類結果

經過重復實驗，確定初始主題的最佳數量為25。但因該主題模型是一種無監督學習算法，故人工對25個主題進行歸納與相似主題的合并，最終確定4個主題，分別為“天氣狀況”“災情信息”“救援信息”和“無關信息”。對“災情信息”這一主題實施二級分類，最終確定了“交通影響”“人員傷亡”“建筑物倒塌”“積水”“停電”和“停水”6種災害影響類型。經驗證，本文所構建的暴雨災情信息挖掘模型初次分類的準確率為88.0%，二次分類的準確率為82.7%。

對4個微博主題分別統計其微博條數及所占比例(表1)發現，“災情信息”占“深圳暴雨”相關微博總量的68.5%，是公眾關注的熱點問題。其次是“天氣狀況”和“救援信息”，分別占19.3%和7.9%。

表1 微博不同主題分類統計

將“災情信息”這一主題進行二次分類，6類具體災情信息及其微博條數統計結果如表2所示。“人員傷亡”“積水”和“交通影響”是深圳暴雨期間最受關注的災情，微博數量分別占44%，22.3%和15.6%。其他具體災情信息的微博數量占比均不足10%。

表2 6種具體暴雨災情信息分類統計

2.2.1時間趨勢

除“無關信息”外，其他3類主題微博數量隨時間的變化趨勢如圖4所示。“天氣狀況”微博集中分布在兩次強降雨發生前，即4月11日下午和4月18日晚上。“災情信息”微博的時間趨勢與總體時間趨勢相似，主要集中在暴雨發生中以及暴雨發生后，并在4月12日12時達到一個峰值，13日之后微博數量逐漸減少。“救援信息”的微博數據主要集中在暴雨發生中以及暴雨結束后。

將“災情信息”這一主題進行二次分類，分析“人員傷亡”“交通影響”“積水”“建筑物倒塌”“停電”“停水”6種災害影響信息的微博數量隨時間的變化趨勢(圖5)。“人員傷亡”的微博數量存在兩個峰值，分別在4月11日23時和4月20日14時，其余時間相對平穩；“交通影響”的微博集中分布在4月12—15日以及4月19—22日，持續的暴雨對交通狀況造成很大影響；“建筑物倒塌”的微博數量在4月20日16時達到峰值；“積水”微博數量的時間變化趨勢具有短時間內急劇上升、持續時間較長的特點，持續時間在3～4天。“停電”和“停水”時間趨勢相似，但“停電”的微博數量普遍多于“停水”，二者主要集中在4月11日、19日。同時發現，不同類型災害影響信息的微博數量與總微博數量增幅基本呈正相關，其中“人員傷亡”“交通影響”以及“積水”隨時間變化增幅較大，表明這3類受關注度較高。

(a) 天氣狀況

(b) 災情信息

(c) 救援信息

2.2.2空間分布

不同主題微博數量的空間分布情況如圖6所示，3個主題的空間分布情況各有不同。“天氣狀況”的微博數據集中分布在寶安區、光明區和龍華區；“災情信息”的微博數量顯著高于其他兩個主題，且集中分布于深圳市西部的寶安區和南山區，以及位于深圳市中心的福田區和羅湖區；“救援信息”的微博數量相對較少，主要分布在福田區、南山區和羅湖區。

詳細災情信息的微博數據空間分布如圖7所示。“交通影響”微博數據集中分布于寶安區，以及寶安區周邊區域；“人員傷亡”和“建筑物倒塌”的微博數據空間分布情況類似，都集中在深圳市的西南部，包括南山區、福田區以及羅湖區。“積水”微博數據集中分布于降雨較嚴重的地區；“停電”微博數據分布較為廣泛，其中在人口聚集區，即福田區和羅湖區分布較多；“停水”相關微博數量雖然較少，但仍可以看出數據集中分布在深圳市西北部。

3 討 論

本文基于新浪微博，對“深圳暴雨”的微博數據進行了挖掘，結合LDA主題挖掘方法和SVM分類算法，構建暴雨災情信息挖掘模型，將微博文本分為“天氣狀況”“災情信息”“救援信息”和“無關信息”4個主題，分類精度為88%，并在此基礎上有效識別了6種具體災情信息，二次分類精度為82.7%，與已有研究相比，本文提出的暴雨災情信息挖掘模型對深圳暴雨的微博文本數據分類準確度較高。如王艷東等[13]構建了應急主題分類模型，將“北京暴雨”相關微博文本分為6個主題，總精度為87.5%。韓雪華等[14]通過構建主題提取與分類模型，識別了2018年壽光洪水期間的公眾情緒，一次分類和二次分類準確率分別為89%、78%。

在一次分類的基礎上，進一步對“災情信息”這一主題進行二次分類，得出“交通狀況”“人員傷亡”“建筑物倒塌”“積水”“停電”“停水”6種災情詳細信息，可以更加全面、細致地反映暴雨災害帶來的次生、衍生災害的實時發展狀況。而現有大多數研究利用文本挖掘方法對微博文本進行主題分類，一般都是一次分類，如王艷東等[13]利用應急主題分類模型將“北京暴雨”微博數據分為“交通狀況”“天氣預報”“災情信息”“損失與影響”“救援信息”“內澇原因”6個應急主題；梁春陽等[5]將臺風“莫蘭蒂”相關微博分成“預警信息”“災情信息”“無關信息”與“救援信息”4個類別。也有研究對分類后的主題進行二次加工，韓雪華等[14]對2018年壽光洪水期間的公眾情緒進行了二次分類；王艷東等[13]也曾采用聚類算法對“交通”“災情”主題的微博數據進行了聚類，雖然反映了災情的空間分布特征，但災情類別單一，不能完全反映災害帶來的各種詳細災情和影響。

(a) 交通影響

(b) 人員傷亡

(c) 建筑物倒塌

(d) 積水(d) 積水

(e) 停電

(f) 停水

在時間上，挖掘出的災情信息能夠反映暴雨災害的實時發展過程。深圳市氣象局分別在4月11日晚和4月19日上午發布暴雨預警，因此微博數量在11日23時和19日14時達到兩個峰值。“人員傷亡”災情的微博數量分別在11日23時和20日14時達到峰值，4月11日22時10分發生工人被沖走事件，1小時內關于“人員傷亡”微博達到峰值；20日14時兩人被土墻埋困，救出后經搶救無效死亡，同一時刻再次引起了公眾的關注。

在空間上，“深圳暴雨”微博的空間分布在一定程度上與災害嚴重程度有關。微博數量較大的地區主要集中分布在深圳市西部南山區、寶安區和福田區。據深圳市氣象局報道，在此次暴雨災害事件中，南山區、寶安區均遭遇嚴重強降雨和冰雹侵襲。這是由于在受災嚴重區域人們對災害的關注程度更高，微博數量更多。但是福田區受災并沒有南山區、寶安區嚴重，其微博關注數量也相對較高。這主要是由于福田區是深圳市中心，人口密度大。因此，除了災害的嚴重程度外，微博數量也與人口密度等其他因素相關。有研究發現社交媒體數據與人口密度、網絡接入程度等因素具有高度相關性，可能會在一定程度上對微博數據的空間分布結果帶來一些困擾[15]。

詳細災情信息微博數據的空間分布與該災情嚴重的地區基本保持一致。深圳市氣象局于4月11日晚發布預警，深圳市西北部將有嚴重暴雨來襲，因

(b) 災情信息

(c) 救援信息

(a) 交通影響

(b) 人員傷亡

(c) 建筑物倒塌

(d) 積水

(e) 停電

(f) 停水

此，“天氣狀況”相關微博主要集中在深圳市西北部的寶安區、光明區和龍華區；針對暴雨帶來的災情狀況，深圳市應急救援現場指揮部組織消防、應急等部門持續開展緊急搜救、傷員救治等工作，因此“救援信息”的微博主要集中在11日較嚴重的受災區域，即福田區、羅湖區和南山區。“交通影響”的微博集中分布于寶安區，以及寶安區周邊區域，這是因為寶安區是深圳市重要交通樞紐，且設有寶安國際機場；“人員傷亡”的微博主要集中于南山區、福田區和羅湖區，這3個區域受災嚴重，均有人員傷亡事件發生。這些信息與官方發布的災害評估報告基本一致。通過分析不同災害信息的空間分布情況，可以獲取災情的空間分布特征和嚴重程度，為各區域的應急防范、救災部署提供實時信息。

4 結 論

暴雨天氣發生時，有效地獲取社交媒體文本數據中包含的詳細災情信息，能夠為暴雨災情應急管理與救災部署提供信息支持。本文結合隱含狄利克雷分布(LDA)主題挖掘方法和支持向量機(SVM)分類算法，構建基于社交媒體的暴雨災情信息挖掘模型，并以2019年“4·11深圳暴雨”的微博數據為例，識別出4類微博文本主題，并進一步對“災情信息”這一主題進行二次挖掘。

a. 構建的基于LDA主題挖掘方法和SVM分類算法的暴雨災情信息挖掘模型，對微博文本中蘊含的具體災情信息的識別與分類效果顯著，一次文本主題分類和二次災情信息分類的準確率分別為88%和82%。一次文本主題挖掘提取出“天氣狀況”“災情信息”“救援信息”和“無關信息”4個主題。對主題中“災情信息”進一步挖掘提取出“交通影響”“人員傷亡”“建筑物倒塌”“積水”“停電”和“停水”6種具體災情信息。

b. 暴雨災情信息挖掘和分析的結果在時間上能夠反映暴雨災害的實時發展過程。深圳市氣象局分別在4月11日晚和4月19日上午發布暴雨預警，因此微博數量在11日23時和19日14時達到兩個峰值。受到實際事件的影響，不同類型災情詳細信息的微博數量與總微博數量變化特征基本一致。其中，“人員傷亡”“交通影響”以及“積水”3類災情受關注度較高。

c. 暴雨災情信息的空間分布與災情發生嚴重的地區基本保持一致。微博數量較大的地區主要分布在南山區、寶安區和福田區，其中南山區、寶安區均遭遇嚴重強降雨和冰雹侵襲，對災害的關注程度更高。具體的暴雨災情信息與該災情發生的地點保持一致。“天氣狀況”相關微博主要集中在受暴雨侵襲的深圳市西北部的寶安區、光明區和龍華區。“救援信息”和“人員傷亡”的微博均集中在受災嚴重、發生人員傷亡事件的南山區、福田區和羅湖區。“交通影響”的微博集中分布于機場所在的寶安區及其周邊區域。

本文構建的暴雨災情信息挖掘模型，能夠實現對社交媒體中蘊含的詳細災情信息的挖掘，為暴雨災情的監測提供了新的思路。在此研究的基礎上，可以進一步構建基于暴雨災害的災情信息實時監測系統，幫助氣象災害應急管理部門掌握暴雨災害本身及其次生、衍生災害的發展趨勢，從而對應急管理計劃、措施和預案進行實時調整和動態優化。實時精準的災情信息是災害風險管理的基礎，相關政府部門應將社交媒體信息納入災害監測預警與風險管理中，加快推進大數據資源融合共享，實現災害多源立體監測及全方位預警。