面向突發事件應急管理的社交媒體多模態信息分析研究

徐 元，毛 進，2，李 綱，2

（1.武漢大學信息管理學院，武漢 430072；2.武漢大學信息資源研究中心，武漢 430072）

1 引言

隨著移動互聯網的迅速發展，微博、微信、Twitter等社交媒體平臺作為橋接物理和虛擬世界的信息通信工具之一，逐漸成為突發事件應急管理中重要的實時信息獲取渠道[1]。在突發事件期間，大量與人員傷亡、設施損毀、緊急求助等內容相關的文本、圖像、視頻被用戶實時分享到社交媒體上，這些多模態信息對于突發事件的應急管理具有重要作用[2-3]。在大數據環境下，突發事件應急管理的思維模式也發生了轉變，傳統基于專家經驗的管理決策模式轉變為“情景-應對”型應急管理的新模式，即從大數據中挖掘有價值的知識來深入認識突發事件的時空格局、活動模式、演化規律與內在運行機制，以實現對突發事件態勢及演化趨勢的全面理解[4]。社交媒體為“情景-應對”模式中的突發事件應急管理提供了新的數據來源，不同模態的信息在內容上相互關聯和呼應，所包含的內容也存在差異，如文本中包含事件的細節內容，而圖像和視頻則更為直觀地展示事件的場景，文本與圖像、視頻之間能夠相互補充和印證，共同反映物理世界中事件的真實發展狀態。從不同層次、不同側面對復雜的社交媒體多模態信息進行抽象、概括和融合分析，總結并提煉出比單一模態更為準確和全面的綜合情報，能夠幫助用戶全方位、深層次地理解突發事件的實時態勢，從而減少突發事件應急管理中的不確定性。

社交媒體多模態數據呈現規模大、增長速度快以及來源、種類、模態多樣等特征，如何將海量、分散、無序、動態變化的多模態信息轉化為能夠有效支撐應急管理的情報是突發事件下社交媒體多模態信息分析的核心問題，其關鍵在于正確認知數據背后的特征、邏輯和科學內涵，從而快速準確認識、判別和分析突發事件在不同階段的態勢變化，并以此為依據輔助應急管理人員制定科學有效的應對決策[4]。近年來，相關研究和應用實踐已較為豐富，且仍在逐步增多。因此，本文采用文獻綜述方法，通過梳理國內外有關突發事件下社交媒體多模態信息的研究成果，從信息資源特征和信息分析方法兩個方面解析社交媒體多模態信息的多維特征，歸納特定事件場景下的多模態信息分析方法體系，并以此為基礎構建面向突發事件應急管理的社交媒體多模態信息分析框架，指出現有研究中存在的不足和挑戰，為深入研究面向突發事件應急管理的社交媒體多模態信息分析方法提供新的線索與方向。

2 突發事件中的社交媒體研究概況

本文選擇以Web of Science和中國知網中的期刊論文和會議論文為文獻來源，進行基于標題的檢索來獲取國內外有關突發事件中的社交媒體研究的文獻，時間范圍是2020年及其之前的年份。在關鍵詞的選擇上，主要從兩個方面考慮：一是與突發事件相關的詞，包括“突發事件”“災害”“洪水”“臺風”“地震”“火災”等；二是與社交媒體相關的詞，包括“社交媒體”“微博”“Twitter”“Face‐book”等。通過審查標題和摘要去除不相關的文獻，篩選后得到801篇文獻，包括625篇英文文獻和176篇中文文獻。文獻的年份分布如圖1所示，可以發現突發事件中的社交媒體研究在2011年后開始逐漸增加，這與社交媒體平臺和智能手機的發展過程相吻合。隨著社交媒體用戶數量的增加，突發事件中可用于分析的社交媒體數據也在逐漸增加，使得社交媒體成為突發事件應急管理的重要數據來源成為可能，也促進了突發事件中社交媒體的研究。

圖1 國內外有關突發事件中社交媒體研究文獻的年份分布圖

通過分析文獻所屬學科領域可發現，當前有關突發事件中社交媒體信息分析的研究主要集中在計算機科學、傳播學、管理學和信息科學等研究領域，存在大量的跨學科研究。不同學科的研究側重點也存在差異，例如，從計算機科學的角度，主要研究突發事件下社交媒體數據智能化處理技術；從傳播學的角度，主要關注突發事件下社交媒體信息的傳播與擴散規律；從管理學的角度，主要關注社交媒體信息在突發事件應急管理中的應用。在突發事件的類型上，主要關注地震、颶風、洪水、襲擊、傳染病等危害人類生命和財產損失的重大自然災害或公共安全事件。本文研究數據的來源主要包括Twitter、Facebook和微博等主流社交媒體平臺，Twitter由于其用戶量大、數據獲取便捷等特點，成為最主要的國外社交媒體數據來源，國內主要利用微博數據進行研究。

在檢索到的文獻中，標題或摘要中直接出現“多模態”表述的文獻只占總文獻數的2%，且均為近5年發表，但是將多種模態的社交媒體信息作為分析對象或能夠體現多模態融合思想的文獻有216篇，占總文獻數的27%，對于文本和圖像兩種模態的信息分析最為常見。隨著人工智能和大數據等技術取得突破性進展，基于機器學習和深度學習的自然語言處理和計算機視覺技術在多模態數據處理任務中的性能和效果得到了明顯提升，并已經成為社交媒體多模態信息分析的主要手段。這表明突發事件中社交媒體多模態信息分析研究是一個較新的研究領域，正逐漸被更多研究者所關注，并且形成了一定的理論和方法技術體系，所以有必要從整體上了解突發事件中社交媒體多模態信息的研究現狀，為面向突發事件應急管理的社交媒體多模態信息分析的研究提供理論和方法支撐。

本文將包含多種模態的社交媒體信息分析或能夠體現多模態融合思想的文獻作為主要的綜述文獻，重點關注如何利用多模態信息分析方法將原始的社交媒體信息轉化為能夠有效支撐應急管理決策的情報。社交媒體中包含多種模態的內容，用戶以文本、符號等形式發布內容的同時，上傳相關的照片、音頻、視頻等附件，并標記當前所處地理位置和時間戳，此外，用戶之間通過瀏覽、點贊、評論和轉發等操作進行交流和互動，這些用戶之間的互動行為可以抽象為復雜的網絡結構，上述內容共同形成了社交媒體多模態信息在內容、時空和網絡三個層面的特征。而有關突發事件中社交媒體多模態信息分析可以概括為信息獲取、信息整合和信息挖掘三個層次。從社交媒體中的實時數據中可發現和獲取與突發事件相關的多模態信息；以主題或事件為基本單元對多模態信息進行語義描述和關聯；最后面向特定的應用場景，從這些多模態信息中挖掘出對應急決策有價值的隱性知識并應用到應急管理中。

綜上所述，本文將突發事件下社交媒體的研究歸納為資源和方法兩個方面：一是社交媒體信息本身在突發事件中所具有的多維特征；二是突發事件中面向特定應用場景的社交媒體信息分析方法，如圖2所示。充分掌握社交媒體多模態信息特征為信息分析方法的研究提供了指引，而借助高效的信息方法能夠深層次挖掘出社交媒體多模態信息中的隱含內容和規律，二者聯系緊密，共同為突發事件的應急管理提供支撐，也能較好地涵蓋不同學科視角下的研究成果。

圖2 突發事件社交媒體多模態信息的主要研究內容

3 突發事件中社交媒體多模態信息的多維特征

3.1 內容特征

社交媒體本身的信息內容是突發事件實時態勢最直觀的反映，蘊含了人物、地點、狀態等各類突發事件的構成要素，從總體上感知和把握社交媒體信息的內容特征能夠發現用戶普遍關注的問題和應急管理中有價值的信息。不同類型的突發事件中，研究人員所關注的信息內容也存在一定的差異，形成了不同的分類標準和體系。例如，Alam等[5]將哈維等颶風中的社交媒體信息分為受影響的人群、損壞的基礎設施、警告和建議、捐贈和志愿服務等信息；Cho等[6]將2011年日本地震中的社交媒體信息分為災害態勢、個人經歷、建議、技術、情感和行動；Vieweg[7]根據事件中的受影響對象，將社交媒體信息分為社會環境信息（建議、警告、疏散、死亡、傷害、醫療、失蹤和幫助等與人相關的內容）和物理環境信息（建筑物、道路等與物相關的內容）；Rudra等[8]根據信息是否反應事件實時狀態，將社交媒體信息分為情境信息（受影響的人群、設施以及對應對措施等）和非情境信息（事件原因、捐贈和事后分析等）。這種粗粒度的分類能夠幫助用戶盡早地獲取其所需要的信息，而細粒度的社交媒體信息分類體系能夠幫助用戶更加深入地掌握事件的細節，如Huang等[9]根據突發事件的預警、準備、響應和恢復四個階段，定義不同的階段下社交媒體信息的子類別，該細粒度分類體系及其關鍵詞能夠反映整個事件期間的社交媒體內容。

不同類型的社交媒體用戶在發布的內容和語言風格上也存在差異。個體用戶發布的推文通常是與事件相關的第一手信息，表達個人的主觀態度、情感、需求和經歷[10]，語言較為隨意，信息的真實性有待進一步考證，在分析過程中需要結合其他用戶推文和實際情況來合理使用；政府部門、主流新聞媒體等官方用戶發布的內容包括官方預警、事件態勢更新、建議對策、救援行動等[11]，在語言上更為嚴謹，具有更高的可信度和權威性，能夠被直接轉發和使用。這種差異體現了在突發事件期間，不同社會角色關注的問題也不同，可能導致不同用戶發布內容在傳播效率和利用效率上存在差異。

除了文本信息，社交媒體中的圖像、視頻等多媒體信息也提供了與突發事件相關的內容，能夠更加直觀和全面地展現事件的態勢詳情，對于應急管理同樣具有重要作用[12]。一般情況下，在社交媒體內容中，文字、圖像等不同模態的信息同時存在，單一模態的信息通常缺乏部分事實性內容，例如，圖像能夠直觀展示受到損壞的設施狀態，而文本中則包含更精確的受影響人員信息[5]。研究結果表明，大部分社交媒體的內容中圖像和文本是對象相關和場景相關，不同模態和載體的信息能夠相互補充、相互印證，對其進行融合分析能夠為態勢感知提供比單一模態更為準確和全面的內容，在事件的識別以及事件帶來影響的評估上具有更大價值[13]。

現有的研究主要是針對特定的突發事件、數據集和研究任務來構建相應的分類和描述體系，而較少有研究考慮圖像、視頻等其他模態的信息。不同研究中，對于社交媒體多模態信息的分類沒有形成一個被普遍接受的統一標準，不同信息分類體系也缺乏語義上的關聯，導致不同研究的成果之間不能進行交叉比較和驗證，這將會導致對于突發事件中社交媒體內容的一般性模式和規律揭示存在阻礙。

3.2 時空特征

社交媒體提供的時間戳和地理位置數據[14]，將時間和空間維度嵌入到語義內容中，通過聯合分析社交媒體信息的時空分布和語義內容，有助于進一步了解突發事件期間不同位置的用戶在不同階段的關注熱點和看法。

在時間維度上，不同類型突發事件中的社交媒體信息數量和內容隨時間的演變模式存在差異。地震經常導致相關推文的數量激增（推文數量在一小時內達到當地峰值）[15]，與情感有關的推文比例隨著時間推移逐漸下降[6]；而在洪水和颶風等事件中的推文數量增加較為緩和，與情感相關的推文比例隨著時間的推移而持續增加[16]。這可能是由于該類型的事件能夠被有效預測和預警，并且發生較為頻繁，而地震事發突然且造成的影響巨大，具有極高的用戶關注度。

在空間維度上，與未受影響的用戶相比，受災地區的用戶傾向于在社交媒體上發布更多與災情相關的信息[17]，如在火災事件中，發布位置與火災位置之間的距離與推文發布數量之間存在顯著的負相關[18]。此外，事件受影響地區的用戶和未受影響地區用戶發布推文的內容也存在差異。例如，在“海燕”臺風中，居住在受災最嚴重的菲律賓的用戶發布了更多有關協調救濟的推文，而菲律賓以外的用戶則發布了更多有關悼念活動的信息[19]。在“哈維”颶風中，災害爆發時，受災用戶主要發布物理環境類話題，而非受災用戶傾向于情感的表達；災害過后，受災用戶通常發布情感類話題的推文，而非受災用戶則更傾向于發布建設環境和物理環境類話題[20]。

突發事件中社交媒體信息的時空特征會受到一些外部因素的干擾，如地區人口密度和信息基礎設施，可能導致社交媒體信息的空間數量分布不平衡，當突發事件發生在人口密度較大且網絡基礎設施較好的地區時，區域內信息的總數也會較多，而在人口較少或信息基礎設施較為薄弱的地區，區域內信息的數量較少。如何通過獲取其他社會感知數據源來補全缺失的社交媒體信息，以及糾正這些地區社交媒體數據不足所導致的社交媒體時空分析偏差，也是在數據獲取中需要考慮的問題。

3.3 網絡特征

在社交媒體中，每個用戶是信息發布和轉發的節點，形成了一種可參與并具有自組織特性的網絡結構來交流和傳播信息，信息傳播的速度和廣度遠遠超過了傳統新聞媒介。突發事件下的社交媒體網絡分析能夠發現用戶如何通過社交媒體來傳遞相關信息，從而深刻地理解突發事件在事前、事中和事后的信息在社交媒體中的傳播規律。

社交媒體中的信息轉發行為是信息傳播的主要渠道，通過社交媒體中的用戶網絡結構和連接交互模式能夠了解不同信息流以及不同用戶對于有效信息傳播的貢獻[21]，用戶的關注數和推文的轉發數在社交網絡中大致符合冪律分布的特點[22]，即中心用戶（擁有大量粉絲的用戶）和關鍵推文（大量被轉發的推文）主導著在線社交網絡中的信息傳播過程，突發事件的信息傳播主要由關鍵節點推動[23]。因此，擁有更多關注者的個體賬號所發布的推文通常具有更高的曝光度，在傳播緊急信息中往往起著更加關鍵的作用，而官方賬號發布的權威信息也更容易被轉發[22]，在連接不同個人和網絡之間尤為重要[24]。

從傳播擴散的角度來說，通過社交媒體網絡進行內部傳播的速度要快于這些網絡中來自外部來源的信息，在災難期間較早發布的信息比在災難更重要的階段較晚發布的信息具有更高的傳播速度[25]。此外，推文的內容、形式和用戶特征也會影響信息的轉發率，如包含更長文本、主題標簽和鏈接[26]，并與預警建議、損失情況和危險位置等事件關鍵信息的原創推文更容易被轉發[27]，包含請求和情感的推文也更容易被傳播和擴散[28]。在綜合考慮用戶行為特征、網絡全局信息和影響力衰退機制的基礎上，動態識別不同階段的關鍵節點動態[29]，并制定相應的內容編輯策略，有助于把相關信息快速、準確地傳播給有需要的人群。

社交媒體的用戶網絡、轉發網絡、鏈接網絡，在一定程度上反映了與突發事件相關的信息在社交媒體中的傳播模式，然而，當前只是停留在單一網絡特征的揭示，對于網絡動態演變過程及其因果關系的探索不足，對于加入不同類型實體和時空關聯的異質網絡特征以及突發事件信息在社交媒體中的傳播機理仍有待進一步探索。

4 突發事件中社交媒體多模態信息分析關鍵方法

4.1 信息獲取方法

社交媒體中包含大量與突發事件無關、冗余或虛假的噪聲數據，有用信息分散在不同的社交媒體信息中，存在嚴重的信息過載問題。需要通過分類的方式從大規模的社交媒體數據中自動識別與突發事件相關的信息，并進一步抽取出其中的細粒度信息。

4.1.1 多模態信息分類

在突發事件中，社交媒體多模態信息分類任務主要有兩種：一是從大規模社交媒體信息中識別與突發事件相關并包含豐富信息的內容，這是一個二分類問題；二是根據不同場景將信息分配到更為細粒度的類目中，以滿足不同的信息需求，這是一個多分類問題。社交媒體多模態信息分類主要有基于關鍵詞、基于特征工程和基于深度學習這三種方法。

基于關鍵詞的方法通過目標關鍵詞檢索和精確匹配以獲取相關社交媒體信息，為了適應事件的動態演變，關鍵詞需要動態生成和實時更新[30]，但是在短時間內選取合適的關鍵詞進行精確檢索和過濾較為困難。基于特征工程的方式，通過提取詞匯、句法、視覺等外部特征和內容特征，將社交媒體信息轉化為可用于分類的指標，再利用邏輯回歸、決策樹、支持向量機等數學模型構建有監督的機器學習分類器，實現自動化的信息分類[31]?；谏疃葘W習的方法是利用預訓練模型來整合和表示社交媒體內容，并結合災害事件語料庫進行微調，最后通過遷移學習來完成下游的社交媒體內容分類任務，在一定程度上考慮了信息上下文之間的語義關聯，通常能夠展現出比傳統機器學習更好的性能[32]。除了單一模態的信息分類，通過多模態融合的方式構建多模態信息的聯合表示空間，能夠有效提高信息分類的性能[33]。例如，根據預定義的層次結構為每個模態特征分配不同的權重，再構建深度學習模型，將推文分配到不同的災害類別及其子類別中[34]。

此外，社交媒體中存在大量被重復轉發的內容，從信息內容的角度，這些社交媒體信息中并沒有提供除原文之外的其他有用信息，需要在數據處理的過程中刪除這些冗余信息，以保證在有效利用信息的情況下減少信息分析的工作量[35]，可以采用余弦相似度、歐氏距離、杰卡德相似、感知哈希等算法計算文本相似度和圖像相似度，找出數據集中相同或相似的信息，并制定一定的規則來刪除這些冗余信息。

4.1.2 多模態信息抽取

與正式的官方消息和新聞相比，突發事件情境下的社交媒體中存在非正式語言、縮寫、拼寫錯誤、用詞模糊、語法隨意等問題，原始信息的有效性和真實性有待進一步驗證。這就需要利用命名實體識別等方法抽取受影響的人員、時間、地點及其屬性和關系，進行指代消解和實體消歧，并將實體鏈接到現實世界中，從原始信息中獲得到更為豐富和準確的語義內容[36]。Rexiline Ragini等[37]通過分析用戶在緊急情況下的用詞風格，利用機器學習和預定義規則相結合的方法識別事件中處于危險狀態的人群。此外，也可以引入外部語料庫和規范化詞表，利用預定義規則來擴展詞間語義關系和詞法搭配關系，構建損失知識庫，以此來提高信息抽取的精度[38]。社交媒體信息中的圖像和視頻也提供了有關設施損壞和人員傷亡等的重要信息，文本上下文可能包含損壞對象、位置、原因等詳細描述信息，通過構建多模態融合的深度學習模型，分別從圖像和文本中提取語義特征，從而更加全面地識別細粒度信息。

精確的地理位置也是突發事件應急管理中的重要要素，將社交媒體內容映射到事件空間地圖中，能夠增強突發事件的地理態勢感知能力。由于互聯網中的隱私保護政策，部分用戶在發帖時選擇隱藏地理位置，大量與事件相關的內容中缺少位置信息，需要通過圖像、視頻和用戶等特征來預測和解析社交媒體信息中描述的事件所在位置。社交媒體中地理位置解析方法主要有三種：一是構建外部知識庫或地理詞典，通過間接相關的實體與外部知識庫或現實世界空間對象進行匹配[39-40]，以此來預測用戶發布內容時所在的位置；二是根據用戶的社交個人資料來獲取社交媒體用戶或內容的位置[41]；三是通過地理空間區域的視覺元素和屬性來識別地理位置，通過領域自適應技術和圖像轉換方法可以將損壞的場景與未損壞的場景進行匹配[42]，實現圖像的視覺內容向地理坐標的映射[43]。

基于有監督機器學習是多模態信息分類和信息抽取的主要方式，為機器學習提供豐富的訓練數據來源，是有效提高和評價多模態信息分類和抽取模型性能的重要方式之一。目前這方面的可用數據集較少，其規模和領域覆蓋范圍也難以滿足模型訓練的需求，需要構建面向多種突發事件應用場景，涵蓋多種類型、多種模態信息的標準數據集。

4.2 信息整合方法

社交媒體中與突發事件相關的信息以獨立條目的形式存在，存在實際內容冗余、語義不一致等問題，其中的信息量超過人腦的信息處理能力，并且還要進一步將不同模態和類型的信息納入統一的高層語義表示空間中；事件作為一種信息的統一表示和組織方法，能夠準確清晰地表示發生的各種事實型信息，反映特定實體在特定時間和地點相互作用的客觀事實，是整合社交媒體信息的主要方式，對于突發事件的深度理解具有重要的作用。

4.2.1 事件檢測

在突發事件發生后，社交媒體在一段時間和一定地區內的與某一主題相關的信息數量會突然增加，在一定程度上反映了現實世界中事件的真實狀態。通過匯集大規模實時社交媒體流數據，監測一定時空范圍內的主題內容，能夠在第一時間檢測到正在發生的異常事件或突發事件。事件檢測分為重大突發事件檢測和子事件檢測[44]。前者是從大規模的社交媒體數據流中第一時間檢測到實時發生的重大事件，以支持突發事件的快速響應；后者是檢測伴隨著突發事件發生而產生的一些次生或衍生事件，以追蹤突發事件的演化和發展過程。

1）重大突發事件檢測

對于特定災害事件的檢測，通過統計和比較當前時刻與前一時刻或歷史時刻信息中的主題標簽頻率來發現周期性或異常事件。例如，在地震檢測中，隨著信息發布位置與震中之間距離的增加，與地震相關的信息數量會明顯減少，單位時間內的信息發布頻率也會明顯下降。Poblete等[45]和Sakaki等[46]基于此規律構建了社交媒體信息中與“地震”相關的關鍵詞頻率的時序分布模型，用于判斷地震事件的發生，并進一步通過地理標簽過濾的方式確定地震發生的位置。對于未知事件的檢測，在考慮時間和地理特征的基礎上，Zhou等[47]利用聚類、主題模型等無監督的語義分析技術，構建基于概率的主題時空模型，挖掘原始推文集合的潛在主題或事件，并計算事件發生概率。社交媒體中的圖像和視頻等多模態數據能夠更加直觀地反映事件狀態，對于突發事件的檢測更具價值[48]。Daly等[49]利用圖像識別的機器學習模型識別社交媒體中實時上傳的火災信息，再結合時間戳和地理標簽確定發生火災的時間和具體位置，實現區域內火災事件的實時監測。

2）子事件檢測

重大突發事件的發生，通常伴隨著衍生事件或子事件的發生，如“洪水導致人員被困”“地震導致道路損壞”等。所有子事件共同構成了突發事件多側面的熱點問題，反映整個事件的全貌和細節。子事件或衍生事件的檢測方法與突發事件的檢測方法相類似，通過主事件關鍵詞來跟蹤相關信息，但更注重信息之間的時序特征。其核心步驟是對相似的推文進行二次聚類或主題建模，得到突發事件中的子主題，再對子主題進行加權、排序和合并，并結合時間和地理特征，對子事件進行增量更新[50-51]。此外，還可以借助圖模型來檢測子事件，Meladianos等[52]以關鍵詞作為節點，將較短時間間隔內連續的推文表示為一個加權的詞共現圖，再使用凸優化算法來檢測圖邊緣權重的變化，找出與事件最相關的推文或關鍵詞來表示不同子事件。

4.2.2 事件摘要

事件摘要是指將檢測到的突發事件及其子事件片段進行語義編碼和整合，形成全面而簡短的事件描述的過程，分為抽取式摘要和生成式摘要。抽取式摘要是從原始社交媒體信息中識別出可能表示事件的關鍵詞語和句子，通過聚類、圖模型或規則將這些詞和句子進行重新排列和組合，得到有關事件的描述[53]；生成式摘要是在語義理解的基礎上，凝練核心內容，提取社交媒體信息中的主要實體、關系和動作短語，實現序列化的語言重構。事件摘要的 表 示 通 常 遵 循“5W”模 式（what，where，when，who，why），即包含事件的五要素：內容、地點、時間、涉及人物和發生原因[54]。

在社交媒體中的圖像對于突發事件的展現更為直觀，Kuang等[55]和Xu等[56]將圖像特征融入事件摘要中，利用關鍵字、地理位置、代表性推文和代表性圖像來表示每個子事件，生成關于突發事件的多模態連貫性摘要報告。為了獲取每個子事件下最相關的圖像，李顯鑫利用種子查詢詞不斷擴展子事件下的查詢文本，構建融合圖文多模態信息的圖片事件相關性判定模型，同時考慮對各模態內特征和跨模態間關聯特征，以實現事件相關圖像的采集[57]。在基于主題模型的多模態事件摘要中，Bian等[58]和Schinas等[59]通過基于圖模型的排序算法，從文本、圖像、時間和社交關系等方面計算圖像與主題的相關性，構建跨模態的概率模型，通過不同模態信息與事件之間的相關性來發現事件中的子主題，并進一步匯總形成可視化的事件摘要。除了主題建模的方式，Qian等[60]通過文本-圖像-用戶聚類的方式尋找事件的子節點，從視覺相似性、重要性和多樣性等維度為每個子節點分配最具相關性的文本和圖像，形成融合文本和圖像的事件摘要。

4.2.3 事件演化分析

事件摘要把突發事件當作一個整體來看待，忽略了事件的動態演化過程以及子事件之間的關聯關系。從突發事件的生命周期出發，建立事件從起始期、爆發期、蔓延期和衰退期的全生命周期事件主題演化模型和事件脈絡模型，構建融合多源、多模態數據的時空語義模型，分析突發事件中更為復雜的時間-空間-內容的協同演化過程，可實現更細粒度、更深層次、更全角度以及更多側面的突發事件描述。

1）事件主題演化建模

在基于時序關系的事件演化分析中，利用社交媒體捕獲事件演化各個階段的討論數量、熱度和內容等特征，建立基于時間序列的主題動態演化模型[61-62]，能夠有效呈現不同時間段內事件主題的變化情況。此外，等結合維基百科、遙感和地理信息等外部數據源，利用時空分析和文本分析相結合方法，構建突發事件的時空演化語義模型，分析突發事件中更為復雜的時間-空間-內容的協同演化過程，實時跟蹤事件的時空演化態勢和特征[63-64]，以更簡潔的方式理解整個事件的發展趨勢。事件畫像的概念和方法也被應用于事件演化分析中，構建由基于事件演化的一系列話題主題構成的“主線信息鏈”以及基于各個話題下用戶評論信息和事件傳播特征的“副線信息鏈”，來表征事件多個維度的發展狀態[65]。

2）事件脈絡生成

為了更加清晰地理解和掌握社交媒體中有關突發事件的構成情況，需要從更細的粒度揭示事件之間、事件要素之間的潛在邏輯和時空關聯，引入事件鏈、事件圖譜等細粒度的信息組織方法，進行突發事件的數據建模。從敘事的角度，進一步識別事件中更細粒度的實體、屬性和關系，將無序、雜亂的事件組合成有序、有規律的故事情節，構建事件圖譜，并以可視化的形式展現事件發展脈絡[66]，形成一個連貫且自成體系的敘事結構。其核心任務是事件之間的關系刻畫，通過圖模型或機器學習的方法識別事件之間在時間和邏輯上的關聯，以及事件中地理位置、參與者、核心詞之間的關聯，形成事件下各個主題的分支結構，將這些分支利用生成樹生成事件的脈絡結構[67]。圖像也被應用到事件演化的建模中，理解并抽取圖像的語義特征，將其分配到事件的文本時間線中，生成融合圖像-文本摘要的全局事件時間線[68]。

當前，對于社交媒體多模態信息整合的研究仍主要是以單一模態的信息或簡單的圖像和文本融合作為整合的對象，尚未較好地建立不同模態信息之間的關聯，對于多模態融合的研究有待進一步深入探索。來自不同模式的信息通常帶來關于概念、對象、事件等的互補和印證，如何將這些不同模態信息進行深度融合得到更為穩健的事件態勢演化推理結果是多模態信息融合中最主要的研究問題。此外，越來越多的用戶開始傾向于在社交媒體中發布視頻，其中也包含豐富的圖像、文本、聲音等多模態信息；但是目前對于視頻分析的手段有限，只是簡單地將視頻中的關鍵幀轉換為圖片進行分析，對于視頻內容的解析和融合也將是有待解決的問題之一。

4.3 面向應用場景的信息挖掘方法

社交媒體數據中除了與突發事件有關的顯性信息，還包含大量有待進一步挖掘的隱性知識。根據特定的應用場景，利用特征關聯和語義挖掘等手段發現社交媒體中的有關用戶情感和事件態勢等內容，對于事件的態勢評估和走勢預測均具有重要作用。

4.3.1 觀點挖掘

在突發事件期間，每個用戶都可以在社交媒體上自由地表達自己的觀點、反應、情感、態度和看法，有助于深入了解公眾面對突發事件和應急響應的真實反應[69]，對于用戶情感識別、輿情演化分析、需求挖掘以及敏感人群監測都具有重要作用。

1）用戶情感分析

情感分析的目的是識別社交媒體信息中隱藏的用戶對于突發事件的主觀情感傾向，采用機器學習或深度學習等方式，建立語法、語義和表情符號等特征與情感之間的潛在關系，將用戶發布內容分為正向、負向或中立情感，或者通過開發情感詞典，使用更為準確和細粒度的情感詞來標記信息。社交媒體信息中的圖像同樣是通過視覺、對象或場景傳遞情感的，可以是圖像中人物本身所表現出來的情感，也可以是用戶看到圖像所產生的情感，但是圖像中的視覺特征和主觀情感之間存在語義鴻溝，這就導致了每個人對于相同圖像所產生的情感可能會產生差異。圖像與文本的融合方法也受到了研究者更多的關注，構建基于注意力機制的網絡，利用視覺和文本信息之間的相關性進行情感分析，能夠有效提升情感識別的性能[70-71]。

2）輿情演化分析

分析社交媒體中不同階段突發事件的主題與情感演化特征和規律，幫助應急管理部門了解突發事件中公眾對事件的看法和情感傾向，預測未來的輿論趨勢走向，并妥善應對民眾關注熱點[72]。從用戶的角度，通過分析突發事件中不同利益相關者的情感狀態和分布，探尋利益相關者之間的情感傳播路徑，結合輿情話題綜合分析利益相關者的情感演化態勢[73]。一般情況下，意見領袖對網絡輿情的傳播具有決定性作用，利用主題一致性和情感支持識別網絡評論意見領袖，從而引導正面評論意見領袖積極發聲，減少消極情緒，合理回應存在的問題，避免情緒的極端化和輿情態勢的惡化[74]。

3）需求挖掘

社交媒體用戶也會發布內容來描述自身或其他人的困難并尋求幫助，需求挖掘是指從社交媒體信息中抽取出受影響人員、資源需求、損失情況等更細粒度的事件要素信息，從而指導應急管理部門以此為依據，優化物資和人員的調度策略，提供精準的救助服務。利用分類模型識別出包含用戶需求的社交媒體內容和需求類型（如食物、住所、醫療、救援等），進一步抽取需求主體、需求資源、需求時間和地點等結構化信息，并計算緊急狀況下受影響人群的各種需求級別[75]。除了單一的需求挖掘，Purohit等[76]從推文中識別突發事件中與捐助、救援等相關的資源供應信息，利用需求和供應之間的相似度計算或屬性配對進行自動供需匹配，輔助資源的調度，從而提高突發事件應急響應的速度。

4）敏感人群監測

突發事件的破壞性和不確定性加劇了公眾的焦慮和恐慌等負面情緒，事件中受影響的人群更容易出現心理方面的問題，如創傷后應激障礙。通過社交媒體信息的情感挖掘，發現不同用戶在事件發生前后一系列（包括恐慌、焦慮或悲傷等）負面情緒[77]，再結合需求動機模型編制用戶的需求-動機映射表，最終得到不同類型用戶的深層次情感需求特征[78]。而結合時空數據，將公眾情感映射到時空地圖中，追蹤公眾情感變化情況，可以及時發現心理狀況存在異常的人群，并及時提供一定的心理援助和情緒引導，從而減少與突發事件相關的心理問題發生[79]。

4.3.2 態勢分析

在緊急情況下，傳統的依靠專家來評估事件發展態勢是一種耗時費力的方式，而隨著與突發事件相關的社交媒體多模態數據的不斷匯集，利用社交媒體中多模態信息的深層次關聯挖掘，能夠有效估計突發事件的嚴重程度、宏觀態勢等事件的隱藏信息，為應急管理提供更加快速可靠的決策支持情報。

1）事件嚴重性評估

社交媒體信息數量與災害破壞和財產損失之間存在一定的相關性，可以利用社交媒體信息的數量分布和內容快速推測和評估突發事件的影響和潛在風險[80]。因此，通過計算突發事件后的社交媒體推文密度、轉發量、圖文數量等指標，可以估計和預測事件的影響和破壞程度[81]，如Kropivnitskaya等[82]利用地震發生后短時間內的社交媒體中與地震相關的推文數量來估計地震烈度，而Nguyen等和Li等借助深度學習方法將事件根據不同推文特征分為不同的嚴重等級[83]或量化為連續型的損害指數值[84]。

2）態勢估計

從社交媒體中挖掘得到的信息本身并不能直接揭示當前的事件態勢，還需要揭示社交媒體信息與事件態勢的關聯關系及映射機制，通過融合社交媒體和其他來源數據（如傳感數據、水文數據和數學模型）來實現事件總體態勢的估計。de Albuquerque等[85]和Arthur等[86]將與洪水相關的推文通過地理編碼映射到GIS系統中，通過推文中圖像和文本描述來估計特定區域中洪水的淹沒和破壞情況，并形成洪水地圖。為了進一步精確估計和預測洪水深度和淹沒區域，將推文信息轉換為降雨量的值，Brouw‐er等[87]和Li等[88]構建地理高程模型來計算排水渠上方的水位高度，再從已知淹沒位置與目標位置之間的距離和高程差得到水位的概率指數，能夠有效降低水位估計和預測的不確定性。

當前針對特定的場景和信息需求的社交媒體多模態信息挖掘研究中，分析數據和目標都具有較強的領域性，使得其信息挖掘的方法和結果缺乏多領域的適用性，對于挖掘方法的評價上也存在一定的困難。如何針對突發事件中典型場景和任務，探索具有一定普適性的信息挖掘方法，是值得進一步研究的問題。此外，目前只有少量研究涉及分析結果可視化的問題，簡單地將事件要素以統計圖表或時空地圖的形式呈現出來，缺乏有針對性的對突發事件態勢可視化理論和方法的研究。

5 總結與展望

盡管社交媒體信息已經被廣泛用于突發事件的應急管理中，但是其研究成果和應用效果具有一定的局限性：在當前的研究中，通常是利用單一的信息分析方法，對單一模態的社交媒體信息進行分析，來滿足應急管理中某一環節或階段中的信息需求，對于突發事件中社交媒體多模態信息分析的一般流程、方法技術和應用場景缺乏系統全面的探討，不能滿足“情景-應對”模式中的突發事件應急管理模式下對于社交媒體多模態信息處理的要求。

面向突發事件應急管理的社交媒體多模態信息分析目標，貫穿于突發事件應急管理中的事前預警、事中響應和事后評估三個階段。在事前，通過對社交媒體數據的動態監測，預測將會發生的事件和正在發生的事件，以實現危機的預警；在事中，通過對與突發事件相關社交媒體多模態信息的整合和挖掘，進行事件的全景式建模和事件推演，以實現事件的態勢感知；在事后，通過實際情況與分析結果的對比，對整個信息處理過程進行總體評估，優化信息處理的流程和分析方法。

為了實現上述目標，本文構建了面向突發事件應急管理的社交媒體多模態信息分析框架，如圖3所示，從信息處理流程出發，以大規模社交媒體多模態信息獲取為前提，以信息整合和挖掘為手段，為不同場景和需求下的應急管理提供實時可靠的信息支持，最終實現虛擬社交網絡中的事件與物理世界中的實際事件態勢的同步呈現。

圖3 面向突發事件應急管理的社交媒體多模態信息分析框架

然而，通過梳理可發現，現有的研究存在信息獲取的邊界不清晰、信息整合的標準多樣、信息挖掘方法的多場景適用性不強、多模態信息融合的實際應用較少、信息可視化手段較為單一等問題，并且在數據來源的多樣性、分析方法的適用性、分析結果的可信度以及應用場景的多樣性等方面存在一定的不足，未能較好地支撐本文提出的面向突發事件應急管理的社交媒體多模態信息分析框架。在未來的研究中，可從以下幾個方面做進一步探索。

（1）確立實時高效的信息獲取機制。社交媒體信息通常具有傳播速度快、擴散廣等特點，數據的使用價值隨著時間流逝而急劇衰減，突發事件的應急決策對于數據的時效性和全面性有較高要求。如果只關注事件發生前后某一時間段或者地域范圍內的截面數據，那么數據獲取的邊界不明確，實時的全量數據獲取困難，導致分析結果容易出現偏差。需要在信息過濾和相關性識別的基礎上確定合理的數據獲取邊界和實時信息獲取策略，提高突發事件相關數據感知的效率、準確性和時效性，既要獲取全面的信息來滿足用戶的信息需求，又要盡量減少無關信息，降低信息處理的難度。

（2）構建統一的多模態信息描述和組織體系。由于突發事件、信息需求和信息模態本身具有多樣性，建立統一的突發事件信息分類體系和描述標準存在巨大的困難。隨著語義網和知識圖譜技術的發展，針對代表性的事件類型建立分類框架和本體模型更具有可能性和可操作性，利用語義映射方法將公共安全大數據資源映射到高層語義空間中，形成統一的內容理解和語義關聯。這種方式既能提供不同模態信息的整合框架來集成突發事件的相關信息，也能支持跨事件、跨模態的分析以及不同機構和研究中的信息交換。

（3）探索可復用、可解釋的多模態信息分析方法。大規模機器學習和深度學習方法的被應用，在提升了分析效率的同時，其分析結果在解釋性、可靠性和普適性方面有待進一步驗證。需要研究可泛化、可擴展、可移植的信息分析方法，對于一般性的場景，研究共性化的分析方法和工具，再通過遷移學習和自適應的方式滿足個性化的應用場景需求。同時，研究數據驅動與知識驅動相結合的協同分析方法，利用先驗知識和相關理論來指導知識發現的過程，將分析問題簡化為邏輯計算和算法規則的過程，通過數據驅動的方式來揭示隱藏的和以前未知的模式、趨勢和變化，從而提升深度學習的可解釋性和可靠性。

（4）優化多維度、多粒度的信息可視化方法?？梢暬缑婺軌蛳驔Q策者更為直觀地展示事件的主要結構以及發展變化情況，如何將突發事件復雜變化的態勢以簡潔的方式展現對于應急管理具有重要的意義。需要將復雜、模糊、多樣的一系列突發事件納入到時空參考框架中進行可視化研究，建立符合用戶常識性認知的可視化表達方式。將事件要素間的動態交互關系客觀地投影到時間和空間軸上，在可自定義的圖表中顯示相關指標，在地圖上顯示地理位置以及在特定視圖中顯示重要的數據、圖像或視頻，并實時更新突發事件的動態演化過程。

6 結語

突發事件的發生和演化是一個動態的過程，所面臨的情境復雜多變，具有高度的不確定性，又涉及安全、社會穩定等敏感問題，需要以及時可靠的情報作為依據來減少管理決策的不確定性?？焖俑咝У孬@取、整合、分析和挖掘社交媒體中不同模態的碎片化信息，提取出與突發事件預警警報、實時態勢和發展趨勢等相關的有用情報，有助于提升應急管理部門對突發事件的實時預警、監測和態勢感知能力。本文通過回顧突發事件中社交媒體多模態信息分析的相關文獻，梳理了突發事件中社交媒體信息多維特征和多模態分析方法，構建了面向突發事件應急管理的社交媒體多模態信息分析框架，為突發事件中社交媒體多模態信息的研究和實踐提供指引，以期通過創新社交媒體多模態信息分析方法促進突發事件應急管理模式的創新和突破。