社交媒體中開源網絡威脅情報挖掘技術分析

摘要：威脅情報是網絡安全防御的重要信息資源，其準確性、時效性直接決定了系統對于外來未知威脅的感知發現能力。目前，除威脅情報自生產及商業購買外，從社交媒體（如網絡安全博客、技術論壇、安全報告發布平臺等）中直接提取挖掘開源情報的方式因具有高時效、低成本等特點，受到了業界的廣泛關注。文章結合近年來代表性研究梳理歸納了從社交媒體中采集及提取挖掘開源網絡威脅情報的主要技術，并分析了相應的優缺點及適用場景，可為情報提取模型選擇及優化設計提供參考。

關鍵詞：社交媒體；網絡安全；開源情報；采集挖掘

中圖分類號：TP391.1" 文獻標志碼：A

0 引言

隨著互聯網通信的大范圍普及，網絡空間已延伸至社會生產的各個領域，與此相伴的是針對網絡上組織或個人的攻擊破壞事件層出不窮。尤其在當今大國博弈的背景下，有組織、有目的的國家級新型網絡攻擊日趨頻繁，以高級持續性威脅（Advanced Persistent Threat， APT）、0day漏洞利用為代表的網絡威脅充分利用電子郵件、移動應用程序等途徑對重要生產資料進行滲透竊取。

目前，常規的網絡安全防御手段是在防御對象系統的網絡空間邊緣部署入侵檢測系統、全流量探針、防火墻等防御設備［1］，發現并阻斷帶有特定五元組信息或報文特征的攻擊流量，這種方法雖然可以在一定程度上感知網絡威脅，但是其防御能力很大程度上取決于安全防御設備中內置的威脅情報規則準確與否。雖然除常規防御手段外，還可以通過對捕獲的流量進行行為特征分析來挖掘新型威脅的攻擊線索，但是這樣會消耗大量運營成本，且多作為事后復盤分析手段，無法做到事前防御。因此，能夠及時、準確、全面地獲取最新網絡威脅情報并將其配置在邊緣防御設備中，仍然是目前對抗新型網絡攻擊的最有效手段。

本文通過對近年代表性文章中開源網絡威脅情報提取挖掘技術進行歸納分析，明確了威脅情報的常用標準化規范及主要提取來源，梳理了最新的情報采集及提取方法，并從準確率、提取速度、普適性3個方面分析了各方法的特點及適用場景，為網絡安全運營人員選擇使用或改善優化相關方法時提供參考。

1 網絡威脅情報標準化

為滿足跨組織、跨地域、跨行業、跨平臺的威脅情報交互共享，催生了網絡威脅情報的標準化需求。目前，常見的威脅情報標準已超過20種，其中應用比較廣泛的包括美國MITRE公司提出的STIX標準、TAXII標準，Mandiant公司的openIOC標準，國際互聯網工程任務組的MILE標準，以及國內于2018年提出的GB/T 36643—2018標準。

STIX初代版本STX1.0于2013年提出，是一種基于可擴展標記語言的表述形式，其包含8個威脅信息構件（即8個情報要素）：可觀測信息、攻擊特征、安全事件、攻擊行為、威脅來源、攻擊目的、技戰術、應對方法。隨后MITRE公司在2017年提出的STX2.0版本中，又對8個構件中的技戰術、威脅來源和攻擊目標進行了擴充和細化，達到了12個要素，并重新以解析手段更為豐富的JSON語言進行表述［2］。

TAXII是一種威脅情報傳輸標準，其最初是為用戶間共享STIX格式情報而制定的，旨在保證情報共享過程中的機密性、完整性。其包括3種傳輸模式：單一信息源的消息訂閱分發模式、中心化資料庫的信息消費模式、點對點群組共享模式。除STIX格式外，該標準也廣泛適用于其他標準格式的威脅情報共享傳輸。

國內GB/T 36643—2018標準全稱為《信息安全技術網絡安全威脅信息格式規范》，該標準定義了網絡安全威脅信息模型的3個表述維度：對象域、方法域和事件域，以及不同域內的8個威脅信息描述組件。其中，對象域包含威脅主體、攻擊目的2個組件，方法域包含攻擊方法、應對措施2個組件，事件域包含攻擊活動、安全事件、攻擊指標、可觀測數據4個組件。該標準為國內各網絡安全威脅信息供應方和需求方之間進行威脅情報生成和共享提供規范。

2 網絡威脅情報主要來源

威脅情報的標準化定義使不同組織、地域間的網絡威脅信息共享及協同防御成為可能，但從何處能夠源源不斷地獲取最新的威脅情報卻無統一標準，因此盡可能大量、快速、準確地獲取情報便成了評價一個組織情報收集能力的重要指標。

目前，主要的網絡威脅情報來源分為內部來源和外部來源兩類，內部來源主要是指組織或單位通過對其自有網絡資產的主機日志、網絡出口所部署安全設備采集的流量日志及安全告警日志等進行聚合分析，并經過與主機、系統、網絡設備運行狀態、行為特征進行長時間的觀察比對，形成的基于攻擊危害的情報信息。但這種情報輸出方式的應用受限于以下3個方面：（1）多數組織或單位不具備在各網絡節點大規模部署安全設備的能力，導致原始數據來源范圍有限，影響情報輸出的準確性；（2）部署在各網絡節點的安全設備需要基于已有情報規則才會觸發生成相應的告警日志，想要滿足此條件必須先行導入大量的原始情報，同時通過該方式生產情報又與已有情報關聯緊密，因此價值有限；（3）該方式輸出情報是以長期對攻擊所產生危害的觀察為依據的，因此在使用時難免會造成一定的網絡風險。而外部來源主要是指從開源媒體中提取挖掘，常見的媒體情報源主要包括技術博客（如fireeye、kaspersky、Talo、symantec等）、社交網站（如Twitter、Freebuf等）、新聞網站、公共報告，甚至是深網地下論壇等，這種方式不僅具有較低的采集成本，且時效性、普適性更好，因此，相比于內部生產方式，其在業界的應用更為廣泛，同時也是本文討論的重點。

3 基于社交媒體的開源威脅情報采集及提取技術

在確定情報源后，如何從海量開源媒體中更高效、完整、準確地采集及提取網絡威脅情報，一直受到業界及學術界的高度關注，本文檢索了近10年中外學者在主流安全期刊、學術會議、學位論文上發表的文獻，統計情況如圖1所示。可以看出，針對相關主題的研究熱度一直呈上升趨勢，但從數量上看中文數據庫相關研究與國外數據庫相比仍存在一定差距。

3.1 開源威脅情報采集

威脅情報采集是威脅情報全生命周期管理中的基礎環節，其采集數量與質量直接關系到后續識別提取效率以及輸出情報價值。采集開源威脅情報一般利用網絡爬蟲，并結合語句識別、話題檢測等技術對多源媒體（如技術博客、黑客論壇等）中的特定內容信息進行捕獲留存。

近年來，隨著Web攻防技術的不斷完善，開源社交網絡的反爬取機制也在加強，因此常規的網絡爬蟲很難快速大量獲取網站中的高價值原始情報。針對此問題，徐留杰等［3］列舉了當下較為常見的反爬取策略并給出了具體的應對措施，如：對于設置了Headers信息檢測的網站，可在爬蟲中預置Headers各個參數真實值；對于具備用戶行為檢測機制的網站，可采用設置多個代理IP并預留訪問時間間隔的方式等，同時利用所提出方法對端側郵件系統中的開源情報訂閱信息進行采集提取及標準化處理。

雖然表網中能夠獲取數量可觀的開源情報，不過相比于深網，其獲取的威脅情報準確性和時效性都較差，想要構建高質量的威脅情報管理體系，深網同樣是一個不可忽視的情報獲取源［4-5］。不過和表網不同的是，深網各個站點間沒有形成互聯互通的網狀架構，更多是以散點狀形式呈現的，在對深網中的情報進行采集之前需要廣泛搜集站點信息［6］。因此，黃莉崢等［4］提出利用人工搜集近期活躍的深網市場和地下論壇鏈接，之后再對各站點逐一進行內容爬取的方法來提取初始情報，不過這種方式在大規模應用場景下及時性和效率都有待提高。在此基礎上，Vlachos等［7］提出了一種雙層爬蟲架構，第一層為Hidden Wiki爬蟲，其負責爬取深網的.onion URL地址，并基于網頁的HTML架構留存站點目錄層級，以“24位標識碼（id）， 實體類型（Entity-type）， 網站名稱（Name）， 網站鏈接（URL）， 網站狀態（State）， 目錄（Category）， 子目錄（Subcategory）， 爬取時間（Time UTC）”的形式將爬取的站點信息落盤至.csv文件；第二層為ACHE爬蟲，其將上一層爬取的.csv文件作為輸入，利用代理服務器連接Tor網絡，對網頁各目錄層級內容進行自動爬取，并將爬取后的初始情報信息寫入JSON文件。

除上述研究中所用靜態爬蟲方法外，Zhang等［8］結合文本語義檢測技術開發了能夠對開源威脅情報進行迭代采集的動態爬蟲iMCircle，其通過爬蟲引擎、信息預處理、情報檢測、新情報源提取4個模塊，實現對威脅情報的自動化循環采集，相關結果表明，整合了語義檢測的動態爬蟲相比于靜態爬蟲具有更高的采集效率及準確性。

3.2 開源威脅情報提取

通過上述研究中的靜態或動態爬蟲技術從社交網絡獲取非結構化開源威脅情報文本后，需進一步利用信息提取技術，輸出具有分析價值的標準化或非標準化威脅情報。該過程涉及處理海量原始數據集，手工方法效率低下，因此多采用人工智能方法作為主要提取手段。目前，常見的威脅情報提取識別方法基于其依賴的技術不同主要分為兩大類：基于自然語言處理的提取技術和基于神經網絡的提取技術。相關研究在對這兩類方法細分衍生的基礎上，又整合各類人工智能算法形成了適用不同場景需求的組合式提取識別技術。

3.2.1 基于自然語言處理的提取理技術

自然語言處理技術（Natural Language Processing， NLP）的基本原理是通過對只有人類能夠理解的自然語言進行編碼，將其轉化為計算機能夠理解和輸出的語言形式，從而實現利用機器代替人工對從社交媒體中采集的原始威脅情報關鍵信息進行提取、識別、摘錄。Feng等［9］針對物聯網設備中的漏洞威脅，通過開發自動化爬蟲工具，從社交網絡上收集下載開源漏洞報告，利用NPL技術分析報告語義，提取漏洞類型、漏洞位置、軟硬件名稱、版本號等信息，摘錄形成結構化威脅情報。在使用中，該方法收集了7 514個漏洞報告，提取出其中披露的12 286個物聯網設備漏洞，人工核對結果表明該方法的識別準確率可達到94%。Zhu等［10］使用Stanford NPL方法對14 155篇工業報告及技術文章中收錄的24 654個威脅情報進行提取，并基于不同攻擊階段設置4個標簽：載荷投遞（Baiting）、利用與開發（Exploitation）、木馬植入（Installation）、命令與控制（Command and Control）對所提取的威脅情報進行分類。相關實驗結果表明，該方法對威脅情報提取準確率達到了91.9%，對威脅情報攻擊階段信息認定準確率也可達到78.2%。

在此基礎上，Ghaith等［11］引入了利用基于語義學的信息檢索方法（Information Retrieval， IR）對傳統NLP進行優化。該方法可從非結構化報告中提取攻擊技戰術、殺傷鏈等威脅情報關鍵字，并按照不同的威脅情報標準（如STIX等）進行結構化輸出。結果表明，該方法相比于傳統NLP具有更高的檢索準確性。進一步地，該團隊在Ghaith等［12］中同樣對傳統NLP進行了改進，將熵和互信息（Entropy and Mutual Information， EMI）度量引入網絡安全領域，對采集的開源威脅情報按照危害等級進行篩選，濾除低危情報，支撐安全防御快速決策，大大提高了情報提取輸出效率。

為使NLP方法能夠更加智能化地解析提取來自深網或暗網的隱蔽情報信息，Varsha等［13］引入了Google BERT訓練模型。該模型具有兩層訓練任務：第一層為Masked LM，即在句子中隨機遮蓋一部分單詞，訓練模型通過上下文信息推測該單詞；第二層為Next Sentence Prediction，通過對下一句進行預測，訓練模型理解深層語義。因此，該模型有效避免了傳統Word2Vec或Doc2Vec語言編譯模型對于多義詞的混淆。結果表明Google BERT+NLP方法能夠高效地從深網粗情報中提取黑客ID、使用工具、軟件信息、組織信息等要素。

3.2.2 基于神經網絡的提取技術

利用神經網絡（Neural Network， NN）提取威脅情報的核心是通過大量原始數據集對所構建的網絡模型開展長期訓練，進而利用該模型對待分析原始文本形成的數據矩陣中關鍵短語向量進行定位、篩選、整合，從而實現原始信息到結構化威脅情報的端對端提取。Zhou等［14］提出了一種帶有雙向長短期記憶（Long Short Term Memory， LSTM）模塊的人工神經網絡（Artificial Neural Network， ANN）。該網絡為常規的輸入層-計算層-輸出層3層架構，可提取網絡安全報告長句子中的低頻威脅情報。該方法的優勢是能夠在僅通過少量數據集訓練的條件下，便可達到90%以上的情報提取準確率。然而，Long等［15］在應用該ANN方法后發現其容易在提取過程中混淆疑似威脅情報，于是在此基礎上引入多頭自注意力模塊和語境特征分析模塊，并同時利用中英文數據集對該模型進行訓練，結果表明，相比于Zhou等［14］中的方法，該方法對于英文安全報告中威脅情報的提取準確性可提升至93%以上，對于中文安全報告中威脅情報的提取準確率也可達到82.9%。

除ANN外，卷積神經網絡（Convolutional Neural Network， CNN）也是應用較為廣泛的威脅情報提取方法，Kim［16］最先將CNN應用于文本識別領域，其證實了僅帶有一層卷積計算層的CNN仍具有良好的文字信息提取效果。基于此，Xun等［17］提出了一種帶有兩層卷積的CNN模型。其能夠更加精細化地從網絡安全文獻中識別威脅情報文本特征。在使用相同數據集開展訓練的條件下，該雙層CNN的威脅情報提取準確性相比于傳統單層CNN結構提高了4%。Zhao 等［18］在常規CNN的基礎上，首次整合了威脅情報領域識別模塊，其除能夠提取威脅情報外，還能根據情報特征對其潛在影響領域（如物聯網、金融、教育、政府部門等）進行推斷并打標簽。該方法從2002至2018年共118 000篇網絡安全報告中提取了超過一百萬條情報信息，經驗證情報提取準確率高達94%，針對威脅情報的所屬領域認定準確率也達到了84%。進一步地，里斯本大學團隊的Dionisio等［19］提出了一種5層CNN架構，除包含常規的輸入層、嵌入層、卷積層和輸出層外，在卷積層和輸出層之間插入了池化層，目的是降低模型的過擬合程度并減少計算量，作者通過該方法對社交媒體Twitter中的網絡威脅信息進行了結構化情報提取，并在使用相同數據集的條件下與另外8種情報提取方法進行了比對，結果驗證了該方法的優越性能。

3.2.3 其他混合型提取技術

受益于人工智能理論的發展，大量研究將支持向量機（Support Vector Machine， SVM）、狄利克雷分配（Latent Dirichlet Allocation， LDA）、機器學習（Machine Learning， ML）等算法融入傳統NLP或NN方法中，形成了多種功能特點各異的混合型威脅情報提取方法。Wang等［20］通過引入注意力機制（Attention Mechanism， AM）和強化學習模塊（Reinforcement Learning， RL）形成了能夠減輕標注數據噪聲的分段式卷積神經網絡結構，并利用Google BERT模型對其進行訓練，結果表明在對同一情報源進行提取時，所提出方法準確率相比于常規CNN增加了15%以上。Deliu等［21］提出了一種基于支持向量機和狄利克雷分配的二級威脅情報提取模型，該模型通過第一層的支持向量機先對從黑客論壇爬取的無關主題帖子進行剔除，再利用第二層的狄利克雷分配對具有相同特征的威脅情報（如憑證泄露、代理服務器、逃逸攻擊等）進行快速聚類，通過對百萬量級黑客論壇帖子中情報信息進行提取，驗證了該模型的快速性和準確性。為解決開源威脅情報中存在的中英文表述混雜難以識別等問題，王瀛等［22］提出了基于一種融合迭代膨脹卷積神經網絡與雙向門控循環單元深度學習模型的文本威脅信息實體識別方法，并引入人工規則詞典進行輸出矯正，在與其他深度學習方法，如雙向長短期記憶網絡模型，進行比對后證明該方法能夠在最小化信息損失的同時，對文本特征具有更全面的提取識別效果。

除提出新的情報提取方法外，部分研究致力于對已有提取方法進行性能比較，以確定不同方法的最佳適用場景。Gasmi等［23］針對情報提取過程中用于文本關系特征識別的長短期記憶（LSTM）模型3種常見架構：序列樹結構（Sequences and Tree Structures， STS）、最短依賴路徑結構（Shortest Dependency Paths， SDP）、最近共同父節點二叉樹結構（Least Common Ancestor Sub Tree， LCA）進行了多方面能力（識別率、準確性等）比對，作者利用相同數據集對不同結構進行訓練后發現，同一模型的提取準確性和對于不同文本形式的適應性呈近似負相關。Deliu等［24］將基于人工智能理論的支持向量機、卷積神經網絡和基于圖論的決策樹模型進行比對，結果表明基于人工智能理論的方法相比于傳統數學模型方法需要的訓練時間的確更短，不過提取準確度方面卻沒有明顯區別，同時SVM方法所需訓練時間雖然相比于使用范圍更廣的CNN方法略長，但在部分場景下具有更小的計算量以及更快的提取速度。

4 結語

本文聚焦于開源網絡威脅情報提取挖掘技術，從近年代表性工作中梳理了開源社交媒體的情報提取常用手段，簡要分析了各提取方法的技術特點及優勢，針對各方法的適用性、速度、準確率等評價指標，可初步歸納如下結論。

（1）威脅情報提取的準確率和速度呈近似負相關。以NN方法為例，想要提高模型針對各類媒體中情報提取的準確性，必然需要在模型中引入多層卷積結構或降噪模塊，而在使用相同訓練數據量對模型進行訓練的前提下，額外的功能單元必然會增加整體計算量，減慢單個情報提取的速度。

（2）威脅情報提取速度和文本類型適用性呈近似負相關。與上一結論的情況類似，若要所構建的提取模型對不同結構、不同語種的開源媒體都具有很好的兼容性，那么必然要增加模型的判斷邏輯單元和適應性功能模塊，從而提升了提取復雜度，降低提取效率。

此外，雖未有研究直接表明，但可以推斷威脅情報提取模型的文本類型適用性和提取準確性應該也為負相關，因不同模型的設計都是為滿足特定語言、特定媒體形式的快速準確提取需求，難免會一定程度上犧牲針對其他文本類型的提取性能。

參考文獻

［1］葉帥辰，盧泓宇，周成勝.網絡安全防護設備應用研究［J］.信息與電腦（理論版），2022（17）：213-216.

［2］石志鑫，馬瑜汝，張悅，等.威脅情報相關標準綜述［J］.信息安全研究，2019（7）：560-569.

［3］徐留杰，翟江濤，楊康，等.一種多源網絡安全威脅情報采集與封裝技術［J］.網絡安全技術與應用，2018（10）：23-26.

［4］黃莉崢，劉嘉勇，鄭榮鋒，等.一種基于暗網的威脅情報主動獲取框架［J］.信息安全研究，2020（2）：131-138.

［5］NUNES E， DIAB A， GUNN A， et al. Darknet and deepnet mining for proactive cybersecurity threat intelligence［C］. Tucson： 2016 IEEE Conference on Intelligence and Security Informatics （ISI）， 2016.

［6］張永超.暗網資源挖掘的關鍵技術研究［D］.西安：西安電子科技大學，2013.

［7］VLACHOS V， STAMATIOU Y， TZAMALIS P， et al. The SAINT observatory subsystem： an open-source intelligence tool for uncovering cybersecurity threats［J］. International Journal of Information Security， 2022（21）： 1091-1106.

［8］ZHANG P， YA J， LIU T， et al. iMCircle： automatic mining of indicators of compromise from the Web［C］. Barcelona： 2019 IEEE Symposium on Computers and Communications （ISCC）， 2019.

［9］FENG X， LIAO X， WANG X， et al. Understanding and securing device vulnerabilities through automated bug report analysis［C］. Santa Clara： The 28th USENIX Conference on Security Symposium， 2019.

［10］ZHU Z， DUMITRAS T. ChainSmith： automatically learning the semantics of malicious campaigns by mining threat intelligence reports［C］. London： 2018 IEEE European Symposium on Security and Privacy， 2018.

［11］GHAITH H， EHAB A， MOHIUDDIN A， et al. TTPDrill： automatic and accurate extraction of threat actions from unstructured text of CTI sources［C］. Orlando： 33rd Annual Computer Security Applications Conference， 2017.

［12］GHAITH H， XI N， BILL C. Using entropy and mutual information to extract threat actions from cyber threat intelligence［C］. Miami： 2018 IEEE International Conference on Intelligence and Security Informatics，2018.

［13］VARSHA V， MAHALAKSHMI S， SENTHILKU-MAR K B. Extraction of actionable threat intelligence from Dark Web data［C］. Chengdu： 2023 International Conference on Control， Communication and Computing， 2023.

［14］ZHOU S， LONG Z， TAN L， et al. Automatic identification of indicators of compromise using neural-based sequence labelling［C］. Hongkong： Proceedings of the 32nd Pacific Asia Conference on Language， Information and Computation， 2018.

［15］LONG Z， TAN L， ZHOU S， et al. Collecting indicators of compromise from unstructured text of cybersecurity articles using neural-based sequence labelling［C］. Budapest： 2019 International Joint Conference on Neural Networks， 2019.

［16］KIM Y.Convolutional neural networks for sentence classification［C］. Doha： Conference on Empirical Methods in Natural Language Processing， 2014.

［17］XUN S， LI X， GAO Y. AITI： an automatic identification model of threat intelligence based on convolutional neural network［C］. Xiamen： Proceedings of the 2020 4th International Conference on Innovation in Artificial Intelligence， 2020.

［18］ZHAO J， YAN Q， LI J， et al. TIMiner： automatically extracting and analyzing categorized cyber threat intelligence from social data［J］. Computers amp; Security， 2020（95）： 1-14.

［19］DIONISIO N， ALVES F， FERREIRA P， et al. Cyberthreat detection from twitter using deep neural networks［C］. Budapest： 2019 International Joint Conference on Neural Networks， 2019.

［20］WANG X， CHEN R， SONG B，et al. A method for extracting unstructured threat intelligence based on dictionary template and reinforcement learning［C］. Dalian： 2021 IEEE 24th International Conference on Computer Supported Cooperative Work in Design， 2021.

［21］DELIU I， LEICHTER C， FRANKE K. Collecting cyber threat intelligence from hacker forums via a two-stage， hybrid process using support vector machines and Latent Dirichlet Allocation［C］. Seattle： 2018 IEEE International Conference on Big Data， 2018.

［22］王瀛，王澤浩，李紅，等.基于深度學習的威脅情報領域命名實體識別［J］.東北大學學報（自然科學版），2023（1）：33-39.

［23］GASMI H， LAVAL J， BOURAS A. Information extraction of cybersecurity concepts： an lstm approach［J］. Applied Sciences， 2019（9）： 1-15.

［24］DELIU I， LEICHTER C， FRANKE K. Extracting Cyber threat intelligence from hacker forums： support vector machines versus convolutional neural networks［C］. Boston： 2017 IEEE International Conference on Big Data， 2017.

Analysis of open source cyber threat intelligence mining technology from social media

Abstract： "Threat intelligence （TI） is an important information resource for network security defense. The accuracy and timeliness of TI directly determine the perceive and discover ability to external unknown threats for a network defense system. In addition to the self-production and purchase of TI， the method of extracting open source TI from social media （such as network security blogs， technical forums， security report publishing platforms， etc.） has been widely concerned because of its characteristics of high time-efficient and low cost. Based on the representative research in recent years， this paper summarizes main technologies of collecting and mining open source network TI from social media， and analyzes their applicable scenarios， which can provide references for the selection and optimization design of intelligence extraction model.

Key words： social media; network security; open source threat intelligence; collection and mining