大數(shù)據(jù)分析在APT追蹤場景下的應(yīng)用

◆楊 東 任利敬

大數(shù)據(jù)分析在APT追蹤場景下的應(yīng)用

◆楊 東1任利敬2

（1.中國人民大學(xué)統(tǒng)計(jì)學(xué)院在職人員高級課程研修班 北京 100000） （2.中國人民大學(xué)信息學(xué)院在職人員高級課程研修班 北京 100000）

本文通過介紹大數(shù)據(jù)分析在360安全大腦[1]對APT攻擊分析方面的利用，展示了目前360利用大數(shù)據(jù)挖掘?qū)σ阎狝PT攻擊組織的追蹤、挖掘能力。本文介紹的手段均已落實(shí)在當(dāng)前的日常生產(chǎn)中。當(dāng)前系統(tǒng)中追蹤中的APT組織多達(dá)23個(gè)，日增量數(shù)據(jù)10T以上。文中提及的云查殺為目前360衛(wèi)士、360殺毒的普通保護(hù)手段，海蓮花為360首次發(fā)現(xiàn)的一個(gè)隱藏在我國周邊長期對我國滲透、攻擊的APT組織，Poseidon數(shù)據(jù)平臺是360推出的一個(gè)企業(yè)級大數(shù)據(jù)合作平臺，能夠?yàn)榘踩珡S商提供海量數(shù)據(jù)分析查詢服務(wù)。本文通過介紹360分析APT攻擊數(shù)據(jù)的來源，展示了像360這樣的安全廠商是如何通過一點(diǎn)一滴積累形成安全大數(shù)據(jù)的；通過介紹360云查殺引擎的工作模式，展示了高風(fēng)險(xiǎn)樣本文件在360云端的處理流程；通過介紹服務(wù)端數(shù)據(jù)的處理方式，展示了大數(shù)據(jù)在實(shí)際生產(chǎn)中的具體落地實(shí)現(xiàn)形式；通過介紹Poseidon系統(tǒng)的技術(shù)實(shí)現(xiàn)，展示了大數(shù)據(jù)在APT分析方面的實(shí)力體現(xiàn)原因；通過介紹一個(gè)普通APT追蹤案例，分析大數(shù)據(jù)在做數(shù)據(jù)挖掘時(shí)需要的周邊資源配合情況，展示了一個(gè)普通的數(shù)據(jù)挖掘模型是如何通過有效的交互手段，實(shí)現(xiàn)資源的充分利用，最終形成自動化分析工具。

大數(shù)據(jù)分析；APT；云查殺；泛DNS請求；APT溯源；樣本關(guān)聯(lián)關(guān)系

1 引言

APT 即高級持續(xù)性威脅，一般表現(xiàn)為潛伏期長，有組織計(jì)劃性，危害性高，攻擊手段隱秘，打擊后果嚴(yán)重等特點(diǎn)。模型案例如：美國針對伊朗的核設(shè)施鈾濃縮離心分離機(jī)的攻擊，烏克蘭國家電網(wǎng)癱瘓事件，希拉里競選郵件門事件，針對中國政府、科研院所、海事機(jī)構(gòu)、海域建設(shè)、航運(yùn)企業(yè)等相關(guān)重要領(lǐng)域展開不間斷攻擊的海蓮花組織[2]等。本文通過介紹大數(shù)據(jù)挖掘在360的高級威脅情報(bào)分析系統(tǒng)中的應(yīng)用，展示一個(gè)一般的APT追蹤手段。

2 數(shù)據(jù)采集與整理

2.1 數(shù)據(jù)采集

數(shù)據(jù)是一切分析的保障，對于當(dāng)前的安全大數(shù)據(jù)，其主要數(shù)據(jù)來源有：用戶發(fā)現(xiàn)可疑文件的主動上報(bào)、友商間合作的可疑特征文件同步合作、各種專業(yè)分析網(wǎng)站的分析師文章展現(xiàn)示例、軟件開發(fā)廠商向安全廠商的文件同步、已暴露病毒樣本的補(bǔ)充等。

在收到樣本后，系統(tǒng)會對文件進(jìn)統(tǒng)一的查毒掃描、特征提取以及壓縮保存工作，提取出樣本的唯一指紋、特征指紋、文件類型、基本文件信息、簽名信息、修改時(shí)間、發(fā)現(xiàn)時(shí)間、（父、子）進(jìn)程調(diào)用關(guān)系、下載來源、下載工具、上報(bào)次數(shù)、上報(bào)來源、命令行指令參數(shù)、提及過的（論文、網(wǎng)站）信息等，錄入HDFS集群系統(tǒng)，為大數(shù)據(jù)分析做準(zhǔn)備。

2.1.1用戶上傳樣本

基于360云查殺系統(tǒng)，客戶端掃描文件時(shí)，如果發(fā)現(xiàn)可疑文件，即文件中包含有混淆后的可執(zhí)行代碼、疑似病毒、木馬特征、泛DNS請求、泛域名請求等操作，會先計(jì)算文件的唯一特征碼，即整個(gè)文件計(jì)算 file_md5，利用唯一特征碼去云端進(jìn)行查詢，如果云端沒有該文件的歷史記錄，則提醒用戶文件可疑，詢問是否將樣本上傳至云端處理。

2.1.2友商樣本數(shù)據(jù)

通過安全廠商間的合作，友商會把一部分檢測到的新的病毒樣本、可疑文件同步給360。其中大部分為世界范圍內(nèi)首次出現(xiàn)的可疑性文件、具有高風(fēng)險(xiǎn)的木馬后門、專業(yè)領(lǐng)域內(nèi)的應(yīng)用程序庫文件等。

2.1.3蜘蛛爬取專業(yè)網(wǎng)站、訂閱博客、微博、推特等形成關(guān)聯(lián)數(shù)據(jù)

使用蜘蛛爬蟲等技術(shù)手段，專門對安全類論述網(wǎng)站的分析論文進(jìn)行抓去，從論文中提取 MD5、SSDEEP特征碼進(jìn)行入庫。自動訂閱安全領(lǐng)域的專家、分析師個(gè)人博客、微博、推特等，分析里面提到的新病毒、木馬樣例，提取 MD5、SSDEEP進(jìn)行錄庫。并自動將相關(guān)分析論文下載保存，關(guān)聯(lián)至對應(yīng)樣本，形成關(guān)聯(lián)數(shù)據(jù)，方便分析師參考。

數(shù)據(jù)規(guī)范錄入

對樣本數(shù)據(jù)進(jìn)行有效的歸納整理，是一切分析工作的必備前提。通過多途徑樣本搜集，進(jìn)行規(guī)范化處理，為機(jī)器學(xué)習(xí)、查殺能力提升、分析溯源提供了有效的物質(zhì)保障，能夠在發(fā)現(xiàn)問題的第一時(shí)間進(jìn)行精確的影響范圍預(yù)估，實(shí)現(xiàn)最快速高效的攔截查殺。

2.2.1日志數(shù)據(jù)產(chǎn)生

可疑文件的云查殺動作，便會在云端（服務(wù)端）產(chǎn)生一條查詢?nèi)罩荆撊罩景宋募ㄒ粯?biāo)示 file_md5（以后簡稱MD5）、查詢時(shí)間、出現(xiàn)地點(diǎn)（IP地址）、傳播途徑（下載地址、下載工具）、父子進(jìn)程鏈關(guān)系、執(zhí)行命令行參數(shù)等信息，形成云查殺日志數(shù)據(jù)。

2.2.2病毒樣本核心數(shù)據(jù)來源

如果可疑文件上傳到云端，服務(wù)器會對樣本進(jìn)行進(jìn)一步的特征碼提取，如文件SHA1、SHA256、SSDEEP計(jì)算，簽名提取，可執(zhí)行文件HEADER、SECTIONS信息、調(diào)用外部資源以及資源塊SHA256提取等，形成一個(gè)精準(zhǔn)的樣本基本信息庫。

2.2.3樣本運(yùn)行時(shí)產(chǎn)生的重要數(shù)據(jù)

服務(wù)端會對上傳樣本進(jìn)行沙箱觀測，能夠通過多條件激發(fā)實(shí)驗(yàn)，觀察樣本的安全性，形成樣本進(jìn)程鏈、命令行調(diào)用空間、網(wǎng)絡(luò)訪問數(shù)據(jù)等一系列病毒分析核心數(shù)據(jù)。

2.2.4掃描日志產(chǎn)生

服務(wù)端會定期對搜集到的樣本進(jìn)行會掃，可以用最新的病毒木馬特征庫來檢驗(yàn)樣本的安全性，生成掃描日志。

2.2.5人工分析日志的形成

對于混淆度較高的可疑樣本，有專業(yè)分析師進(jìn)行破殼測驗(yàn)，最終對樣本打標(biāo)簽，形成人工分析數(shù)據(jù)。

數(shù)據(jù)挖掘整理與形成系統(tǒng)化工具

通過數(shù)據(jù)采集與整理得到的數(shù)據(jù)分散于各個(gè)分布式系統(tǒng)中，數(shù)據(jù)格式及功能各不相同，需要對數(shù)據(jù)進(jìn)行有效的裁剪、整理、關(guān)聯(lián)，有效的組織展示數(shù)據(jù)，才能對分析師的分析工作起到幫助作用。我們通過機(jī)器學(xué)習(xí)與自動化工具對數(shù)據(jù)進(jìn)行了歸并整理，利用分布圖、走勢圖、關(guān)系圖、數(shù)據(jù)表格等多種形式分別對不同場景數(shù)據(jù)進(jìn)行展示。

3 引擎系統(tǒng)的開發(fā)

3.1 引擎系統(tǒng)

每天收錄到服務(wù)端的云查殺查詢?nèi)罩径噙_(dá)上百億條，這些數(shù)據(jù)需要有一套高效的、超大容量的引擎系統(tǒng)來支持后繼的檢索工作。我們這里采用了兩級倒排序索引、GZIP壓縮、HDFS集群等形式開發(fā)出一套高性能的百萬億級POSEIDON[3]引擎系統(tǒng)，來滿足該項(xiàng)工作，使得后繼分析工作量效率大幅提升。引擎系統(tǒng)此處不做重點(diǎn)描述，僅簡單介紹一下云查殺日志個(gè)例的工作原理：

3.1.1數(shù)據(jù)獲取

通過日志搜集系統(tǒng)記錄云查殺系統(tǒng)的查詢?nèi)罩尽?/p>

3.1.2分詞及生成存檔文件

將云查殺日志逐條進(jìn)行分詞處理，每一條原始日志一個(gè)記錄，將此條記錄采用GZIP壓縮與當(dāng)天的數(shù)據(jù)合并在一起，產(chǎn)生一個(gè)GZIP格式的日志文件（錄入HDFS），一個(gè)文件位置偏移，一個(gè)日志長度。

3.1.3生成索引

將日志文件路徑、單條記錄在日志文件中的偏移量、單條記錄長度等關(guān)聯(lián)信息與分詞結(jié)果生成一個(gè)當(dāng)天的索引文件與一個(gè)全局索引文件，形成2級索引機(jī)制，供查詢使用。

3.1.4搜索

查詢時(shí)先對查詢內(nèi)容分詞，然后利用索引文件查詢到具體日志。

實(shí)際場景因?yàn)榭紤]到業(yè)務(wù)類型的不同和部署環(huán)境及適用性等，所以引擎在此基礎(chǔ)上做有一定的擴(kuò)充。該引擎方案的好處是集群能夠足夠大，存更多的數(shù)據(jù)，單條數(shù)據(jù)利用GZIP壓縮合并后的日志文件又能充分利用GZIP特性進(jìn)行整體解壓，滿足不同的分析場景需求，達(dá)到存儲空間與使用效率的平衡。

3.2 分析工具的形成

通過對各色數(shù)據(jù)的歸類整理，錄入引擎系統(tǒng)，形成了不同的數(shù)據(jù)集合，如掃描器的掃描日志、來自用戶的云查殺日志、分析標(biāo)記處理日志、網(wǎng)盾日志等，在此基礎(chǔ)上，根據(jù)一些關(guān)聯(lián)項(xiàng)，如文件MD5、樣本內(nèi)訪問DNS記錄等，對數(shù)據(jù)進(jìn)行多緯度關(guān)聯(lián)，即形成了有效的高性能與可用性的分析工具。

3.2.1掃描日志

掃描日志可以清晰看到不同時(shí)間各安全廠商對同一文件的安全認(rèn)定情況，為分析提供參考依據(jù)。比如如果做病毒分析，有些日志可以直接看出是已被友商標(biāo)記為加固類混淆的，做APT追蹤可以看到相應(yīng)文件是否已經(jīng)被友商標(biāo)記。

3.2.2樣本基本信息

樣本基本信息包含樣本的各種特征碼提取、最早出現(xiàn)時(shí)間、最近查毒時(shí)間、當(dāng)前定義的安全級別、安全特征碼SSDEEP、簽名信息、編譯方式、運(yùn)行平臺、引用外部庫文件、程序段信息、編譯時(shí)間等各種可以通過樣本提取到的運(yùn)行信息，是對基本執(zhí)行程序的機(jī)器分析，能夠最大程度減少人工分析的前期準(zhǔn)備。

3.2.3進(jìn)程鏈關(guān)系

包括了父子進(jìn)程、進(jìn)程出現(xiàn)時(shí)間、進(jìn)程安全級別、進(jìn)程來源、進(jìn)程調(diào)度關(guān)系自動不全等一系列程序被調(diào)起、再次調(diào)起其他進(jìn)程的重要分析工具，是后門木馬分析的必備利器。有些加入混淆的后門木馬，僅通過進(jìn)程行為分析就可以直接判定其危害性。

3.2.4云查殺數(shù)據(jù)分析

包含了文件出現(xiàn)次數(shù)，最早出現(xiàn)地域、DNA特征碼、釋放關(guān)系、命令行執(zhí)行參數(shù)、傳播途徑、分布地域、分布走勢等信息，是做病毒木馬散布區(qū)域分析必不可少的核心數(shù)據(jù)，也是對APT攻擊危害性評估的重要依據(jù)。

3.2.5樣本相關(guān)論文、報(bào)道

包含了通過蜘蛛爬蟲抓到的與樣本相關(guān)的專業(yè)分析文章等信息，為對樣本做定性、關(guān)聯(lián)提供了重要依據(jù)。

3.2.6 DNS訪問記錄

因?yàn)槠胀ǚ阑饓Σ粫NS查詢進(jìn)行攔截，所以DNS查詢變成了一些盜取用戶信息的利用途徑。提供了樣本中訪問的URL信息，分析DNS請求，能夠有效直觀地發(fā)現(xiàn)一些利用DNS盜取核心隱私的隱秘行為。

3.2.7關(guān)聯(lián)關(guān)系圖

將文件的進(jìn)程鏈關(guān)系、請求來源IP、域名請求等一系列關(guān)聯(lián)關(guān)系組織起來，以圖表的形式展示，就構(gòu)成了一個(gè)威脅樣本傳染關(guān)系圖，能夠通過傳染關(guān)系圖挖掘出樣本相似家族變種，為APT追蹤提供快捷有效的追蹤工具。

3.3 攻擊場景分析

由于實(shí)際攻擊場景復(fù)雜性較高，并且隱蔽性過強(qiáng)，本文篇幅所限，所以本文此處只稍做介紹利用大數(shù)據(jù)分析攻擊的手段，不做詳細(xì)追蹤分析。

4 普通分析處理過程

4.1 數(shù)據(jù)分析

4.1.1數(shù)據(jù)挖掘與發(fā)現(xiàn)

通過對進(jìn)程訪問的域名DNS進(jìn)行混淆度計(jì)算，將偏離自然語法并且過長的域名篩選出來，從中挖掘出高可疑性的域名，將域名、相關(guān)聯(lián)域名、相關(guān)樣本、域名訪問量走勢等整理成圖標(biāo)工具，發(fā)給人工分析師。一般情況下，病毒木馬有潛伏擴(kuò)散期、活躍攻擊期等特性，通過域名的PV走勢，能夠清晰找到病毒木馬的擴(kuò)散特征，再加上人工分析，能夠輕松進(jìn)行定性。

4.1.2數(shù)據(jù)關(guān)聯(lián)與相似度計(jì)算

根據(jù)查找到的樣本SSDEEP、來源IP、域名、編譯服務(wù)器等相關(guān)信息，查找出同源文件（類似同服務(wù)器編譯的多個(gè)不同深度的變種），整理成圖表，供人工分析。一般攻擊具有共源性，如編譯時(shí)間，發(fā)布IP、編譯服務(wù)器、數(shù)據(jù)回訪域名、擴(kuò)展態(tài)勢等，相似度較高。

4.1.3查殺

將定性的樣本進(jìn)行安全級別標(biāo)記，通過引擎進(jìn)行全網(wǎng)發(fā)布，進(jìn)行實(shí)時(shí)攔截查殺。

4.1.4攻擊目的與攻擊組織定性

通過對同源樣本的分析，確定攻擊組織的攻擊目的，為攻擊組織畫像、記錄、存檔，逐漸形成對APT組織的持續(xù)追蹤能力。

4.2 激發(fā)性案例分析

4.2.1出現(xiàn)攻擊

某重點(diǎn)單位（如：駐外使館）員工收到組織調(diào)查郵件，聲稱對員工身體體檢項(xiàng)目排查抽樣，要求必須在指定日期前填寫提交。附件為壓縮文件，包含有解壓密碼（避免查毒軟件自動識別解壓檢查）。附件發(fā)件人顯示為某體檢機(jī)構(gòu)。

4.2.2普通用戶面對問題及處理

企業(yè)部分業(yè)務(wù)員按照郵件引導(dǎo)，完成了附件解壓以及word文件打開填寫、宏啟用操作。

部分裝有360安全軟件、殺毒軟件的用戶收到提示，word中發(fā)現(xiàn)危險(xiǎn)腳本，建議進(jìn)行聯(lián)網(wǎng)云查殺。

其中有警覺性高的員工將word樣本上傳至了360云端，進(jìn)行聯(lián)網(wǎng)云查殺。

4.2.3病毒、木馬問題發(fā)現(xiàn)

360安全軟件發(fā)現(xiàn)，word樣本中包含有危險(xiǎn)宏病毒指令，一旦運(yùn)行word文件，該宏指令即會運(yùn)行，自動下載病毒、安裝后門、利用系統(tǒng)漏洞奪取超級管理員權(quán)限進(jìn)行系統(tǒng)進(jìn)程偽裝等多種聯(lián)動動作，徹底攻陷肉雞。

4.2.4普通病毒木馬處理

此時(shí)，該樣本會在服務(wù)端進(jìn)行云標(biāo)記，所有用戶都會收到病毒木馬提醒，建議用戶刪除或謹(jǐn)慎對待此文件。

4.2.5大數(shù)據(jù)復(fù)盤及攻擊組織追蹤

圖1 通過樣本追蹤攻擊者關(guān)系圖

服務(wù)端通過機(jī)器學(xué)習(xí)，大數(shù)據(jù)挖掘，發(fā)現(xiàn)某小眾攻擊出現(xiàn)在系統(tǒng)有登記的企業(yè)中（合作企業(yè)信息庫中有重點(diǎn)企業(yè)相關(guān)IP信息等基本材料）。系統(tǒng)自動生成新攻擊樣本清單，提供給分析師。根據(jù)新型攻擊樣本清單的樣本基本信息，自行進(jìn)行數(shù)據(jù)挖掘，生成樣本攻擊鏈（圖1）。根據(jù)云查殺樣本查詢定位區(qū)域關(guān)系進(jìn)行數(shù)據(jù)挖掘，定位出同類樣本分布區(qū)域以及爆發(fā)態(tài)勢。結(jié)合聯(lián)動樣本同步渠道，定位出樣本首次出現(xiàn)位置（樣本首次出現(xiàn)位置，此信息即為樣本初始產(chǎn)生信息，在進(jìn)行溯源追蹤中非常重要）。

4.2.6分析師溯源追擊

分析師S，收到系統(tǒng)平臺的提醒，發(fā)現(xiàn)疑似APT攻擊，并查看。

根據(jù)系統(tǒng)工具生成的信息顯示，該分析師發(fā)現(xiàn)本樣本攻擊針對的所有地點(diǎn)均為我國駐外領(lǐng)事館。此可疑信息立即引起了分析師的高度注意，進(jìn)行了分析組內(nèi)通報(bào)，有更多的分析師關(guān)注此樣本特征，并進(jìn)行更加深入的人工挖掘，從其他緯度來對樣本進(jìn)行剖析。

4.2.7分析結(jié)果及定性

最終，在分析師的共同努力下，通過大數(shù)據(jù)挖掘，關(guān)聯(lián)出了該事件實(shí)為某海外黑客組織針對我國情報(bào)竊取方面的一次新的試探攻擊，該組織其他攻擊手段早記錄在案，本次的新型變種之所以發(fā)現(xiàn)快，是因?yàn)榇髷?shù)據(jù)挖掘工具與殺毒的配合使得對方的攻擊在剛剛發(fā)起的初始階段就已經(jīng)被發(fā)現(xiàn)。

4.2.8大數(shù)據(jù)挖掘及完善

分析師剝離出本次病毒攻擊的特征，配置進(jìn)機(jī)器學(xué)習(xí)人工錄入系統(tǒng)，對機(jī)器學(xué)習(xí)模型進(jìn)行再訓(xùn)練。并且通過與合作企業(yè)的相關(guān)途徑，告知相關(guān)企業(yè)存在的被攻擊風(fēng)險(xiǎn)，進(jìn)行全面更深入的查毒與系統(tǒng)安全排查。

5 結(jié)束語

隨著世界各國對網(wǎng)絡(luò)戰(zhàn)的重視，APT組織國家隊(duì)已經(jīng)成為一種普遍現(xiàn)象，他們無處不在的滲透在我們的網(wǎng)絡(luò)生活中，通過各種正規(guī)渠道潛伏進(jìn)了我們的身邊，一旦網(wǎng)絡(luò)戰(zhàn)爆發(fā)，APT組織能夠利用他們手上掌握的資源對我們生活造成嚴(yán)重的打擊。大數(shù)據(jù)分析挖掘是對抗APT攻擊的唯一有效可利用途徑，只有完善大數(shù)據(jù)采集途徑，深度機(jī)器學(xué)習(xí)，持續(xù)不斷的補(bǔ)充攻擊手段分析知識，才能在與APT組織的對抗中走得更遠(yuǎn)。

360的高級威脅情報(bào)分析系統(tǒng)，實(shí)際上就是結(jié)合了人工智能的大數(shù)據(jù)分析體系，利用各個(gè)體系，加上人工分析與機(jī)器學(xué)習(xí)，形成了360安全大腦，保持在對APT組織的攻防中處于同步地位。提升大數(shù)據(jù)挖掘能力是整個(gè)體系的核心，只有通過不斷的反復(fù)實(shí)踐，優(yōu)化算法，將成果應(yīng)用到實(shí)際生產(chǎn)中去，才能產(chǎn)生可持續(xù)的活力與經(jīng)濟(jì)效益，為安全提供更好保障。

[1]360安全大腦http：//www.360.cn/brain_of_security/.

[2]海蓮花（OceanLotus）APT團(tuán)伙新活動通告，http：//www.sohu.com/a/204629106_354899.

[3]360 poseidon 安全大數(shù)據(jù)處理平臺.

[4]60多維度安全大數(shù)據(jù)平臺.