企業(yè)開放網(wǎng)絡(luò)環(huán)境下的IP資產(chǎn)主動發(fā)現(xiàn)技術(shù)研究

1 引言

在企業(yè)的網(wǎng)絡(luò)與信息安全管理工作中，資產(chǎn)是安全評估、安全防護、安全加固等工作的對象，因此資產(chǎn)管理工作十分重要，如何快速主動發(fā)現(xiàn)新的IP資產(chǎn)，是資產(chǎn)管理中的重點工作。

ICT技術(shù)飛速發(fā)展，基于云計算等新興技術(shù)，尤其是IaaS（Infrastructure as a Service）技術(shù)，技術(shù)人員可快速獲得完善的計算基礎(chǔ)設(shè)施服務(wù)。同時，ICT項目的開發(fā)流程正逐步向敏捷開發(fā)、快速迭代演進，可實現(xiàn)產(chǎn)品的快速發(fā)布上線；在架構(gòu)上逐步由單體式向分布式演進，可實現(xiàn)快速的橫向擴展。伴隨上述技術(shù)的發(fā)展，資產(chǎn)管理工作在流程、技術(shù)上也面臨更大的挑戰(zhàn)，傳統(tǒng)的資產(chǎn)管理方法，如臺賬錄入、CMDB同步、主動掃描等，在資產(chǎn)更新頻率、資產(chǎn)信息準確度等方面存在一定不足。

從海量異構(gòu)的數(shù)據(jù)中主動分析出企業(yè)開放網(wǎng)絡(luò)環(huán)境下的IP資產(chǎn)信息，是當今網(wǎng)絡(luò)安全領(lǐng)域較為熱門的話題，能夠解決安全管理工作的痛點，大大提升技術(shù)實用性。

2 相關(guān)技術(shù)研究

2.1 資產(chǎn)發(fā)現(xiàn)技術(shù)

IP資產(chǎn)的主動發(fā)現(xiàn)包括不限于遠程掃描、配置分析、流量分析等技術(shù)，實現(xiàn)邏輯如下。

遠程掃描：利用遠程掃描工具，對IP地址進行存活性探測，包括不限于ICMP探測、SYN掃描、UDP掃描等，根據(jù)響應(yīng)信息判斷IP資產(chǎn)的存活性狀態(tài)。該方法是網(wǎng)絡(luò)掃描技術(shù)的應(yīng)用，受限于系統(tǒng)資源、網(wǎng)絡(luò)帶寬等因素，如果掃描并發(fā)會話數(shù)控制不當，極易對網(wǎng)絡(luò)或信息系統(tǒng)的可用性造成影響。此外，遠程掃描資產(chǎn)發(fā)現(xiàn)任務(wù)一般是不定期開展，實時性不足，無法做到資產(chǎn)的及時發(fā)現(xiàn)。

配置分析：利用遠程登錄或日志信息采集方式，收集網(wǎng)絡(luò)設(shè)備的ARP表、路由表、MAC表、接口信息表等信息，進一步關(guān)聯(lián)比對分析，獲取IP資產(chǎn)的存活狀態(tài)。該方法實時采集網(wǎng)絡(luò)設(shè)備的配置信息，對網(wǎng)絡(luò)設(shè)備性能有一定消耗；若網(wǎng)絡(luò)中出現(xiàn)ARP欺騙、MAC防洪等網(wǎng)絡(luò)攻擊，會影響分析結(jié)果的準確率。

流量分析：利用網(wǎng)絡(luò)流量進行分析，從數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層、傳輸層等層面，根據(jù)傳輸協(xié)議、端口特征、流量通信特征、數(shù)據(jù)包流向等重要參數(shù)，設(shè)定分析模型，獲取IP資產(chǎn)的存活信息。該方法一般通過鏡像網(wǎng)絡(luò)流量或采集NetFlow數(shù)據(jù)做進一步分析實現(xiàn)，對網(wǎng)絡(luò)、信息系統(tǒng)影響較小。由于資產(chǎn)發(fā)現(xiàn)的及時率和準確率取決于流量分析算法的有效性，如何基于流量特征去構(gòu)建資產(chǎn)發(fā)現(xiàn)模型是該技術(shù)的關(guān)鍵。

2.2 大數(shù)據(jù)相關(guān)技術(shù)

Apache Spark：是一個快速的通用集群計算系統(tǒng)。它提供Java，Scala，Python和R中的高級API，以及支持常規(guī)執(zhí)行圖的優(yōu)化引擎。

Spark Streaming：是Spark核心API的一個擴展，可以實現(xiàn)高吞吐量的、具備容錯機制的實時流數(shù)據(jù)處理。支持使用map、reduce、join等高級函數(shù)對多種數(shù)據(jù)源的數(shù)據(jù)進行復(fù)雜算法的處理。

Kafka：Apache軟件基金會開發(fā)的開源分布式發(fā)布訂閱消息系統(tǒng)，是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，具備分布式、分區(qū)的、多副本的、多訂閱者等特點，常用做分布式日志系統(tǒng)，如web訪問日志，網(wǎng)頁日志、消息服務(wù)等。

基于以上大數(shù)據(jù)技術(shù)，業(yè)內(nèi)已經(jīng)有成熟的用于安全分析領(lǐng)域的解決方案，可實現(xiàn)從安全日志采集、存儲、分析的安全檢測分析流程。其中，基于Kafka和Spark Streaming技術(shù)的日志實時處理、分析，是當前主流的實時大數(shù)據(jù)日志分析框架。

3 IP資產(chǎn)主動發(fā)現(xiàn)模型

在企業(yè)的開放網(wǎng)絡(luò)環(huán)境下，本文利用流量日志采集存儲、大數(shù)據(jù)分析等技術(shù)，設(shè)計了IP資產(chǎn)主動發(fā)現(xiàn)模型與方法，實現(xiàn)業(yè)務(wù)系統(tǒng)透明無感知的情況下，對企業(yè)網(wǎng)絡(luò)IP資產(chǎn)信息的實時主動發(fā)現(xiàn)，不影響企業(yè)正常生產(chǎn)工作。

IP資產(chǎn)主動發(fā)現(xiàn)實現(xiàn)模型如圖1所示。

圖1 IP資產(chǎn)主動發(fā)現(xiàn)模型

3.1 數(shù)據(jù)采集存儲

網(wǎng)絡(luò)設(shè)備如交換機等，按照1:1比例把NetFlow日志外發(fā)至日志采集模塊。NetFlow日志中至少包括如下信息：源IP、目的IP、源端口、目的端口、通信協(xié)議、上行包數(shù)量、下行包數(shù)量。

數(shù)據(jù)采集模塊包括日志接收和日志存儲兩部分，日志接收可通過Flume組件（Cloudera提供的分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)）實現(xiàn)，日志存儲可通過Kafka實現(xiàn)。

依據(jù)Flume和Kafka組件，實現(xiàn)了NetFlow日志的傳輸、收集、轉(zhuǎn)發(fā)和存儲，同時給日志數(shù)據(jù)打上對應(yīng)的Topic標簽，提供給大數(shù)據(jù)實時處理框架調(diào)用分析。該采集架構(gòu)在具備基礎(chǔ)功能的前提下，同時具備分布式橫向擴展、多副本冗余備份等特點，很好提供高性能、彈性擴展、多冗余能力。

3.2 大數(shù)據(jù)流處理分析

按照一定時間周期通過約定的標簽從3.1小節(jié)的數(shù)據(jù)存儲組件中讀取NetFlow日志，基于Spark Streaming流處理框架實現(xiàn)對NetFlow日志的通信特征抽取關(guān)聯(lián)，進一步研判分析，實時輸出分析結(jié)果。基于大數(shù)據(jù)分析框架的資產(chǎn)發(fā)現(xiàn)分析流程如圖2所示。

圖2 基于大數(shù)據(jù)分析框架的資產(chǎn)發(fā)現(xiàn)流程圖

（1）從NetFlow日志中提取源IP、目的IP、源端口、目的端口、通信協(xié)議、上行包數(shù)量、下行包數(shù)量等字段。

（2）針對單條NetFlow日志，判斷源IP是否在企業(yè)開放網(wǎng)絡(luò)環(huán)境下IP網(wǎng)段范圍，若處于該網(wǎng)段則執(zhí)行步驟（3）；判斷目的IP是否在企業(yè)開放網(wǎng)絡(luò)環(huán)境，若處于該網(wǎng)段則執(zhí)行步驟（4）。

（3）獲取企業(yè)開放網(wǎng)絡(luò)環(huán)境下的存活I(lǐng)P資產(chǎn)列表信息，判斷該條NetFlow日志的源IP是否在存活I(lǐng)P資產(chǎn)列表中，若不在，則源IP為新的資產(chǎn)IP，并存儲更新待確認企業(yè)開放網(wǎng)絡(luò)環(huán)境下IP列表庫。

（4）獲取企業(yè)開放網(wǎng)絡(luò)環(huán)境下的存活I(lǐng)P資產(chǎn)列表信息，判斷該條NetFlow日志的目的IP是否在存活I(lǐng)P資產(chǎn)列表中，若不在則繼續(xù)分析。

（5）判斷通信協(xié)議是否為TCP協(xié)議，且該TCP會話是否完成三次握手和數(shù)據(jù)交互，若條件均滿足，則目的IP為新的資產(chǎn)IP，并存儲更新待確認企業(yè)開放網(wǎng)絡(luò)環(huán)境下IP列表庫。

以上方法可透明、精準、主動地發(fā)現(xiàn)企業(yè)網(wǎng)絡(luò)中的IP資產(chǎn)，具備以下特點。

（1）透明無感知：網(wǎng)絡(luò)流量的日志可通過流量鏡像方式獲取，區(qū)別于主動掃描等技術(shù)，對系統(tǒng)的可用性不會造成影響，實現(xiàn)對企業(yè)生產(chǎn)網(wǎng)絡(luò)和信息系統(tǒng)的透明無感知，適合在大企業(yè)的生產(chǎn)環(huán)境中推廣使用

（2）實時精準識別：結(jié)合IP網(wǎng)段信息和開放IP資產(chǎn)列表，依據(jù)TCP/IP協(xié)議特征進行IP資產(chǎn)主動識別，可實現(xiàn)精準的資產(chǎn)發(fā)現(xiàn)。此外，基于大數(shù)據(jù)流處理處理框架的技術(shù)實現(xiàn)，實現(xiàn)了實時分析和及時的資產(chǎn)發(fā)現(xiàn)，加強了資產(chǎn)管控工作。

（3）橫向擴展：因為大數(shù)據(jù)技術(shù)具有橫向擴展的特性，可從海量數(shù)據(jù)中進行挖掘分析。具體應(yīng)用中，依據(jù)網(wǎng)絡(luò)拓撲和實際場景，可從多網(wǎng)絡(luò)節(jié)點中采集網(wǎng)絡(luò)流量信息，依據(jù)數(shù)據(jù)量大小，橫向擴展大數(shù)據(jù)集群，從海量網(wǎng)絡(luò)流量信主動發(fā)現(xiàn)IP資產(chǎn)。

4 應(yīng)用建議

在企業(yè)的開放網(wǎng)絡(luò)環(huán)境中，可考慮從以下幾個層面應(yīng)用上述的基于大數(shù)據(jù)技術(shù)的IP資產(chǎn)主動發(fā)現(xiàn)模型。

數(shù)據(jù)采集：對于IP資產(chǎn)主動發(fā)現(xiàn)技術(shù)的數(shù)據(jù)來源，可采集企業(yè)網(wǎng)絡(luò)的互聯(lián)網(wǎng)出口網(wǎng)絡(luò)設(shè)備的NetFlow日志，若存在多個互聯(lián)網(wǎng)出口，則需采集各個互聯(lián)網(wǎng)出口節(jié)點的日志。大多數(shù)企業(yè)的網(wǎng)絡(luò)，會在防火墻等網(wǎng)絡(luò)設(shè)備中配置內(nèi)外網(wǎng)IP地址轉(zhuǎn)換，需注意的是，此類網(wǎng)絡(luò)環(huán)境下需從可獲取互聯(lián)網(wǎng)IP流量的網(wǎng)絡(luò)節(jié)點中采集日志。

大數(shù)據(jù)分析：對于具備大數(shù)據(jù)平臺且共享大數(shù)據(jù)能力的企業(yè)，可考慮在大數(shù)據(jù)平臺上研發(fā)IP資產(chǎn)主動發(fā)現(xiàn)的大數(shù)據(jù)分析應(yīng)用，減少大數(shù)據(jù)平臺研發(fā)和運維的工作量，節(jié)約研發(fā)投入成本。需注意的是，承載資產(chǎn)主動發(fā)現(xiàn)大數(shù)據(jù)應(yīng)用的大數(shù)據(jù)支撐平臺，需具備日志采集和實時流處理能力，如部署Spark、Kafka、 flume等組件。

在應(yīng)用以上技術(shù)的同時，企業(yè)需建立完備的資產(chǎn)管理制度和流程，配備安全運營人員對IP資產(chǎn)主動發(fā)現(xiàn)的結(jié)果進行核驗及流程跟蹤，提升資產(chǎn)管理能力。

5 結(jié)束語

通過采集網(wǎng)絡(luò)流量日志，利用大數(shù)據(jù)分析技術(shù)，實現(xiàn)IP資產(chǎn)的主動發(fā)現(xiàn)，實現(xiàn)真正的“摸清家底”，為安全管理者提供資產(chǎn)管理的技術(shù)支持，有效促進安全加固、安全評測等工作的開展，更好地開展安全風險識別、分析、處置工作。需要注意的是，該項技術(shù)與企業(yè)的網(wǎng)絡(luò)策略管理工作精密銜接，企業(yè)的網(wǎng)絡(luò)策略管理應(yīng)規(guī)范化，降低對該技術(shù)應(yīng)用結(jié)果的運營成本。