信息采集網絡支撐系統的設計與實現

潘竹虹，許卓斌

(廈門大學信息與網絡中心，福建廈門361005)

信息采集網絡支撐系統的設計與實現

潘竹虹*，許卓斌

(廈門大學信息與網絡中心，福建廈門361005)

摘要：基于網絡數據幀轉發原理,提出了一種端口鏡像設計方法,并實際部署了一個獨立于生產網絡的、可精確篩選的、多輸出的網絡流量鏡像系統,為廈門大學多套網絡信息采集分析系統提供網絡支撐．

關鍵詞：網絡安全;信息采集;端口鏡像

隨著信息技術的不斷發展,校園網內網絡信息采集的需求大量增加．流量監控、入侵檢測、上網行為日志審計、輿情監控等信息安全管理,圖書館數據庫熱度分析、數字資源偏好分析等用戶行為分析系統,以及內容分發網絡(content delivery network, CDN)、Cache等網絡加速系統等,都需要對相應的網絡數據進行網絡信息采集．

大部分網絡信息采集系統僅關心網絡數據流中的部分信息,但當前的常見網絡數據輸出技術往往將包含相關信息的全部數據報文傳輸至信息采集系統,它存在著以下兩方面的矛盾:1) 信息采集系統能夠采集到校園網全部網絡數據報文,對校園網管理而言存在嚴重的數據隱私泄露等合法性及安全性問題,違背了網絡安全管理規范;2) 校園網主干網絡的流量動輒達到萬兆,基于通用處理器以軟件方法實現包頭解析的信息采集系統通常無法處理該級別的流量,信息采集所產生的信息數據量巨大,其中僅基礎的網頁訪問日志即可達傳統本地化資源分析架構難以承載的TB數量級,成為基于傳統架構的信息采集與分析系統的部署難題．

另一方面,當前國內外園區網高端交換機受限于設備軟硬件能力,往往僅支持少量用于支撐信息采集系統的網絡數據輸出鏈路．即使在網絡設備的支持數量范圍內,過多的數據輸出也存在著影響生產網絡健壯性和穩定性的可能,如廈門大學校園核心網絡當前部署的多種網絡數據輸出技術最大可支持8路鏈路,目前已使用7路,無法滿足未來的爆發式的信息采集需求．

為解決以上矛盾,本文致力于研究設計一種獨立于生產網絡、可精確控制、多輸出的數據輸出系統作為信息采集的網絡支撐,該系統從校園網核心網絡設備獲取一份網絡數據,再由該系統將網絡數據進行過濾或分流后多路輸出至相應安全級別的信息采集系統,以實現對輸出數據的安全控制以及對多套信息采集系統的支持．

1技術背景

2002年7月18日IEEE通過了萬兆以太網標準802.3ae后,萬兆以太網憑借其高達10 Gbit/s的帶寬以及種種技術優勢,逐漸在局域網乃至城域網中普及應用．高校校園網是萬兆以太網的重要應用場合,利用10萬兆的高速鏈路構建校園網的骨干鏈路以及各個分校區和本部之間的連接,實現端到端的以太網訪問,提高網絡傳輸的效率,可以有效地保證遠程多媒體教學、數字圖書館等業務的開展．同時也給網絡測量及信息采集分析系統帶來了極大壓力．網絡數據采集可分為基于專用硬件的網絡數據采集和基于通用處理器平臺的網絡數據采集,其中基于專用硬件的采集方法在高速鏈路的環境下有巨大的性能優勢,但是昂貴的成本讓大多數系統仍選用基于通用處理器以軟件方法實現包頭解析的方法,受限于操作系統和硬件性能,目前處理速度僅能達到1 Gbit/s[1],高速鏈路特別是萬兆流量鏈路已成為信息采集分析系統部署的瓶頸．

在數據捕獲采集前進行數據過濾分流是解決該矛盾的有效手段．該工作由網絡設備進行網絡數據輸出時完成．當前關于數據輸出有多種技術方案,但支持數據過濾的技術非常少且沒有行業標準,相關研究及成功部署成果也比較少．

在交換網絡中,有2種有效的數據輸出方法:

1) 分路器通過在通信鏈路中串接插入分路器實現．對于光纖鏈路來說分路器即分光器,目前分光器的核心技術被國外公司壟斷,為光通信工程的研究方向之一．分光器具有各種應用場景,校園網中的分光器主要為各種網絡偵聽系統服務,一般為無源設備,按比例分光,分路損耗與插入損耗決定其無法對同一鏈路多次分光,因此輸出接口有限并且不能遠程管理輸出鏈路．分路器為物理層設備,對網絡傳輸的數據保持有天然優勢,但因固定串接部署,調整時需中斷鏈路,所以調整靈活度低,更無法進行流量過濾．

2) 端口鏡像技術,也被稱為交換端口分析器(switched port analyzer,SPAN),是網絡設備提供的具有管理功能的一種技術.它將指定端口(源端口)或虛擬局域網(virtual local area network,VLAN)(源VLAN)的報文復制一份到其他端口(目的端口),由網絡管理員利用數據監測設備來分析復制到目的端口的報文,進行網絡監控和故障排除[2]．

發展至目前,端口鏡像技術可細分為3種:本地鏡像、遠程鏡像、流鏡像．

1) 本地鏡像(local SPAN):鏡像源端口和目的端口在同一臺設備上,是被廣泛支持和使用的鏡像方式．

2) 遠程鏡像(remote SPAN):將本設備源端口/源VLAN 上的報文通過2層或者3層網絡復制到另一臺設備的目的端口．

3) 流鏡像:具備鏡像過濾能力的鏡像技術在大部分場合被稱為流鏡像技術,它是一種基于訪問控制列表(access control list,ACL)的鏡像．其優勢在于用戶通過流分類技術可以靈活地配置匹配條件,從而對報文進行精細區分,并將區分后的報文復制到目的地進行分析,從而實現對鏡像報文的精確控制．

端口鏡像技術不會改變鏡像報文的任何信息,也不會影響原有報文的正常轉發,但需要消耗交換機的硬件性能,可能會對網絡設備的工作造成影響,即使是當前國內外最高端的網絡核心交換機,其常見的鏡像輸出能力也局限于4組甚至少于2組鏡像組．鏡像技術目前沒有規范標準,在不同設備上的實現機制存在較大差異．流鏡像技術僅在部分最新設備的最新軟硬件版本中被支持,功能仍有較多局限,穩定性也需驗證[3]．對比可見,數據輸出方法有多種,但數據過濾輸出的主要手段為流鏡像技術．發展至目前,作為唯一具有過濾功能的鏡像技術,流鏡像的多輸出支持能力仍然較弱,一般僅支持一個輸出,無法滿足當前爆發的信息采集需求．

當前常見的網絡信息采集系統數據獲取方案為校園網通過本地端口鏡像技術將相關網絡鏈路的數據信息輸出至信息采集系統,由采集系統本身的數據采集模塊捕獲全部數據后再進行數據過濾[4],數字資源利用率分析、數字資源網絡加速、網絡運行記錄等應用系統一般都采用端口鏡像作為數據來源,如上文所說,端口鏡像方案存在著違背信息安全管理、流量超過系統負荷、網絡支撐能力不足、影響生產網絡等多處矛盾;少量信息采集系統利用分路器旁路接入[5],除了以上矛盾外,分路器方案還存在部署不靈活的缺陷;據了解,目前有少數高校已部署核心網絡設備的流鏡像數據輸出來支撐信息采集系統,流鏡像方案可以解決信息安全和萬兆流量的矛盾,但其對網絡設備資源消耗高于其他鏡像技術,網絡支撐能力不足、影響生產網絡等矛盾更加嚴重．

本文提出的復合鏡像技術可支持經過精確過濾的多路數據輸出,基于復合鏡像技術設計的網絡支撐系統適用于不同的網絡環境,可以解決目前大多數網絡設備上鏡像過濾與多輸出難以并存的矛盾,并避免對生產網絡造成影響．

2設計思路

2.1復合鏡像技術

端口鏡像技術分為多種,圖1為各種鏡像技術的鏡像數據流路徑示意圖．

圖1　鏡像數據流路徑示意圖Fig.1Road map of mirrored flow

本地鏡像簡單地將網絡設備的源數據在硬件轉發時進行額外復制,發往鏡像目的端口，其鏡像數據流路徑示意圖如圖1(a)所示．部分網絡設備的多輸出鏡像技術的實現原理為利用遠程鏡像技術.將鏡像報文發送至遠程鏡像反射口,通過鏡像反射口將報文在遠程鏡像VLAN內通過廣播方式復制發送,所有配置為遠程鏡像VLAN的端口都會發送鏡像報文,從而支持多端口輸出,數據流路徑如圖1(b)所示．流鏡像僅將匹配流分類條件(部分設備為匹配ACL)的報文復制到指定目的地,用于報文的分析和監控，如圖1(c)所示．

圖2　網絡支撐系統設計模型Fig.2Network supporting system design model

由上述示意圖對比可見,遠程鏡像將復制的報文發往反射口后在VLAN內廣播來實現多輸出,流鏡像將符合條件的流發往目的端口．我們提出一種技術設想:根據流鏡像和多輸出遠程鏡像的技術原理特征,如果能在交換機轉發平臺將流鏡像的數據流直接發往遠程鏡像技術中的鏡像反射口,再由反射口將報文廣播發往所有配置為遠程VLAN的端口.如圖1(d)所示,即將流鏡像與遠程鏡像功能深度結合形成一種復合鏡像技術,則該復合鏡像技術可以在硬件層面整合實現可精確控制的多路輸出,解決目前大多數網絡設備上鏡像過濾與多輸出難以并存的矛盾,實現可精確控制的、多輸出的高帶寬數據輸出系統．

2.2系統方案設計

現有數據輸出技術的主要矛盾為違背信息安全管理,流量超過系統負荷，網絡支撐能力不足，影響生產網絡.為解決這些矛盾,信息采集網絡支撐系統的對應設計需求為流量可控、支持多輸出、獨立于生產網絡．圖2為網絡支撐系統設計模型．

該系統基于支持流鏡像的3層交換機設計,具有第1次傳輸和第2次傳輸2個數據傳輸階段：1) 將網絡流量從生產網絡傳輸至獨立的網絡設備,以保證獨立于生產網絡,不對生產網絡性能造成影響,2) 由網絡設備對數據包進行二次過濾傳輸,以達到流量可控及多輸出需求．

2.2.1整體技術選擇

數據幀的轉發原理決定了數據輸出系統所能選用的輸出方式以及整體設計方向．

表1　數據幀傳輸改變字段信息

表2　網絡監聽系統所需字段信息

以太網數據幀有如下多種格式:

1) Ethernet V2幀[6],也被稱為DIX幀,是最常見的幀類型;

2) Novell Ethernet 非標準IEEE 802.3幀變種;

3) IEEE 802.3 邏輯鏈路控制 (LLC) 幀[7];

4) IEEE SNAP幀．

物理網絡上可能有多種數據幀在同時傳輸,大多數TCP/IP應用都是用Ethernet V2幀格式,而交換機之間的橋協議數據單元(BPDU)數據包則是IEEE802.3/LLC的幀,VLAN Trunk協議如802.1Q和Cisco的思科發現協議(CDP)等則是采用IEEE802.3 SNAP的幀．

網絡管理員進行故障排查的網絡嗅探需要監聽到所有數據幀，但針對圖書館信息資源傳輸的信息采集系統僅需求TCP/IP報文，因此我們以Ethernet V2幀格式來說明數據幀傳輸過程中改變的字段(表1)及網絡監聽系統所需字段信息(表2)的對比關系.

對比可見,基于物理層的網絡串接、分路器以及基于數據鏈路層的端口鏡像等輸出技術不會改變數據報文,是支持網絡信息采集的最佳輸出方式．2層交換及3層路因為傳輸會改變數據幀中部分內容,無法支撐如故障排查等需要精確偵聽網絡信息的需求,但也能滿足常見的網絡信息采集分析系統的信息需求,也是設計數據輸出系統時可用的輸出方式之一．

2.2.2第1次傳輸技術選擇

基于物理層的分路器傳輸以及基于數據鏈路層的端口鏡像等輸出技術都可用于從生產網絡輸出．

分路系統的實施對象為通信鏈路,校園網邊界網絡通常具有多鏈路負載均衡，分路系統布署成本高，無法靈活調整，局限性較大的特點．

端口鏡像技術不會改變鏡像報文的任何信息,也不會影響原有報文的正常轉發．從生產網絡鏡像一份數據至獨立的網絡設備之后,該設備收到的報文為正常報文,未被封裝或者改變數據幀內容,是較為理想的輸出方式．

鑒于分路傳輸在實際部署環境中的局限,本文所設計的系統第1次數據傳輸選用端口鏡像方式．

2.2.3第2次傳輸技術選擇

對鏡像報文的第2次傳輸的需求為流量可控以及多輸出．上文已提到分路器等物理層傳輸或者2層廣播方式傳輸的流量數據不可控制,因此本文主要采用3層路由以及再次鏡像方式．

1) 3層路由方式

根據TCP/IP 參考模型體系,數據的收發是遵循以下過程:當數據由應用層自上而下傳遞時,在網絡層形成IP 數據報,再向下到達數據鏈路層,由數據鏈路層將TCP 數據報文分割為數據幀,并增加以太網包頭,再向下一層發送．鏈路層的數據幀傳輸時,是依靠48 位介質訪問控制地址(media access control,MAC)而非IP 地址來確認的,以太網的網卡設備并不關心IP 數據報中的目的IP 地址,它所需要的僅僅是MAC地址．如果接收數據報文設備的MAC地址與報文目的MAC一致,則設備認為該數據報文發往自身,否則進行丟棄．因此,識別鏡像流量需要將設備MAC改為鏡像報文的目的MAC,再通過配置路由策略或者靜態路由將報文分別輸出至不同端口,進行第2次數據傳輸,并可精確控制數據報文的篩選輸出．根據圖1,該方式會改變數據幀的源MAC及目的MAC,僅適用于各種監聽分析系統,不適用于管理員故障排查等需要嚴格保證報文內容的需求．

MAC地址被設計時,被認為每張網卡都會將擁有全球唯一的物理標識．網絡上2層可達的網絡設備都應有獨一無二的MAC地址,相同的MAC地址將對網絡造成各種影響,特別是作為網絡重要組成單元的核心網絡設備而言,MAC互相沖突可能會帶來極其嚴重的后果,這種后果遠超過終端用戶的ARP欺騙．因此,本方案實際部署中,必須確認生產網絡設備鏡像目的端口不再接收數據．

2) 再次鏡像方式

鏡像技術作為網絡設備管理功能,其報文鏡像復制會在網絡設備識別轉發該報文前進行,其復制技術可以類比成集限器[4],即使網絡設備因為VLAN tag之類的傳輸標志而不會轉發某些鏡像報文,也會先將報文先發往鏡像目的端口,可以保證全部報文的鏡像輸出,因此,使基于輸出后的數據報文通過獨立的網絡設備進行再次鏡像輸出成為可能．

再次鏡像可以采用多種鏡像方法來實現不同的數據輸出,本文所設計提出的復合鏡像技術可以很好地完成第2次傳輸過程中流量過濾及多輸出的需求．

2.3系統模型設計

如圖2所示,根據第2次傳輸階段所選擇的技術,網絡支撐系統可分為3個功能模塊:路由分流模塊、全流量鏡像模塊、復合鏡像模塊．不同的功能模塊可以獨立工作,適應不同的網絡環境．

1) 全流量鏡像模塊

通過遠程鏡像將全部流量輸出至多個端口．該功能模塊部署技術難度小,僅需求可支持遠程鏡像技術的萬兆交換機,缺陷為無法滿足流量過濾需求,主要為流量分析監控、入侵檢測防御、網絡管理員進行故障排查的網絡嗅探等需要全部信息的信息采集系統提供支持．

2) 路由分流模塊

修改交換機MAC為生產網絡核心的MAC地址,通過路由策略或者路由表(視所修改的MAC為本地鏡像流量的源端口MAC或者源端口所接目的端口的MAC而定),將需嚴格保密的敏感數據分流至某一端口進行保密過濾;將部分被關心的數據，例如對圖書資源的查詢及關注行為轉發至相應的信息采集系統;其余與圖書館相關流量通過發往某一端口,并對該端口進行遠程鏡像,分發至其他端口,以實現對數據庫訪問熱度分析、圖書館網絡加速系統等多個信息采集系統的擴展支持．交換機作為網絡設備本身并不提供修改MAC地址的功能,但有部分產品可以通過技術支持獲得修改方案．

該模塊對設備硬件要求較低,除去鏡像部分也可在普通終端設備如多網卡PC上實現,部署成本低,實現方式更為靈活,但無法支撐較大的網絡流量．

3) 復合鏡像模塊

交換機設備作為一個封閉的功能硬件,并不提供底層硬件轉發的修改接口,為在實際環境中驗證復合鏡像技術的可行性,該模塊按照上文提出的復合鏡像技術的思路設計,通過流鏡像的流定義ACL對網絡流量進行篩選過濾,僅將符合條件的流量送往某個端口,并對該端口進行再次遠程鏡像,實現可控的多路輸出．該模塊與復合鏡像技術的差距在于用額外的物理接口轉發了復合鏡像技術設計中直接發往遠程鏡像反射口的流量．實驗證明直接對流鏡像目的口進行遠程鏡像,遠程端口目的端口并沒有預期的輸出．分析其原因為鏡像目的口被標記為非轉發口,相應的數據報文被認為非轉發數據,從而不再觸發鏡像功能．

為再次觸發鏡像功能,將流鏡像目的端口與本機其他端口通過外部物理線路互聯,將過濾后的流量重新送回網絡輸出系統,并對該回接端口進行遠程鏡像輸出至多個端口,實現多輸出．

復合鏡像模塊過濾條件靈活,可替代路由分流模塊的全部功能,為各種信息采集系統提供輸出支持．

3實驗過程及結果

4臺3層交換機及3臺終端被設計用于實驗實現數據輸出系統,拓撲如圖3所示．

Switch A/B/C用于模擬正常路由交換的生產網絡,Switch D為一款中端的數據中心3層萬兆交換機．網絡監測設備1/2/3分別使用wireshark抓取分析數據報文．Switch B將G0/1端口的數據通過本地鏡像發往Switch D的G0/20端口．Switch D的MAC改為與Switch B一致．最終實驗為同時配置全流量鏡像模塊、復合鏡像模塊及路由分流模塊．

復合鏡像模塊分流控制信息配置為:

acl number 3 000

rule 0 permit ip destination 10.0.5.0 0.0.0.255

rule 5 permit ip destination 10.0.8.0 0.0.0.255

設備上路由模塊分流控制信息配置為:

ip route-static 10.0.5.0 255.255.255.0 10.0.4.2

ip route-static 10.0.7.0 255.255.255.0 10.0.4.2

ip route-static 10.0.8.0 255.255.255.0 10.0.4.2

從Switch A(10.0.1.2)順序對10.0.5.2、10.0.6.2、10.0.7.2、10.0.8.2發送5個ping包進行數據傳輸和數據過濾功能驗證,按照預期,監控端收到報文的結果符合如下規則:

1) 負責捕獲復合鏡像模塊輸出報文的網絡監控1應捕獲到發往10.0.5.2以及10.0.8.2的報文各5個，發往10.0.6.2以及10.0.7.2的報文被流規則過濾.

2) 負責捕獲路由鏡像模塊輸出報文的網絡監控2應捕獲到發往10.0.7.2的報文5個,發往10.0.5.2、10.0.8.2的報文各10個．發往10.0.6.2的報文因沒有路由被丟棄,發往10.0.5.2、10.0.8.2的報文會出現重復翻倍,其原因為同時工作的復合鏡像模塊中流鏡像目的口跳接回本機端口時,數據包再次被系統收取并路由轉發.

3) 負責捕獲全鏡像模塊輸出報文的網絡監控3應捕獲到所有報文．

實驗結果如表3所示,由此成功驗證3種功能模塊均可以正常工作并且只輸出了符合預期的報文．

表3　實驗結果

注：10.0.5.2、10.0.6.2、10.0.7.2、10.0.8.2為目的IP.

在復合鏡像模塊實驗成功的同時也驗證了本文所提出的復合鏡像技術的可行性．

4實際部署示例

廈門大學校園網已成功部署獨立于生產網絡的可控的多輸出的信息采集網絡支撐系統．

圖4　網絡支撐系統部署拓撲Fig.4Deployment topology of network supporting system

系統部署拓撲圖如圖4所示．系統源流量為校園網4條萬兆IPv4出口鏈路及1條千兆IPv6出口鏈路的本地鏡像流量,源高峰流量為5.5 Gbit/s．部署復合鏡像模塊及全流量鏡像模塊,已有1路全流量鏡像為流量監控分析系統提供數據來源,1路復合鏡像輸出為圖書館數字資源利用分析系統提供數據來源,并可支持未來較多的系統接入需求．

表4　流過濾規則

表5　端口速率采樣結果

復合鏡像輸出的流過濾規則如表4，各端口通信包速率采樣結果如表5所示．

由表4可見,全鏡像流量可傳輸并輸出全部源數據,復合鏡像僅傳輸并輸出了部分相關流量．其中校園網鏡像輸出與支撐系統接收數據的微量差異,由不同品牌設備速率顯示時間區間差異造成．

該系統已在線穩定運行7個月．

5結論

本文提出了復合鏡像技術并成功驗證了其可行性,該技術可以解決當前網絡環境中鏡像技術多輸出與流量過濾難以并存的問題;成功部署了基于校園網的信息采集網絡支撐系統,可在較長時間內滿足校園網日益增長的信息感知需求,并有效解決部分核心網絡設備無法對鏡像流量進行過濾的安全隱患,為信息采集系統提供了良好的網絡基礎支撐．

參考文獻：

[1]肖寅東,王厚軍,田書林.高速網絡入侵檢測系統中包頭解析方法[J].儀器儀表學報,2012(6):1414-1419.

[2]CISCO. Configuring traffic mirroring[EB/OL].[2015-03-16].http:∥www.cisco.com/c/en/us/td/docs/routers/asr9000/software/asr9k_r5-1/interfaces/configuration/guide/hc51xasr9kbook/hc51span.html.

[3]H3C.網絡管理和監控配置[EB/OL].[2015-03-16].http:∥www.h3c.com.cn/Service/Document_Center/Switches/Catalog/S5800/S5800/Configure/Operation_Manual/H3C_S5820X[S5800]_CG-Release_1110-6W103/10/.

[4]唐曉蘭,劉中臨,劉嘉勇.一種基于知識庫的行為特征檢測模型[J].信息安全與通信保密,2012(2):51-53，56.

[5]任富新.高速網絡流量監測系統的設計與實現[J].微型機與應用,2012(1):58-60，63.

[6]CHARLES H.IETF RFC 894:a standard for the transmission of IP datagrams over ethernet networks[S/OL].[2013-03-02].http:∥datatracker.ietf.org/doc/rfc894/.

[7]Postel J.IETF RFC 1042:a standard for the transmission of IP datagrams over IEEE 802 networks[S/OL].[2013-03-02].http:∥datatracker.ietf.org/doc/rfc1042/.

Design and Implementation of Network Supporting System for Information Acquisition

PAN Zhuhong*,XU Zhuobin

(Information and Network Center,Xiamen University,Xiamen 361005,China)

Abstract:Based on principles of network data frame forwarding,a design technique of port mirroring is proposed.An accurate filtering multiple-output network traffic mirrored system,which is independent of production network,is deployed to provide the network support for the Xiamen University network information acquisition and analysis system.

Key words:network security;information acquisition;port mirroring

doi：10.6043/j.issn.0438-0479.2016.03.021

收稿日期：2015-07-03錄用日期：2015-08-23

基金項目：2015年福建省中青年教師教育科研項目(高校教育信息化專項)(JA15002)

*通信作者：zhpan@xmu.edu.cn

中圖分類號:TP 393

文獻標志碼：A

文章編號：0438-0479(2016)03-0426-08

引文格式：潘竹虹，許卓斌.信息采集網絡支撐系統的設計與實現.廈門大學學報(自然科學版)，2016,55(3)：426-433.

Citation：PAN Z H,XU Z B． Design and implementation of network supporting system for information acquisition. Journal of Xiamen University(Natural Science)，2016,55(3)：426-433．(in Chinese)