網絡添加設備遇麻煩

網絡環(huán)境

網絡安全法相關條款規(guī)定，采取監(jiān)測、記錄網絡運行狀態(tài)、網絡安全事件的技術措施，并按照規(guī)定留存相關的網絡日志不少于六個月。為了留存網絡日志要至少180天，單位上了一臺深信服的萬兆上網行為12000，日在線最高IP地址數(shù)3萬個左右，出口帶寬最高下行近24G，上網最高超過6G，每天的日志空間在300G左右，每天有約3000萬條的日志，當然這些數(shù)據(jù)是記錄后得到的。

按照設備上的建議，超過2萬用戶數(shù)時不開流量審計，所以只開上網行為審計中的應用審計和網頁內容審計，沒開流量審計、沒開終端接入管理。在設備上架過程中遇到了一些意想不到的問題，做了一些改變才使設備正常運行。改變后的網絡拓撲圖如圖1所示。

圖1 網絡拓撲結構

問題一：上網行為的外置日志中心無法收集日志

因網絡安全法要求日志要保存180天，考慮到有3萬多用戶，上網行為本身帶的內置日志中心無法滿足要求，所以選擇外置日志中心。外置日志中心用服務器+專用存儲來保存日志，服務器用老的IBM3650，存儲用的是新的華 三UniStor X10516三臺做的集群，每臺是14個4TB硬盤，為提高容量采用一副本，沒有采用標準的三副本配置，顯示可用150TB，實際可能用到75TB。

UniStor X10516網絡共享目錄是在CIFS文 件 夾 下，NFS共享目錄是在NFS文件夾下。服務器選用Windows 2008系統(tǒng)，通過網絡共享的方式即\172.16.72.21把華三存儲掛在服務器上，把共享文件夾映射成K盤，安裝了上網行為的外置日志中心服務，日志數(shù)據(jù)存在華三存儲上的這個K盤上。

外置日志中心開啟服務后，發(fā)現(xiàn)日志數(shù)據(jù)沒法收集在存儲上，反復查找原因都找不到。最后，深信服的研發(fā)回答，是因為外掛硬盤（網絡共享映射的盤）不能超過5TB，否則收集不了數(shù)據(jù)，必須用物理硬盤。沒想到是這個原因，找不到有幾十個T空間的服務器，此路不通只能另想辦法。

解決方法：

想到ESXi可以掛載NFS存儲，于是把服務器IBM 3650安 裝 ESXi 6.5，然后安裝一臺虛擬服務器，通過ESXi 6.5上面加掛華三存儲（如圖2所示），再給虛擬服務器增加一個60TB的硬盤從華三存儲上，日志還是保存在華三存儲上，這樣外置日志中心才正常運行，可以收集日志數(shù)據(jù)了。

通過幾天的時間才把日志數(shù)據(jù)基本同步到外置日志中心，但華三存儲的NAS特點即可以在所有服務器上都查看存儲 上內容現(xiàn)在沒法看到了，在華三存儲的目錄管理中只能看到一個擴展名為vmdk的60TB的文件（如圖3），里面具體的上網行為日志記錄無法看到，但在外置日志中心服務器里還是可以看到日志記錄的，華三存儲的文件共享的功能沒有了。如果外置日志中心服務器壞了，日志數(shù)據(jù)如何讀取這個只能以后再考慮。

圖2 ESXi上面的存儲掛接

圖3 華三存儲管理界面上面目錄管理

圖4 服務器匯聚交換機接口帶寬

問題二：服務器匯聚交換機帶寬占比高

上網行為的日志文件能保存后開始數(shù)據(jù)收集數(shù)據(jù)較慢，有個同步時間，等幾天后數(shù)據(jù)基本正常了，即可以查看當天的日志。這時發(fā)現(xiàn),日志服務器的接口每天帶寬有500M－ 600M，最高有700M（如圖 4），而平時服務器匯聚的平均帶寬只有20M左右，帶寬增加非常明顯。

解決方法：

原來服務器匯聚是單鏈路，接口只有1G，考慮到有時服務器峰值帶寬有幾百M，感覺目前服務器匯聚交換機的帶寬用得較滿。

為保障服務器匯聚帶寬決定增加帶寬即增加線路，但因服務器匯聚前面是經過WAF的，而這個WAF只有6個千兆電口，線路最多只能三進三出。馬上增加跳線和找兩邊交換機的空端口，在服務器匯聚交換機與辦公核心交換機兩邊做三條線路做聚合，這樣接口帶寬就達到了3G，肯定能滿足服務器匯聚交換機帶寬的需求。

因線路聚合的原因，三條線路的流量不均衡，一條20M左右，一條300M左右，一條200M左右，因交換機聚合端口只按源與目的MAC、IP配置，無法使三條線路帶寬均衡。

問題三：服務器匯聚交換機網絡不通

服務器匯聚交換機與辦公核心交換機兩邊做三條線路做聚合后問題也馬上來了，服務器的網絡都不通了！

解決方法：

這個問題就大了，立即動手查原因，首先把交換機三條線路聚合后直接兩邊交換機不通過WAF，這時網絡是正常的，而接入WAF后網絡不通，肯定是因為WAF阻攔了。WAF是綠盟的，馬上進入WAF查看，在安全管理中ARP欺騙防護增加兩邊的網關網絡也不通，在網絡層訪問控制里每對線路上放行接入網關，還是不行。

最后，關掉安全管理中-策略啟停中的的ARP欺騙防護（如圖 5），網絡才恢復正常，懸著的心總算落地了。因服務器都需要7×24小時提供網絡服務，且WAF是其他人在管理，沒有更深入再去調試這個WAF。

圖5 WAF上面安全管理

圖6上網行為管理界面

問題四：上網行為12000的吞吐超過20G

深信服的上網行為12000的吞吐廠家說只有20G左右，設備上架后實際最高跑到下行24G，上行為6G，合計30G，CPU最高60%左右，且每天只有晚上幾個小時在最高值左右運行（如圖6）。零點以后學生宿舍是斷網的，白天上班時間吞吐較低。

解決方法：

這學期開學以來因晚上聯(lián)通用戶的學生反映網絡問題較多，雖然原因很多，但考慮到上網行為12000的吞吐只有20G，于是把聯(lián)通的線路從上網行為撥出來，直接接出口上了，上網行為上面流量帶寬下降了有三分之一多，下行的峰值有14G，上行峰值有4G，CPU下降到30%－40%，但用戶數(shù)沒有下降多少。目前還在觀察中，如果條件允許，可再增加一臺上網行為。因學生核心交換機上面萬兆空白端口只剩一個了，如果把4條線路鏡像到1個端口帶寬又早超過10G從而無法使用，所以目前無法把萬兆上網行為做旁路接法，等條件成熟時可能會改成旁路接法。

以后考慮

考慮目前服務器匯聚交換機流量帶寬主要都是這個外置日志中心的，以后可能將網絡結構再改變一下，把外置日志中心的服務器3650（等有條件時把這臺服務器也更換）、上網行為的管理口從服務器匯聚交換機8610上面移動到華三6300萬兆交換機上，這樣減輕WAF的壓力，但這樣要求對外置日志中心自身的安全性要提高。

如果有條件能有更大的存儲，考慮可以增加流量審計、終端接入管理。有條件再增加一臺萬兆上網行為，這樣可以把所有線路都能記錄下來。

經驗總結

萬兆上網行為上架可以正常使用，可外置日志中心即服務器+存儲上架后卻無法正常收集上網行為的日志，出現(xiàn)一些意想不到的問題，通過更改服務器的安裝方式、更改存儲掛接方式、更改服務器匯聚交換機接法、更改WAF配置、減少上網行為的接入線路，通過這些改變才使外置日志中心正常收集日志。上架前沒想到會遇到這么多問題，通過一個個問題的解決才使設備正常跑起來了。