基于分布式計算的異常網站篩查系統的設計與實現

姜鵬，趙正利

(1.中國海洋大學網絡與信息中心,山東 青島 266100；2.中國海洋大學教育系,山東 青島 266100)

?

基于分布式計算的異常網站篩查系統的設計與實現

姜鵬1，趙正利2

(1.中國海洋大學網絡與信息中心,山東 青島 266100；2.中國海洋大學教育系,山東 青島 266100)

摘要：設計了一種在大型園區環境下對互聯網異常網站進行篩查的系統，系統在.NET框架下開發運行，基于分布式計算的模式部署，采用HDFS和SQL Server存儲數據。分布在多個子區域的探針根據多設備日志的排序數據進行異常網站的篩查，核心服務部分進行故障匯總分析、任務分發推送和知識庫歸檔等操作。該系統具有一定的故障分析能力，可以根據已有知識庫形成故障分析指導，通過調用預定義腳本啟用備用設備或線路。系統運行結果表明，設計科學有效，能夠給大型企事業單位的網絡運維和管理提供參考依據。

關鍵詞：分布式計算；信息系統；B/S模式；.NET

隨著信息化的深入發展，大多數的企事業單位尤其是高等院校，在自己園區內擁有著相當數量的臺式機、工控機和服務器，進而自行組建局域網環境為自己的生產和辦公服務。為了滿足其設備上網的需求，這些單位往往同時租用多個網絡運營商線路，并把它們部署在自己的園區網絡邊界，采用NAT、代理等服務方式對內網用戶和設備提供服務。這種方式既節約總體成本、提高內部工作效率，又能有效保護自己的內網安全。

但是這種網絡模式在日常運維中也出現了一些問題，其中較為突出是某些內部訪問量較高的互聯網網站有時出現訪問異常的故障，而此類網站列表和異常的程度不斷地變化，有時僅有部分網絡區域訪問異常，各個子園區區域訪問體驗不一致。如果單位常用網站出現訪問異常的狀況，日常工作會被影響，進而影響企事業單位效益。其常見的成因有：運營商線路內部微調甚至故障中斷；異常網站自身問題；園區NAT、代理服務卡頓故障；園區內網絡擁塞或病毒擴散以及用戶設備自身問題等。在發生類似問題后，單位員工通過各種通訊方式向運維工作人員或報修系統反饋。故障發生后定位及排除的常用方法有以下幾種：采取告警性能分析法、應用配置數據分析法、采用替換法和查看計算機網絡設備日志[1]。這類傳統處理方式的主要弊端是網絡運維被動接受故障信息，處理流程浪費用戶的大量時間；大量異常網站無人反映以及日志和故障處理的記錄不完整，無法形成知識庫。同時傳統處理方式為了避免核心設備的單點故障，盡量做到在整個計算機網絡的容錯系統內，每個部分都有與之相匹配的冗余設計[2]。但其觸發機制一般與自身設備狀態綁定，無法根據復雜網絡情況自我調整，因此需要建立自動機制在整個網絡層面調整設備的配置。

為了保證全網用戶的上網體驗，可以利用從分布式信息系統中的不同監測點收集到的監測數據對系統故障檢測與診斷進行研究[3]。把此監測數據與網絡用戶的故障報修數據匯總形成故障維修工單，具有一定用戶主觀性的報修數據能夠補充自動檢測體系的遺漏。分析已處理故障形成知識庫，包含故障的典型特征、關聯設備、影響區域和處理方式等。知識管理將分散的內部應用進行有效整合，提高資源的共享效率[4]。大量現代社會的數據存儲于XML、JSON和未被充分利用的半結構化數據(傳感器、系統、應用和事件等日志)[5]中，本系統要保存和分析的多類設備日志文件具有半結構化數據特征，需要構筑一個大容量、價格低廉且支持在線分析的存儲庫。分布式文件系統可高效可靠地運行在多個節點上，提供多種對外數據接口[6]，利用現有主機組成分布式文件系統對大數據存儲和操作提供有效支持。本研究在充分利用現有網絡投資的基礎上，構建了一個自動化的故障發現處理系統。

1　設計目標

根據對已有問題的分析和信息化發展的趨勢，新的異常網站篩查系統計劃實現以下的功能和特征，最終建立一套具有故障自診斷功能的異常網站發現處置系統，保證與其他網絡設備和服務實現有效數據交換，在管理、安全和技術層面建立完整的異常網站故障篩查體系。

(1)用于保存網絡設備日志的存儲選型需要達到投資較少且性能優越的目標，充分利用現有服務器硬件。

(2)系統自動在線檢測多種系統日志，自動發現、分析并匯總故障。

(3)前臺功能包括普通網絡用戶報修和回訪頁面，用戶可以上報異常網站地址、現象以及聯系方式等。

(4)具有已經處理問題的展示頁面，普通網絡用戶可以匿名訪問和查詢，合理利用知識庫。

(5)后臺功能完全由Web界面提供，功能詳盡、流程清晰。后臺操作人員分為系統管理員、監督員、故障分派員和故障處理員等幾個層次。

(6)開發手機可用的后臺界面，給上門服務的網絡維護人員使用。

(7)具有一定的人工智能，可以學習已經處理完畢的故障流程并給出處理建議。

(8)與現有的邊界設備有互動接口，在某些常見故障發生的時候，可以自動進行處理并記錄。

(9)把普通用戶上報和系統自動發現故障形成統一的工單，自動推送或由故障分派員分發給相應的故障處理員。

(10)形成故障分析報表功能，通過對多發故障的分析，確定某故障頻發的園區子區域，并進一步分析其產生原因；方便后期出口網絡設備優化；指導設備購置的方向；與網絡接入商進行溝通協調等。

2　系統設計

在充分利用.NET安全特性的基礎上，按照設計目標進行系統的設計開發。利用分布式存儲來保存分析海量日志數據，同時在關系數據庫上存儲系統運行數據。采用分層設計理念開發，包括數據層、底層功能層、應用層和前端展示層，每層包含自己的功能模塊和相對獨立的接口。系統功能構架如圖1所示。

圖1　系統總體設計Fig.1　System overall design

2.1技術構架

本系統采用集成了編程、編譯和運行環境等部分的整體方案，需要其具有安全性、穩定性、易用性及可擴展性等特點。ASP.NET不僅是ASP的下一個版本,而且是一種建立在通用語言上的程序構架，能被一臺Web服務器用于建立強大的Web應用程序[7]。系統部署在WindowsServer2012上，采用.NET框架開發，應用B/S架構。 .NET技術順序是先編譯后執行，并且以ASP腳本解釋執行機制為基礎，可以獲得比較好的運行速度[8]。采用C#作為系統開發語言，理論上可以使用任何與公共語言運行庫兼容的語言(包括VisualBasic、VisualC# 和JScript.NET)來創作應用程序，但最合適的編程語言還是MicrosoftStudio為ASP.NETFramework( 框架) 專門推出的C#[9]。

采用高容錯、快速以及可擴展的分布式存儲，來保存和分析大量文本類型的服務日志。Hadoop成為了典型的大數據批量處理架構,由HDFS負責靜態數據的存儲，并通過MapReduce將計算邏輯分配到各數據節點進行數據計算和價值發現[10]。使用Hadoop分布式存儲原始的網絡設備日志數據，部署運行自動腳本，間隔固定時間導入網絡服務設備的完整日志。目前大數據分析處理工具中常用的有Hadoop、HPCC、Storm、ApacheDrill、RapidMiner、PentahoBI等[11]。計劃采用Drill作為中間層，.NET框架下的語言通過ODBC以類似關系數據庫的方式操作分布式存儲上半結構化格式的日志[12]。通過Zookeeper的集群功能把查詢操作分流在多臺Linux服務器上[13]。部署SQLServer作為后臺的底層數據庫，存儲用戶信息、權限身份和分析數據等。

2.2功能模塊

在同一功能層級內采用分界清晰的模塊設計來實現系統功能，對大量設備數據自動篩選，程序獲取其是否可達、訪問延遲、下載速率以及每小時訪問權重等參數作為后期處理優先依據。把故障網站按評分級別自動推送或人工分配到具體故障處理人員，按照工單流程處理完畢后進行詳情反饋確認，從而進行故障歸類并形成知識庫。編寫普通上網用戶反饋入口，用戶可以通過內網進行故障網站報修，也同上形成工單及后續動作。

在知識庫形成一定規模后，高級查詢功能可以對用戶提供已經發生的典型故障的處理流程。普通用戶甚至可以通過查詢已解決的故障過程，自行處理簡單問題。網絡維護人員通過參考已成功處理故障的完整報告促進故障解決。開發與第三方設備的聯動接口，在出現典型故障時，按照事先定義的動作操作NAT、DNS和出口路由器等設備。編寫用于網絡維護的APP，方便外出維護人員進行故障維修。詳細報表功能通過多種圖表展示，對某段時間故障按照類型、區域和出口排序，可以形成詳盡工作量考核報表并對網絡設備故障排序等等。

2.3安全與權限

安全策略和制度的落實貫徹在系統的整個生命周期內，而開發階段更是系統安全的基礎，該設計部署多種安全策略確保核心功能和數據的安全。嚴格控制用戶權限，對每個功能函數和頁面進行權限定義，采用組策略的方式管理。ASP.NET內置了強大的用戶賬號和角色管理功能，提供了ASP.NET配置工具和7個組件控件，簡化用戶調用相關功能[14]。利用C#語言的安全特性，細化輸入的過濾和頁面的展現過程。對用戶身份和密碼等數據，進行加密存儲。利用數據加密技術把密鑰和加密數據分別存儲，把密鑰與要保護的數據物理隔離起來，提高數據存儲的安全性[15]。配置證書服務，利用SSL加密傳輸網絡用戶上網數據，在必須使用Cookies的頁面啟用Secure功能，確保Cookies流量不被攻擊者與網絡監聽截獲[16]。

3　部署實現

部署和調優分布式文件系統、Drill和SQLServer后，在確定每個層次功能的基礎上，細化每個模塊指標參數，采用C#語言進行系統軟件方面的開發測試。程序全面采用B/S模式構架，下面詳細介紹環境部署和代碼開發的幾個關鍵環節。

(1)在局域網內的多臺Linux服務器上配置Hadoop環境，每臺服務器到交換機之間都使用雙鏈路鏈接，安裝優化HDFS，配置為3物理節點冗余，使其通過固定端口對特定IP提供服務，調試自動腳本把網絡設備的日志文件每間隔半小時抽取到HDFS上，按照文件格式分別放置。

(2)建立Drill的基于Zookeeper的集群運行機制，配置HDFS作為其半結構數據查詢源。最后在幾臺互為HTTP服務負載均衡的Windows服務器上安裝DrillODBCDriver，并配置.NET運行環境。

(3)通過Drill中間層從HDFS抽取最近一小時的數據進行分析。在域名服務器日志篩選過去一小時內前1 000個訪問量最多的域名的查詢記錄。

…selecttop1000hostname,count(hostname)fromdataesgroupbyhostnameorderbycount(hostname)desc…

//hostname為原始數據中的“域名”字段名稱，dataes表格臨時保存抽取的過去一小時原始數據。

...

while(reader1.Read())

//依次遍歷1000條記錄

{

stringhostname_temp=reader1[0].ToString();

floatweight1 =float.Parse(reader1[1].ToString()) /count_all;

//count_all為最近一小時所有的DNS日志總查詢數。

…

//獲取每條查詢的域名和訪問量權重，全部保存到數據庫待查。

}

//可以通過類似方式獲取網絡總出口計費、NAT代理服務的日志，在子區域部署探針設備，自動匯總到核心服務。

(4)另外一個模塊處于自動值守模式，只要數據中有上個步驟最終產生的待查數據，就立即運行分析，然后把結論寫入相應記錄并打上已處理標簽。同時系統管理員也可以預設一些固定的典型網址，加入此模塊的分析隊列。

…

stringIP1 =GetHostEntry(hostName1).AddressList.GetValue(0).ToString();

//把域名轉換為IP。

…

interr_times=0;//定義錯誤次數

floattime1=0;

floatavg1;//定義平均ping包返回時間

for(inti= 1;i<= 5;i++)//采用連續的5次ping測試，并記錄結果

{

Pingping1 =newPing();

PingReplypingReply=ping1.Send(IP1);

if(pingReply.Status==IPStatus.Success)

time1 =time1 +float.Parse(pingReply.RoundtripTime.ToString());

else

err_times++;//獲取ping失敗次數并記錄

}

avg1 =time1 / (5 -err_times); // 計算平均ping返回時間并記錄

…

部署運行后形成初步的故障分析列表，如圖2所示。后臺程序自動形成初步的故障分析數據，并存儲于SQLServer中；通過預定義常用的典型各運營商網址，可以探測到多條出口線路的傳輸質量；展示界面支持多約束條件自由組合的模糊查詢；可以根據失敗數、ping均值等進行排序，方便故障的排除。

圖2　初步分析示例Fig.2　Illustration of a preliminary analysis

(5)對已經處理過的故障進行評級并記錄詳細的故障現象，按照異常地址列表、涉及設備、線路列表和影響子區域等分類形成指標體系。系統把同時段內所有的故障進行篩選，與現有知識庫的故障多種特征進行匹配，各自乘以權重指數后計算相似值，按照故障相似值的高低向用戶或維護人員進行建議推送。展示界面如圖3所示。系統自動把類似故障進行歸類并綜合分析并且分析故障的緊急程度并進行評分、預設一些可行的在線自動應急方案(如出口線路切換、備用設備頂替、病毒子區域暫停等)，配置好各自的腳本以遠程控制相應設備，如果新發故障相似值超過95%，程序調用相應自動腳本并通知管理人員進行后續處理。

圖3　綜合分析處理示例Fig.3　Illustration of a comprehensive analysis and event handling

4　結論

本系統在長期合理使用的基礎上會產生不斷增加的價值，可以有效利用現有軟硬件投資，把多個設備進行數據高效互聯，其分析報表功能可以為企事業單位在網絡硬件、人員聘用和帶寬租用上節省大量資金。但由于實際的網絡設備通常由多個廠家設備組成，所以聯動部分在試運行后需要通過不斷的調優操作來適應系統版本和設備硬件的更替。另外，本系統的分布式存儲保留了主要的出口日志，構架了半結構化數據的類SQL查詢中間層，在后期通過增加相應功能模塊，可以很方便地把本系統擴展為網絡訪問日志的存儲查詢分析平臺。

參考文獻：

[1]王嘉慶. 計算機網絡常見故障及其維護管理[J]. 信息與電腦:理論版, 2016(2):167-168.

[2]顏興輝. 容錯技術在計算機網絡系統中的應用[J]. 電腦知識與技術, 2015, 11(24):31-32.

[3]尹娟, 葛愿, 王炎,等. 大型分布式信息系統故障檢測研究[J]. 安徽工程大學學報, 2015(5):45-52.

[4]問梁軍. 企業信息化建設中的知識管理探討[J]. 工程建設與設計, 2012(11):178-180.

[5]RAJP,RAMANA,NAGARAJD,etal.High-PerformanceIntegratedSystems,Databases,andWarehousesforBigandFastDataAnalytics[M]//High-PerformanceBig-DataAnalytics.Berlin:SpringerInternationalPublishing, 2015.

[6]MAZUMDERS.BigDataToolsandPlatforms[M]//BigDataConcepts,Theories,andApplications.Berlin:SpringerInternationalPublishing, 2016.

[7]王璠, 王廷璇. 基于ASP.NET的物流倉儲管理子系統的設計[J]. 物流技術, 2014, 33(1):349-353.

[8]李強.ASP、ASP.NET和JSP是動態網頁設計技術比較[J]. 電腦知識與技術, 2014，10(34):8296-8297.

[9]余翠蘭. 基于ASP.NET的學生住宿管理系統的設計與實現[J]. 軟件, 2014(4):37-41.

[10]程學旗, 靳小龍, 王元卓,等. 大數據系統和分析技術綜述[J]. 軟件學報, 2014，25(9):1889-1908.

[11]方巍, 鄭玉, 徐江. 大數據:概念、技術及應用研究綜述[J]. 南京信息工程大學學報：自然科學版, 2014，6(5):405-419.[12]APACHEDRILL.ODBC/JDBCInterfaces[EB/OL]. [2016-01-20].http://drill.apache.org/docs/odbc-jdbc-interfaces/.

[13]Hadoop.ZooKeeper3.4Documentation[EB/OL]. [2016-01-08].http://zookeeper.apache.org/doc/trunk/zookeeperOver.html.[14]方開紅, 劉小園.ASP.NET網站開發技術的安全性研究與應用[J]. 網絡安全技術與應用, 2014(5):32-33.

[15]陳紅松, 韓至, 鄧淑寧. 智慧城市中大數據安全分析與研究[J]. 信息網絡安全, 2015(7):1-6.

[16]CHENP,NIKIFORAKISN,DESMETL,etal.SecurityAnalysisoftheChineseWeb:Howwellisitprotected?[C]//Proceedingsofthe2014WorkshoponCyberSecurityAnalytics,IntelligenceandAutomation.[S.l.]:ACM, 2014:3-9.

DOI:10.3976/j.issn.1002-4026.2016.04.020

收稿日期：2016-04-12

作者簡介：姜鵬(1979-)，男，工程師，研究方向為軟件工程、信息安全。

中圖分類號：TP311.1

文獻標識碼：A

文章編號：1002-4026(2016)04-0106-06

Design and implementation of distributed computingbasedscreeningsystemofabnormalwebsites

JIANG Peng1, ZHAO Zheng-li2

(1.Network and Information Center, Ocean University of China,Qingdao 266100,China;2.DepartmentofEducation,OceanUniversityofChina,Qingdao266100,China)

Abstract∶We devise an automatic screening system for abnormal websites on the Internet in a large-scale zone. It is implemented with .NET Framework, distributed deployment, HDFS and SQL Server. Multiple sub-areas deployed probes can automatically screen out abnormal sites based on the sorted log data from multiple devices. Its core services include meta-analysis of fault, task distribution, and knowledge base archive. It has certain fault analysis capability, fault analysis and guidance based on existing knowledge base, alternate devices or lines startup by calling predefined scripts. Its operation results show that it is scientific and effective, and can provide a reference for network operation and maintenance of large-scale enterprises.

Key words∶distributed computing; information system; B/S mode; .NET