基于scap網絡安全大數據平臺的研究與設計

◆徐文濤 吳中超

（信息工程大學 河南 450001）

基于scap網絡安全大數據平臺的研究與設計

◆徐文濤 吳中超

（信息工程大學 河南 450001）

隨著計算機網絡技術的快速發展，網絡安全問題越來越突出，其中網絡安全漏洞信息是網絡安全的核心內容，對安全漏洞信息的管理和認識，可以促進網絡安全的建設，進一步減少網絡犯罪。目前漏洞信息發布平臺眾多，但描述標準不統一，信息冗余度較大，基于此，本文介紹以當前國際、國內權威漏洞平臺數據為核心，對基于scap知識體系構建的網絡安全大數據平臺進行相關研究與設計。

scap；網絡安全；漏洞平臺

0 前言

隨著當前計算機通信技術的高速發展，人們的生活越來越離不開計算機網絡，但隨之帶來的網絡安全問題也愈發凸顯，如網絡釣魚、信息泄露、木馬病毒、DDOS攻擊等。這些網絡安全問題往往是利用特定網絡設備的漏洞、存在漏洞缺陷的設備沒有及時更新安全設置或安全補丁的情況下出現的。目前互聯網上各平臺對于網絡安全漏洞信息的發布往往各自為戰，網絡設備廠商和互聯網安全漏洞平臺發布的漏洞時間和描述又不盡一致。安全內容自動化協議SCAP提供了一套自動化、標準化的方法來維護連接到互聯網設備的安全，它有一組標準化格式與術語規范，并且包含了相關系統的缺陷與安全配置標準化參考數據。本文介紹的基于scap網絡安全大數據平臺就是一個綜合性漏洞信息處理平臺，用來及時采集和研究相關網絡系統或設備的漏洞信息及安全措施，對網絡安全研究具有重要意義。

1 基于scap網絡安全大數據平臺的主要研究內容

1.1 標準漏洞數據庫建立標準

安全漏洞信息是互聯網安全技術的核心信息，描述安全漏洞的SCAP標準在國際上被越來越多的組織和機構采用。我們構建的基于scap網絡安全大數據平臺，全方位、多角度展示漏洞信息的關聯特征和危害分級特征，采集了國際、國內主流的安全漏洞數據庫19個，其中包含了NVD（美國國家漏洞庫）、CVE（標準信息安全漏洞庫）、USCert（美國網絡安全應急響應中心）、CNNVD（中國國家漏洞庫）、CNVD（中國國家信息安全漏洞共享平臺）、Exploit Database、微軟、Ubuntu等特定操作系統漏洞公告等。并且分析各個漏洞數據庫的漏洞信息特征、漏洞信息間的關聯信息，提出了基于通用漏洞編號及特定系統漏洞編號相結合的漏洞信息關聯技術，并對漏洞數據庫綜合分析，評估漏洞信息的全面性和覆蓋范圍、數據的引用情況、支持SCAP情況、包含POC情況、受漏洞影響應用軟件情況等，根據評估結果建立包含數據來源、字段引用、漏洞信息分析的標準數據庫。

1.2 漏洞數據自動化處理分析技術

該平臺首先通過數據采集模塊采集各平臺的漏洞信息，然后基于漏洞數據的特征字段和文本分類技術對采集的漏洞數據自動化分類處理，并保留原始漏洞信息庫，依據平臺漏洞數據庫建立標準構建三級漏洞信息數據庫。為加快索引時間，避免過大延遲，索引表建立模塊采用二級索引技術對漏洞信息按照標準字段進行歸類索引整理。漏洞信息數據庫自動化處理平臺同時構建多個功能分析模塊，包括補丁統計分析模塊、受影響軟件信息統計分析模塊，漏洞可利用級別分析模塊、POC統計分析模塊等，該類統計信息可以按照時間或系統版本信息進行展示或檢索。整個系統各模塊獨立運作，自動化程度高，保證系統運行的穩定性和健壯性。

2 基于scap網絡安全大數據平臺的主要結構

對于一般漏洞信息處理平臺而言，所提供服務的要求：（1）漏洞信息必須準確；（2）數據的完備性，包括所采集漏洞信息整體條目完整，單條漏洞信息完整；（3）漏洞信息的時效性；（4）漏洞信息發布平臺提供服務的穩定性。基于scap網絡安全大數據處理平臺除滿足以上要求外，還要有基于scap知識體系對漏洞信息的處理，因此該平臺的設計主要包含了五個模塊：漏洞數據采集模塊，數據清洗模塊，數據自動化分類處理模塊，可視化檢索模塊，日志和異常處理模塊。

2.1 數據采集模塊

主要利用網絡爬蟲技術、數據庫存儲技術從互聯網權威網站采集漏洞信息，將采集的原始數據存儲于數據庫中，這一過程需要對數據源的更新作自動化識別處理，保證采集到的漏洞數據的完整性。該模塊主要是基于pythonscrapy框架技術，對不同漏洞發布平臺獨立分析、采集數據，有針對性地定制數據采集計劃。

2.2 數據清洗模塊

基于各個網站的漏洞數據的條目信息、描述信息等將原始漏洞信息依照安全大數據庫建立標準進行結構化、格式化的數據清洗。目的是統一不同網站發布的漏洞信息的字段特征，便于后續的基于scap的漏洞信息知識化分析處理。其中要涉及xml文檔解析技術、正則表達式匹配技術、自然語言理解技術等多種技術。

2.3 數據自動化處理模塊

基于scap的知識體系對清洗過的漏洞信息按照安全漏洞信息數據庫建立標準重新對不同網站漏洞信息進行關聯，并在此基礎上按照用戶需求提取poc、漏洞可利用級別、有缺陷的應用信息等進行進一步分析處理，將處理結果及漏洞數據關聯信息存儲在數據庫中，而且提供可擴展功能模塊接口，讓漏洞信息得到最大化的利用。

2.4 可視化檢索模塊

其目的是將平臺處理過的漏洞信息高效、便捷、友好地展示給用戶，并且根據該平臺的用戶情況，隨時為用戶定制展示模塊。因此，該模塊的實現采用基于Flask的輕量級web框架對處理過的漏洞數據信息提供可視化檢索。Flask框架配置靈活，不同環境的配置也非常方便，它的blueprint能夠很方便地進行水平擴展，更加便捷地增加平臺展示內容。

2.5 日志和異常處理模塊

搜集并分析系統各個功能模塊運行時記錄的日志，根據日志分析結果，判斷該模塊運行的狀態，按照錯誤類別及特定信息標志進入錯誤處理階段，錯誤處理包括改變對應模塊運行方式、重啟特定功能模塊和按級別報警等功能，保證整個系統自動、穩定地運行，幫助系統管理員了解系統運行狀態。

3 基于scap網絡安全大數據平臺的主要特點

3.1 擁有高質量的漏洞數據信息

該平臺是基于scap標準構建的綜合網絡安全漏洞數據平臺，數據來源于國際國內權威漏洞數據發布平臺。通過設計的一套知識體系將不同漏洞平臺數據加以整合、分析，構建了供科研教學和安全運維所使用的綜合漏洞處理平臺。

3.2 擁有分布式自動化處理機制

基于scap網絡安全大數據平臺的所有功能模塊中，安全漏洞數據的采集模塊是基礎。因此，必須要保證漏洞數據的完整性和時效性。該平臺在安全漏洞原始數據庫建立階段，擁有一套綜合故障處理機制，有效地避免漏洞數據鏈的缺失，保證了漏洞數據的完整性和實效性。

3.3 擁有詳盡的漏洞關聯特征

安全漏洞數據庫采取不同的關聯算法會導致檢索時有不同的效果，為了保證漏洞數據在最終檢索階段的全面性、低冗余性。平臺依托于通用漏洞編號和特定漏洞編號相結合的方式建立不同網站漏洞信息的關聯鏈，將更加詳盡的漏洞信息展示給平臺使用者。

3.4 擁有良好的擴展特性

該漏洞數據平臺采用三級數據庫構建，一級數據庫是從互聯網采集的原始漏洞信息庫，二級數據庫是通過文檔解析、正則匹配、文字聚類分析的數據清洗庫，三級數據庫是以scap為標準的基于平臺自動化分析的知識數據庫。其中包含了豐富多樣的網絡安全漏洞分析信息。為不同領域的學術研究、網絡安全運維提供多樣性、完備性的數據保障。其中poc、漏洞利用代碼信息、受特定漏洞影響的軟件版本等信息可以應用于網絡攻防平臺的靶機自動化部署。

4 結論

基于scap網絡安全大數據平臺采集互聯網上權威漏洞平臺發布的網絡安全漏洞信息，采用了自然語言理解、國內外網絡安全信息庫的最新檢索等關聯技術，并在基礎數據集上進行知識抽取和特定安全分析，構建出具有知識體系分類的網絡攻防知識庫，滿足不同安全人員的從業要求，為網絡安全領域的科學研究和安全運維提供了全面、系統的信息支撐。

[1]張玉清, 吳舒平.國家安全漏洞庫的設計與實現[J].通信學報，2011.

[2]張力.引入SCAP標準提高系統配置安全[J].信息安全與技術，2010.

[3]特賽克,張力. SCAP標準簡介[J].中國信息安全，2011.

[4]王甜,夏斌偉,徐輝等.信息系統安全等級測評配置檢查工具研究與實現[J].計算機應用與軟件，2014.

[5]王謙,潘辰.基于大數據時代下的網絡安全漏洞與防范措施分析[J].網絡安全技術與應用，2017.