大數據技術在網絡安全風險挖掘中的應用

于 川

（青島市大數據中心，山東 青島 266000）

隨著數字化轉型的持續深化，網絡安全也面臨嚴重威脅。網絡安全問題是一個多層面綜合性的課題。近年來，電信網絡詐騙犯罪持續呈現高發姿態。不法分子通過電話、網絡等各類現代通信工具實施詐騙，嚴重危害民眾財產安全。同時大數據引發的網絡安全問題也更加嚴峻，逐漸得到社會各界的普遍關注，也成為當下亟待解決的重要問題。任何事物都具有雙面性。如何發揮大數據技術在網絡風險挖掘中的關鍵性作用成為當下的重要研究課題。

1 大數據技術的內涵及關鍵技術

麥肯錫全球研究對大數據所做的定義是：“一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。”同時大數據也是一種先進的理念，能深入分析所有海量數據，以揭示事物的發展規律，能對多種事物之間的關系進行描述，預測事物下一階段的發展情況。在各行各業，大數據都體現出較高的價值，包括醫療、科學、化工等，對社會經濟的發展起到了促進作用。

大數據技術是對大數據的應用技術的統稱。大數據的關鍵技術涉及四個層面，第一，信息采集。采集數據是發揮數據作用的重要前提。采集方式主要包括系統日志采集法、網絡數據采集法以及其他數據采集法。第二，信息預處理。在數據處理之中，信息預處理處于基礎位置，就是初步提取信息并對其進行清洗。初步抽取信息就是對多樣化的數據進行轉換，降低數據處理難度，或是統一數據格式，為處理數據做好準備；信息清洗，就是從采集的數據中剔除無價值的部分。第三，數據融合。數據融合就是對多樣化的數據進行處理，既要對信息源進行檢查，也要對其進行重組。第四，數據挖掘與分析。此類技術的運用，目的就是要縮減數據規模。截至目前，以結構化與半結構化的方式對數據進行分析，已經具備了成熟條件，以人工智能的方式挖掘與分析非結構化數據，取得了良好成效。第五，存儲與處理數據。運用此類技術，能處理好半結構化、非結構化數據之間的問題。在處理結構化數據過程中，不僅要對數據是否可靠、易于處理進行評估，也要對數據傳輸是否有效做出評價。

2 大數據技術在網絡安全風險挖掘中應用的重要性及必要性

在數據量呈指數級增長的情況下，網絡安全問題的復雜性與隱蔽性越來越強。為及時有效地識別網絡安全風險，必須要充分利用大數據技術的分析與挖掘優勢，識別網絡安全風險，繼而采取有效的應對措施。現對大數據技術在網絡安全風險挖掘中應用的重要性及必要性進行分析，具體如下。

2.1 大數據技術在網絡安全風險挖掘中應用的必要性

大數據時代下，網絡安全風險呈現多樣化的趨勢。這些風險的存在對企業、個人乃至對一個國家的信息數據安全造成嚴重的影響。其中常見的風險主要包括：

第一，系統安全漏洞及數據泄露風險。從當前各個領域的發展情況看，使用的操作系統在網絡安全方面都客觀存在漏洞，尤其是有些行業的操作系統時間久遠，加之日常維護不及時、未及時升級，一旦遭到攻擊就會發生泄漏系統信息的情況，甚至還會引發系統崩潰。同時在操作系統過程中，用戶會根據自己的需求設置通用服務，包括瀏覽網頁、發送與接收電子郵件等，這些都為黑客入侵系統提供有利條件。

第二，網絡病毒入侵風險。對于當代人而言，在學習、工作、生活中需要的各種信息都能通過網絡獲取，便捷地利用U盤存儲信息，以電子郵件的方式傳輸信息，這些數據操作方式都會導致病毒傳播與擴散。截至目前，世界范圍內已經確定的病毒種類超過10萬種，網絡主機、服務器都是病毒的攻擊對象，最嚴重的后果就是網絡癱瘓。網絡應用率的快速提高，網絡技術不斷推陳出新，病毒在這樣的背景下也實現了迭代，類型越來越豐富。網絡病毒本身具有較強的再生機制，在得不到制約情況下能大面積傳播。一旦網絡計算機遭到病毒入侵，尤其是服務器，系統運行就會受到阻礙，系統癱瘓現象也有可能發生，用戶不能正常使用系統中的部分程序，大量數據丟失，后門、蠕蟲、DDOS這幾種黑客攻擊手段始終沒有得到有效控制，攻擊方式也變得智能、多樣。

第三，黑客入侵風險。在大數據背景下，黑客入侵是網絡信息最大的安全隱患之一，在大數據的輔助下，黑客可以隱藏自身，對網絡信息發起猛烈攻擊，導致大數據的價值密度出現下降的情況，現有的安全分析工具不能及時識別黑客，給網絡信息帶來安全隱患。當前人們頻繁使用局域網，就是建立在廣播技術基礎之上的以太網，在同一個網絡中，處于任何一個節點的網卡都有可能截取隨意兩個節點之間的通信數據包，為工作交流提供方便。一般而言，企業都會在內部為連接互聯網設置出入口，這就為外網黑客進入企業網絡系統帶來了可能，只要進入網絡之后，利用一定的技術就能從網絡中獲取存儲于每一個節點中的數據信息。同時系統本身也有漏洞，可以通過未設防的路徑進入網絡中，獲取企業內部數據信息，或是破壞應用程序與系統文件，網絡運行由此中止，企業會因為數據泄露而遭到嚴重損失。

第四，人為風險。大數據背景下，信息體量日益增加，信息以無法想象的速度傳播，如果系統管理員沒有意識到維護網絡安全的重要性，風險意識淡薄，網絡信息將面對嚴重的風險隱患。在網絡信息安全管理過程中，一定要形成硬性制度，許多企業或機構就是因為網絡信息安全管理制度有紕漏，工作人員技能水平較低，系統管理人員未做到嚴格保密，引發了泄露或丟失數據的情況，或是在數據傳輸、存儲、管理過程中遭到不法訪問或篡改，威脅到網絡安全，用戶不得不承受經濟損失。

2.2 大數據技術在網絡安全風險挖掘中應用的重要性

大數據技術在網絡安全風險方案中的應用價值主要體現在：

第一，可以顯著提升風險管理能力，減少網絡安全風險帶來的損失。隨著現代信息技術的廣泛應用，各類信息系統相繼推出。任何IT系統都不可能保證絕對安全，每一個系統都存在一定的漏洞，也會在運行中出現新漏洞，這是風險評估的根本原因之一。通過大數據技術對系統運行的實際情況進行深入分析，全面收集各個環節的數據，借助大數據深度分析和挖掘，能從更深層次找到引發安全漏洞的原因，幫助企業組織提早發現安全事件的苗頭，有針對性地采取合適的應對措施。

第二，可以有效提升網絡安全風險監測能力。網絡在運行過程中持續面臨著威脅，網絡攻擊與破壞行為一直都在演變之中，只有充分了解網絡安全威脅，才能采取有效的防范措施。智能化的大數據分析能力對新出現的風險、面臨的威脅進行及時處理并發出警告。在系統運行中，攻擊者與攻擊行為層出不窮，數據泄露事件發生的概率日漸提高，安全事件發生之后要采取有效的方式進行處置。通過大數據技術的應用，可以快速分析和識別網絡活動中的異常信號，及時發出報警，企業可以安排專業人員找出漏洞，壓制住苗頭問題，避免引發全域災難。

3 大數據技術在網絡安全風險挖掘中的具體應用

在分析大數據技術在網絡安全風險挖掘中應用的重要性及必要性的基礎上，下文側重圍繞大數據技術的具體應用進行探索。

3.1 基于大數據技術建構網絡安全數據分析平臺

網絡安全平臺架構由數據采集、數據存儲、數據分析以及數據呈現四個主要部分構成。具體而言：

第一，數據采集層，需要運用分布式方法采集各種信息，包括使用者信息、安全信息、事件信息等。在采集數據時，同時采用Flume、Kafka、Storm這三種形式，實現了彼此之間的優勢互補。Flume最大的優勢就是能收集與匯總海量數據，而且能將其傳送到指定位置，具備較強的實用性與可靠性。憑借定制數據，用戶能從多個端口找到自己需要的數據，初步對數據進行加工并提供給數據定制方。Kafka用于流式數據加工，能起到緩存的作用。Kafka有著復雜的成分，生產者、代理者、消費者數量都比較多，能從總體上實施全方位邏輯處理，采用分布式的方式發布訂閱系統，系統而全面地進行邏輯處理。

第二，數據存儲層，存儲是一項主要內容，除了能達到海量存儲的目的以外，也能保證存儲時間，還可以通過結構化、半結構化、非結構化的方式統一存儲數據，運用均衡算法，能把數據信息分布于不同的文件系統之中，此舉最大的優勢就是在后續數據檢索時不需要耗費過多的時間；平臺采集數據之后，需要及時對其進行存儲。例如，采用分布式文件系統HDFS由一個管理節點和好多個數據節點組成。其優勢在于具備良好的容錯性。數據文件可以存儲在任何一個節點上，對其進行劃分，把最基本的存儲單位設定為64 MB。該項技術在運用中，無法在同一個時間段對多個數量的文件進行訪問，如果需要進行此項操作，系統性能有可能遭到破壞。

第三，數據分析層，需要從更深層次對數據進行關聯分析，解析外部情境，明確數據的基本特征，以這種方式識別安全事件，當不正常的網絡行為出現在系統中，能高效地進行診斷，還可以根據需要進行信息檢索與定位。

第四，數據呈現層，要以可視化的方式呈現大數據結果，采用多樣化的方式對網絡安全狀態進行描述。

3.2 利用大數據技術感知和評估風險，及時檢測潛在的網絡安全風險

充分利用大數據技術的優勢來提升風險感知能力和風險評估能力，對第一時間檢測和應對網絡安全風險具有重要的意義。

第一，對安全事件進行深度分析。為及時覺察異常行為，必須快速感知出現的各種異常行為，以便于盡早發現安全事件的苗頭，識別更多的隱形漏洞。伴隨著網絡安全感知能力的不斷增強，能有效、及時發現病毒與黑客，弄清用戶行為的特征，維護網站合法性與網絡內容可靠性。同時應提升網絡感知能力來維護網絡安全，發現異常行為并采取預防舉措。例如，利用大數據技術對網絡設備運行日志完整記錄和分析，識別用戶網絡流量變化、行為特征，把握住APT攻擊的特征，精準地定位網絡訪問的發生地點，對其是否正常做出判斷。

第二，建設網絡安全風險評估數據庫。通過建立風險信息數據庫，建構網絡安全風險評估模型，為網絡安全風險評估提供精準的數據支持。在風險信息數據庫中對海量數據進行系統化的存儲和分析。目前，安全評估數據庫建設通常采用的是B/S模型，利用多個終端服務實現對海量網絡信息的整合和收集。在對數據庫中的數據進行處理、整合、共享時，則需要發揮出Web瀏覽器、應用服務器以及數據服務器等優勢。通過保證網絡安全風險評估數據庫的正常運行，實現對數據的集中整合、統計分析。而要保證數據庫平臺的運行，則需要保證相關設計模型、功能等符合標準，為信息的預測模型和評估體系升級奠定堅實基礎。

第三，建立和利用危險評估模塊。在網絡安全風險挖掘過程中，需要充分借助危險評估模塊。通過對設備及系統存在的安全風險進行記錄，借助危險評估模塊進行層次性定性分析和定量分析，全面進行風險評估，提升安全漏洞檢測的實效性。例如通過對安全入侵項目、管理記錄等進行深度的對比分析，充分結合網絡安全風險管理經驗及科學的識別技術，有效識別風險，并提出相應的應對方案，確保危險評估模塊發揮應有的作用。此外，積極地落實云安全檢測技術也是提升整體效果的重要途徑。通過利用云數據進行測算和編寫，實現對潛在風險的預估和綜合性處理，提升網絡安全風險挖掘、識別和應對的效果。

3.3 加強大數據技術人才隊伍建設

數據是當代社會的重要資產，是數據業發展的生命線。大數據技術在網絡安全風險挖掘中應用需要一支專業化的大數據技術團隊。在網絡安全預防和應對中，大數據技術人才隊伍建設過程中，應注重提升技術人員的人機結合工具應用能力和信息萃取技術掌握水平。因此，技術人員應具備熟悉使用大數據技術的能力，即能夠結合人機結合工具，借助模型構建與工程流程相結合，采用智能化的手段高效率處理信息，從信息中萃取有價值的信息，準確識別網絡系統中存在風險的節點。因此，應定期組織開展大數據人才專項培訓活動，結合網絡安全風險挖掘工作需求安排培訓內容，提升大數據技術團隊利用人機結合工具，保障網絡系統的安全性，為網絡系統安全預測和防范提供技術支持。

4 結語

綜上所述，隨著互聯網的全面普及，網絡安全風險挖掘與防范已成為各行各業關注的重要問題。大數據技術在維護網絡安全，抵御網絡安全風險的過程中，必須利用大數據分析和挖掘技術，實現對海量數據的深度分析，有效識別潛在風險。同時要依靠完善的網絡安全數據庫、危險評估模塊以及云安全檢測平臺，發揮大數據優勢提升網絡安全風險挖掘和應對能力，不斷提升網絡安全水平。