免費大數據安全分析產品

在當前安全即服務（SaaS）和開源共享的理念下，有不少廠商和開源社區也推出了免費的大數據安全分析產品，用戶只需要通過正規渠道下載，即可免費安裝使用。下面列舉兩款主流的免費大數據安全分析產品。

思科OpenSOC平臺

OpenSOC是思科的安全大數據分析架構，其建立了一個平臺，專注于網絡數據包和流的大數據分析。功能上實現了實時地檢測網絡內的異常，并且可以根據需要擴展節點。

OpenSOC的部署全部依靠開源軟件，存儲上使用Hadoop，實時索引采用ElasticSearch，而在線實時分析使用的Storm，因此可以說，OpenSOC是各種開源大數據架構和安全分析工具的有機結合。

OpenSOC主要功能包括以下幾點。

1.可擴展的接收器和分析器能夠監視任何Telemetry數據源。

2.OpenSOC具備很強的擴展性，且支持各種遙測數據流。

3.支持對遙測數據流的異常檢測和基于規則的實時報警。

4.通過預設時間使用Hadoop存儲遙測收集的數據流。

5.支 持 使 用ElasticSearch實現自動化實時索引遙測數據流。

6.支持通過Hive使用SQL查詢Hadoop中的數據。

7.兼容ODBC/JDBC并且繼承已有的分析工具。

8.支持自動生成報告、異常報警。

9.支持原數據包的抓取、存儲和重組。支持數據驅動的安全模型。

從系統架構來看，OpenSOC包含了數據源系統、數據收集層、消息系統層、實時處理層、存儲層、分析處理層。其中數據源系統主要設定大數據分析平臺的數據來源，包括通過網絡路由、網關等設備獲取的數據包和通過部署遙感傳感器從系統日志、HTTP流量、文件系統和其他行為中獲取到的日志信息。數據收集層收集經過初步處理后的大量數據，一方面利用PCAP機制收集數據包，另一方面利用Flume框架來收集大量的日志信息。消息系統層主要將數據收集層捕獲的數據包和日志包裝為消息隊列，便于上層Storm的實時處理。實時處理層將收到的消息隊列進行快速處理，Storm系統每秒可以處理數以百萬計的信息，而且用戶可以使用任意語言進行mapreduce模型的開發。存儲層主要就是有效合理地將前面獲得的數據存儲到文件系統中。分析處理層將最終處理后的數據進行分析，挖掘出有價值的數據信息展示給用戶。

用戶部署OpenSOC時，各個開源軟件和模塊均有一定的版本要求，具體如下：

Apache Flume 1.4.0版本及以上。Apache Kafka 0.8.1版本及以上。Apache Storm 0.9版 本及以上。Apache Hadoop 2.x系列版本均可。Apache Hive 12版本以上，建議13版本。Apache Hbase 0.94版本及以上。ElasticSearch 1.1版本及以上。MySQL 5.6版本及以上。

翰思HanSight DataViewer

瀚 思 HanSight DataViewer是基于業界較成熟的分布式生態系統Elasticsearch開發的企業級日志管理平臺，提供搜索或大規模日志分析可視化等服務，而且完全免費。DataViewer包括日志采集、存儲檢索、可視化展現三個部分。

日志采集部分由瀚思自主研發，采用采集/轉發機制，便于大規模集群部署，提供了Web界面進行數據源的配置及集群狀態的監控。在數據源的支持方面，內置支持的種類包括目錄、文件、syslog協議等，同時DataViewer還提供了非常易用的Java API，方便用戶對新的數據源進行支持。

存儲檢索部分采用Elasticsearch，翰 思 對Elasticsearch進行了優化，并有源碼級的支持能力。Elasticsearch是一個靈活、功能強大的開源、分布式、實時搜索和分析引擎，從設計之初就考慮了分布式環境，所以它具有天然的可靠性和可擴展性，Elasticsearch使用戶能夠輕松地地使用全文檢索的功能。通過其強大的、健壯的RESTful API和查詢DSL，支持多種客戶端，如Java、Python、Clojure等。

產品自帶數據可視化引擎，支持中文，并可以讓用戶在本地通過自定義的儀表盤同Elasticsearch所有的數據進行交互。動態儀表盤面板可保存、共享和導出，實時顯示更改查詢到的數據，還可以使用預先設計的儀表盤在用戶界面上進行數據分析。

目 前，HanSight Data Viewer已發布2.0版，采用Master/Worker的分布式架構，可靈活擴展采集集群。用戶有興趣，可自行上翰思安信官網www.hansight.com下載試用，或聯系廠家幫助安裝測試。