大數據平臺的集中訪問控制

隨著單位基地大數據平臺的建設，在考慮配套安全手段方面發現一些傳統手段無法解決的難題。由于大數據本身數據的集中、開放的特征，傳統的安全控制措施已無法滿足大數據安全發展的需要。在數據存儲、實時監控、訪問控制策略等方面面臨著巨大的挑戰。如基于Hadoop的大數據平臺本身安全機制缺失；多租戶模式下的共享數據安全問題；敏感數據保護問題；平臺虛擬機的物理隔離、網絡隔離機制與傳統方式不同；大數據平臺引入了許多新技術和新的軟硬件。

大數據平臺的配套安全如不能盡快解決，將影響到平臺的正常生產和推廣。

用戶安全管控

大數據平臺安全管控框架如圖1所示。包括用戶安全、數據安全和門戶幾個方面。

帳號管理

通過4A平臺對大數據平臺的用戶帳號、程序帳號的集中管理，確保大數據平臺內帳號密碼使用的合規性。實現將訪問大數據平臺的應用系統帳號和各類人員帳號納入到4A平臺集中管理時，4A平臺在帳號生命周期的不同階段通過與Kerberos認證服務器同步帳號信息，包括：帳號創建、刪除帳號、帳號過期、密碼修改/重置后，需實時將其添加到Kerberos服務器中。

圖1 大數據平臺安全管控框架

4A向Kerberos服務器同步帳號時，需首先進入Kerberos管理環境，進入管理環境有兩種方案：

1.使用Kerberos客戶端命令（Kadmin）進入管理環境：該方式需在4A服務器上安裝Kerberos客戶端，由4A平臺調用Kerberos的客戶端命令。

2.使 用Kerberos管理命令（kadmin.local） 進入管理環境：該方式4A平臺使用root帳號通過SSH協議登錄到Kerberos所在服務器，在Kerberos服務器上執行kadmin.local命令，進入Kerberos的服務端管理環境。然后使用如下方式對帳號進行操作：

向Kerberos中添加帳號：執行命令“addprinc 帳號名@DOMAIN”，并在提示后輸入新建帳號的密碼；

從Kerberos中刪除帳號：執行命令“delprinc 帳號名@DOMAIN”；

更 新Kerberos帳號密碼：執行“cpw帳號名 @DOMAIN”，根據提示輸入兩次待修改帳號的新密碼。

認證管理

通過4A平臺實現對訪問大數據平臺的統一身份認證，從而降低帳號盜用、冒用的風險。4A平臺管控的大數據平臺通過啟用Kerberos認證方式實現，采用B/S架構為用戶提供訪問大數據平臺的唯一訪問入口，基于Kerberos實現大數據平臺帳號與服務器帳號的解耦，從而實現大數據系統的帳號和認證的統一管控。

所有帳號通過4A平臺登錄大數據平臺并執行操作前首先向Kerberos驗證帳號合法性，并攜帶Kerberos簽發的票據訪問對應大數據平臺，具體流程如圖2。

授權管理

圖2 認證管理流程

圖3 日志審計流程

通過4A平臺集中管理大數據平臺訪問權限，依據數據類型、操作類型進行授權，簡化授權操作、減少帳號權限不匹配問題。基于大數據平臺Sentry組件與4A平臺授權模塊的結合，實現大數據平臺的權限控制，基于人員的訪問權限以及大數據操作的細粒度授權，對Hadoop目錄、文件的細粒度授權等。

審計管理

實現對大數據平臺的使用者訪問大數據平臺、執行敏感操作進行真實全面記錄。基于大數據平臺的運維管理日志進行的安全審計場景開發，包括用戶、認證、授權以及 Hive、Hbase等組件在Web界面、API、命令行、操作系統等入口的安全運維行為管控和審計。

對大數據平臺和相關系統如實記錄日志。需要記錄的日志包括帳號和權限管理日志、用戶登錄登出日志、數據訪問日志等。

帳號和權限管理：對大數據平臺用戶的帳號及權限進行管理，如授權、權限更新等；

用戶登錄登出：大數據平臺用戶的登錄退出；

數據訪問：用戶對大數據平臺中存儲數據的查詢、刪除等訪問操作；

平臺維護：對平臺組件進行管理，或其他影響平臺正常運行的配置更改操作；

數據采集：從外部數據源采集數據導入大數據平臺并進行存儲的操作。

大數據平臺HDFS、Hive、HBase的審計日志，通過大數據平臺組件審計日志的集中接入、標準化解析、存儲，實現大數據平臺操作及運維的審計管理，降低系統安全風險。日志審計流程如圖3。

數據安全管控

本文研究了大數據平臺環境下Hive、Hbase等組件中存儲的敏感數據，根據定義的數據資產發現規則，通過自動或人工的方式進行敏感數據資產發現，并對敏感數據資產信息進行管理和展現，實現大數據平臺敏感數據訪問操作監控和管理，降低系統安全風險。

敏感數據資產發現

敏感數據是指包括客戶個人隱私或企業商業價值的信息的數據。數據資產是為安全管理而描述和表示敏感數據的信息實體。敏感數據資產管理包括敏感數據資產的信息導入、自動發現、補全和維護，用于支撐敏感數據全生命周期的監控、合規檢查等功能。敏感數據資產發現主要包括以下幾個流程：

1.獲取敏感數據發現規則：在敏感數據資產發現的過程中，首先從安全策略中心中提取敏感數據發現規則，并下發給統一采集控制中心。

2.敏感數據掃描發現：統一采集控制中心根據敏感數據發現規則，在相應的主機或數據庫中進行敏感數據掃描發現，并把掃描結果提交敏感數據安全管理模塊。

3.敏感數據確認：從掃描結果中發現的新增的敏感數據，提交給相關人員進行敏感數據確認。

4.敏感數據資產信息補全：根據敏感數據確認結果對新增的敏感數據資產信息進行人工補全。

5.敏感數據資產入庫：把已完成補全的新增敏感數據資產統一存儲于安全資產庫中，以供相關系統使用。

敏感數據監控分析

針對業務系統運行、開發測試、對外接口和前后臺操作使用環節，根據定義的敏感數據主機連接、訪問操作、終端使用、明文訪問、文件流轉等監控規則對數據的流轉、存儲與使用進行監控，及時發現違規行為并進行下一步處理。

敏感數據監控分析主要包括以下幾個流程：

1.獲取敏感數據監控規則：在敏感數據監控的過程中，首先從安全策略中心中提取敏感數據監控規則，并下發給統一采集控制中心。

2.監控信息采集：統一采集控制中心根據監控規則，采集相應的日志或監控信息提交給敏感數據安全管理模塊。

3.監控數據分析處理：敏感數據安全管理模塊根據監控分析策略對采集來的日志或監控信息進行分析處理。

4.敏感數據安全監控告警：將監控分析出的異常情況轉化為告警，并針對有必要的事件提交給“安全事件管理”模塊統一告警或展示。

敏感數據安全合規

敏感數據安全合規策略管理主要實現對脫敏檢查所需策略和規則的集中管理，分為數據取樣規則管理、脫敏規則管理和核查策略管理三部分內容。敏感數據安全合規主要包括以下幾個流程：

1.獲取數據取樣規則：在敏感數據合規管理的過程中，首先從安全策略中心中提數據取樣規則，并下發給統一采集控制中心。

2.信息采集：統一采集控制中心根據數據取樣規則，采集相應的信息提交給敏感數據安全管理模塊。

3.合規檢查分析處理：敏感數據安全管理模塊根據分析核查策略對采集信息進行分析判定。

4.敏感數據安全合規告警：將分析出的異常情況轉化為告警，并將必要的事件提交 “安全事件管理”模塊統一告警或展示。

門戶管控

單點登錄

通過4A平臺首先實現對大數據平臺的集中接入管控，在實現用戶對大數據平臺的單點登錄，也即用戶訪問大數據平臺之前，4A系統通過票據類接口從Kerberos中獲取會話票據和被訪問服務的服務票據，并攜帶票據完成實際訪問。可以使用客戶端命令（kinit）和程序接口（GSSAPI）。

訪問控制

通過4A平臺的權限管理模型按照權限最小化原則授予訪問者不同的數據使用權限，有效防止未授權人員或不合規授權人員對數據的訪問，控制運維人員、應用程序等對大數據平臺的訪問操作。

例如，對大數據平臺的Hive、HBase、HDFS的敏感數據操作以及Sqoop導入導出敏感數據等操作，從而實現對高危操作的金庫管控或阻斷控制。

圖4 大數據平臺敏感操作的管控流程舉例

大數據平臺金庫操作的管控流程如圖4所示。

敏感數據管控視圖

大數據平臺敏感數據分布范圍廣、訪問操作頻繁，可實現通過多種視圖綜合呈現敏感數據在大數據平臺中的存儲、流轉、操作訪問等使用情況。

1.敏感數據分布視圖：結合大數據組件網絡部署情況，以拓撲圖的方式直觀展示各節點敏感數據存儲與布。

2.敏感數據訪問視圖：分析大數據平臺敏感數據訪問行為（訪問入口日志、數據生命周期及權限管理日志、脫敏日志、網絡流量日志等），實現大數據平臺敏感數據訪問視圖，直觀展示對敏感數據的操作行為。

3.敏感數據訪問渠道視圖：統計分析大數據平臺中敏感數據訪問渠道或方法，展示敏感數據訪問渠道。

4.敏感數據權限流轉視圖：結合敏感數據在大數據組件中的存儲分布、操作訪問行為以及常用的訪問渠道，通過關聯、綜合分析，最終實現敏感數據流轉視圖，直觀呈現敏感數據的流轉流向。