企業大數據平臺安全與隱私保護研究

陳伍星 中興通訊股份有限公司

一、引言

近年來，數據泄露事故頻發，且逐年大幅增長，2021年5月全球數字安全領域領導者金雅拓公布，全球各地共發生數據泄密事故1 673起，累計數據記錄7.07億條。急劇增加的數據安全風險，引起了各國政府的高度重視。而歐盟在2018年5月25日正式實施《通用數據保護條例(GDPR)》，要求任何涉及歐洲公民個人數據的組織，有義務對個人隱私數據采取嚴格的數據保護措施，違反相關條例的企業將面臨高達2000萬歐元或4%年營業額的罰款。此后，其他國家紛紛參照此條例，出臺各種法律法規。

另一方面，為鼓勵大數據產業發展，國家給予各種政策支持，各個行業興起大數據發展熱潮，企業間數據互融互通，充分利用大數據技術挖掘數據價值。但面對這數據“金礦”，稍有不慎就會導致數據的泄露，損害用戶和企業自身的利益，更為嚴重的可能會造成社會責任和法律風險，甚至是國家安全。顯然，解決好大數據安全問題，企業才能更好地開展大數據業務。

二、大數據安全現狀

與傳統數據庫模式下的運營環境不同，大數據業務打破了相對封閉的邊界，基于大數據的應用不斷推出，導致大量的數據需要被共享，而無論從管理還是技術角度來看，對于數據安全的關注是嚴重落后于業務發展的，暴露巨大的風險。

目前，大數據系統的技術實現基本上是以Hadoop為基礎提供存儲和資源管理，其上根據業務需求部署HBase、Hive、 Spark、Strom等各類數據處理組件，種類可達幾十種，絕大多數都為開源軟件。開源軟件到商用應用還有很長的一段路要走，要經歷技術的選擇和融合、網絡規劃、軟硬件配置、性能調優、部署等一系列過程，還要考慮后續的擴容和運維。以下幾個方面是當前比較突出的問題：

1.訪問安全(賬號、認證、授權、審計)、數據加密等基礎安全能力，在大數據領域雖有一定的積累，但是遠沒有達到傳統數據庫的水平，且用于隱私保護方面的數據脫敏技術在大數據領域則幾乎為空白。

2.各開源社區對安全的重視程度不一，技術進展不同，存在短板。

3.Hadoop及衍生項目生態圈缺乏統一的安全體系和技術標準，技術路線分裂，難以進行統部署和管理。

4.國內外各主流的大數據版本發行商，基本上都會采用開源的Kerberos和LDAP來通過訪問安全能力，但是對于開源的整合度均不高，包括提供統一的賬號管理、權限管理、策略管理等能力，在易用性及細粒度控制方面都存在很大的不足，容易產生安全漏洞，在實際部署中往往耗費大量精力，且后期演進困難。

(一)授權技術

分布式文件系統HDFS和分布式并行計算框架Spark是大數據架構的主要技術組件。其中，分布式存儲需要通過HDFS的授權模型，即目錄、文件的rw現來控制用戶讀寫。對于Metastore,在配置文件里明文填寫了作為Metastore的數據庫的用戶名、密碼，容易造成Metastore損壞。這種方式非常不安全，且通過底層存儲目錄控制訪問權限，配置困難，復雜度高、粒度粗，非常不靈活。而Spark作為分布式SQL查詢引擎處理結構化數據，用戶在使用SparkSQL處理數據的時候，難以實現細粒度的數據隔離和管控。

(二)認證技術

大數據開源社區在安全認證方面有Kerberos認證和LDAP認證。其中Kerberos 認證是一種重量級的網絡認證方式，Kerberos 認證在生產時面臨如下問題:

1.需要用戶有一個有效的Kerberos principal及證書，這在許多環境中是不實際。

2.可能存在單點風險，部署要考慮KDC數據備份及服務高可用，中心服務器安全問題，時間同步依賴NTP。

3.配置相對繁瑣，集群擴容縮容、用戶/客戶端增減繁瑣、密鑰更新分發繁瑣。

4.會導致性能下降嚴重。

而LDAP認證方式主要是通用用戶名和密碼這種簡單的方式訪問，覆蓋的大數據組件服務較少，目前僅支持Hive、SparkSQL等少數能提供JDBC訪問接口的組件。

(三)過濾技術

傳統的數據過濾技術通常采用視圖方案，針對不同的用戶/角色定義各種不同的視圖，通過視圖方式進行數據過濾控制每個用戶僅能看到過濾后數據，從而實現訪問控制，保護數據隱私。視圖方式在實際的使用過程中，在性能、可擴展性、可維護性等方面都存在問題:

1.性能：在業務復雜場景中，通過視圖實現多表關聯查詢相比直接使用表查詢，性能是有明現下降的。

2.維護困難：新增一個場景，意味著需要新增加一個視圖，而累積成百上千視圖的維護是非常困難的。

(四)脫敏技術

使用中間件進行脫敏處理是比較常見數據脫敏產品采用的方式。其關鍵技術是采用DDM(動態數據脫敏)作為代理軟件，使用內嵌SQL代理程序，當上層業務進行查詢請求時，DDM層對請求進行實時的過濾，并依據用戶權限和其他定義規則來脫敏數據，采用中間件的脫敏方案，主要問題在于：

1.需要專門的脫敏中間件，即外置數據脫敏服務器，增加了軟硬件成本及復雜度，運維成本高；

2.查詢請求和結果返回都需要經過脫敏中間件，消耗大量網絡帶寬及計算、存儲資源，性能較差，并發程度不高。大數據集群模上千個節點規模，動輒PB級的數據在企業生產環境中非常常見，通過中間件方式，完全無法滿足大數據場景下海量數據高性能動態實時脫敏的響應時間要求；

3.數據庫返回的結果數據需要緩存在脫敏服務器中，帶來了數據泄露的安全隱患；

4.現有技術改變了應用系統的使用模式，無法實現對應用完全透明，需要更換數據庫訪問地址及端口，改變了應用者的使用習慣，對已有系統的遷移引入很大的工作量；

5.動態脫敏主流的實現方式是采用網關或代理的方式，在客戶端和服務器之間按照策略進行SQL操作的改寫，來實現數據脫敏效果。這個改寫過程必然需要對SQL語句進行拆包和分析，由于SQL語法的復雜度，正則匹配非常不準確，在某些場景下必然會修改用戶的原始業務請求的處理邏輯，準確性差。

三、大數據平臺安全及隱私保護方案

針對大數據的特點及開源社區安全體系的建設現狀，本文認為大數據安全體系應以數據為中心，重點考慮數據生命周期各階段中的數據安全問題，從環境、基礎全、數據、應用以及管理全方位構建大數據平臺安全框架，在數據庫引擎層實現透明加密、解密、脫敏，提供高性能的存儲服務，同時，對上層業務應用影響盡可能的小。

(一)環境安全層

環境安全即基礎設施安全，包括網絡安全、主機安全以及虛擬化安全，通過網絡平面隔離，加固大數據集群內節點的操作系統、數據庫等手段來保證大數據系統正常運行。

(二)基礎安全層

基礎安全層包括接入控制、訪問控制、合規審計等，是大數據平臺的基礎安全能力。

接入控制：關注于控制外部用戶或者應用程序對集群的訪問過程中的身份鑒別，包括用戶賬戶管理模塊及用戶身份認證模塊，這是實施大數據安全架構的基礎，大數據平臺中所有組件都能提供基于Kerberos的認證功能，某些組件還能提供額外的LDAP認證，本文建議采用輕量級的白名單認證方式，能夠在保密性和可用性間取得平衡，適用于大規模集群場景。

訪問控制：關注于用戶或者應用訪問數據時，對用戶的權限定義和實施過程[1]。訪問控制可以限定用戶是否有對某種資源的訪問能力，能給不同應用提供一致的基于細粒度的訪問控制能力。本文建議采用統一授權服務器來完成對大數據系統訪問策略的配置和權限控制實施，從而可以實現一致的訪問權限控制配置和實施過程，該統一授權服務器覆蓋了主流的大數據組件，包括業界尚未解決的Spark細粒度授權痛點。

合規審計：大數據系統中是否存在非法數據訪問非常關鍵，這需要通過安全審計來實現。安全審計的目的是捕獲系統內的完整活動記錄，且不可被更改。本文采用細粒度的審計功能，包括管理日志、運行日志、審計日志等，覆蓋所有的主流大數據組件，通過細粒度的審計日志，當系統遭受惡意操作或攻擊時，可以快速定位和溯源，劃分事故責任。同時，在日志管理方面，采用加密、脫敏、轉儲技術，避免在記錄日志過程中泄漏用戶敏感數據以及日志被惡意刪除。

(三)數據安全層

數據安全層從多租戶隔離、數據透明加密、數據容災、數據脫敏、數據過濾等方面保證用戶數據的可用性、機密性和完整性。

多租戶：在大數據存儲計算層之上架設統一的應用開發環境，實現用戶間的存儲資源、計算資源邏輯上的隔離，用戶在獨立的空間中可進行數據的查詢、導入導出、計算任務執行、數據共享和權限管理等。

數據容災：采用大數據同城容災方案，生產集群與容災集群處于同城不同的機房，物理隔離。生產集群、容災集群同時工作，對外提供服務，互為容災，時刻準備接管對端的集群業務。

透明加密：是在軟件底層實施的加解密技術，其過程對應用程序來說是完全無感知的。目前主流的大數據組件均已支持透明加密功能，包括HDFS透明加密(文件級)、Hive、SparkSQL列級透明加密，HBase列族級透明加密，并且透明加密的算法可以自定義。

數據脫敏：對外提供數據的時候，對部分涉及隱私的信息，如姓名、生日、電話號碼、身份證等，進行屏蔽或加密處理，以防止隱私泄漏，我們采用動態脫敏技術，在不改變數據的實際存儲的前提下，對數據查詢過程進行變形處理，實現查詢結果的數據脫敏，從而保護用戶敏感數據。當前支持HBase、SparkSQL、Hive數據查詢的脫敏、脫敏策略可視化配置管理，還支持自定義脫敏算法并提供算法的維護和配置等管理功能。

數據過濾:針對不同的用戶/角色定義各種不同的視圖或者過濾策略，每個用戶僅能看到過濾后數據，從而實現訪問控制，保護數據隱私，支持SparkSQL、Hive數據查詢的自動過濾。

(四)應用安全層

基于大數據平臺的相關應用要基于平臺安全能力對行業應用進行安全管控，包括應用接入、服務開放、分權分域、敏感數據保護等安全管理。

(五)安全管理層

針對基礎安全、數據安全的各個功能進行統一管理，提供統一的管理界及接口，打通從用戶賬戶、用戶認證、授權、審計、數據脫敏、數據過濾等全流程的安全配置及管理，并且覆蓋和打通所有主流組件，提供監控功能。

1.一體化融合5A框架

數據只有通過流通、共享才能產生價值，使得大數據系統訪問控制形式多樣，需要在系統的可用性和安全性間找到平衡，為簡化控制策略和部署，本文將Account、Authentication、Authorization、Audit、Administration進 行一體化融合，構建5A安全架構。

Account(賬號)：解決開源用戶統管理問題，一個賬號只能唯一對應一個用戶，所有信息存儲在LDAP中，在數據訪問控制階段可對用戶身份進行鑒別，在安全審計階段可以追溯到具體用戶。同時，支持對用戶分組及分段管理，解決開源用戶在不同組件間相互割裂、不一致的問題。

Authentication (認證)：大數據平臺對用戶進行身份鑒別，然后才可訪問大數據平臺上的數據。可根據企業安全要求采用三種不同等級的認證方式：(1)kerberos認證，用戶訪問大數據平臺的服務需通過統kerberos認證，如果認證失敗則無法訪問大數據服務。(2)白名單控制:對于服務端集群內部各主從節點之間的認證以及外部agent與大數據平臺的交互，通過IP白名單方式來控制訪問，這種認證方式輕量、高效、部署簡單、擴容縮容方便，適用于內部信任網絡的認證。(3)LDAP認證，攜帶用戶名及密碼方式，在訪問過程中進行認證。

Authorization(授權)：管理員通過操作統一授權的控制臺，可以配置策略來控制用戶訪問權限，實現針對不同用戶進行資源、操作的細粒度授權，并提供對外服務接口。

Audit(審計)：大數據平臺完整地記錄用戶管理、權限管理、用戶登陸、數據訪問/修改等行為日志，作為數據管理，數據溯源以及攻擊檢測的重要措施不可或缺，大數據平臺需實現對 HDFS、Hive、HBase、Yarn、SparkSQL、Kafka等服務組件的審計及日志功能。

Administration(管理)，對開源大數據組件提供包括統一賬戶管理、統認證管理、統授權管理、統一審計管理及數據脫敏、數據過濾等統安全管理能力，管理能力包括:功能的安裝、部署、啟停、監控、配置等，提供配置管理界面及對外訪問接口，以解決難以進行統部署和管理等問題和缺陷。

2.大數據脫敏架構

數據的挖掘和共享為大數據平臺能夠實現數據價變現和業務創新，因此開放共享是大數據平臺的基本能力，在復雜的應用環境下，會有各種不同角色參與，如何保證企業機密數據以及用戶個人隱私數據等敏感數據不發生外泄，是數據安全的首要需求。本文采用種大數據脫敏全新技術架構，摒棄外置脫敏服務器方案，直接在數據庫底層脫敏，數據直接由服務器返回客戶端。通過在大數據數據庫執行引擎中內置數據保護裝置，在不改變用戶請求邏輯及數據原始值的前提下，利用大數據數據庫引擎自身的分布式處理能力，實現高性能數據脫敏功能，可以高效、實時地保護大數據隱私數據。同時，對應用程序及用戶使用完全透明，用戶可以完全不感知數據保護過程，實現無縫透明地保護敏感數據。

四、小結和展望

日漸成熟大數據技術為企業的數字化轉型提供巨大動力，催生了很多創新業務，帶來了便利也增加了企業的收益，但安全是發展的前提和保障，沒有安全一切都是空談。通過本文一體化5A融合架構、大數據脫敏架構等大大的緩解了大數據當前面臨的安全問題。但我們也認識到，安全永遠都是相對的，只有持續地通過制定大數據安全技術和測評標準，構建大數據安全評估評估體系，從平臺防護、數據保護、隱私保護等方面著手，才能切實促進大數據安全保障能力的全面提升。