基于微服務的分布式數據安全整合應用系統

楊 舒，蘇 放

北京郵電大學 信息與通信工程學院，北京100876

當前在網絡互聯和大數據時代，分布式數據的安全整合應用成為一種重要的數據應用方式，得到了廣泛的研究與設計。

與傳統數據本地應用系統不同，這些越來越多的分布式計算場景往往要求多個大數據節點協同工作，在數據整合、安全應用方面，其面臨的主要挑戰在于：（1）有多個異構數據源，數據源來自相同領域的不同信息系統，且隨著應用的發展，數據源節點的數量及其數據也會產生靈活的變化；（2）由于歷史等因素，各節點數據獨立設計建設，造成數據分散儲存管理，在整合中，其應用平臺不同，數據格式不統一、數據處理也有很大的差異性，缺少統一的數據整合接口，造成數據融合共享的困難；（3）更重要的是，這些來自不同節點數據，其數據的不同所有權、使用權和管理權對與大數據環境下的合理安全共享和應用帶來了極大的挑戰。如何在數據的匯聚應用中，確保數據來源清晰、責權明確、應用有度，保障數據的合法共享和使用是一個重大的挑戰。

例如，在圖1所示的分布式物聯網終端評測平臺中，云中心控制節點和各個子測試節點組成一個典型的分布式測試架構，子節點分別完成對不同設備及相同設備不同方面的測試與數據采集，云中心控制節點收集子節點上傳的數據，整合數據以及進行數據測試報告生成及數據共享應用。

圖1 分布式物聯網終端評測平臺Fig.1 Terminal evaluation platform for distributed Internet of things

但是，由于歷史遺留和本地化數據應用的要求，不同地區、不同部門的子節點數據往往直接地儲存在本地，其數據也和中心控制節點的要求有所差別，多個子節點的數據需要整合起來才能供完整測試報告等匯總應用；同時，整合后的數據應用共享困難，由于用戶來源不同，所處部門不同，所有的用戶不可能都擁有相同的數據訪問權限，數據存在訪問權限問題，需要對用戶實行數據訪問控制，控制用戶訪問數據的能力，阻止數據被用戶的非法訪問；此外，由于用戶大多分布在各子節點中，云中心節點與用戶之間也存在信任問題。

在本文中，針對分布式物聯網終端評測平臺這一類應用需求，設計并實現了基于微服務的分布式數據安全整合應用系統，其創新性為：

（1）在數據整合中，基于微服務架構，設計實現了一個輕量級的數據整合方案，可以進行可視化的數據便捷整合。

在本系統設計中，采用先進的微服務架構[1-2]，其思想是將單體架構打散，把原來整體的服務切分成若干個微服務模塊；每個服務之間相互獨立，服務之間使用輕量級的通信制度進行交流，從而保障數據安全整合應用系統的高可擴展性，其面臨節點數量、節點數據的可擴展變化時，只需簡便地將對應微服務單元獨立進行擴展和修改，避免了對系統整體的影響，并且，這種微服務的架構，使得系統維護升級簡單高效。

（2）在數據安全應用中，在數據整合的背景下，基于數據分級與用戶角色劃分，實現用戶對數據的訪問控制；采用證書鏈模型，有效地解決了云中心節點與用戶的信任問題和角色分配問題。

1 國內外方案總結和分析

目前，在大數據整合研究方面，學術界已有了相關的一些研究，數據整合的體系結構主要分為三種：數據倉庫、聯邦數據庫和中間件。

數據倉庫作為一種應用較為廣泛的方法，典型的用法為：將數據源處理后再統一地進行保存，使用的策略是ETL[3]（Extract、Transform、Load），從異構數據庫中抽取出所需的數據，經過數據清洗等系列操作后，按照預先制定好的數據模型，將數據加載保存到數據倉庫中。在文獻[4]中使用了該方法，但是針對不同數據源結構之間差異性較大的問題，整合效果不是很好，可擴展性也不強，同時，由于事先需要制定數據整合的標準，操作繁瑣，前期準備周期長，而且一旦數據整合的需求發生變化，就要重新指定對應的模板與標準，無法實時地對數據進行更新整合。

聯邦數據庫采用數據聯邦技術，數據在邏輯上保存在同一個位置，但是實際上可能儲存在多個異構數據源中。在文獻[5]中最先定義了聯邦數據庫系統，避免了數據倉庫方法的數據復制，節約了數據儲存的額外空間，但數據仍然是異構的、數據查詢緩慢、集成度高，構建的全局數據模式算法設計復雜、沒有通用性、擴展性較差。

中間件技術在不同的異構數據源和數據應用之間提供了一個統一的訪問數據的接口。在文獻[6]中使用中間件系統，依賴于中介模式和數據源模式的映射，以XML作為數據交換的格式，雖然查詢方便，無需額外地儲存，但前期需要花費時間制定XML數據模板，當數據量較大時候，數據傳輸中間件XML體積變大，開銷高，數據查詢的效率會變低。

在面對本文所述的物聯網終端評測平臺這一類的分布式系統時，需要將各子節點的數據整合、保存后才可以供使用，聯邦數據庫和中間件這兩種數據整合的方式通用性不強，前期需要消耗時間去準備相關的算法、中間件模板，同時，并沒有將整合后的數據進行統一的保存，這種虛擬形式的數據整合并不適用本文的應用場景，但傳統的數據倉庫技術又沒有很好地解決對差異性較大的數據源的整合，也不能滿足數據整合實時性的要求，其可擴展性、靈活性也存在明顯不足。此外，這樣的數據整合中，并未考慮到數據整合的安全性需求，沒有很好地解決數據整合后的安全應用共享問題。因此，本文設計并實現了一種數據安全整合應用系統，無需預先制定數據整合的模板，對不同系統的適應性強，擴展性好，并采用可視化的整合界面，靈活、實時地進行數據便捷整合，并采用證書鏈模型，通過數據分級與角色劃分來保證整合后數據的安全應用共享。

另外，必須指出的是，當前，采用數據倉庫等手段設計的傳統數據安全整合系統大都是采用單體系統設計，其系統擴展性較差，系統部署困難，系統維護成本較高，而且為了保證數據整合的效率，常直接將系統整體擴展到多個服務器中，但是，實際應用中，并不是所有的業務都需進行擴展，導致了資源浪費。

近年來，已有一些采用分布式結構的數據整合系統，在文獻[7]中，將系統中的各個模塊分別部署到不同的服務器中；在文獻[8]中，采用自定義的注冊中心，解決了分布式模板之間的通信問題。但是，這些分布式的系統，并沒有將系統微服務化，模塊之間耦合性仍然較強，在進行業務擴展的時，仍面臨著傳統單體架構中擴展性差的問題，同時也沒有合適的負載均衡策略與容錯機制。2014年，Fowler在文章《Microservices》[9]中首次提出微服務架構，以“職責單一”為指導，將系統拆分成各個單一的微服務，各服務功能單一，邊界清晰，服務之間耦合性低，有利于敏捷開發與快速部署；微服務架構中集成了不同的負載均衡的策略，并提升了系統的容錯性，服務之間相互的隔離，一個服務出錯，并不會影響到其他微服務的運行；面對系統擴展與修改時，只需要將對應的微服務進行擴展，擴展便捷，成本相對較低。因此，本文基于微服務架構來搭建分布式數據安全整合應用系統，在降低系統耦合性、系統按需擴展、敏捷開發和快速部署方面，適應當前分布式數據安全整合的需求，具有明顯的優勢。

2 基于微服務的分布式數據安全整合應用系統

基于Spring Cloud[10]微服務的分布式數據安全整合應用系統整體框架圖2所示，其核心服務分為兩個系統：數據整合子系統與數據安全應用子系統。

圖2 基于Spring Cloud微服務的分布式數據安全整合應用系統整體框架Fig.2 Distributed data security integrated application system framework based on Spring Cloud

數據整合系統對子節點上傳的數據進行預處理，采用輕量級的可視化數據整合的方法，在云中心節點按照用戶需求將這些相互關聯的分布式異構數據源整合在一起，屏蔽了底層各子節點之間數據源的差異，使得用戶可以以透明的方式訪問這些數據。

數據安全應用系統基于數據分級與用戶角色劃分和證書鏈模型，實現了用戶對數據的訪問控制和安全應用。

在系統中，Eureka框架組成服務注冊中心集群，提供服務端發現功能，便于實現微服務之間的交互。Eureka客戶端，即其他的微服務，通過向Eureka服務端注冊，提交自身的元信息并保存在服務端，Eureka客戶端獲取通過服務端的注冊表的信息來查找其他的服務，完成微服務之間通信與交互。

Ribbon是一個負載均衡器，用來管理用戶對大數據服務的調用。

Hystrix是熔斷器，在分布式環境中，不可避免地會出現一些錯誤，如果不進行處理，會導致整個服務的崩潰，Hystrix通過添加一些容錯邏輯停止服務之間的級聯故障與提供故障后的預備選項來提高系統的整體的彈性。

Zuul是微服務的網關，是用戶請求服務的統一入口，用來提供智能路由、過濾用戶的請求。

用戶發起訪問數據請求時，由Zuul提供智能路由、過濾訪問請求，通過Eureka服務注冊中心完成微服務之間通信交互，Hystrix熔斷器與Ribbon負載均衡器用來提高整個系統的訪問彈性。

本系統的主體功能在數據安全整合應用服務，包括了數據整合子系統與數據安全應用子系統，這兩個子系統根據微服務化的理念設計，每個子系統進一步劃分為多個微服務組件功能，具體的服務劃分將分別在下面章節進行介紹。在系統微服務化中，一個微服務只專注于一個類或一個分析，服務之間通過松耦合方式連接，從而保證微服務組件的獨立性和完整性，調整或升級一個服務不會影響其他的微服務，從而保障系統的可擴展性等性能。

3 數據整合子系統的設計與實現

數據整合子系統接收每個子節點傳輸的異構數據，對數據進行預處理；在可視化平臺上，無需事先定義數據整合模板，就可以根據實際需求對異構數據進行數據整合。

如圖3所示，數據整合系統被劃分成了三個獨立的微服務。

圖3 數據整合子系統Fig.3 Data integration subsystem

（1）數據預處理微服務：接收子節點上傳的數據，并對數據進行預處理。

數據接受模塊接受各個子節點傳輸的異構數據，并做安全檢查，通過數據簽名驗證[11]，保證數據來源正確和數據的完整性。

數據處理模塊對接受的數據進行預處理，使得數據可視化微服務可以專注于自身的業務，確保高效的數據整合。其主要功能如下：

數據解密：為了保證數據由子節點傳輸到中心節點的過程中不被竊取，對數據進行了加密傳輸，在數據預處理時，首先要對數據進行解密。

數據清洗[12]：清除數據中的重復、無效的數據，減少數據量，便于后續數據的存儲和數據整合。

自定義預處理：提供插件機制，可以根據整合的數據自定義數據預處理的方法，提高系統的靈活性與通用性。

異構數據經過預處理后，根據來源的不同，將數據儲存在異構數據集群中，并實施必要的數據備份，供數據整合使用。

（2）數據語義轉化微服務：將本地子節點的數據語義格式轉換成云中心的標準格式。

語義轉化模塊主要是對數據中的一些值進行統一的“翻譯”，將子節點的原始數據的一些值轉換成云中心的標準格式。

例如：在物聯網終端測試平臺中，記錄數據的同時也記錄了數據產生的時間，不同的子節點使用的時間的格式可能不是完全一樣的，可以使用語義轉化模塊，將時間信息轉化成統一的格式，方便對數據的管理與查看。

知識庫與語義轉化模塊結合使用，知識庫中儲存了云中心數據的標準格式，定義了數據處理的規則，輔助完成語義轉化功能，影響語義轉化的結果。知識庫管理模塊主要負責對知識庫的管理，用戶可以上傳、更新、刪除知識庫。不同的數據整合系統可以根據實際的需要，利用知識庫管理模塊上傳各種補充資料，提升異構數據源語義轉換的效率和正確率。

（3）可視化數據整合微服務：通過可視化的平臺進行數據整合。

可視化數據整合的步驟如圖4所示。

圖4 可視化數據整合步驟Fig.4 Steps of visual data integration

圖5展示了應用數據整合子系統，進行物聯網終端評測平臺數據整合的工作示例。

圖5 數據整合示例Fig.5 Example of data integration subsystem

如圖5中所示，現需整合子節點1、子節點2的數據，記錄不同設備的能耗數據，兩節點分別將物聯網測試設備信息與設備能耗數據上傳給云中心節點，數據預處理微服務首先對數據進行預處理，將處理好的數據保存在異構數據集中，供數據整合使用。

為了保證數據整合的安全與數據權責可追溯，需要對用戶進行登錄驗證，只有身份驗證成功的用戶才可以進行數據整合。

用戶登錄成功后，首先在可視化平臺上選擇這兩個表，并指定兩個表之間的關系從屬關系。

接下來，設定整合表的安全等級，安全等級的分類參見GB/T 34080.2-2017[13]中的數據安全保護分類方法。

然后，自定義數據整合模板，整合表中的某一字段是否顯示、字段名稱都可以由用戶自定義；并且通過數據語義轉化微服務中知識庫所儲存的云平臺時間格式標準將各節點測試時間轉化成統一的數據格式。

數據整合完成后，用戶可以預覽整合后的數據，如果滿足需求，記錄數據整合的操作用戶，再使用數據簽名的方式將整合數據發送到數據安全應用系統；否則，重新定義待整合數據之間的關系。

4 數據安全應用子系統的設計與實現

4.1 基于角色的數據分組訪問控制

在分布式數據整合安全應用平臺建設中，僅僅通過對數據進行安全等級劃分來保障數據的安全應用顯然是不夠的。例如：在物聯網終端評測平臺中，如果僅根據數據安全分級來劃分用戶的等級，那么對于相同等級的數據，對應等級訪問權限的用戶就可以訪問該等級的全部數據。但是，由于用戶角色的多樣性，實際應用中，同等級的數據并不該被擁有該數據等級權限的所有用戶訪問，這種單一的權限劃分方式顯然滿足不了實際需求。

因此，在數據安全應用子系統的設計中，采用GB/T 34080.2-2017的數據安全保護分類方法，進行數據安全分級劃分。并在此數據分級的基礎上，提出了基于角色的分組訪問控制，將訪問權限與角色綁定，用戶通過分配角色來獲取訪問權限。并采用證書鏈的方法，實現角色的分配管理。

基于角色的分組訪問控制劃分如圖6所示。

圖6 基于角色的訪問控制Fig.6 Access control based on user role division

角色實際上就是一組數據權限的操作集合。如在物聯網終端評測平臺中，測試人員的操作集合為{test1，test2}，安全人員的操作集合為{security1，security2}，如果新加入一名員工，賦予該員工的角色為測試人員，那么該員工就可以訪問test1、test2兩個數據。一個用戶被賦予一個角色，就擁有此角色對應訪問權限。一個角色通常對應多個數據訪問權限，一個權限可以由多個角色擁有；一個用戶可以分配多個角色，一個角色可以分配給多個用戶。當數據的權限發生變化的時候，直接對數據庫中的角色權限進行更新就可以滿足需求，基于角色的訪問控制可以實現用戶權限的靈活劃分，且操作方便快捷，高效地解決了分布式數據安全整合應用系統中由于部門分散，用戶較多帶來的數據按需共享的問題。

4.2 基于數字證書鏈模型的用戶角色管理

使用數據分級和用戶角色劃分來進行訪問控制，如何實現用戶角色劃分以及如何確定用戶擁有的角色是實現訪問控制的關鍵，也是分布式大數據整合應用的難點。實際應用中，如果采用在云中心進行統一角色劃分的方法，不僅會增加云中心節點的壓力，而且由于云中心節點對子節點具體的用戶業務角色不甚了解，且子節點中的角色也往往會根據需求發生變化，因此，其角色劃分的準確性難以保證，且缺乏必要的靈活性。本文中，采用基于證書鏈[14]的方案進行用戶角色劃分管理，由各個子節點單獨進行本節點角色的劃分，然后統一地保存在云中心節點的角色權限數據庫中。具體實現方式如圖7所示。云中心節點首先將各個子節點擁有的數據權限告知子節點并將分配給子節點的數據權限保存在數據庫中；然后，在由子節點進行角色權限的劃分，將劃分的結果保存在數據庫中。

圖7 子節點角色權限劃分Fig.7 User role division in child nodes

如果子節點的業務復雜，為了進一步緩解劃分角色的壓力和提高角色劃分的準確性，子節點還可以將持續劃分角色的權限再下發給子節點下的“節點”；權限下發給“節點”后，仍可以根據實際的需求再進行權限下發，形成一種鏈式的角色劃分體系，這種劃分方式不僅減輕了云中心節點的業務壓力，由于劃分“節點”更了解本節點的角色組成，劃分角色的“節點”還可以根據實際需求向下衍生，保證了劃分的準確性、靈活性和實用性。

同時，網絡信任是數據安全應用需要解決的問題[15]，由于用戶大多分布在子節點，云節點對用戶不了解，對其缺乏信任，用戶在申請數據訪問時，云中心節點首先需要確認用戶身份是否有效，信任認證通過后，用戶才可以訪問數據。

本系統中，使用證書鏈技術來管理用戶角色，使用數字證書賦予用戶的角色身份，通過數據證書認證來解決信任問題，數字證書由位于云中心節點的證書認證中心（Certificate Authority，CA）進行統一的簽發，本文采用X.509 V3[16]作為證書的格式，將用戶的身份信息與用戶公鑰綁定，通過CA的公鑰簽名后生成證書，用戶訪問數據時，通過對用戶證書中的CA簽名進行認證來解決信任問題。采用證書鏈模型，對用戶證書使用子節點證書簽名，用子節點數據簽名標記用戶所屬的節點，便于云中心節點進行在角色權限數據庫中查找對應的權限，形成了基于證書鏈模型的用戶角色證書體系，如圖8所示。

圖8 基于證書鏈模型的用戶角色證書體系Fig.8 User role certificate architecture based oncertificate chain model

云節點CA的證書通過自簽名生成，是絕對可信任的；系統中的子節點證書和用戶證書都是由云節點CA簽發的。用戶申請證書的流程如圖9所示。

圖9 用戶申請證書流程Fig.9 Process of user certificate application

子節點的證書簽發和用戶證書簽發的流程相似。CA簽發用戶證書后，先發送給子節點，由子節點進行簽名后再發送給用戶。使用子節點證書簽名的好處在于：一是使用戶證書的簽發涉及到的權責更小化，方便進行權責的追溯；二是用戶在訪問數據時，子節點的簽名用于云中心節點在用戶角色權限數據庫中查找其對應的權限。

4.3 數據安全應用子系統

基于證書鏈模型的用戶角色權限劃分，數據應用安全子系統架構如圖10所示。

圖10 數據安全應用子系統Fig.10 Data security application subsystem

（1）證書認證中心（CA）：絕對可信任的機構，是證書鏈的基礎。

證書簽發：CA首先向KMC申請密鑰，接著獲得從KMC傳來的一對密鑰，將公鑰、用戶個人信息和用戶角色放入證書中，使用CA的公鑰進行證書簽名，將證書保存一份在證書目錄服務器中。同時，通過數據簽名的方式將證書傳輸給申請的子節點。

證書注銷：將需要注銷的證書從目錄服務器中移除。

證書更新：用戶的角色改變時，需要證書更新，首先注銷證書，更新的其他流程和證書簽發的流程一樣。

簽名驗證：通過CA私鑰對用戶證書中的CA簽名進行驗證，判斷證書是否有效。

（2）密鑰管理微服務（Key Management Center，KMC）：用于證書鏈中的密鑰管理。

密鑰生成：使用RSA[17]、SM2[18]、SMAE[19]三種算法生成密鑰，生成的密鑰要具有唯一性，保存在密鑰儲存中心。

密鑰分發：提取密鑰儲存中心的密鑰，分發給CA，密鑰不可以重復的使用，密鑰分發時使用數據簽名的方式，確保密鑰在傳輸過程中的安全。

密鑰儲存：用來儲存生成的密鑰，需要加密保存在密鑰儲存中心，用于加密的密鑰只有KMC可用。密鑰儲存有兩個用處：當用戶的私鑰丟失時可以，可以申請重新獲得；可以在空閑的時候生成密鑰保存，減輕系統因證書申請時的并發壓力。

密鑰撤銷：刪除密鑰儲存中心中需要撤銷的密鑰。

密鑰更新：用于更新證書中的密鑰，首先需要撤銷舊的密鑰，再分發新的密鑰供證書使用。

（3）數據簽名認證微服務：使用數據簽名認證，保證由數據整合系統上傳的數據來源的正確性以及數據不被篡改。

（4）加密/解密微服務：加密/解密儲存在整合數據儲存云平臺中的數據。

解密模塊用于解密用戶有權限訪問的數據信息，只有有權限訪問的用戶才會進行相應數據的解密。

加密模塊有兩個用途，一種是針對整合數據的等級，采用對應的加密算法[20]進行數據加密，保證數據的分級需求與存儲安全；另一種是使用訪問用戶的證書中的公鑰對數據進行加密，在將加密后的數據傳給用戶，只有用戶對應的私鑰才可以解密數據，保證了數據在傳輸過程中不被竊取。

（5）用戶權限驗證微服務：鑒定用戶的證書是否有效，驗證用戶數據訪問權限。

證書驗證模塊：首先檢查用戶上傳的證書是不是由CA進行簽發的，然后在證書目錄服務器中查找證書，確認證書目前是否有效。

權限驗證模塊：通過證書上子節點的簽名，確定用戶來源于哪個子節點，然后去角色權限數據庫查找對應子節點的角色權限，判斷用戶的角色是否可以訪問所申請的數據。

（6）用戶訪問記錄微服務：記錄用戶的訪問信息，保證用戶訪問的可追溯。

記錄了用戶對數據所有的訪問信息，方便追溯用戶的操作，保證用戶對數據操作的不可抵賴性。

用戶訪問數據的流程如圖11所示。

圖11 用戶訪問數據流程Fig.11 Steps for users to get data

5 系統效果展示

對數據安全整合應用效果進行了系統展示，系統使用基于Spring Cloud微服務架構搭建。

數據整合子系統的展示如圖12（a）、（b）、（c）、（d）所示，系統操作方便、靈活，無需預先定義好整合的模板，直接可以進行可視化的數據整合操作。

圖12 數據整合子系統展示界面Fig.12 Show of data integration subsystem

在數據安全應用子系統中，用戶申請數據訪問時，首先需要進行用戶登錄，用戶登錄界面如圖13所示，用戶需要輸入賬號與密碼，還要上傳用戶所擁有的數字證書，供云中心平臺驗證用戶身份與權限。

圖13 用戶登錄界面Fig.13 UI of user login

用戶登錄成功后，申請數據訪問，如果用戶驗證通過，使用XML進行數據封裝，并用用戶證書的公鑰對封裝后的數據進行加密傳輸，如圖14所示。

圖14 數據加密傳輸Fig.14 Encrypted data transporting

對于數據在前端的展示，如果用戶有權限訪問數據，用戶接收到數據后，使用證書所對應的用戶私鑰在后臺解密數據，解密后數據顯示在前端，供用戶查看，如圖15（a）所示；如果用戶權限驗證失敗，即沒有所申請數據的訪問權限，云中心節點將拒絕用戶的訪問申請，前端將信息反饋給用戶，如圖15（b）所示。

圖15 用戶訪問數據前端展示界面Fig.15 UI of user visiting data

6 結束語

針對分布式系統中的數據整合安全應用的需求，結合物聯網終端評測平臺，設計實現了一個基于微服務的應用系統，包含數據整合子系統與數據安全應用子系統。在系統設計中，將系統功能微服務化，微服務之間相互解耦，從而滿足應用平臺的高可擴展性和運維、部署便利性。在數據整合安全應用中，設計并實現了一種輕量級的數據整合系統；同時，針對實際需求，采用結合數據分級與用戶角色劃分的方法，實現了用戶對數據的訪問控制，使用數字證書賦予用戶身份信息，采用證書鏈模型，進行角色分配管理，使角色分配更準確、靈活，也緩解了云中心節點分配角色的壓力，具有較好的實用性。