摘 要:本文通過對數字化教學資源管理平臺的架構進行分析,找出設計的難點,并提出設計原則。技術上利用和結合云內部通信簡單安全通信模型(SSCMIC)、雙機熱備全冗余技術等相關技術對云系統架構進行改造,形成具有特色的云通信安全模型和級聯與備用雙向復制模式,解決可靠性、可擴展性以及并發性等技術架構方面的問題,從架構的角度解決大規模數據的彈性存儲、海量多元數據的高效管理、云存儲系統的安全等問題,提高云存儲系統的性能、可靠性與安全性。
關鍵詞:云存儲;云內部通信的簡單安全通信模型;云系統架構
中圖分類號:TP311.52;TP333 文獻標識碼:A 文章編號:2096-4706(2019)03-0013-03
Architecture Design of Digital Teaching Resources Platform Based on Cloud Storage
ZHAO Xu
(Quanzhou Institute of Technology,Jinjiang 362268,China)
Abstract:Through the analysis of the architecture of digital teaching resource management platform,the difficulties of design and design principles are found out. Technologically,the cloud system architecture is reformed by utilizing and combining the simple secure communication model for intra-cloud communication(SSCMIC)of cloud internal communication and the technology of dual hot standby full redundancy. The security model of cloud communication and the two-way replication mode of cascade and standby are formed to solve the technical architecture problems of reliability,scalability and concurrency. In order to improve the performance,reliability and security of cloud storage system,the flexible storage of large-scale data,efficient management of large-scale multivariate data and security of cloud storage system are solved from the perspective of architecture.
Keywords:cloud storage;SSCMIC;cloud system architecture
0 引 言
Hadoop分布式文件系統(HDFS)能夠支撐容錯存儲與數據分布式存儲,并能被高速存取,相較于傳統的NFS存儲方案,HDFS面臨更多的設計難點,其設計難點主要集中在以下幾點:
(1)如何解決集群規模的快速增長問題;
(2)如何實現GB級甚至是TB級以上文件的存儲及快速訪問;
(3)如何在隨機失效的環境下保證數據的可用性以及平臺的可靠性;
(4)如何滿足海量客戶端的訪問和保證數據的一致性。
由于面臨上述的幾個難點,以及從多個方面進行考慮,在設計HDFS時需遵循以下幾條重要的設計原則:
(1)流式數據訪問:HDFS應以流的方式訪問數據集,在數據訪問上主要用來處理大批量的數據,而不是將用戶的交互處理作為重點,同時集群的設計應盡可能提高IO的突出能力;
(2)大規模數據集:HDFS被設計成具有PB級以上的存儲能力,單個文件可能是GB級甚至TB級,因此,需支持將單個文件分割成若干標準數據塊,分布存儲于多個數據節點上。當用戶訪問文件時,多個數據節點同時以并行傳輸的方式向用戶傳輸,獲得更高的傳輸速度;
(3)容量伸縮性:快速彈性和按需自服務是云服務的兩個基本特征,根據應用的需要分配額外的資源,并在不需要的時候釋放和回收這些資源,將一部分存儲資源用來服務已有的負載,其余的存儲資源則作為備用服務;
(4)安全性:對云端進行加密需要消耗更多的計算資源,增加整體的存儲成本,目前多數云服務只提供簡單的加密服務或者不提供加密服務,大量業務仍處于無加密狀態,所以在操作層面,安全管理應根據現有的基礎設施的脆弱性,識別威脅基礎設施安全的事件,并分析其發生的可能性及影響程度。
1 實現平臺系統高可靠性和可用性的方法
計算機和其他網絡設備會出現各種故障和錯誤。由于平臺系統由廉價商用設備連接而成,因此,在系統中硬件故障不可避免,快速檢測故障,并從故障中恢復成為系統設計的核心目標之一。在遇到網絡故障時,即網絡實體之間的通信中斷,常用的方法是更換出現故障的網絡設備。
管理文件系統的元數據服務器(主節點)是系統的核心,對所有文件的操作都需要通過它來獲取文件的名稱和存儲位置等元數據信息,對元數據服務器采用集中式管理的缺陷是可能出現單點故障,元數據服務器出現故障時,將會導致整個文件系統陷入混亂與崩潰,因此需要在系統設計時解決這一問題。目前最常用的方法是為主節點準備一臺備用元數據服務器,也就是采用雙機熱備技術保證元數據服務器的正常工作,而本平臺系統對雙機熱備結構進行改造,元數據服務器陣列使用級聯與備用雙向復制的容災架構來實現元數據服務器的正常工作。
2 提升平臺系統性能和效率的方法
平臺系統必須保證文件的處理速度,否則平臺系統的價值將被限制。平臺系統以流式數據存取為主,批處理為主要使用方式,因此,平臺系統主要面向大規模流量數據訪問,設計平臺系統時,應注重數據存取的高吞吐量。在級聯與備用雙向復制結構下,備用節點和容災節點是為了防止故障而設立的,但因為要同步文件元數據,所以無形增加了主節點的工作量,為了提高主節點的工作效率,可以分流一些到備用節點上處理,備用節點也作為元數據節點使用,因為主節點和備用節點的不一致是由于寫入操作引起的差異,而讀取操作并不會出現不一致。同時,因為采用級聯與備用雙向復制機制,只允許備用節點與主節點通信,容災節點只能與備用節點通信,這樣就能減少主節點的負擔,提高主節點的工作效率。
3 保證平臺系統的安全的方法
云基礎設施安全為云資源中心的正常運行提供了可靠的保障,云安全主要采取安全措施、安全技術手段以及管理策略來保障云系統的安全性。云基礎安全設施主要分為網絡硬件安全以及主機系統安全。隨著科學技術的進步,特別是計算機網絡技術的進步,云服務具有強大的存儲能力和處理能力,對數據資源進行集中管理,提高了數據資源的利用率以及處理分析能力,數據資源成為了社會的核心資源,但是數據資源的集中管理造成的數據安全問題也面臨更大的挑戰。其中,用戶在實現安全存儲之后,在使用數據資源時,安全隱患最為突出,例如,如何讓非授權用戶不能訪問數據資源、授權用戶能正確訪問數據資源、防止用戶在使用數據資源過程中被攔截以及數據資源傳輸的安全性等問題。
3.1 平臺系統通信安全模型
為了解決用戶訪問的安全問題,使用戶能正確使用云內部數據資源,一般采用授權協議的方式進行用戶認證和授權,但這種方式只能保證用戶與服務器之間的正確訪問,并不能保證云內部間的通信安全及數據資源傳輸的安全性,因此,還需要引入一種云內部安全通信協議,與用戶認證協議一起為云平臺服務,確保外部通信和內部通信的合法性與安全性。
云內部通信的簡單安全通信模型(SSCMIC)通過同步密鑰流實現密文通信,可以有效地增強云內部通信的安全性,提高云計算服務應用的安全性。將云內部通信的簡單安全通信模型(SSCMIC)進行部署,應用在資源管理平臺上的元數據服務器、各數據存儲節點以及應用服務器上,并與用戶授權協議認證技術相結合,建立內部用戶授權協議認證服務器,向內部應用服務器頒發數字證書。外部訪問應用服務器時,服務器向用戶提供證書,用戶使用數字證書與應用服務器通信。應用服務器與內部云存儲服務節點、內部云存儲服務節點與內部云存儲服務節點之間的通信則使用云內部通信的簡單安全通信模型(SSCMIC)的安全訪問機制,這樣就能有效地提高用戶與應用服務器、應用服務器與云存儲服務節點、云存儲服務節點與云存儲服務節點之間通信的整體安全性,從而保護用戶敏感信息和其他數據的安全,保障和提高教學資源管理平臺的信息安全。資源管理平臺安全通信模型如圖1所示。
3.2 關鍵源代碼和數據庫連接字符串加解密
資源管理平臺軟件部分的源碼及信息安全也尤為重要,例如,資源管理平臺的源碼里包含了平臺系統參數、數據庫連接信息以及對云存儲系統的寫入讀取操作等敏感信息,一旦資源管理平臺的源代碼泄露,那么系統等于完全暴露在外,毫無安全性可言,所以在軟件開發時,要對關鍵源代碼使用DES(數據加密標準)進行加密和解密處理,DES是一種對稱加密算法,加密速度較快,適用于加密大量數據。
同時,數據庫連接字符的字符串也采用DES實現字符串轉換并加密,制作數據庫專用的加密工具,方便以后系統管理員的管理和使用,利用字符串生成工具對整個數據庫連接字符串進行加密,字符串生成器會自動對需要加密的字符段進行加密,并生成加密日記。因為對數據庫連接字符串做了加密處理,所以不用擔心數據庫連接信息泄露,保障數據庫服務器的安全性,同時,還能保護源代碼不被盜用,字符串加密前與加密后的效果對比如圖2所示。
4 結 論
校園內部云存儲系統是集軟件及硬件于一體的平臺系統,需要將硬件的可靠性、可用性、高性能以及高安全等級集于一身的支持,本文正是通過對平臺系統的高可靠性和可用性的設計、元數據服務器框架的設計和系統平臺安全協議的設計,最終形成平臺系統的總體架構。
參考文獻:
[1] 楊歡.云數據中心構建實戰 [M].北京:機械工業出版社,2014.
[2] (印)卡倫斯(Sandeep Karanth),著.精通Hadoop [M].劉淼,唐凱雋,陳智威,譯.北京:人民郵電出版社,2016.
[3] Alysson Bessani,Miguel Correia,Bruno Quaresma,et al. DepSky [J].ACM Transactions on Storage(TOS),2013,9(4):1-33.
[4] Amazon.Amazon Simple Storage Service [EB/OL].http://aws.amazon.com/s3/,2012.
作者簡介:趙旭(1982-),女,蒙古族,吉林松原人,本科,講師,研究方向:系統架構設計。