摘 要 隨著通信領域的不斷發展,海量數據逐漸產生。對數據加以妥善存儲,已經成為了各行業關注的重點。本文以云存儲及分布式算法為基礎,對計算機信息存儲平臺進行了開發,并對其應用的實現途徑進行了闡述。目的在于提高數據的存儲效率及安全性,提高各領域的數據處理效率。
【關鍵詞】計算機信息技術 云存儲 大數據 分布式算法
計算機信息存儲技術,即以計算機技術為基礎所實現的,以自動化存儲數據為主要功能的技術。提高用戶的數據存儲效率,是改善用戶對技術的應用體驗、提高存儲平臺應用有效性的關鍵。云存儲技術為新型的數據處理技術,將其應用到計算機信息技術存儲平臺的開發過程中,對平臺存儲性能的提升,具有重要價值。
1 計算機信息技術存儲平臺的開發
以云存儲技術以及分布式算法為基礎,開發了計算機信息技術存儲平臺:
1.1 存儲平臺的開發
存儲平臺由客戶端、中心服務器以及接口等構成:
1.1.1 客戶端
多為計算機,是用戶據以處理數據的終端平臺。
1.1.2 中心服務器
功能與服務器類似,可根據用戶的需求做出響應,為用戶提供操作的任務線程。
1.1.3 接口
功能在于為數據的傳輸提供途徑。
1.1.4 集群控制
功能在于對所有的連接進行管理以及封裝。對外,該模塊具有讀寫功能。對內,可通過Hash算法,對節點以及數據的遷移等過程進行管理,提高Redis線程的安全性。
1.1.5 認證碼接口
功能在于為數據的加密以及解密提供存儲以及認證接口。
1.2 基礎數據庫的開發
1.2.1 鍵的開發
(1)將key鍵的長度,控制在128字節之內,降低key鍵所消耗的內存,提高平臺的數據存儲量。
(2)避免key鍵過短,以免含義表達不清晰。
(3)整個平臺中,key值的格式應保持一致。
1.2.2 值的結構設計
(1)可以將值設計成為字符串類型,采用SET等,得到value值。
(2)字符串列表以array List以及Linked list為主。上述兩種列表優勢互補。可根據設計需求及目的,對兩者進行合理選擇。
(3)字符串集合以有序集合為主,存儲值相對固定。
(4)底層存儲:以哈希表為依托,完成底層存儲。
1.3 分布式構架的開發
1.3.1 開發原則
分布式構架的開發,應遵循以下原則:
(1)平衡性:確保可將數據分布到所有的存儲節點,提高存儲平臺應用的平衡性。
(2)單調性:當新的數據進入到存儲平臺中時,應將其映射到新的節點中,提高存儲的單調性,避免數據的存儲發生混亂。
(3)分散性:應盡量降低分散性,提高節點的集群性。
(4)唯一性:相同的key,應映射到相同的服務器當中,確保key與服務器一一對應。
1.3.2 服務器集群設計
(1)連接代理:采用連接代理的方法,確保Redis數據能夠與服務器之間相互溝通。
(2)中心服務器:將平臺與用戶連接,實現人機交互,提高平臺對用戶需求的相應效率。
(3)輔助:確保數據的傳輸以及存儲安全有效。
2 計算機信息技術存儲平臺應用的實現途徑
2.1 基礎功能應用的實現方法
2.1.1 通信功能
存儲平臺通信功能主要包括內應用與外應用兩種。采用epoll將平臺與客戶端相互連接后,通信功能即可實現,用戶即可應用平臺對數據進行存儲。
2.1.2 文件的獲取
該平臺中心服務器中,包含完整的用戶文件。當用戶需要調取文件時,可以通過緩存文件夾尋找。中心服務器可根據用戶的命令作出相應,決定是否為用戶提供數據。
2.2 存儲功能應用的實現方法
存儲功能的實現,需要中心服務器以及底層Redis數據庫聯合作用來完成。當用戶需要存儲數據時,可將數據傳輸至計算機當中。隨后,Jedis會將中心服務器與底層數據庫相連接。如任務鏈表不為空,平臺可隨之執行數據存儲任務,存儲完成后,用戶即可收到反饋信息,實現對平臺存儲功能的應用。
需注意的是,平臺的數據存儲功能如何,受異步回調的影響較大。如上述問題得不到解決,較容易引發數據存儲延遲問題,致使連接超時,數據的存儲無法實現。增加調度代理的數量,是解決上述問題的主要途徑。在調度代理增加的情況下,單點Redis將會為用戶提供單線程的服務,數據的闡述效率,同樣將得到一定的提升。
2.3 數據冗余應用的實現方法
存儲平臺中,數據冗余模塊的功能,與RS碼大致相同,包括編碼與解碼兩種。接口如下:
RS-encode(String file Cache Dir);
RS-dncode(String file Cache Dir,Boolean aLive[]);
編碼的過程,通常需要由服務器完成。鑒于Java編寫較為困難,可采用c代碼實現該過程。中心服務器的執行方法以native為主,執行效果較好,能夠有效提高數據冗余模塊應用的有效性。
2.4 數據加密應用的實現方法
數據加密功能主要包括兩種,一方面在于針對不同類型的文件,進行加密與解密操作。另一方面則在于將認證碼加設到文件中,以認證碼為準,判斷數據是否存在存儲錯誤。上述兩項功能的應用,均需以api為依托來實現。
2.5 應用效果測試
為評估設計效果是否能夠滿足海量數據的存儲需求,采用以下方法對平臺的性能進行了測試:
(1)操作系統為Windows 7,32位。
(2)處理器:Intel(R)。
(3)系統內存3GB。
(4)設計偽代碼。
(5)獲得測試結果如下:加入新節點前,節點A與B的數據遷移量分別為365981與296845。加入新節點后,節點A與B的數據遷移量分別為242639與254813。通過對遷移量的觀察可以發現,節點加入后,負載同樣具有平衡性,提示平臺性能較為穩定。
3 結論
綜上,有關領域應將大數據以及云存儲技術應用到計算機信息技術存儲平臺的開發過程中,提高平臺存儲數據性能的優化性,解決存儲困難的問題。應通過加設認證碼的方法進行數據加密、通過增加調度代理數量的方法,解決存儲延遲問題、通過epoll將平臺與客戶端相互連接、采用c代碼增強數據冗余模塊的功能,改善用戶對平臺的應用體驗。
參考文獻
[1]羅斌.計算機信息技術存儲平臺的開發與應用[J/OL].電子技術與軟件工程,2017(16):159-160.
[2]劉京.計算機信息技術存儲平臺的開發與應用[J/OL].電子技術與軟件工程,2014(16):201-202.
作者簡介
李廷(1976-),男,新疆維吾爾自治區石河子市人。石河子大學計算機科學系2009級計算機信息技術專業大專畢業生,主要研究方向為計算機信息技術。
作者單位
新疆石河子工程技術學校 新疆維吾爾自治區石河子市 832000endprint