淺析“互聯網+”時代下的院校云存儲管理

陸衛東

摘 要：隨著云計算、大數據、物聯網、社交網絡和移動互聯等信息技術的飛速發展，使云存儲管理成為了可能。移動互聯網的興起將越來越多的實體、個人、設備聯系在了一起。互聯網已不僅僅是虛擬經濟，它是主體經濟中不可分割的一部分。經濟社會的每一個細胞都需要與互聯網相連，互聯網與萬物共生共存。這已經成為時代發展的大趨勢。

關鍵詞：互聯網+；物聯網；云存儲；大數據

中圖分類號：G627；TP311.132 文獻標識碼：A DOI：10.15913/j.cnki.kjycx.2016.14.020

當今社會，移動互聯網正以前所未有的廣度和深度加速推動經濟的轉型升級，推動社會的進步和發展，它已經成為了經濟轉型的新動力，人們工作、生活的新方式。隨著大數據、云計算、物聯網、智慧城市等多領域技術與移動互聯網的跨界融合，人與人之間的關系變得越來越親密，人們將進入“互聯網+”的智慧生活新時代。

近幾年，隨著信息技術的飛速發展，互聯網行業發生著日新月異的變化。互聯網由原本的WEB1.0時代過渡到了WEB2.0 時代，逐漸顯示出原創性、互動性、聚合性3個特征。由此用戶與互聯網之間的交互方式發生了巨大的變化，用戶從內容的被動接收者成為了內容的創造者。互聯網已經成為了用戶彰顯個性的場所——越來越多的人在互聯網上創建了播客、博客和相冊等與個人相關的內容。這些變化大大豐富了互聯網的內容，大量個性圖片和文章的涌現為互聯網相關支撐平臺的建設提出了更高的要求。

由于互聯網數據主要依托于用戶，所以，用戶上傳的私人數據成為了互聯網行業的主要數據源。互聯網的主要數據包括圖片、視頻、文章等相關的數據信息。數目龐大的小文件——每天產生的上百萬張圖片、FLASH、文章等大約幾十千字節的小文件將會給存儲系統帶來巨大的壓力。用現有存儲系統檢索上億數量文件的速度很難令人滿意，同時，由于單目錄下文件數量受限，文件管理也極為困難。隨著數據文件的不斷增加，快速定位檢索文件也成為了存儲系統的主要考量標準之一。

2015年，這種變革在教育上體現得最為明顯，慕課、K12在線教育（小學到高中的12年中小學在線教育）、在線外語培訓、在線職業教育等細分領域規模迅速擴大，“互聯網+”正以迅雷不及掩耳之勢推動傳統產業轉型升級。在“互聯網+”的大時代下，產業結構與發展將直接由大眾參與決定。隨著大眾自主性的提升，以消費者為核心的“產業互聯網”將逐漸取代以企業為核心的“消費互聯網”。這一變革將為存在諸多痛點的教育產業帶來巨大的機遇和挑戰。個性化和互動化等創新模式的出現也為社會發展提供了無限的想象空間。

1 云系統

根據校園信息化的發展趨勢和未來走向，需要打破傳統觀念的束縛，引進現代化“云系統”完成校園教學和學習——結合云計算、云存儲、平板電腦、個人電腦等相關產品和技術，形成方便教學和學習的整體數據存儲與分發方案，充分發揮教師協同教學的能力，并為校園內其他應用系統提供數據存儲資源。利用“云系統”可以將教師資料和學生資料通過個人存儲賬號存放在云存儲中，通過PC終端、移動終端隨時、隨地獲取教學和學習資源，使教學與學習不再有地域的局限性，達到校園教學無處不在、隨時可獲取的效果。同時，云存儲系統也能支撐起校園科研、網站、數據、娛樂存儲等信息化內容，實現校園海量數據的統一存儲和管理，從而提升網站的訪問效率和教學與學習效率，完全實現校園信息化的構想。云系統的構成及其應用情況如圖1所示。

目前，教育行業的應用類型比較廣，包括了科研、音視頻教學、圖書館、網盤、網站數據等多種應用類型。科研主要針對的是教學科研，偏向于高性能計算行業；音視頻教學主要是

存儲校園教學等視頻；圖書館主要存放海量的電子圖書；網盤主要是存放個人數據，比如教學課件、私人文檔和圖書等；網站數據主要包括校園內的網站信息。在此過程中主要存在以下問題：①小文件數量比較多。當單目錄下文件數量過多時，如何存儲和快速檢索文件是急需解決的問題。②數據量迅速增加。當數據呈爆炸式增長時，如果存儲系統沒有靈活的可擴展性，存儲平臺的添加和管理將會變得異常困難。③高互動性。負責流媒體文件的內容交付式網絡需要提供文件快速交付，用戶絕不會容忍緩慢的視頻播放、暫停緩沖或網站中斷。研究表明，網絡用戶能夠承受等待信息檢索的時間是2 s。④Cache命中率低。用戶為了提高文件的訪問效率，往往會在前端配置一個稍大容量的緩存。但是，由于小文件的數量極其龐大，應用對這些文件訪問的隨機性非常高，使得Cache的命中率極低，緩存失去了應有的作用，導致應用時需要直接到后端存儲系統上讀取數據，給存儲系統造成了極大的壓力。

1.1 存儲系統性能需求分析

基于存儲局域網技術，為了滿足各種應用的數據庫數據備份需求，必須強化數據存儲核心，選擇集群存儲服務器和網絡架構。其基本性能需求分析如下。

1.1.1 性能擴展

在存儲系統中，處理器主要具備I/O處理、Cache控制管理、數據傳輸控制和一些智能化的軟件功能。其采用的存儲設備必須具有良好的性能擴展性能，可以將單個任務分布式的存儲在多臺存儲服務器中，屏蔽掉單個硬盤或者服務器對外提供存儲服務而造成的數據讀寫瓶頸。

1.1.2 數據緩存機制

對于數據庫訪問應用，存儲系統需要擁有緩存機制，將所有經常被訪問的數據存儲在緩存池中，以方便用戶直接從緩存中調取經常被訪問的數據，且緩存池容量無需設置限制。

1.1.3 海量數據高效檢索效率

隨著DB業務的不斷發展，存儲系統需要支撐起數十萬乃至數萬IOPS的訪問需求給備份系統，減少文件備份對比時間，提高存儲系統的備份效率。

1.2 存儲系統可靠性分析

備份存儲系統可靠性是整體系統可靠性工作中的重中之重。一旦在線存儲發生嚴重故障，備份存儲系統必須確保數據的完整性、可靠性和可用性，避免出現業務服務全面停滯和數據資源被損壞的情況。因此，備份存儲系統必須要有強有力的可靠性保障。如果采用傳統的RAID數據保護技術，只能從硬盤級別保護數據。隨著數據的增加，磁盤數量越來越多，容量越來越大，硬盤故障率也在不斷提高。在這種情況下，不僅數據的恢復時間長，而且在恢復數據時，RAID機制的存儲系統幾乎處于不可用的狀態。由此可知，RAID技術已經不能滿足實際應用需求。從數據的安全性和應用的連續性考慮，要求存儲系統在單機任意數量磁盤損壞、整機宕機、單網絡損壞、單控制器損壞的情況下，都能夠保證業務數據的安全性，即這些故障發生時，用戶可以繼續使用備份存儲系統。

數據中心內部備份系統需要通過高速內網來連接，在數據中心內實現網絡快速互通，確保數據能快速實現容災備份，使任意業務數據在整個系統中都有完整的冗余數據，確保數據的安全性和可靠性，并且確保在線存儲異常時備份數據無異常。

1.3 可維護性分析

備份存儲系統的基礎建設設施應采用通用服務器硬件設備搭建，無需搭建專用硬件，可利用通用的X86架構服務器搭建備份存儲系統，降低硬件成本，提升硬件更換的靈活度。在系統的可維護性上，備份存儲系統對設備的控制力度需要劃分到硬盤級別，方便運維人員對系統進行系統化維護。當探測到有不穩定硬盤出現時，可以按需自動遷移任意硬盤中的數據到其他正在服務的正常磁盤中，采用掛載備份存儲系統中任意級別目錄的方式讓各方應用形成數據隔離，并在擴容后實現在線的遷移數據，直到各個存儲服務器中的數據均衡為止。同時，還可以根據現有服務器的運行情況提出在線更換所有老舊設備的方案，以增強整套備份存儲系統的可維護性。在管理上，要有獨立的存儲管理軟件，管理軟件需要嵌入所有備份存儲系統的功能參數，以方便運維人員管理，實現單點單人管理數拍字節的存儲空間，緩解企業運維人員的壓力。

1.4 擴展性分析

根據數據存儲的特點，需要實時、不間斷地寫入數據，而且對備份存儲系統的擴展性有非常高的要求。在容量方面，可以根據應用系統的需求進行擴容設置。擴容時，對服務器數量和硬盤容量沒有任何限制。另外，該系統可以滿足任意數量的存儲服務器和任意容量的存儲硬盤性能方面的要求。在具體工作中，可以隨著存儲服務器數量的增加整體備份存儲系統的聚合帶寬，以一個近線性增長的趨勢增加。在增加容量的同時，整體存儲服務器的性能也在不斷提高，并且擴容方式簡單、便捷，可以實現10 min/人擴展數百太字節的存儲空間。

1.5 備份高效性

備份存儲系統需要高效備份業務數據，并快速完成，按需恢復所需數據，確保在線系統出現問題時備份存儲系統可以快速恢復業務數據，甚至業務系統可以直接切換到備份系統上執行相關任務，確保業務的連續性。

2 云存儲的解決之道

為了應對多種復雜類型的應用，包括高性能計算、音視頻存儲、海量小文件和網盤類存儲，存儲系統必須采用統一式的存儲架構，在兼容多種應用的同時提供不同應用系統所需的效果。采用高性能，高安全性、穩定性的集群存儲系統架構，可以滿足對數據空間的需求和管理。其主要具備以下幾個特點：①可管理億級的海量文件，具有極高的文件檢索效率。存儲系統必須擁有高效率的多元數據服務器集群技術和高效的海量文件檢索技術，在存放上億文件的同時保持極高的文件檢索效率。這樣，在單個目錄下高效管理數萬個文件的同時，仍然能夠提供每秒數萬的文件檢索率。②系統在單一文件系統下可以擴展到艾字節。在擴展的過程中，可以保持高性能和高可靠性。單一的文件系統可以降低管理維護的復雜度，提高其使用效率。③存儲系統采用專有訪問協議調取數據，可以根據互聯網訪問數據的特點進行數據的調取、優化，在提供極高的訪問速度的同時降低訪問的延遲性，提高用戶的訪問體驗。④可以把經常被訪問的數據貯存在系統內存中，讓用戶在內存中直接調取熱點數據，減小熱點數據對系統造成的壓力。⑤提供網盤類應用，在方便教師教學的同時可以隨時隨地訪問相關數據，并且切合校園網盤使用模式有針對性地定制網盤系統，以滿足校園網盤的相關使用需求。⑥有效解決了千人以上同時視頻點播、網絡化考試的問題。當訪問量比較高時，讀寫速度不得低于30 M。⑦使用私有云存儲系統為每位教師分配一個空間，教師可以在校園內的家里、辦公室、教室和學生宿舍的電腦上用同一個賬號登錄，并且產生一個本地虛擬盤，無需下載原有數據，本地不留任何數據。這樣，在單位編輯過的文件保存到云盤后，回到家里或宿舍打開云盤里的文件，就能輕松完成沒做完的工作。⑧利用云盤可以安全備份重要文件。有了云盤，我們可以與移動硬盤、U盤等移動儲存設備說再見，解決了教師機容易中病毒、數據丟失的問題。⑨采用集群架構，使用高效的數據讀寫技術，提供可擴展的聚合帶寬，可動態擴容增長性能，以提高整套信息基礎架構的數據快速交付能力，減少硬件的投資風險。同時，還可以靈活地在線擴展，滿足業務不斷發展而產生的數據存儲需求。⑩采用全局高可用技術消除硬件單點故障，不用擔心磁盤損壞和服務器宕機等問題會導致數據丟失或者業務中斷。任何硬件故障都會由系統內置的故障恢復流程自動處理。這樣，能夠保證業務在極端惡劣的環境中有序進行。

參考文獻

[1]阿爾文·托夫勒，海蒂·托夫勒.再造新文明[M].北京：中信出版社，2006.

[2]馬克·貝尼奧夫，卡萊爾·阿德勒.云攻略[M].北京：海天出版社，2010.

[3]邁爾·舍恩伯格，庫克耶.大數據時代：生活、工作與思維的大變革[M].杭州：浙江人民出版社，2013.

[4]張冬.大話存儲——存儲系統底層架構原理極限剖析（終極版）[M].北京：清華大學出版社，2015.

〔編輯：白潔〕