海量存儲技術在云筆記共享平臺中的應用

徐莉娜

[摘? ? ? ? ? ?要]? 近年來，以“人”為中心的知識共享與互動平臺開始打破地域和資源的限制，呈現出旺盛的生命力。知識共享平臺的發展，為教育行業提供了知識價值轉化的可能性。海量存儲技術解決了目前云筆記共享平臺在云化遷移過程中的海量文件存儲問題，從而推動云筆記共享平臺的演進，實現云化的、以筆記整理為基礎的知識共享平臺，為高校在線教育與知識共享體系的發展提供一定的借鑒作用。

[關? ? 鍵? ?詞]? 云筆記;海量存儲;知識共享

[中圖分類號]? TP391? ? ? ? ? ? ? ? ? [文獻標志碼]? A? ? ? ? ? ? ? ? ? ?[文章編號]? 2096-0603（2021）43-0228-02

近年來，隨著大數據、云計算的出現和運用，互聯網迎來了快速發展的時代，全球成了一個以思想文化為基礎的知識交流會場，人們在網絡上實現了知識與文化的共享。由于互聯網具有速度快和容量大的優勢，可以預見，在不久的將來，整個教育行業將從傳統的教育模式向信息化的網絡教育模式發展，人們能享受更多更好的教育資源，從而實現真正的全球知識共享，利于迅速普及人類共同發展和進步的理念。

云筆記共享平臺作為在線教育系統的一類實例，提供了一種便捷的知識分享途徑。知識對人類發展至關重要，并且呈爆炸式增長，如果將這種資源與他人共同分享，就能更加高效地進行知識傳播，節約社會成本，提高知識的利用率，避免在知識采集、存儲、管理上的重復浪費。

一、云筆記共享平臺

云筆記共享平臺是對業界云筆記管理系統和知識共享平臺的一種整合，提供用戶注冊、登錄、筆記分類記錄與保存、筆記上傳與下載等功能，同時兼具知識共享與問答能力。與已有的知識共享平臺相比，云筆記共享平臺更強調筆記的整理、知識的系統性，在隨機的、觸發式的知識問答平臺上增加了筆記整理和歸檔功能，使知識整理的過程從本地轉移到云;與已有的云筆記管理系統相比，云筆記共享平臺增加了知識共享的過程，提供了筆記內容相關的搜索、查詢和問答能力。

二、存儲技術分析與選擇

云筆記共享平臺的關鍵是存儲和讀取用戶的日常筆記，如何快速、安全、可靠地存取這些筆記文件將是系統成功與否的關鍵點。

當前單機版筆記共享平臺遇到的最迫切問題是隨著用戶數量的增加，用戶筆記文件數目成指數級增長，原有系統無法支撐，解決文件存儲問題是當前的首要問題，以下對云筆記共享平臺的文件存儲技術進行分析與選擇。

（一）云筆記共享平臺的存儲需求

云筆記共享平臺是以筆記的整理與共享為基礎的知識共享平臺，強調知識的系統性，在隨機的、觸發式的知識問答平臺基礎上增加筆記整理和歸檔功能，所以筆記是整個系統的基礎和線索。在互聯網場景下，一個平臺想要良性地可持續發展下去，就需要擁有大量的用戶，而面對數以十萬、百萬，甚至上億用戶時，必然產生海量的筆記文件，面對這億級數量的文件，如何高效地上傳、下載并搜索筆記文件是該系統的關鍵需求。同樣，如何保證如此龐大的筆記文件的安全性、可靠性也顯得至關重要。因此，選擇一款滿足云筆記共享平臺要求的海量文件存儲系統成為云化遷移的首要任務。

（二）云筆記共享平臺的存儲使用場景

云筆記共享平臺需要存儲的筆記主要有如下特點：

1.海量：作為互聯網場景下推廣的平臺，要做到良性發展，需要吸引大量的用戶，而由于筆記的記錄是每天、持續的過程。加之系統的用戶眾多，必然存在海量的文件。我們以系統未來發展規模為5000萬用戶預估（微信8.89億活躍用戶、支付寶5億用戶、有道筆記5000萬用戶），按照每個用戶每天新產生3個筆記文件，則每天新產生的筆記文件總數為1.5億，按照筆記文件平均保存1年計算，存儲文件數量級為500億……

2.小文件：以學生課堂筆記為例，一次課堂筆記的字數約為500到5000字，存儲大小約為幾KB到幾十KB，所以每個文件的訪問對于帶寬占用相對較小。

3.文本文件多，圖片少：筆記一般以文字記錄為主，圖片記錄為輔。一般來說，圖像文件中包含可供讀取以確定圖像特征的元數據。當圖片數量非常龐大時，這些元數據的大小是不能忽視的，而本系統中這一塊相對不是主要因素。

4.差異性大、重復性少：以存儲圖片、視頻為主的云盤系統或者社交、視頻類軟件不同用戶存儲的內容中會存在大量重復的內容，比如相同的影片、相同的圖片等;而對于日常筆記來說，每個筆記都是一次創新活動，重復的幾率相對較小，除重的性價比不高。

5.多次讀寫：圖片、視頻類文件的存儲一般是一次寫多次讀，而作為筆記，可能需要多次修改。一旦筆記基本正確后，就基本不再修改。Read often 和rarely deleted是一致的。

6.實時性要求不高：和視頻點播類網站不同，不需要關注視頻播放的流暢等實時性問題。

（三）可行性分析與選擇

首先，針對云筆記共享平臺使用的場景假設，本平臺需要存儲的筆記文件主要是1M以內的小文件（特別是文本文件），從之前分析的現有技術中表明，Ceph、Lustre、GFS主要支持大文件或者對象的存儲，所以不滿足云筆記共享平臺的訴求。

其次，由于用戶日常對筆記文件的訪問頻率比較高，為了確保用戶使用的體驗，訪問的性能也是至關重要的，所以性能相對不夠理想的MooseFS也被排除在外。

再次，考慮到我們屬于業余愛好者，技術儲備較低，背后也沒有專業的技術團隊支撐，所以希望選擇一個社區更為活躍、資料更豐富的開源技術，所以MogitlFS也不適合該系統使用。

最后，因為技術能力的原因，我們需要一款更為簡單、更容易掌握的開源技術，所以將整體代碼量為50K，安裝簡單的FastDFS成為我們的首選，同時，FastDFS的高可靠性、友好性、應用廣泛性也同樣滿足我們的需求。

綜合考慮，最終FastDFS被作為云筆記共享平臺的筆記文件存儲解決方案。同時，由于本系統主要以文本存儲為主，考慮到MangoDB在文本存儲上具有便捷及高性能的優勢，可以將其作為候選方案進行對比實施。

三、FastDFS在云筆記共享平臺中的應用

（一）云筆記共享平臺架構圖

引入FastDFS后調整云共享平臺（Cloud Notes）的實現邏輯，原來筆記內容保存在本地數據庫中，現在改為調用FastDFS接口實現文件的上傳下載，為此，新增一個FileOptProxy模塊，調整后的架構圖如圖1所示。

（二）Cloud Notes調用FastDFS接口實現相關功能

修改原有涉及文件讀寫的模塊，改為調用FastDFS接口，主要涉及接口如下表所示。

（三）云筆記共享平臺功能介紹

通過引入FastDFS解決了云筆記共享平臺的文件存儲問題，基于此，我們構建了首個云筆記共享平臺（Cloud Notes），其主要包括如下功能。

1.用戶運營管理：作為云筆記管理服務提供的平臺，需要對登錄的用戶進行必要的管理，以確保系統運行的安全、透明。

2.學科筆記整理：云筆記共享平臺以筆記管理為切入點，全面集成原來單機版在筆記管理方面的能力，如筆記分類、筆記編輯、筆記查詢等。

3.訂閱發布與搜索：系統的基礎是筆記的整理與保存，而系統的關鍵和價值是知識的分享，而知識或信息分享與透明傳遞本身也是互聯網存在的最大價值。

4.在線問答與求助：在提供關注與訂閱等基礎互動能力基礎上，未來可以進一步演進系統，提供知識的在線求助與解答模式。

四、結語

在信息技術迅猛發展的今天，移動互聯網快速發展，云計算技術的出現以及廣泛應用，極大地改變了人們的生活，同時也為整合現有教學資源帶來新的視角和方法。因此，將海量存儲技術的理念應用在云筆記共享平臺的建設和管理上，是研究的主要內容和方向。

知識共享與互動平臺的出現推動了現代教育體系的改革與發展，這是時代發展的趨勢，也是社會發展的必然。將知識共享應用于現代教育體系中，將加快教育資源庫的建設，迅速提升現代教育水平，從而推進我國教育事業的蓬勃發展。

參考文獻：

[1]高偉杰.云存儲系統的關鍵技術的開發研究[D].南京：東南大學，2016.

[2]李林鋒.分布式服務框架原理與實踐[M].北京：電子工業出版社，2016.

編輯 薛直艷