構建世界更快的內存文件系統

沙行勉

摘要：新一代非易失性存儲器，如PCM、MRAM等，將使內存具備數據存儲的能力，并顯示出低功耗和優秀的數據訪問性能等優越性。把非易失性存儲級內存納入內存管理空間將成為解決傳統計算機系統數據l/O瓶頸的有效解決途徑。然而，現有文件系統的設計架構使其無法充分利用非易失性內存的特性并發揮其優勢，因此，我們需要重新審視現有文件系統的架構。從全新的角度思考面向非易失性內存的新型內存文件系統設計框架。我們提出了一個全新的概念“文件虛擬地址空間”，并在此基礎之上，設計并實現了一個新型的持久化內存文件系統SIMFS。

關鍵詞：持久化內存；虛擬地址空間；內存文件系統

DOI： 10.3969/i.issn.1005-5517.2018.7.006

0 引言

大數據時代的到來使得人們對數據處理效率的要求日益高漲，推動研究界和工業界發展可以克服傳統內存、外存之間性能鴻溝的內存計算解決方案。相比基于傳統外存的解決方案，內存計算有突破性的性能優勢，這一點從Spark和Hadoop的對比中得到體現。Spark是一種新型內存集群計算框架，而HadOOp是基于傳統外存的集群計算框架MapReduce的經典實現。相比之下，Spark可以比HadOOp快100倍。在計算機系統中，文件系統是數據存儲的最根本的基礎設施，對上層應用提供存儲數據、訪問數據的基本服務。因此，如果能夠提供文件系統的內存計算方案，就能加速所有在其上運行的、需要處理數據的應用，從而提升整個系統的性能及用戶體驗。

新興的非易失性內存（Non-Volatile Memory，簡稱NVM）提供了實現內存文件系統的機遇。一方面，NVM可以通過DIMM插槽直接連接到內存總線，提供字節尋址的高速數據訪問；另一方面，NVM存儲密度大、數據掉電不丟失，和磁盤、固態硬盤一樣提供大容量的持久性數據存儲。在采用新型非易失性內存的系統結構中，文件系統可以在NVM內存上存儲并通過片上高速總線讀寫。

但是現有系統軟件沒有充分發揮非易失性內存物理特性和優勢，如現有內存文件系統的元數據結構仍然以塊設備上的傳統文件系統的元數據結構為模板，要用軟件查找元數據結構以獲得文件數據塊的物理位置，造成極大性能開銷。為此，我們需要思考如何將文件數據結構與當前計算機體系中的內存管理機制相結合，并充分利用CPU中現有虛擬地址轉換硬件的處理能力構建高效的內存文件系統。

1 對持久化內存文件系統設計的思考

對于在非易失性內存上建立文件系統上有一個常見誤解，認為可以利用Ramdisk-類的工具在非易失性內存上建立一個模擬磁盤，然后把現有塊設備文件系統部署到模擬磁盤。這種誤解沒有考慮到傳統I/O軟件棧和塊設備文件系統產生的系統開銷，不能發揮非易失性內存文件系統的卓越性能。塊設備文件系統（如EXT4）需要經過諸多針對塊設備的軟件層次，例如I/O調度層、通用塊層和塊設備驅動層，如圖1所示。諸多軟件層次會造成數據在各級緩沖區中的多次拷貝。即使是管理模擬成磁盤的內存，對于傳統I/O軟件棧和塊設備文件系統，其多個軟件層次仍會造成數據讀寫之外的大量系統負載及性能損失。所以，為充分發掘非易失性內存的性能優勢，系統設計者需要突破原有的設計思想，從新研究和設計面向新型非易失性的內存文件系統。

當前內存文件系統可以分為兩類。一類是臨時性的內存文件系統，如RAMFS和TMPFS。從系統設計的角度來看，這類文件系統借用了內核中的虛擬文件系統（VFS）所定義的通用文件組織結構，把所有的元數據（例如超級塊和索引節點）和數據都存放于內存。但是，每次加載的元數據結構在內存中的位置不確定，物理內存也會隨系統關閉而回收。因此，即便把臨時內存文件系統部署在NVM上，系統重啟后也無法找回文件。

另一類是持久化的內存文件系統，例如BPFS，PRAMFS和PMFS。與臨時內存文件系統不同，持久化內存文件系統的元數據結構獨立于內核的內存管理系統，并且固定存放在非易失性內存的已知位置中。在系統重啟后，持久化內存文件系統可以在非易失性內存的確定位置找到其特有的元數據結構。現有的內存文件系統通過軟件搜索元數據結構，或者建立額外的映射表，將文件映射到虛擬地址空間。這些方法都不能充分利用處理器中的地址轉換硬件MMU。

當前持久化內存文件系統的設計有兩大缺點：

第一，沒有考慮到傳統I/O軟件棧和塊設備文件系統（如EXT4）需要經過諸多針對塊設備的軟件層次，造成大量額外的系統管理開銷及性能損失。 第二，元數據搜索由軟件完成，具有較大的開銷。文件系統通常管理兩類數據：描述文件屬性的元數據和文件數據。其中，元數據包含指向文件數據的物理存放地址的索引結構。例如，EXT4文件系統的索引節點（mnode）中使用直接索引和間接索引記錄文件數據的塊在磁盤中的物理地址。以圖2 （a）為例，如果要訪問某文件的k個頁面，該文件系統需要不斷重復執行以下步驟：1）文件系統搜索元數據，查找請求的數據頁的物理位置：2）文件系統調用數據傳輸函數訪問當前頁面的數據。

因此，我們需要為內存文件系統的文件創建一個連續的虛擬地址空間，這樣就可以利用文件的虛擬地址空間和硬件MMU迅速定位到文件數據的物理位置，避免軟件方式搜素元數據結構產生的開銷。如圖2（b）所示，文件系統只要1次數據拷貝操作就可以讀完k個頁面，并不需要用軟件流程逐層搜索文件的元數據結構。所以，連續虛擬地址空間中的文件訪問開銷遠低于現有文件系統。

2 持久化內存文件系統設計的基本架構

在以上的思考基礎上，我們提出了“文件虛擬地址空間”的全新設計框架，并在此設計框架下設計實現了持久化內存文件系統（Sustainable In-Memory File System， SIMFS），打破了傳統文件系統的設計思路。

在該框架下，每個文件都有一個獨立且連續的虛擬地址空間。為了充分利用地址轉換硬件并迅速地建立文件的虛擬地址空間，我們提出一個新的元數據結構“文件頁表（File Page Table）”。文件頁表將存放文件數據的物理頁組織起來，保存文件的每個數據頁的地址映射信，如圖3所示。

在文件虛擬地址空間的框架下，每個文件都有一個文件頁表。在創建文件時，系統給該文件建立一個基本的文件頁表，例如三級頁表，每級各有一個物理頁。

在這個新框架下，文件頁表用于為對應的文件建立虛擬地址空間。在打開文件時，系統將文件頁表頂層的數個指針寫入進程頁表對應的位置，這樣，文件的數據頁就可以用虛擬地扯和loa d/sto re指令直接訪問。這種建立虛擬地址空間的方式的耗時與文件大小無關，系統可以在常數時間內為文件建立起進程中的虛擬地址空間。基于這種結構，文件可以獲得連續的虛擬地址空間，而真正的文件數據卻可以分散存儲在物理內存中，每一個文件所擁有的物理內存都由一個專有的層次化的“文件頁表”組織起來。

這個全新的文件虛擬地址空間的優點在于：

1）文件系統讀文件數據不需要軟件搜索元數據結構。此外，由于文件的虛擬地址空間已經嵌入到進程的虛擬地址空間，讀文件數據不會引起缺頁中斷；

2）當文件擁有連續虛擬地址空間后，文件訪問操作僅需調用一次數據傳輸操作。文件的虛擬地址到物理地址的轉換由CPU中的硬件MMU完成，不需要軟件搜索元數據，查找文件數據的效率極高。

3 結論

本文介紹了基于文件虛擬地址空間的概念而設計，并在Linux內核中實現的一個功能完整的持久化內存文件系統SIMFS。首次提出“文件虛擬地址空間”的設計框架。提出了在文件虛擬地址空間組織文件數據的組織結構“文件頁表”。這種設計架構能夠充分利用硬件MMU實現高速文件數據訪問。我們在Linux內核中設計實現一個功能完整的持久化內存文件系統SIMFS。支持所有POSIX標準文件系統接口，支持基于Linux系統的應用程序。

用標準測試工具驗證文件系統的性能。與華為公司合作測試的結果表明，SIMFS的文件讀寫帶寬可以達到性能理論上限（即內存總線帶寬）的89%，超過其他已知的內存文件系統，是目前世界上文件讀寫速度最快的內存文件系統。

參考文獻：

[1]Ousterhout J K， Agrawal P， Erickson D， et al. The Case for RAMClouds： Scalable High-Performance Storage Entirely in DRAM[J]. Operating Systems Review， 2010， 43（4）：92-105.

[2]Zaharia M， Chowdhury M， Franklin M J， et al. Spark： Cluster Computing with Working Sets[C]，in Proceedings of the Usenix Conference on Hot Topics in Cloud Computing （HotCloud '10），2010， 15：1-7.

[3]Hadoop[Z] http：//hadoop.apache.org/.

[4]Dean J， Ghemawat S. Simplified Data Processing on Large Clusters[C]， in Proceedings ofthe Proceedings of Operating Systems Design and Implementation {OSDI '04）， 2004：107-113.

[5]Freitas R F， Wilcke W W. Storage-Class Memory： The Next Storage System Technology[J].IBM Journal of Research & Development， 2008， 52（4.5）：439-447.

[6lCondit J， Nightingale E B， Frost C， et al. Better l/0 through Byte-Addressable， PersistentMemory[C]， in Proceedings of the ACM SIGOPS Symposium on Operating Systems Principles（SOSP '09）， 2009 ：133-146.

[7]Longerbeam S， Locke M A， Morgan K D. Protected and Persistent RAM Filesystem[P]， 2003.

[8lDulloor S R， Kumar S， Keshavamurthy A， et al. System Software for Persistent Memory[Cl，inProceedings of the European Conference on Computer Systems （EuroSys '14）， 2014：1-15.