計算存儲融合:從高性能計算到大數(shù)據(jù)

殷進勇，楊 陽，徐振朋，姚小城，曾瑋妮

(江蘇自動化研究所，江蘇 連云港 222061)

1 概述

隨著軍事信息化建設，物聯(lián)網在軍事領域存在應用需求或者已經應用。有資料表明，目前美國已經建立了具有強大作戰(zhàn)空間狀態(tài)監(jiān)控優(yōu)勢的多傳感器信息網，這些傳感器可以迅速地散布在戰(zhàn)場上的各個角落，并與布置在戰(zhàn)艦、戰(zhàn)車、飛機、衛(wèi)星等軍事裝備上的傳感器有機融合，形成全方位、全頻譜、全時域的多維偵查監(jiān)控體系。

隨著物聯(lián)網、智能終端、智能感知設備的興起及其在戰(zhàn)場感知、智能控制、精確作戰(zhàn)保障等軍事域的廣泛應用，數(shù)據(jù)的產生方式發(fā)生了質的改變，從運營式系統(tǒng)階段發(fā)展到感知式系統(tǒng)階段。在運營式階段，數(shù)據(jù)伴隨著一定的運營活動而產生，并按一定的結構記錄在數(shù)據(jù)庫中;而在感知式系統(tǒng)階段，大量的數(shù)據(jù)由各式各樣的智能傳感器產生并通過無線/有線網絡傳輸和匯集，軍事史上從沒有那個時代像今天一樣產生如此海量的數(shù)據(jù)，并具有以下4V特征:1)規(guī)模(Volume)，數(shù)據(jù)量越來越大，從萬億字節(jié)(TB)到千萬億字節(jié)(PB)級甚至到十萬億億字節(jié)(ZB)級別;2)種類(Variety)，數(shù)據(jù)種類繁多，既包括傳統(tǒng)的結構化數(shù)據(jù)又包括諸如文本、視頻、圖片和音頻等非結構化數(shù)據(jù)，而且非結構化數(shù)據(jù)的比重在快速增加;3)價值(Value)，數(shù)據(jù)價值密度低，難以進行預測分析、運營智能、決策支持等計算;4)速度(Velocity)，大數(shù)據(jù)處理的速度問題愈發(fā)突出，時效性難以保證。如何從海量的半結構化、非結構化的數(shù)據(jù)中提取有用的信息并轉變成指揮決策上的優(yōu)勢，控制火力對敵方實施有效打擊是目前必須解決的問題。

總體來看，海量數(shù)據(jù)處理的挑戰(zhàn)實質上是由信息化設施的處理能力與數(shù)據(jù)處理的問題規(guī)模之間的矛盾引起的，使得以計算為中心的傳統(tǒng)模式面臨著內存容量有限、緩存命中率低，尤其是輸入/輸出(I/O)壓力大等諸多挑戰(zhàn)，難以取得性能、能耗與成本的最佳平衡。海量數(shù)據(jù)處理是一種以數(shù)據(jù)為中心的數(shù)據(jù)密集型技術，現(xiàn)有的以計算為中心的技術難以滿足海量數(shù)據(jù)處理的應用需求，因此，整個計算機體系變革勢在必行，其中計算存儲融合就是一個重要發(fā)展方向。

所謂計算和存儲其本質是數(shù)據(jù)這一事物的兩個狀態(tài):運動和靜止，是辯證的統(tǒng)一，并在一定條件下可相互轉化，轉化過程即為數(shù)據(jù)傳輸。所謂計算存儲融合就是簡化這一轉化過程、最終是消除這一轉換過程，達到計算即存儲、存儲即計算的終極目標。

但現(xiàn)有的計算機是以馮諾依曼計算機體系結構為基礎，將計算機分成控制器、運算器、存儲器、輸入和輸出等5個組成部分，造成了計算和存儲分離的假象，導致后續(xù)的研究沿著計算和存儲兩條獨立的路線分別進行。一直以來，人們普遍認為計算能力的不足是制約計算機應用的關鍵，大量的研究投入到提升計算能力上，導致以計算為中心的計算技術的發(fā)展和繁榮;直到海量數(shù)據(jù)的出現(xiàn)，人們才認識到數(shù)據(jù)的存儲、傳輸成為制約計算機性能提升的另一個關鍵因素。由此可見，計算存儲融合是計算技術的本質回歸，符合事物的自然發(fā)展規(guī)律，具有良好的發(fā)展前景。

圖1 存儲系統(tǒng)層次結構圖

圖1為現(xiàn)有的存儲系統(tǒng)層次結構，包括寄存器、緩存、內存、本地外存以及遠程外存等多個層次，因此存儲/計算的轉化過程即數(shù)據(jù)傳輸?shù)倪^程是漫長而復雜的。根據(jù)融合發(fā)生在數(shù)據(jù)傳輸過程中的不同環(huán)節(jié)，可將融合分為系統(tǒng)級融合、節(jié)點級融合和芯片級融合3種類型的融合，其中遠程外存與本地外存的融合為系統(tǒng)級融合，其作用是降低網絡傳輸對系統(tǒng)性能影響;本地外存與內存的融合為節(jié)點級融合，其作用是降低內存/外存的I/O差異對系統(tǒng)性能的影響;內存、緩存、寄存器與計算部件的融合為芯片級融合，其作用是降低內存控制器對系統(tǒng)性能影響。目前，技術比較成熟的是系統(tǒng)級融合，典型的產品包括Google的Hadoop［1-3］、SAP的HANA等;其次是節(jié)點級融合即內存計算技術，將新型存儲級內存(Storage Class Memory，SCM)器件設計成為新內存體系的一部分，計算不僅存在于傳統(tǒng)的內存上，也在新型存儲級內存上發(fā)生，至今尚未有成熟的產品問世;至于芯片級融合，目前僅存在概念層面，鮮有相關技術報道。

2 相關技術分析

2.1 系統(tǒng)級計算存儲融合

系統(tǒng)級計算存儲融合是指將存儲中心(即遠程外存SAN、NAS)與計算中心有機融合到一個系統(tǒng)中，可有效降低網絡傳輸瓶頸造成的系統(tǒng)性能下降，其中典型的海量數(shù)據(jù)批量處理架構Hadoop，它基于由Google公司研發(fā)的分布式文件系統(tǒng)GFS和MapReduce編程模型，實現(xiàn)了兩個開源產品HDFS(Hadoop Distributed File System)和MapReduce，Hadoop由HDFS負責靜態(tài)數(shù)據(jù)的存儲，并通過MapReduce將計算邏輯分配到各數(shù)據(jù)節(jié)點進行數(shù)據(jù)計算。之后以HDFS和MapReduce為基礎建立了很多項目，形成了Hadoop生態(tài)圈。

Hadoop包含主節(jié)點(JobTracker)以及眾多從節(jié)點(TaskTracker)。JobTracker作為核心節(jié)點，主要負責調度、管理作業(yè)(Job)中的任務(Task)。TaskTracker作為任務節(jié)點，負責執(zhí)行JobTracker分發(fā)過來的任務。

當作業(yè)提交給Hadoop系統(tǒng)時，將數(shù)據(jù)處理任務抽象為一系列的Map(映射)和Reduce(化簡)操作對。Map主要完成數(shù)據(jù)的過濾操作，Reduce主要完成數(shù)據(jù)的聚集操作。輸入輸出數(shù)據(jù)以〈Key，Value〉格式存儲，用戶在使用該編程模型時，只需按照自己熟悉的語言實現(xiàn)Map函數(shù)和Reduce函數(shù)即可，MapReduce框架會自動對任務進行劃分以做到并行執(zhí)行。

Hadoop是面向由數(shù)千臺中低端計算機組成的大規(guī)模機群而設計的，其擴展能力源于其shared nothing結構、各個節(jié)點間的松耦合性和較強的軟件級容錯能力:節(jié)點可以被任意地從機群中移除，而幾乎不影響現(xiàn)有任務的執(zhí)行。該技術被稱為RAIN(Redundant/Reliable Array of Independent(and Inexpensive)Nodes)。MapReduce卓越的擴展能力已在工業(yè)界(Google、Facebook、Baidu、Taobao)得到了充分驗證。Hadoop對硬件的要求較低，可以基于異構的廉價硬件來搭建機群，且免費開源，因此其構建成本低于并行數(shù)據(jù)庫。但基于Ha-doop的應用軟件相對較少，許多數(shù)據(jù)分析功能需要用戶自行開發(fā)，從而會導致使用成本的增加。。

2.2 節(jié)點級計算存儲融合

內存和外存之間的I/O性能不匹配一直是造成數(shù)據(jù)處理速度低下的重要原因。節(jié)點級計算存儲融合采用新型存儲級內存器件，將內存與本地外存有機地融合在一起，設計成為新內存體系，在內存中不僅存在計算、也存在存儲，是一種新型計算模式即內存計算。

傳統(tǒng)計算方式通過增加內存，盡量將所需數(shù)據(jù)加載到內存中，減少外存的讀寫次數(shù)，提升計算性能;內存計算方式將存儲級內存設計成內存體系的一部分，在內存中實現(xiàn)數(shù)據(jù)的存儲和處理［5］。

在紛繁的 NVM(Non-Volatile Memory)中，PCM(Phase Change Memory)作為一種新興的存儲設備，憑借其非易失性、非破壞性讀、讀完無須回寫、寫操作無須先擦除、存儲密度高等特性，逐漸成為大規(guī)模內存系統(tǒng)中頗具潛力的DRAM替代品［6］。在硬件體系結構方面，人們圍繞PCM和DRAM的混合方案開展了很多研究，對何種混合內存體系結構能夠更加充分地利用這兩者的特性進行了深入的探討。近幾年國內外學術界出現(xiàn)的混合內存結構包括PDRAM［7］，這種混合結構由PCM和DRAM構成，充分發(fā)揮了PCM在讀數(shù)據(jù)和存儲數(shù)據(jù)方面低功耗、非易失性和DRAM在寫數(shù)據(jù)時低功耗及超長的寫壽命的特性，PCM和DRAM處于同等地位，無主次之分，對兩者線性編址，屬于線性結構。DRAM Buffer［8］在這種 DRAM+PCM 的混合型內存系統(tǒng)架構中，PCM作為主存，DRAM作為PCM的緩存，它結合了PCM高容量以及DRAM快速訪問的特點，被認為具有良好的發(fā)展前景。大容量PCM用于滿足對大內存的容量需求，可以減少輔存I/O;快速DRAM作為PCM的緩沖區(qū)彌補了PCM速度上的不足。仿真實驗表明，DRAM的容量大致為PCM容量的3% 時，兩者之間的速度差異能夠得到比較理想的彌補。層次混合內存(hierarchical hybrid memory)［9］是一種由 PCM 和DRAM構成的具有層次結構的混合內存，這種層次內存分為片上和片下兩部分。片上內存由單獨的DRAM構成，片下部分則由PCM+DRAM混合構成。其中，片上DRAM因內置于處理器內部而具有較小的延遲;片下的DRAM和PCM共用同一個內存控制器且兩者分配線性的物理地址。

以上幾種方案各有利弊，但無論采取何種方案，其最終目的只有一個:盡可能同時發(fā)揮DRAM和NVM的自身優(yōu)勢，從而改善“大內存”各方面性能，更好地為大數(shù)據(jù)處理服務。

總體來看，內存計算硬件層面和內存體系結構方面有一定的進展，還不夠成熟，并且操作系統(tǒng)、編程模型等方面的研究滯后很多，離工程應用還有很長的路要走。

3 計算存儲融合原型系統(tǒng)

傳統(tǒng)計算方式與內存計算的主要區(qū)別是增加內存容量和變革內存體系。近年來，內存的容量仍然依據(jù)摩爾定律在發(fā)展，同時價格在大幅地下降，可以使得節(jié)點內存容量高達TB級，一個集群系統(tǒng)的內存容量可達PB級，通過內存的分布式共享，也為海量數(shù)據(jù)載入內存進行處理帶來了可能。

本文針對上述的系統(tǒng)級計算存儲融合技術的兼容性差、I/O性能低等不足，借鑒內存計算的概念，提出了一種在分布式系統(tǒng)中將海量數(shù)據(jù)加載到傳統(tǒng)DRAM內存中進行緩存和處理的技術——分布式內存計算技術。

如圖2所示，該技術通過擴展Linux內核，將系統(tǒng)中所有節(jié)點上高達數(shù)百個核的處理器和數(shù)十TB的內存在系統(tǒng)空間內集成起來，形成具有單一空間的計算和存儲資源池。在內存中建立分布式文件系統(tǒng)，定期地將需要持久化的數(shù)據(jù)如歸檔文件同步到磁盤;計算時將全部數(shù)據(jù)加載到內存中，通過進程的遷移靠近數(shù)據(jù)，計算過程的文件讀寫操作僅與內存文件系統(tǒng)交互，不需要讀寫磁盤，有效解決數(shù)據(jù)網絡傳輸效率低、內存/外存I/O不匹配等問題，同時為應用程序提供兼容性編程接口。

圖2 分布式內存計算系統(tǒng)體系結構

圖3為該技術中的存儲層次結構，與上述的系統(tǒng)級計算存儲和節(jié)點級計算存儲技術相比，其主要區(qū)別在于在DRAM內實現(xiàn)了單一內存空間和分布式內存文件系統(tǒng)。

3.1 技術組成

如圖4所示，系統(tǒng)資源管理最底層實現(xiàn)通信子系統(tǒng);中間層實現(xiàn)了一個通用的分布式服務機制;上層模塊實現(xiàn)了各種分布式服務功能。

圖3 分布式內存計算系統(tǒng)體系結構

圖4 技術組成框圖

TIPC設計的一個主要目的就是從通信的角度使集群系統(tǒng)表現(xiàn)為一個單機系統(tǒng)，并能夠感知且自動適應網絡拓撲結構的變化，遠程過程調用系統(tǒng)利用TIPC協(xié)議實現(xiàn)了一個分布式服務管理器，為上層的通信提供調用接口。

同樣，熱插拔模塊也是利用TIPC協(xié)議能夠感知網絡拓撲結構變化的特性實現(xiàn)節(jié)點的動態(tài)增加、移除等工作，能夠根據(jù)節(jié)點的狀態(tài)重構系統(tǒng)。

分布式數(shù)據(jù)管理模塊實現(xiàn)一種分布式數(shù)據(jù)管理機制，為上層模塊提供存取遠程節(jié)點上數(shù)據(jù)的機制。

I/O管理模塊和內存管理模塊實現(xiàn)整個機箱范圍內的I/O和內存共享，當一個進程從一個節(jié)點遷移到另一個節(jié)點上時，它的內存空間可以映射到原來節(jié)點的內存上并可透明地訪問I/O節(jié)點上的設備。

進程間通信模塊基于內存共享機制實現(xiàn)分布式進程間通信，如共享內存、消息隊列和信號量等。

進程管理模塊負責進程遷移、進程檢查點設置、遠程fork等高層次的進程管理工作。

全局調度器模塊實現(xiàn)不同的全局進程調度策略，并利用進程管理模塊提供的進程遷移服務實現(xiàn)各個計算節(jié)點的負載均衡。

3.2 分布式數(shù)據(jù)管理

如圖5所示，Linux內核可分為兩層:虛擬層和物理層。虛擬層實現(xiàn)了應用系統(tǒng)接口，提供一種抽象的、通用的系統(tǒng)如虛擬文件系統(tǒng)、虛擬內存管理等，具體實現(xiàn)與硬件無關;而物理層實現(xiàn)了物理設備的存取如驅動程序框架、各種設備的驅動程序等，具有硬件相關性。而分布式數(shù)據(jù)管理恰恰利用Linux的這一特性，虛擬層和物理層之間插入一個分布式數(shù)據(jù)管理系統(tǒng)。

圖5 Linux內核層次結構示意圖

如圖6所示，分布式數(shù)據(jù)管理系統(tǒng)通過兩類連接器:接口連接器和I/O連接器分別與Linux的虛擬層和物理層相連，虛擬層和物理層之間的所有事件均可被分布式數(shù)據(jù)管理系統(tǒng)處理、轉發(fā)，因此擴充了單機操作系統(tǒng)的功能，能夠存取分布式的數(shù)據(jù)。接口連接器把Linux內核高層函數(shù)轉換到分布式數(shù)據(jù)存取系統(tǒng)，而I/O連接器使分布式數(shù)據(jù)存取系統(tǒng)調用設備管理的函數(shù)，從而可訪問物理設備。

圖6 分布式數(shù)據(jù)管理系統(tǒng)框圖

在分布式數(shù)據(jù)管理系統(tǒng)中，最基本的數(shù)據(jù)管理單元為對象(object)，多個同類對象組成一個集合(set)，集合分布在不同的命名空間(namespace)中，一個命名空間對應于一個Linux容器(LXC)。由此可知，分布式數(shù)據(jù)管理系統(tǒng)包含3個管理層次:命名空間、集合和對象。

在分布式數(shù)據(jù)管理系統(tǒng)初始化時創(chuàng)建一個默認的命名空間，到目前為止，還不支持多個命名空間，因此系統(tǒng)中所有的集合均被包含在默認的命名空間內。在系統(tǒng)中，該空間的ID為KDDM-DEF-NS-ID，相應的數(shù)據(jù)結構為kddm-def-ns。

3.3 分布式共享內存與文件系統(tǒng)

在分布式數(shù)據(jù)管理的基礎上，通過設計不同的接口連接器和I/O連接器實現(xiàn)了分布式共享內存和分布式內存文件系統(tǒng)，其實現(xiàn)原理分別如圖7、8所示。

圖7 分布式共享內存系統(tǒng)原理示意圖

圖8 分布式共享內存系統(tǒng)原理示意圖

如圖7所示，分布式共享內存可使用內存接口連接器將Linux內核的虛擬內存管理系統(tǒng)和分布式數(shù)據(jù)管理系統(tǒng)連接起來，使用內存存取I/O連接器連接分布式數(shù)據(jù)管理系統(tǒng)和Linux內核物理內存管理系統(tǒng)，從而實現(xiàn)了透明地訪問各節(jié)點上的內存空間。

如圖8所示，分布式內存文件系統(tǒng)使用分布式文件接口連接器連接Linux內核的虛擬文件系統(tǒng)和分布式數(shù)據(jù)管理系統(tǒng)，使用文件系統(tǒng)I/O連接器連接分布式數(shù)據(jù)管理系統(tǒng)和本地內存文件系統(tǒng)如ramdisk、ramfs和tempfs等實現(xiàn)了分布式內存文件系統(tǒng)，提供單一的文件視圖，透明地存取其他節(jié)點上的文件。

3.4 進程管理與負載均衡

進程管理負責進程遷移、進程檢查點設置、遠程fork等高層次的進程管理工作，如圖9所示，進程遷移、進程檢查點設置、遠程fork使用同一個底層實現(xiàn)機制:進程信息提取，實現(xiàn)一種內核層的數(shù)據(jù)存取機制，它能夠把內核層的元數(shù)據(jù)輸出到文件或者相反，方便了進程遷移、檢查點設置等操作。提取的進程信息包括:進程的地址空間、打開的文件信息以及網絡信息等。

圖9 進程管理系統(tǒng)架構

進程管理還依賴于以下兩種機制:Proc文件系統(tǒng)實現(xiàn)一個全局的/proc目錄，就像單機系統(tǒng)中的/proc目錄，它能顯示整個集群的信息如內存使用情況、所有運行的進程信息等。文件存取系統(tǒng)支持有打開文件的進程遷移，運行在不同節(jié)點上的進程可通過文件存取系統(tǒng)共享文件指針。

在標準Linux內核中，創(chuàng)建一個進程備份需要提取這個進程的所有進程信息。但在分布式數(shù)據(jù)存取系統(tǒng)的支持下，進程遷移僅需要創(chuàng)建幾個新的連接，加快了遷移速度。

全局調度器實現(xiàn)不同的全局進程調度策略，負責負載均衡工作。全局調度器是基于進程管理系統(tǒng)實現(xiàn)的，其整體結構如圖10所示。系統(tǒng)探測器負責系統(tǒng)資源使用情況的探測，如CPU和內存的使用情況;局部分析器獲取并分析系統(tǒng)探測器的信息，把信息傳給全局調度器。

系統(tǒng)探測器可分為被動探測器和主動探測器兩種，每個探測器與一組局部分析器相聯(lián)系，并向它們發(fā)送信息。如圖11所示，主動探測器被時鐘周期性地喚醒向局部分析器發(fā)送消息;而被動探測器由系統(tǒng)時間喚醒，系統(tǒng)事件包括來自局部分析器的事件和內核其他部分的事件，當被動局部探測器被喚醒以后，它把相應探測實體的信息發(fā)送給連接的局部分析器。

圖10 全局調度器整體架構

圖11 系統(tǒng)探測器

為簡化全局調度器的設計，系統(tǒng)提供多種探測器包括內存探測器、CPU探測器和網絡探測器等。

局部分析器獲取并分析系統(tǒng)探測器的信息，檢測系統(tǒng)狀態(tài)是否出現(xiàn)異常，并把相關信息傳給全局調度器。

如圖12所示，每個節(jié)點上都運行著多個局部分析器，每個分析器可連接多個探測器。例如，如果有兩個探測器分別探測CPU利用率和CPU溫度，那么連接這兩個探測器的分析器能夠發(fā)現(xiàn)CPU問題并向全局調度器報告，全局調度器能夠利用進程遷移機制把此節(jié)點上的進程遷移到其他節(jié)點上。

如圖13所示，全局調度器運行在每個節(jié)點上并與一組局部分析器相聯(lián)系，不同節(jié)點上的全局調度器之間相互交換各節(jié)點的狀態(tài)信息，因此全局調度器具有整個集群的全局視圖。當發(fā)現(xiàn)調度問題時，全局調度器可根據(jù)指定的調度策略把一些進程遷移到其他節(jié)點上。

4 技術驗證及分析

實驗硬件平臺為曙光刀片服務器，該平臺包含5個刀片，其中刀片5作為服務節(jié)點，其余4個刀片作為計算節(jié)點，5個刀片通過內部的千兆以太網互連。每個刀片配備2顆4核心的Xeon 2.33GHz的處理器，所以4個計算節(jié)點共有32個處理器核心;服務節(jié)點配備16GB內存，每個計算節(jié)點配備8GB的內存，4個計算節(jié)點共有32GB內存。

軟件包括操作系統(tǒng)與服務軟件。服務節(jié)點運行完整的操作系統(tǒng)，為 RHEL 6.0，內核版本 2.6.32，同時運行DHCP、TFTP、NFS等服務軟件，為其他計算節(jié)點提供服務;計算節(jié)點為無盤工作站，通過網絡從服務節(jié)點上啟動，操作系統(tǒng)為 RHEL 6.0，內核為擴展的 2.6.32內核。

由圖14可知，系統(tǒng)中計算節(jié)點上的內存和處理器資源被整合到一起，形成統(tǒng)一的計算和存儲資源池，為海量數(shù)據(jù)的處理提供一種有效的技術途徑。

5 結束語

本文分析了海量數(shù)據(jù)處理面臨的挑戰(zhàn)，指出計算數(shù)據(jù)融合技術是應對該挑戰(zhàn)的一種有效方式，并給出了計算數(shù)據(jù)融合的概念和內涵。針對現(xiàn)有技術的不足，提出了一種有效處理海量數(shù)據(jù)的方法——分布式內存計算技術。目前已完成進程管理、分布式共享內存和分布式內存文件系統(tǒng)的開發(fā)和技術驗證，取得良好的效果。下一步工作是改革硬件體系結構，更好地支持分布式內存技術。

圖14 計算與存儲資源集成效果圖

［1］ Dean J，Ghemawat S.MapReduce:Simplified data processing on large clusters［C］∥Proc.of the OSDI 2004.2004.137-150.

［2］ Yang HC，Dasdan A，Hsiao RL，Parker DS.Map-Reduce-Merge:Simplified relational data processing on large cluster［C］ ∥ Proc. oftheSIGMOD 2007. 2007，1029-1040.

［3］ mmel R.Google's MapReduce programming model:Revisited.Science Computer Program［J］.2008，70(1):1-30.

［4］ 顧榮，嚴金雙，等.Hadoop MapReduce短作業(yè)執(zhí)行性能優(yōu)化.計算機研究與發(fā)展［J］.2014，51(6):1270-1280.

［5］ 金海，廖小飛，葉晨成.內存計算:大數(shù)據(jù)處理的機遇與挑戰(zhàn)［J］.中國計算機協(xié)會通信，2013，9(4):40-46.

［6］ Lee BC，Ipek E，Mutlu O，Burger D.Architecting phase change memory as a scalable DRAM al ternative［C］∥International Symposium on Computer Architecture，2009.

［7］ Dhiman G，Ayoub R，Rosing T.PDRAM:a hybrid PRAM and DRAM main memory system［C］∥Proceedings of the 46th Annual Design Automation Conference，July 2009.

［8］ Qureshi MK，Srinivasan V，Rivers JA.Scalable high performance main memory system using phase-change memory technology［C］∥International Symposium on Computer Architecture，2009.

［9］ Park KH，Park SK，Seok，Hwang W，Shin J，Choi JH，Park KW.Efficient memory management of a hierarchical and a hybrid main memory for MNMATE platform［C］∥Proceedings of the 2012 International Workshop on Programming Models and Applications for Multicores and Manycores，2012.