基于超級(jí)基站的遷移機(jī)制應(yīng)用研究

楊 俊，王園園

(1.重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065；2.移動(dòng)計(jì)算與新型終端北京市重點(diǎn)實(shí)驗(yàn)室，北京 100190)

0 引言

隨著通信技術(shù)的迅猛發(fā)展，移動(dòng)網(wǎng)絡(luò)支撐的無(wú)線(xiàn)業(yè)務(wù)越來(lái)越豐富多樣。無(wú)線(xiàn)業(yè)務(wù)負(fù)載在時(shí)間和空間呈現(xiàn)出強(qiáng)烈的不均勻性，隨著用戶(hù)的移動(dòng)，系統(tǒng)流量負(fù)載呈現(xiàn)隨時(shí)間變化的“潮汐效應(yīng)”。在工作時(shí)段(9：00-17：00)，大量用戶(hù)從住宅區(qū)移動(dòng)到辦公區(qū)的移動(dòng)流量急劇增加；而在其余時(shí)段(20：00-23：00)，用戶(hù)從辦公區(qū)移動(dòng)到住宅區(qū)的移動(dòng)流量急劇增加，而商業(yè)區(qū)移動(dòng)流量明顯下降。傳統(tǒng)基站固有潮汐效應(yīng)現(xiàn)象造成基站處理資源分配不均，零星負(fù)載基站與高負(fù)載的基站消耗相同功率，移動(dòng)網(wǎng)絡(luò)的平均負(fù)載情況遠(yuǎn)低于忙時(shí)負(fù)載。

針對(duì)傳統(tǒng)離散分布的基站架構(gòu)，其資源按用戶(hù)峰值匹配，難以從全局進(jìn)行資源分配，通過(guò)研究分析，新一代集中式接入網(wǎng)絡(luò)架構(gòu)是一種有效的解決途徑。針對(duì)集中式接入網(wǎng)的概念，很多研究機(jī)構(gòu)提出相應(yīng)的架構(gòu)設(shè)計(jì)，包括IBM的無(wú)線(xiàn)網(wǎng)絡(luò)云架構(gòu)[1]，中國(guó)移動(dòng)的C-RAN(Centralized，Cooperative，Cloud RAN)[2-3]，以及文獻(xiàn)[4-6]提出的超級(jí)基站。與傳統(tǒng)基站架構(gòu)相比，集中式接入網(wǎng)對(duì)基站資源進(jìn)行集中并池化，通過(guò)構(gòu)造射頻軟件池、基帶軟件池和協(xié)議棧軟件池，承載一個(gè)小區(qū)的數(shù)據(jù)處理任務(wù)。在集中式接入網(wǎng)中，傳統(tǒng)無(wú)線(xiàn)基站的功能抽象為運(yùn)行在特定基站硬件資源上的虛擬基站軟件，虛擬基站由動(dòng)態(tài)分配的實(shí)際物理計(jì)算資源與軟件處理邏輯組合而成，對(duì)虛擬基站而言，其屏蔽了底層硬件資源細(xì)節(jié)，所以具有硬件資源可動(dòng)態(tài)配置、映射資源可遷移的特點(diǎn)。

虛擬基站的遷移是實(shí)現(xiàn)集中式網(wǎng)絡(luò)架構(gòu)下資源高效分配的關(guān)鍵技術(shù)。遷移虛擬基站的技術(shù)核心是采用遷移機(jī)制將負(fù)載較高的虛擬基站遷移到負(fù)載較低的基站板卡上，從而實(shí)現(xiàn)基站負(fù)載的動(dòng)態(tài)調(diào)整、負(fù)載均衡。針對(duì)通用處理器組成協(xié)議計(jì)算資源池，對(duì)于基站協(xié)議棧而言，為保證遷移過(guò)程中用戶(hù)可靠穩(wěn)定接入，需要滿(mǎn)足以下兩方面的要求：

① 最小的用戶(hù)中斷時(shí)間(建議值100 ms)[7-8]。因?yàn)樵谶w移的過(guò)程中，不可避免地會(huì)有一定的中斷時(shí)間，對(duì)于用戶(hù)而言，必須要足夠小且不能讓用戶(hù)感知，否則影響用戶(hù)體驗(yàn)。通過(guò)LTE相關(guān)定時(shí)器分析，影響用戶(hù)感知的定時(shí)器為T(mén)310，T310設(shè)置得越大，此時(shí)間內(nèi)相關(guān)資源無(wú)法及時(shí)釋放，也無(wú)法發(fā)起恢復(fù)操作或響應(yīng)新的資源建立請(qǐng)求，從而影響用戶(hù)體驗(yàn)。

② 基站遷移過(guò)程中，總遷移時(shí)間不能過(guò)長(zhǎng)[9-10]。因?yàn)樵谶w移的過(guò)程中，會(huì)耗費(fèi)大量的帶寬資源，如果遷移時(shí)間過(guò)長(zhǎng)，會(huì)影響其他用戶(hù)的正常使用。

云計(jì)算平臺(tái)和集中式基站有一定的相似性，目前云計(jì)算平臺(tái)廣泛地應(yīng)用遷移技術(shù)解決資源負(fù)載問(wèn)題，但對(duì)于其應(yīng)用到基站方面還沒(méi)有確定結(jié)論。因此針對(duì)超級(jí)基站架構(gòu)中協(xié)議層計(jì)算任務(wù)的遷移需求，進(jìn)行3種遷移方案的基站協(xié)議棧遷移仿真實(shí)驗(yàn)，得出了預(yù)拷貝遷移基本符合基站協(xié)議棧遷移需求。

1 超級(jí)基站

首先對(duì)超級(jí)基站架構(gòu)進(jìn)行闡述。文獻(xiàn)[11-13]提到超級(jí)基站物理架構(gòu)包括大規(guī)模計(jì)算資源池(BBU)和分布式異構(gòu)射頻池(RRU)。BBU是由大規(guī)模可擴(kuò)縮的CPU構(gòu)建而成，為計(jì)算資源的虛擬化、并行處理提供強(qiáng)力的硬件支撐。對(duì)于分布式異構(gòu)RRU池，主要的特點(diǎn)是采用虛擬化智能資源管理，實(shí)現(xiàn)按需動(dòng)態(tài)部署、智能覆蓋。超級(jí)基站為實(shí)現(xiàn)基站資源的統(tǒng)計(jì)復(fù)用，將傳統(tǒng)基站資源進(jìn)行集中式部署，采用虛擬化技術(shù)對(duì)集中計(jì)算資源進(jìn)行水平池化，在基礎(chǔ)硬件層面構(gòu)建射頻資源池、基帶處理資源池和通用計(jì)算資源池。在資源池內(nèi)提供大量虛擬基站，每個(gè)虛擬基站由協(xié)議、基帶和射頻共同構(gòu)造，并從資源池內(nèi)獲取相應(yīng)處理資源，完成完整的基站處理任務(wù)。超級(jí)基站水平架構(gòu)圖如圖1所示。

圖1 超級(jí)基站水平架構(gòu)

在超級(jí)基站內(nèi)部，有2個(gè)重要模塊：計(jì)算資源管控模塊和資源監(jiān)測(cè)模塊。計(jì)算資源管控模塊功能為虛擬基站動(dòng)態(tài)地分配資源，并根據(jù)基站負(fù)載情況為資源不足的虛擬基站制定資源調(diào)整策略，實(shí)現(xiàn)基站處理資源的按需分配、動(dòng)態(tài)管理。而資源監(jiān)測(cè)模塊負(fù)責(zé)監(jiān)測(cè)基站板卡運(yùn)行所占用的CPU、內(nèi)存和I/O等資源，該信息返回給計(jì)算資源管控模塊。例如，資源監(jiān)測(cè)模塊發(fā)現(xiàn)某塊基站單板負(fù)載相對(duì)較高，而另一塊基站單板負(fù)載較低，這時(shí)將反饋給計(jì)算資源管控模塊，計(jì)算資源管控模塊將發(fā)起遷移要求，將負(fù)載較高的基站單板上運(yùn)行的虛擬基站遷移到負(fù)載較低的單板。在超級(jí)基站單板負(fù)載都較低的情況，可以將其上運(yùn)行的虛擬基站都遷移到1個(gè)或幾個(gè)基站單板上。通過(guò)上述分析，有效的遷移機(jī)制可顯著改善基站資源負(fù)載均衡問(wèn)題。

2 基站協(xié)議棧遷移算法

在沒(méi)有利用虛擬機(jī)時(shí)，板卡之間的協(xié)議棧遷移依靠的是系統(tǒng)備份和恢復(fù)技術(shù)。在源板卡上實(shí)時(shí)備份操作系統(tǒng)和協(xié)議棧程序的狀態(tài)，然后把存儲(chǔ)介質(zhì)傳輸?shù)侥繕?biāo)板卡上，最后在目標(biāo)板卡上恢復(fù)協(xié)議棧的運(yùn)行。在這種情況下，遷移協(xié)議棧會(huì)造成較大的停機(jī)時(shí)間，并且在停機(jī)時(shí)間內(nèi)基站協(xié)議棧無(wú)法處理任何業(yè)務(wù)，嚴(yán)重影響用戶(hù)體驗(yàn)。

虛擬機(jī)遷移技術(shù)實(shí)現(xiàn)基站板卡上的虛擬機(jī)與協(xié)議棧在幾乎間斷運(yùn)行的情況下實(shí)時(shí)移動(dòng)，為確保遷移前后的基站協(xié)議棧狀態(tài)保持一致，必須傳遞虛擬機(jī)網(wǎng)絡(luò)狀態(tài)信息、存儲(chǔ)狀態(tài)信息以及最為關(guān)鍵的運(yùn)行狀態(tài)信息。在這些狀態(tài)信息和數(shù)據(jù)之中，遷移內(nèi)存的狀態(tài)信息和數(shù)據(jù)最復(fù)雜，內(nèi)存不僅存儲(chǔ)的信息量巨大、地址映射相對(duì)復(fù)雜，而且頁(yè)面變化較大。與內(nèi)存遷移相比，CPU運(yùn)行狀態(tài)和I/O設(shè)備遷移數(shù)據(jù)量較少、結(jié)構(gòu)單一。因此本文的研究重點(diǎn)是針對(duì)內(nèi)存的遷移機(jī)制，下面分別介紹3類(lèi)遷移對(duì)象。

① 存儲(chǔ)設(shè)備的遷移：存儲(chǔ)設(shè)備因?yàn)槠鋽?shù)據(jù)量最大，會(huì)浪費(fèi)大量的時(shí)間和網(wǎng)絡(luò)帶寬。為了減少遷移的時(shí)間和空間損失，采用NFS共享的方式共享數(shù)據(jù)和文件系統(tǒng)[14]，實(shí)現(xiàn)虛擬硬盤(pán)資源零遷移。

② 網(wǎng)絡(luò)的遷移：在遷移時(shí)虛擬機(jī)的所有網(wǎng)絡(luò)設(shè)備，包括協(xié)議狀態(tài)以及 IP 地址都要封裝在一起遷移。在局域網(wǎng)內(nèi)，通過(guò)發(fā)送 ARP重定向包，就可以把虛擬機(jī)的 IP 地址與目的主機(jī)的 MAC 地址相綁定，遷移之后所有的數(shù)據(jù)包就可以成功抵達(dá)目的主機(jī)。

③ 內(nèi)存的遷移：虛擬機(jī)動(dòng)態(tài)遷移的內(nèi)存遷移是遷移的難點(diǎn)，目前，遷移算法主要有3種：靜態(tài)遷移、預(yù)拷貝遷移算法和后拷貝遷移算法。

靜態(tài)遷移：靜態(tài)復(fù)制遷移首先暫停源主機(jī)上的虛擬機(jī)運(yùn)行，然后將虛擬機(jī)所有的內(nèi)存頁(yè)面通過(guò)網(wǎng)絡(luò)傳輸?shù)侥康闹鳈C(jī)，在完成所有的頁(yè)面遷移后，在目的主機(jī)恢復(fù)虛擬機(jī)在暫停前的運(yùn)行狀態(tài)[15]。

后拷貝遷移：文獻(xiàn)[16-18]提到了后拷貝遷移算法，其主要流程：首先在兩端主機(jī)之間同步支持虛擬機(jī)基本運(yùn)行的最小工作集，將內(nèi)存的同步過(guò)程推遲到虛擬機(jī)在目的主機(jī)上恢復(fù)運(yùn)行之后，然后目的主機(jī)接收到這個(gè)最小工作集，并立即恢復(fù)虛擬機(jī)運(yùn)行，這時(shí)由于虛擬機(jī)內(nèi)存數(shù)據(jù)在之前沒(méi)有傳輸?shù)侥康闹鳈C(jī)，需要通過(guò)按需取頁(yè)的方式從源主機(jī)上同步虛擬機(jī)內(nèi)存頁(yè)面。

預(yù)拷貝遷移：文獻(xiàn)[19-20]提出預(yù)拷貝遷移算法的核心思想是迭代傳輸內(nèi)存頁(yè)面。其內(nèi)存?zhèn)鬏斨饕譃?個(gè)階段：首先將源主機(jī)上虛擬機(jī)所有的內(nèi)存頁(yè)面全部標(biāo)記為臟頁(yè)面并傳輸?shù)侥康闹鳈C(jī)，在這個(gè)遷移過(guò)程中，虛擬機(jī)仍保持不間斷正常的運(yùn)行，接下來(lái)對(duì)上一輪復(fù)制傳輸過(guò)程中被修改且本輪到目前為止沒(méi)有被修改的內(nèi)存頁(yè)面進(jìn)行迭代復(fù)制傳輸，每一次迭代傳輸后都要判斷是否滿(mǎn)足停機(jī)拷貝條件，如果不滿(mǎn)足則繼續(xù)進(jìn)行迭代復(fù)制傳輸，如果滿(mǎn)足停機(jī)拷貝條件，源端上虛擬機(jī)被停止運(yùn)行，并將剩余的內(nèi)存臟頁(yè)面復(fù)制傳輸?shù)侥康闹鳈C(jī)。預(yù)拷貝遷移停機(jī)條件是經(jīng)多輪復(fù)制傳輸后內(nèi)存臟頁(yè)面總量收斂到預(yù)先規(guī)定的最少剩余臟頁(yè)面。

3 基站協(xié)議棧遷移實(shí)驗(yàn)

在超級(jí)基站實(shí)驗(yàn)平臺(tái)搭建了基于KVM虛擬化的虛擬基站遷移平臺(tái)，分別進(jìn)行基于靜態(tài)遷移、后拷貝遷移、預(yù)拷貝遷移情況下基站協(xié)議棧遷移實(shí)驗(yàn)。

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)在安裝了Qemu的Ubantu14.04系統(tǒng)上進(jìn)行，共有3臺(tái)超級(jí)基站硬件平臺(tái)，具體軟硬件配置如表1所示。

表1 超級(jí)基站硬件平臺(tái)軟硬件配置

名稱(chēng)配置信息硬件CPU：Intel?CoreTMi7-3612QE2．1GHz內(nèi)存：8GBDDR31600MHz軟件操作系統(tǒng)：64位Ubutnu14．04網(wǎng)絡(luò)環(huán)境網(wǎng)絡(luò)帶寬：1000Mb/s

其中PHY1、PHY2分別作為虛擬機(jī)遷移的源主機(jī)和目的主機(jī)，同時(shí)PHY3提供NFS服務(wù)，作為虛擬機(jī)鏡像文件的共享存儲(chǔ)，在源端PHY1創(chuàng)建了虛擬機(jī)VM，在其上運(yùn)行由中科院計(jì)算所無(wú)線(xiàn)中心開(kāi)發(fā)的面向超級(jí)基站的LTE協(xié)議棧軟件，虛擬機(jī)相應(yīng)配置如表2所示。

表2 虛擬機(jī)VM軟硬件配置

名稱(chēng)配置信息硬件CPU：4VCPU內(nèi)存：512M操作系統(tǒng)64位Ubutnu14．04服務(wù)器

為分析超級(jí)基站協(xié)議棧業(yè)務(wù)遷移的特點(diǎn)，進(jìn)行4種場(chǎng)景實(shí)驗(yàn)：

① 虛擬機(jī)運(yùn)行協(xié)議棧軟件，協(xié)議棧不處理任何業(yè)務(wù)，模擬空載；

② 虛擬機(jī)運(yùn)行協(xié)議棧軟件，通過(guò)iperf向協(xié)議棧發(fā)送音頻流的數(shù)據(jù)，模擬終端的音頻業(yè)務(wù)；

③ 虛擬機(jī)運(yùn)行協(xié)議棧軟件，通過(guò)iperf向協(xié)議棧發(fā)送視頻流的數(shù)據(jù)，模擬終端的視頻業(yè)務(wù)；

④ 虛擬機(jī)運(yùn)行協(xié)議棧軟件，通過(guò)iperf向協(xié)議棧發(fā)送UDP數(shù)據(jù)報(bào)，模擬終端的下載數(shù)據(jù)任務(wù)。

在實(shí)驗(yàn)中，通過(guò)計(jì)算資源管控模塊發(fā)動(dòng)遷移，將虛擬基站從源主機(jī)節(jié)點(diǎn)遷移到目的主機(jī)所用的時(shí)間定義為總遷移時(shí)間，在遷移過(guò)程中，造成基站協(xié)議棧中斷業(yè)務(wù)處理的時(shí)間定義為停機(jī)時(shí)間，由基站協(xié)議棧軟件日志測(cè)定。

3.2 基于靜態(tài)遷移算法

基于靜態(tài)遷移的協(xié)議棧遷移實(shí)驗(yàn)數(shù)據(jù)如表3所示。

表3 基于靜態(tài)遷移的基站協(xié)議棧遷移實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)類(lèi)型總遷移時(shí)間/ms停機(jī)時(shí)間/ms空載47634723音頻流52335211視頻流56495431UDP數(shù)據(jù)報(bào)64236367

通過(guò)這組實(shí)驗(yàn)測(cè)量采用靜態(tài)遷移對(duì)基站協(xié)議棧業(yè)務(wù)遷移的影響，從表3可以看出，基站協(xié)議棧進(jìn)行4種業(yè)務(wù)處理時(shí)遷移，其總遷移時(shí)間與停機(jī)相差不大，在停機(jī)時(shí)間內(nèi)，基站協(xié)議棧無(wú)法處理任何業(yè)務(wù)，這對(duì)于用戶(hù)來(lái)說(shuō)是無(wú)法接受的，顯然靜態(tài)遷移算法難以滿(mǎn)足基站協(xié)議棧遷移要求。

3.3 基于后拷貝遷移算法

基于后拷貝的協(xié)議棧遷移實(shí)驗(yàn)數(shù)據(jù)如表4所示。

表4 基于后拷貝的基站協(xié)議棧遷移實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)類(lèi)型總遷移時(shí)間/ms停機(jī)時(shí)間/ms空載77907787音頻流1102511023視頻流1436014356UDP數(shù)據(jù)報(bào)1789017886

當(dāng)前實(shí)驗(yàn)采用后拷貝遷移算法，基站協(xié)議棧處理空載、音頻流、視頻流和UDP數(shù)據(jù)報(bào)業(yè)務(wù)時(shí)，在遷移未完成期間，基站協(xié)議棧需要頻繁的從源端獲取內(nèi)存頁(yè)面，由于后拷貝遷移算法是基于按需取頁(yè)機(jī)制，基站協(xié)議棧不能總是及時(shí)的獲取相關(guān)頁(yè)面，造成基站協(xié)議棧總時(shí)間過(guò)大。從表4還可以看出，基站協(xié)議棧總遷移時(shí)間與停機(jī)時(shí)間僅差3 ms左右，這是后拷貝算法首先傳輸?shù)氖菫橹С痔摂M機(jī)及基站協(xié)議棧基本運(yùn)行的最小工作集，這個(gè)最小工作集比較小且相對(duì)固定，但由于基站協(xié)議棧維持較多的定時(shí)器，且協(xié)議棧處理數(shù)據(jù)有1 ms調(diào)度周期的要求，后續(xù)從源端取頁(yè)引發(fā)的缺頁(yè)中斷造成了基站協(xié)議棧反復(fù)的中斷，從基站協(xié)議棧日志里看出存在大量的丟包現(xiàn)象，顯然后拷貝遷移算法并不符合基站協(xié)議棧遷移需求。

3.4 基于預(yù)拷貝遷移算法

基于預(yù)拷貝的協(xié)議棧遷移實(shí)驗(yàn)數(shù)據(jù)如表5所示。

表5 基于預(yù)拷貝遷移協(xié)議棧遷移實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)類(lèi)型總遷移時(shí)間/ms停機(jī)時(shí)間/ms空載56084音頻流577110視頻流582724UDP數(shù)據(jù)報(bào)654967

從表5可以看出，基站協(xié)議棧在處理空載、音頻流、視頻流和UDP數(shù)據(jù)報(bào)等不同業(yè)務(wù)時(shí)，其總遷移時(shí)間、停機(jī)時(shí)間也相應(yīng)增加，這是因?yàn)閰f(xié)議棧處理空載、音頻流、視頻流和UDP數(shù)據(jù)報(bào)時(shí)負(fù)載是逐漸上升的，在協(xié)議棧處理數(shù)據(jù)量增大時(shí)，需要對(duì)內(nèi)存進(jìn)行頻繁讀寫(xiě)操作，顯然隨著內(nèi)存讀寫(xiě)操作增加，源主機(jī)將虛擬機(jī)的所有內(nèi)存頁(yè)面復(fù)制傳送到目的主機(jī)的數(shù)據(jù)量也相應(yīng)增大，即增大了遷移數(shù)據(jù)傳輸量，由于遷移數(shù)據(jù)傳輸量和總遷移時(shí)間成正比例關(guān)系，故總遷移時(shí)間也相應(yīng)增大。此外，預(yù)拷貝停機(jī)時(shí)間主要以數(shù)據(jù)傳輸時(shí)間為主，而數(shù)據(jù)包括兩部分：剩余的內(nèi)存臟頁(yè)以及CPU、外設(shè)狀態(tài)。CPU、外設(shè)狀態(tài)是某些寄存器的信息，數(shù)據(jù)量極少，因此剩余內(nèi)存臟頁(yè)將對(duì)停機(jī)時(shí)間起決定性作用，當(dāng)協(xié)議棧處理數(shù)據(jù)量增大時(shí)，需對(duì)內(nèi)存進(jìn)行頻繁的讀寫(xiě)操作，顯然這會(huì)使得剩余內(nèi)存臟頁(yè)也相應(yīng)增加。

3.5 實(shí)驗(yàn)結(jié)果分析

基站協(xié)議棧遷移過(guò)程中，總遷移時(shí)間與停機(jī)時(shí)間不能過(guò)長(zhǎng)，需要以LTE的1 ms的調(diào)度時(shí)延要求來(lái)看待；由于LTE數(shù)據(jù)處理的兩端都會(huì)維持較多的定時(shí)器來(lái)控制數(shù)據(jù)處理的時(shí)延，而一旦超過(guò)數(shù)據(jù)處理時(shí)延會(huì)引起控制交互，以及數(shù)據(jù)重傳，進(jìn)而會(huì)造成鏈路中斷，則會(huì)直接體現(xiàn)影響用戶(hù)的使用。預(yù)拷貝遷移算法很好地平衡了二者的關(guān)系，在遷移過(guò)程穩(wěn)定性高且停機(jī)時(shí)間基本不影響基站協(xié)議棧正常處理業(yè)務(wù)。

4 結(jié)束語(yǔ)

本文重點(diǎn)研究了以超級(jí)基站為基礎(chǔ)的基站協(xié)議資源的動(dòng)態(tài)管理。對(duì)超級(jí)基站協(xié)議計(jì)算資源采用KVM虛擬化技術(shù)，在此基礎(chǔ)上采用虛擬機(jī)遷移技術(shù)進(jìn)行基站協(xié)議任務(wù)遷移。在超級(jí)基站硬件平臺(tái)進(jìn)行了測(cè)試，驗(yàn)證了預(yù)拷貝遷移算法的可用性和可靠性。仿真結(jié)果表明，基站協(xié)議棧在處理空載、音頻、視頻和下載任務(wù)時(shí)，遷移所用的總時(shí)間不大，且導(dǎo)致的停機(jī)時(shí)間并沒(méi)有嚴(yán)重影響基站協(xié)議棧業(yè)務(wù)處理。未來(lái)，將重點(diǎn)改善基站協(xié)議棧遷移的停機(jī)時(shí)間，如選擇更加高效的壓縮算法對(duì)內(nèi)存頁(yè)面進(jìn)行壓縮，以盡可能減少停機(jī)時(shí)間對(duì)基站協(xié)議棧處理數(shù)據(jù)的影響。

[1] LIN Y，SHAO L，ZHU Z，et al.Wireless Network Cloud：Architecture and System Requirements[J].IBM Journal of Research & Development，2010，54(1)：4：1-4：12.

[2] WU J，ZHANG Z，HONG Y，et al.Cloud Radio Access Network (C-RAN)：a Primer[J].Network IEEE，2015，29(1)：35-41.

[3] LIU L，ZHANG R.Optimized Uplink Transmission in Multi-Antenna C-RAN With Spatial Compression and Forward[J].IEEE Transactions on Signal Processing，2015，63(19)：5083-5095.

[4] ZHAI G，TIAN L，ZHOU Y，et al.Real-time Guaranteed TDD Protocol Processing for Centralized Super Base Station Architecture[C]∥Wireless Communications and Networking Conference.IEEE，2015：989-994.

[5] QIAN M，WANG Y，ZHOU Y，et al.A Super Base Station Based Centralized Network Architecture for 5G Mobile Communication Systems[J].Digital Communications & Networks，2015，1(2)：152-159.

[6] 田霖，翟國(guó)偉，黃亮，等.基于集中式接入網(wǎng)架構(gòu)的異構(gòu)無(wú)線(xiàn)網(wǎng)絡(luò)資源管理技術(shù)研究[J].電信科學(xué)，2013，29(6)：25-31.

[7] LIU J，KATO N，MA J，et al.Device-to-Device Communication in LTE-Advanced Networks：A Survey[J].IEEE Communications Surveys & Tutorials，2017，17(4)：1923-1940.

[8] MA Z，ZHANG Y，ZHENG K，et al.Performance of 3GPP LTE-Advanced Networks with Type I Relay Nodes[C]∥International ICST Conference on Communications and Networking in China.IEEE Xplore，2010：1-5.

[9] GARCIA V,ZHOU Y,SHI J.Coordinated Multipoint Transmission in Dense Cellular Networks With User-Centric Adaptive Clustering[J]. Wireless Communications IEEE Transactions on,2014,13(8):4297-4308.

[10] 方義秋，唐道紅，葛君偉.云環(huán)境下基于虛擬機(jī)動(dòng)態(tài)遷移的調(diào)度策略研究[J].微電子學(xué)與計(jì)算機(jī)，2012，29(4)：45-48.

[11] LIU L,ZHOU Y,GARCIA V,et al.Load Aware Joint CoMP Clustering and Inter-cell Resource Scheduling in Heterogeneous Ultra Dense Cellular Networks[J].IEEE Transactions on Vehicular Technology,2017,PP(99):1-1.

[12] ZHOU Y,LIU H,PAN Z,et al.Two-Stage Cooperative Multicast Transmission with Optimized Power Consumption and Guaranteed Coverage[J]. IEEE Journal on Selected Areas in Communications,2014,32(2):274-284.

[13] ZHAI G W,TIAN L,ZHOU Y Q,et al.Load Diversity Based Optimal Processing Resource Allocation for Super Base Stations in Centralized Radio Access Networks[J].Science China Information Sciences,2014,57(4):1-12.

[14] LOMBARD P，DENNEULIN Y，VALENTIN O，et al.Improving the Performances of a Distributed NFS Implementation[J].Lecture Notes in Computer Science，2017，3019：405-412.

[15] 劉鵬程.云計(jì)算中虛擬機(jī)動(dòng)態(tài)遷移的研究[D].上海：復(fù)旦大學(xué)，2009.

[16] JIN Hai，DENG Li，WU Song，et al.Live Virtual Machine Migration with Adaptive Memory Compression[C]∥Cluster Computing and Workshops.Wuhan，China：IEEE，2009：1-10.

[17] HINES M R，DESHPANDE U，GOPALAN K.Post-copy Live Migration of Virtual Machines[J].Acm Sigops Operating Systems Review，2009，43(3)：14-26.

[18] HIROFUCHI T，NAKADA H，ITOH S，et al.Reactive Consolidation of Virtual Machines Enabled by Postcopy Live Migration[C]∥International Workshop on Virtualization Technologies in Distributed Computing，2011：11-18.

[19] CLARK C，F(xiàn)RASER K，HAND S，et al.Live Migration of Virtual Machines[C]∥Symposium on Networked Systems Design and Implementation.DBLP，2005：273-286.

[20] WU T Y，GUIZANI N，HUANG J S.Live Migration Improvements by Related Dirty Memory Prediction in Cloud Computing[J].Journal of Network & Computer Applications，2017，90：83-89.