基于馬爾科夫決策過程的服務(wù)遷移策略

羅 藝，江凌云

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

0 引 言

傳統(tǒng)的移動云計算(mobile cloud computing，MCC)框架[1]已經(jīng)難以滿足人們對延遲敏感型應(yīng)用和計算密集型應(yīng)用的需求。因為其集中式架構(gòu)導(dǎo)致數(shù)據(jù)中心遠(yuǎn)離用戶且是在多對一的基礎(chǔ)上訪問的，云數(shù)據(jù)中心將同時處理大量任務(wù)，分配給各個任務(wù)的計算資源會受到限制，降低服務(wù)質(zhì)量。在靠近用戶側(cè)的網(wǎng)絡(luò)邊緣部署計算設(shè)施是解決上述問題的一種更有前途的辦法，如移動邊緣計算(mobile edge computing，MEC)[2-4]技術(shù)，它是云計算技術(shù)的升級與改進(jìn)，將云服務(wù)器的集中式計算轉(zhuǎn)變?yōu)榉植际接嬎恪Ｔ趥鹘y(tǒng)的云計算中，網(wǎng)絡(luò)邊緣的設(shè)施只充當(dāng)連接節(jié)點，如發(fā)送流量的基站，但不能分析或處理數(shù)據(jù)。而在MEC中，通過在網(wǎng)絡(luò)邊緣即通常在距離用戶一個或幾個網(wǎng)絡(luò)跳數(shù)的地方部署小服務(wù)器，將云服務(wù)器的存儲、計算等能力一部分下放，使得終端設(shè)備產(chǎn)生的大量數(shù)據(jù)可以在網(wǎng)絡(luò)邊緣被處理，這樣可以大大提高工作效率，因此通信延遲可以保持得很低，同時進(jìn)入回程網(wǎng)絡(luò)的流量也可以減少，減輕云端計算負(fù)載。

用戶的移動性是無線網(wǎng)絡(luò)中一個特有的因素，由于邊緣節(jié)點的網(wǎng)絡(luò)覆蓋范圍較小，當(dāng)用戶移動到其它邊緣節(jié)點覆蓋范圍內(nèi)時，會導(dǎo)致與本地邊緣云的網(wǎng)絡(luò)連接變差，從而降低QoS或在某些情況下導(dǎo)致服務(wù)的中斷。隨著網(wǎng)絡(luò)環(huán)境中越來越多的移動設(shè)備出現(xiàn)，為保證移動用戶在獲取服務(wù)時的服務(wù)質(zhì)量和體驗，服務(wù)遷移[5]是一項十分有效的措施，通過服務(wù)遷移，保證用戶與運行該服務(wù)的MEC服務(wù)器始終保持在一定范圍內(nèi)，這對于延遲敏感型應(yīng)用十分有益。

服務(wù)遷移決策依賴于一些屬性，如用戶移動性、通信信道特性、MEC資源可用性等，這是一個復(fù)雜的優(yōu)化問題。從本質(zhì)上講，遷移服務(wù)可能會導(dǎo)致服務(wù)中斷、增加網(wǎng)絡(luò)開銷，而不遷移服務(wù)可能會增加數(shù)據(jù)傳輸延遲。因此，有關(guān)服務(wù)遷移的策略定義為遷移成本與傳輸成本權(quán)衡。在本文中，假設(shè)MEC服務(wù)器部署在基站側(cè)，利用MDP框架對MEC服務(wù)遷移過程建模，得出最佳遷移策略。策略能指導(dǎo)本地MEC服務(wù)是否遷移，何時遷移，遷移到哪里。

1 相關(guān)工作

移動邊緣計算中的服務(wù)遷移問題最近已經(jīng)引起學(xué)者的關(guān)注。在文獻(xiàn)[6]中提出了一個多標(biāo)準(zhǔn)的遷移策略，用于最終計算成本效益的平衡，其中不同的指標(biāo)被認(rèn)為是選擇最佳遷移地點的決策矩陣。文獻(xiàn)[7]在基于用戶地理位置和請求類型的多維MEC網(wǎng)絡(luò)中，提出了一種滿足存儲、計算和通信的多屬性綜合優(yōu)化算法，有效解決服務(wù)部署和服務(wù)請求問題。上述兩種方法未考慮用戶移動性的影響，無法為移動中的用戶提供不間斷的服務(wù)，嚴(yán)重影響服務(wù)質(zhì)量。文獻(xiàn)[8]設(shè)計了一種主動式邊緣云服務(wù)遷移系統(tǒng)，主動檢測QoS并進(jìn)行服務(wù)遷移，選擇QoS累計收益值最高的MEC作為遷移目標(biāo)，但是其用戶運動是基于一維移動模型，未涉及到二維移動模式遷移。文獻(xiàn)[9]中通過移動性預(yù)測改善了遷移過程。在用戶預(yù)先漫游整個網(wǎng)絡(luò)時評估每個MEC服務(wù)器和用戶之間的吞吐量，根據(jù)提供的吞吐量為任務(wù)遷移管理方案選擇最佳的MEC服務(wù)器。文獻(xiàn)[10]提出一種基于深度Q網(wǎng)絡(luò)(DQN)的MEC系統(tǒng)任務(wù)遷移技術(shù)，在用戶移動模式等信息不知道的情況下從以前的經(jīng)驗中學(xué)習(xí)最優(yōu)的任務(wù)遷移策略。上述兩種算法為了獲得滿意的預(yù)測結(jié)果，需要獲取大量歷史信息，并且沒有考慮遷移成本。

綜上所述，以上提出的關(guān)于服務(wù)遷移的解決方法，對于MEC環(huán)境下用戶移動模式考慮單一，在遷移決策中沒有考慮成本這一因素。因此本文設(shè)計一個通用的成本模型，能夠在遷移成本與傳輸成本之間權(quán)衡，利用馬爾科夫決策解決二維移動模型下服務(wù)遷移問題，在保證服務(wù)連續(xù)性的基礎(chǔ)上最小化總成本。

2 服務(wù)遷移策略

本節(jié)首先給出了移動邊緣計算系統(tǒng)結(jié)構(gòu)，然后提出了馬爾科決策模型，對于馬爾科夫決策過程的服務(wù)遷移方案中的最優(yōu)狀態(tài)閾值給出證明，最后給出了基于上述馬爾科夫決策模型的服務(wù)遷移策略。

2.1 系統(tǒng)結(jié)構(gòu)

移動邊緣計算架構(gòu)如圖1所示。移動用戶2最初連接到MEC1上運行服務(wù)，移動用戶2與MEC1直接連接確保了服務(wù)的低時延訪問。但是，隨著移動用戶2移動到MEC2覆蓋范圍內(nèi)，在這種情況下連接到MEC 1會比直接連接到MEC 2引起更高的延遲(由于回程網(wǎng)絡(luò)通信)。因此，將用戶2的服務(wù)從MEC 1遷移到MEC 2可能是有益的，以便用戶2可以繼續(xù)享受對其服務(wù)的低時延訪問。這類遷移場景經(jīng)常出現(xiàn)，尤其是在用戶可能具有較高移動性的車載應(yīng)用中。

圖1 移動邊緣計算架構(gòu)

2.2 MDP模型

假設(shè)在時刻，用戶連接到某個MEC的位置索引為u(t)， 用戶將服務(wù)卸載到某個MEC的位置索引為h(t)。 由于用戶的移動，所以用戶所處的MEC的位置不一定與卸載服務(wù)的MEC位置一致。狀態(tài)函數(shù)定義s(t)=|u(t)-h(t)|， 表示用戶位置與運行該用戶服務(wù)的MEC位置的偏移量。因此狀態(tài)空間定義為s(t)∈S={0,1,2,…,N}。 時隙模型如圖2所示。

圖2 時隙模型

我們使用A=(a1,a2) 來表示動作集合，其中動作a1表示不執(zhí)行遷移，用戶仍然由同一個MEC提供服務(wù)，動作a2表示執(zhí)行遷移，服務(wù)遷移到一個新的MEC。在每個時隙開始時，觀察狀態(tài)量，決定是否遷移。

在每個時隙t系統(tǒng)根據(jù)當(dāng)前狀態(tài)下采取的動作獲得獎勵值。獎勵值被定義為一個時隙中產(chǎn)生的總成本，由遷移成本與傳輸成本組成。當(dāng)用戶不移動時，用戶與向其提供服務(wù)的MEC相距很小，服務(wù)時延較低，傳輸成本可忽略不計。隨著用戶逐漸遠(yuǎn)離卸載的MEC，用戶需要花費一定的數(shù)據(jù)傳輸成本才能連接到當(dāng)前服務(wù)實例。隨著服務(wù)質(zhì)量進(jìn)一步下降，服務(wù)遷移就變得非常必要。將一項任務(wù)從一個MEC遷移到另一個MEC所產(chǎn)生的費用主要如下：①將一項任務(wù)在一個新的MEC服務(wù)器上執(zhí)行的費用；②通過網(wǎng)絡(luò)傳送任務(wù)本身所需的費用。在這里，我們假設(shè)不同的MEC服務(wù)器具有相同的VM環(huán)境，并且任務(wù)可以在MEC服務(wù)器之間遷移而無需轉(zhuǎn)換。經(jīng)過遷移，服務(wù)所處的MEC位置索引變化為h′(t)， 此時狀態(tài)量變?yōu)閟′(t)=|u(t)-h′(t)|。

在一個時隙中，傳輸成本可由式(1)表示

(1)

其中，α表示最大傳輸成本，當(dāng)傳輸成本大于α?xí)r，我們總是選擇無條件選擇服務(wù)遷移。傳輸成本與用戶和服務(wù)所運行的MEC之間位置偏移量有關(guān)，令0<μ<1，使得傳輸成本函數(shù)是一個隨著位置偏移量增大而遞增的函數(shù)，傳輸成本可以捕獲數(shù)據(jù)的傳輸時延，高時延會增加服務(wù)的響應(yīng)時間，影響用戶的服務(wù)質(zhì)量。當(dāng)狀態(tài)偏移量s(t) 為0時，傳輸成本為0，表示用戶與運行服務(wù)的MEC處在同一位置，此時用戶處于最佳服務(wù)狀態(tài)。這里假設(shè)每個MEC的計算資源、存儲資源足夠，服務(wù)在每個MEC上都可以直接運行。

當(dāng)執(zhí)行遷移動作時，即產(chǎn)生遷移成本，如式(2)所示

F(s,a)=β-βσ|s(t)-s′(t)|

(2)

其中，β表示遷移成本的最大值，若遷移成本超過最大值，我們選擇放棄遷移操作，重新選取合適的遷移目標(biāo)。 |s(t)-s′(t)|=|h(t)-h′(t)| 表示服務(wù)所處源MEC位置與服務(wù)遷移的目標(biāo)MEC位置之間的偏移量，其中0<σ<1，以保證遷移成本隨著遷移距離增加而遞增，由于數(shù)據(jù)傳輸?shù)膫鞑ズ颓袚Q延遲的增加，中斷時間會隨著遷移距離的增加而增加。遷移成本可以反應(yīng)服務(wù)遷移時延，遷移時延過大則可能出現(xiàn)服務(wù)中斷。當(dāng)s(t)=s′(t) 時，表示沒有遷移服務(wù)，遷移成本為0。這里我們假設(shè)一個時隙的長度遠(yuǎn)遠(yuǎn)大于服務(wù)傳輸時延和服務(wù)遷移時延。

所以在一個時隙中，總成本G(s,a) 如式(3)所示

(3)

獎勵函數(shù)定義為傳輸成本與遷移成本之和，當(dāng)用戶在初始狀態(tài)時，采取一個動作會使得所處狀態(tài)發(fā)生改變并產(chǎn)生相應(yīng)的獎勵值。獎勵值與狀態(tài)的變化量有關(guān)，狀態(tài)轉(zhuǎn)移概率如式(4)所示

(4)

π表示一個決策規(guī)則，該決策規(guī)則將一個狀態(tài)映射到一個新狀態(tài)，同時(可能)產(chǎn)生了獎勵。我們設(shè)定在一個確定的策略π中，用戶的狀態(tài)對應(yīng)相關(guān)動作的概率π(a|s) 是固定的，P(s′(t)|s(t)) 與用戶的移動模型有關(guān)。

我們考慮了蜂窩網(wǎng)絡(luò)的六邊形結(jié)構(gòu)，用戶移動模型如圖3所示。用戶在無限空間中符合統(tǒng)一的二維隨機行走移動性模型，其中用戶狀態(tài)用它所屬的環(huán)以及它在環(huán)中的位置決定。假設(shè)用戶在每個時隙的開始從一個小區(qū)移動到任一相鄰小區(qū)的概率為r， 在原小區(qū)停留的概率為1-6r。 每個單元格都由其環(huán)標(biāo)簽及其在環(huán)中的位置表示。K={(0,0)∪(i,j)|1≤i≤N-1,1≤j≤6i} 表示坐標(biāo)空間，其中i表示環(huán)的標(biāo)簽，j表示所在環(huán)中的具體位置。用戶位置u(t) 與運行服務(wù)的MEC位置h(t) 之間的偏移量s(t) 用所屬環(huán)標(biāo)簽表示，即s(t)=|u(t)-h(t)|=i。 狀態(tài) (0，0) 表示實際用戶位置與卸載的MEC位置一致，即s(t)=0。

圖3 用戶移動模型

在MDP模型中，往往由于狀態(tài)量過大使得算法計算復(fù)雜度變大，為了獲得一個更少數(shù)量的狀態(tài)空間，我們利用二維模型的對稱性，通過聚合表現(xiàn)出相同行為的狀態(tài)來減少狀態(tài)空間。通過觀察我們發(fā)現(xiàn)，如果用戶處在環(huán)1中，那么它回到0狀態(tài)的概率為r， 保持原狀態(tài)的概率為2r， 向環(huán)2狀態(tài)轉(zhuǎn)移的概率為3r， 所以在環(huán)1中的所有狀態(tài)可以聚合為一個狀態(tài)。對于處在環(huán)2中的用戶，分兩種情況 (i,j)∈{(2，2),(2，4),(2，6),(2，8),(2，10),(2，12)} 處在這些坐標(biāo)位置時向環(huán)3狀態(tài)轉(zhuǎn)移的概率為3r， 保持原狀態(tài)的概率為2r， 向環(huán)1狀態(tài)轉(zhuǎn)移的概率為r; (i,j)∈{(2,1),(2,3),(2,5),(2,7),(2,9),(2,11)} 處在這些坐標(biāo)位置向各狀態(tài)轉(zhuǎn)移的概率都為2r。因此對于環(huán)2中的各個子狀態(tài)，我們可以聚合成2種狀態(tài)。基于文獻(xiàn)[11]，我們可以獲得剩下的聚合狀態(tài)。

2.3 服務(wù)遷移策略算法有效性

為進(jìn)一步減少狀態(tài)空間，保證服務(wù)遷移策略算法的科學(xué)性。我們定義了狀態(tài)空間的上限值為，定義當(dāng)狀態(tài)s>N時，服務(wù)總是選擇遷移。我們認(rèn)為，對于移動邊緣網(wǎng)絡(luò)中的邊緣計算設(shè)施和終端用戶來說，存在一個最優(yōu)的約束狀態(tài)k

命題：在移動邊緣網(wǎng)絡(luò)中，存在一個邊緣計算設(shè)施與終端用戶之間的最優(yōu)約束狀態(tài)k

證明：

(1)當(dāng)狀態(tài)偏移量s(t) 為0時，表示用戶與運行服務(wù)的MEC處在同一位置，此時用戶處于最佳服務(wù)狀態(tài)，最佳動作決策A*=a1。

(2)我們設(shè)定在狀態(tài)s=k時，對應(yīng)的最優(yōu)動作為遷移服務(wù)，則此時的動作價值函數(shù)滿足

(5)

式(5)中右側(cè)表示采取不遷移策略的總成本。

(3)假設(shè)我們不在狀態(tài)k+1≤s′≤N采取遷移策略，則每個時隙會產(chǎn)生一個傳輸成本G(s,a1)， 直到用戶到達(dá)遷移狀態(tài)，則對于從s′開始的任何狀態(tài)轉(zhuǎn)換路徑L有

(6)

其中，tm>0表示用戶達(dá)到狀態(tài)s′之后需要服務(wù)遷移的第一個時隙值。得到

(7)

得到VL(s′)≥V(k|a2)， 這對于任何可能的狀態(tài)轉(zhuǎn)換路徑L都適用。因此始終在狀態(tài)s′進(jìn)行服務(wù)遷移，則在狀態(tài)s≥k時，最佳策略是服務(wù)遷移，存在最優(yōu)閾值狀態(tài)k。

2.4 遷移策略

基于2.2節(jié)的MDP模型，我們將服務(wù)遷移的長期期望獎勵定義為

(8)

其中，γ∈(0，1)，γ為折現(xiàn)因子，表示當(dāng)前總收益與未來總收益之間的差異，γ值越接近1表示收益越注重當(dāng)前行動對后續(xù)狀態(tài)的影響，我們在本文中考慮確定性策略，并且期望值是針對用戶隨機移動考慮的。根據(jù)上面的表述，我們可以得到基于策略π的長期期望獎勵。根據(jù)貝爾曼方程得到式(8)的遞歸形式

(9)

我們的最終目的是在任一狀態(tài)s下根據(jù)策略π采取一個動作a， 以實現(xiàn)Vπ(s) 的最小化

(10)

在貝爾曼方程中，我們可以根據(jù)V*(s) 的值迭代得到最優(yōu)策略

(11)

這樣我們就得到了從時間t=0到t=N期間，為某個具體的狀態(tài)下的MEC提供遷移決策。根據(jù)式(12)的結(jié)果能夠回答在s(t)→s′(t) 狀態(tài)變化中是否采取遷移，遷移到哪里

π*={π(a(t)|s(t)), ?t∈[0,N]}

(12)

算法的具體流程如圖4所示。由圖4可知，首先判斷當(dāng)前時隙用戶的狀態(tài)函數(shù)s(t)， 判斷用戶卸載的服務(wù)所在位置與用戶當(dāng)前所屬位置是否一致，若s(t)=0， 則說明用戶此時處于最佳服務(wù)狀態(tài)，不選擇服務(wù)遷移。若s(t)>0， 根據(jù)此時的狀態(tài)信息，利用值迭代方法分別計算a=a1和a=a2時獎勵函數(shù)V(s|a1) 和V(s|a2)， 比較它們的獎勵函數(shù)，當(dāng)V(s|a1)≤V(s|a2) 時，不執(zhí)行服務(wù)遷移，并進(jìn)入下一時隙再次檢測狀態(tài)函數(shù)，依次循環(huán)。當(dāng)V(s|a1)>V(s|a2) 時，MEC將服務(wù)遷移到目的服務(wù)器。具體的服務(wù)遷移流程如算法1所示。

圖4 服務(wù)遷移算法流程

算法1：服務(wù)遷移算法

(1)Initializea(s(t))， for alls(t)=0,1,2,…,N

(2)input timeslot=t,N, MEC number,μ，σ，α

(3)when new timeslot

(4) MEC getu(t),h(t)

s(t)=|u(t)-h(t)|

(5) ifs(t)=0

(6) return

(7) else

(8)V(s|a1)=G(s,a1)+γV*(s′)

(9)V(s|a2)=G(s,a2)+γV*(s′)

(10) ifV(s|a1)>V(s|a2)

(11)k=s

(13) else

(14)s′=s,V*(s)=V(s|a1)

(15) end if

(16) timeslot ++

(17)outputπ*={π(a(t)|s(t)), ?t∈[0,N]}

3 仿真與性能析

3.1 參數(shù)設(shè)置

在本節(jié)中，我們對提出的方法進(jìn)行仿真，仿真平臺為Matlab。二維移動模型下的狀態(tài)轉(zhuǎn)移概率r設(shè)置為隨機生成，范圍在0～1/6，以此保證用戶轉(zhuǎn)移到相鄰小區(qū)的概率和不超過1。設(shè)置用戶的狀態(tài)空間數(shù)量閾值N=10, 當(dāng)用戶的狀態(tài)s(t)≥10時，我們總是選擇將服務(wù)遷移到與所處用戶位置相同的MEC。表1展示了仿真實驗中其它參數(shù)的詳細(xì)設(shè)置。

表1 參數(shù)設(shè)置

3.2 仿真結(jié)果分析

我們將通過實驗仿真來評估基于上述馬爾科夫決策過程的服務(wù)遷移載策略的性能。仿真時將所提方法與一直遷移(Always migrate)和myopic[12]策略作對比，一直遷移策略是當(dāng)用戶位置與服務(wù)所在MEC位置不一致時，總是將服務(wù)遷移到用戶所在位置的MEC處。myopic策略基于最小化當(dāng)前時隙的總成本選擇是否遷移。對比結(jié)果如圖5～圖7所示。

圖5 γ=0.5

圖6 γ=0.9

圖7 γ=0.99

圖5顯示當(dāng)折現(xiàn)參數(shù)為0.5時，我們所提出的策略、一直遷移策略和myopic策略的在遷移成本。

參數(shù)β的變化下與總成本的關(guān)系。β值大小反映了遷移成本大小。具體而言，當(dāng)β值很小時，一直遷移策略的總成本接近所提策略的總成本，這是因為遷移成本比重相對較小，當(dāng)用戶位置與運行服務(wù)的MEC位置不一致時，一直遷移策略總是將服務(wù)遷移到用戶所在MEC位置，MEC之間頻繁遷移使得服務(wù)保持高質(zhì)量運行，但是總成本不會急劇增大。隨著β值不斷增大，所提策略的總成本比一直遷移策略的總成本小很多。myopic策略性能介于一直遷移策略和所提策略之間，在圖5中，當(dāng)β≥0.65時，myopic策略性能接近所提策略，這是因為myopic策略是基于近視服務(wù)質(zhì)量做出遷移決策的一種策略，它根據(jù)一個時隙中傳輸成本與遷移成本之差決定是否遷移服務(wù)，當(dāng)傳輸成本大于遷移成本時，選擇服務(wù)遷移，否則不遷移。因此隨著β值增大，遷移成本大于傳輸成本，myopic策略不再遷移服務(wù)，這是一種近視的遷移策略，它只考慮當(dāng)前時隙的收益，未涉及行動對后續(xù)的影響。雖然總成本接近我們的所提策略的結(jié)果，但是它一直采取不遷移的策略導(dǎo)致系統(tǒng)服務(wù)質(zhì)量在下降。

圖6和圖7顯示當(dāng)折現(xiàn)參數(shù)γ為0.9和0.99時，所提出的策略、一直遷移策略和myopic策略在遷移成本參數(shù)β不同時，總成本的變化情況。圖6和圖7都與圖5有相同的特征，圖7中所提策略相比其它兩種策略減少的成本大于圖6，圖6中所提策略相比其它兩種策略減少的成本大于圖5，這是因為當(dāng)折現(xiàn)參數(shù)增大時，我們越來越注重未來的狀態(tài)，用戶的移動直接導(dǎo)致后續(xù)的狀態(tài)改變，此時遷移就顯得十分重要，所提策略可能在當(dāng)前時刻的遷移決策不是最佳，但是從全局來看，會減少后續(xù)遷移動作導(dǎo)致的成本。

同時傳輸成本參數(shù)α對于系統(tǒng)總成本來說也很重要。傳輸成本可以反應(yīng)服務(wù)的傳輸時延，圖8和圖9顯示當(dāng)α為不同值時，評估了我們的策略、一直遷移策略和myopic策略的總成本關(guān)于遷移成本參數(shù)β的變化情況。圖8中，α設(shè)置為2。當(dāng)β值很小，遷移成本可以忽略的情況下，一直遷移策略接近于接近最優(yōu)策略，它的總成本接近我們所提的策略總成本，當(dāng)β值越來越大，遷移操作越來越昂貴時，一直遷移策略弊端就很明顯，而我們所提策略的總成本變化沒有急劇增加。圖8相比于圖7，隨著遷移成本參數(shù)的增大，myopic策略總成本增加明顯，而我們所提策略的總成本增加很小，這是因為傳輸成本比重增加。myopic策略一味考慮遷移成本增大，執(zhí)行不遷移操作，忽略了傳輸成本的比重增加會相應(yīng)增加一個時隙的總成本，而我們所提策略可確保在傳輸成本與遷移成本之間取得良好的平衡，因為我們總是采取使總成本最小化的行動。在圖9中，傳輸成本參數(shù)設(shè)置為3，相比于圖6，隨著傳輸成本進(jìn)一步增大，表示我們對服務(wù)的傳輸時延要求進(jìn)一步嚴(yán)格，我們的策略的總成本相比于其它兩種策略依舊是最小。

圖8 α=2，γ=0.99

圖9 α=3，γ=0.9

4 結(jié)束語

隨著移動終端的飛速發(fā)展，新興的應(yīng)用比如AR、VR逐漸興起，它們對于時延要求很高，終端與邊緣服務(wù)器之間的網(wǎng)絡(luò)環(huán)境由于終端地理位置的改變導(dǎo)致服務(wù)質(zhì)量下降，需要對服務(wù)進(jìn)行遷移以保證服務(wù)不中斷。解決這些問題，首先將服務(wù)遷移問題描述為MDP模型，考慮用戶的位置與MEC的位置之間的偏移量，用戶移動模型采用二維隨機行走模型，提出基于MDP的服務(wù)遷移算法，證明服務(wù)遷移問題存在最優(yōu)閾值，利用貝爾曼方程迭代求解最佳遷移策略，以實現(xiàn)服務(wù)質(zhì)量與成本之間的權(quán)衡。通過這種方法，MEC可以最優(yōu)的選擇一個服務(wù)是否遷移，遷移到哪里的。我們將該算法與一直遷移策略和myopic策略進(jìn)行比較，與二者相比在保證服務(wù)質(zhì)量的前提下產(chǎn)生的總開銷最小，仿真驗證了所提出策略的最優(yōu)性和有效性。隨著我們越來越注重遷移帶來的后續(xù)狀態(tài)，所提策略的性能最優(yōu)性會越明顯。

在未來工作中，我們將繼續(xù)探索服務(wù)遷移策略，在遷移決策中考慮更多的因素，如服務(wù)類型、服務(wù)器的處理能力、服務(wù)時延等，探索上述因素對服務(wù)遷移的影響，進(jìn)一步提高算法的適用性，為實際網(wǎng)絡(luò)提供更準(zhǔn)確的決策。