車輛邊緣網絡中基于多參數MDP 模型的動態服務遷移策略

郭輝，芮蘭蘭，高志鵬

（北京郵電大學網絡與交換國家重點實驗室，北京 100876）

1 引言

云計算技術依靠其具有強大計算和存儲能力的中心服務器，可以為用戶提供廣泛的服務及資源，然而，面對目前VR、智能電網、智慧城市等新型技術[1-4]中萬物互聯的通信場景及低時延、高質量的服務要求，傳統云計算技術的部署架構及應用技術亟需改善。例如，集中、單一式的云計算資源無法滿足密集型任務的計算需求，海量數據傳送到遠程云中心進行處理的過程極大增加了中心網絡的負擔和任務時延，隱私保護、數據安全性及能耗方面有待優化等。

作為傳統云計算技術的一種補充與演進，邊緣計算（edge computing）[5]技術將云中心服務器的遠程集中式部署方式轉化為近端離散化部署，通過在網絡邊緣部署小型云服務器，實現數據計算、存儲、識別、分析等能力的下放，在極大減少核心網絡帶寬和數據處理負荷的同時，也為物聯網應用提供了更好的支持。此外，其對于隱私數據的保護和權限設置更加靈活。基于此，邊緣計算技術廣受關注并成為熱點研究領域[6-7]。進一步地，隨著移動網絡的飛速發展，思科預測到2021 年全球移動業務流量月增長速度將達到7.2 EB[8]，為滿足高質量的移動服務要求，移動邊緣計算（MEC,mobile edge computing）技術[9-14]于2013 年被提出并獲得歐洲電信標準協會（ETSI,European Telecommunications Standards Institute）的認可[15]。

在車輛邊緣網絡（vehicular edge network）中，由于車輛高速移動及邊緣服務器（ES,edge server）覆蓋范圍有限，移動服務的連續性難以得到有效保障[16]，因此，為降低請求時延與服務中斷頻率、保障服務連續性，本文為車輛邊緣網絡設計了基于多參數馬爾可夫決策過程（MDP,Markov decision process）的動態服務遷移算法（DSMMP,dynamic service migration algorithm based on multiple parameter）。

本文的創新點如下。

1)改進了單純基于跳數距離進行服務遷移方案的不足，DSMMP 構造了基于網絡性能、服務器處理能力及車輛運動的多參數MDP 收益函數。

2)摒除了單一遷移目標邊緣服務器（D-ES,destination ES）的限制，結合車輛運動參數及請求對應的時延限制構造候選邊緣服務器（C-ES,candidate edge server）集合SetC-ES，利用Bellman 方程構造長期收益表達式，根據長期收益值進行遷移決策。

3)彌補了服務遷移方案動態適應性差的缺點，提出了一種基于歷史數據的收益權重因子計算及網絡數據定期更新方案，提高了DSMMP 算法對動態網絡環境的適應能力。

2 相關工作

Taleb 等[17]在FMC-Follow Me Cloud 架構[18]中引入了一維馬爾可夫決策過程模型[19]，為移動用戶尋找最優數據中心（DC,data center）。該方案基于隨機移動模型將MDP 狀態函數定義為用戶與最優DC 之間的跳數，利用用戶運動概率進行狀態聚類，加深了對用戶行為的了解，并提高了預測準確度。然而，其計算及設計嚴格依賴蜂窩網絡規則的部署方式，在移動Wi-Fi 等不規則信號覆蓋場景中的適用性較差。

有研究者將移動云計算（MCC,mobile cloud computing）場景下的服務遷移問題[20]建模為一維MDP，并進一步在文獻[21]中用“常數+指數”的函數形式具體化MDP 開銷函數，并利用平衡方程求封閉解，同時改進策略迭代方式以獲得更精準的最優策略，該設計的計算復雜度過高，而且在進行MDP 開銷函數定義時未考慮環境動態性對函數參數的影響。

為規避MDP 遷移方案中的大量復雜計算和統計過程，IBM 研究人員[22]將Lyapunov 優化技術[23]擴展到約束的MDP 中，利用MDP 的解耦特性將約束MDP 問題轉化為一個簡單的確定性優化問題，從而高效地求解。類似地，其設計忽略了網絡參數的動態特性，從而影響了遷移方案的動態適應性及可靠性。

美國羅格斯大學的研究人員結合服務響應時間參數和MDP 模型設計了一種主動式的邊緣云服務遷移決策系統SEGUE（quality of service aware edge cloud service migration）[24]。基于一種混合的push/probe 技術[25]，SEGUE 可以實現對網絡中各個服務器響應時間變化的監測與收集；使用服務質量（QoS,quality of service）預測模塊來檢測性能沖突并進行遷移決策；利用MDP 的收益函數測量累計的QoS 提高程度，并選擇一個累計QoS 收益最高的ES 作為目標遷移ES。該方案主動監測QoS 并進行服務遷移的過程能夠在一定程度上提高服務的可靠性。然而，其監測數據的準確性與及時性缺乏有效保障機制，響應時間完全反映網絡狀態的設計思想也有待驗證。

文獻[26]提出了基于多屬性的邊緣計算服務遷移算法，該算法考慮了每個虛擬機的能量消耗、遷移開銷、通信開銷、時延以及服務器計算能力等多個屬性因素對于服務遷移決策的影響，并建立相應的決策矩陣，在用戶離開最優服務器的連接范圍后，通過決策矩陣來決策此時是否需要進行服務遷移。該算法雖然在服務遷移過程中充分考慮了能量、時延等開銷的影響，但忽略了網絡環境的動態性，缺乏參數的實時更新機制。

已有方案對比如表1 所示。通過以上調研發現，大多數的服務遷移方案忽略了網絡及節點動態性對遷移決策的影響，同時，動態決策參數的實時更新也是保障遷移算法有效性與可靠性的一個重要因素，如果不能根據環境變化對參數進行學習更新，往往會因參數退化而導致算法性能下降。為此，本文提出了車輛邊緣網絡中基于多參數MDP 模型的動態服務遷移方案DSMMP。

3 DSMMP 算法設計

3.1 最優遷移狀態閾值存在性證明

為保證DSMMP 算法的科學性，本節將利用一個通用的MDP模型來證明MDP服務遷移方案中最優遷移閾值的存在。

本文將時間劃分為一個個相鄰等值的狀態檢測時隙，在每個狀態檢測時隙開始時，ES 基于以下MDP 模型進行遷移決策。

1)狀態函數S(t)

從ES 角度出發，將S(t)定義為狀態檢測時隙為t時，ES 與對應的車輛節點之間的鏈路跳數hop，有

2)動作函數a(t)

a(t)表示時隙為t時ES 節點對于某一特定車輛節點請求服務的遷移決策，有

(t)表示時隙為t時，ES 從s′遷移到狀態s的概率。

4)收益函數

需要說明的是，在本節中利用時延開銷來定義MDP 收益函數，則收益函數值越小對應的策略越優。DSMMP 綜合網絡性能、ES 處理能力、節點運動的收益來定義MDP 收益函數，取收益函數值最大時的策略為最優策略。雖然二者的定義不同，但其實質意義相同，因此2 種定義方式具有一致性，并不沖突。

對服務不遷移和遷移這2 種決策分別產生的網絡時延開銷進行如下分析。

①不進行服務遷移。如圖1 所示，初始t時刻車輛V1處于節點ES2的覆蓋范圍內，則S(t)=0，此時V1向ES2發送了一個分組請求，設請求時延為treq；然后ES2開始對該請求進行服務計算，計算時延為tcom；在服務計算完成之前的每個狀態檢測時隙中，ES2均采取不遷移的動作，當計算完成后ES2準備向V1回復數據，卻發現V1節點已經離開其信號覆蓋范圍并其處于ES1的覆蓋范圍，則ES2將結果數據返回給ES1，此過程的時延為ES 之間的傳輸時延tdata-trans；最后由節點ES1將請求應答數據回復給V1，此時的時延為車輛和ES 之間的傳輸時延trep。

則不遷移策略的總時延開銷為

② 進行服務遷移。如圖2 所示，t時刻車輛V1處于ES2的覆蓋范圍內，則S(t)=0，V1此時向ES2發送了一個分組請求，請求時延為treq；在計算服務完成之前的某一個狀態檢測時隙t'',ES2發現車輛V1節點離開其信號覆蓋范圍，進入ES1的覆蓋范圍，當S(t′′)＞k（k為最優閾值）時，ES2選擇進行服務遷移，將其與V1之間的會話過程、請求內容等具體信息打包發送給ES1，該過程的時延為tsession-trans；此后，ES1開始對車輛V1的請求進行服務計算，計算時延為tcom；計算完成后，ES1再將結果數據回復給車輛V1，產生傳輸時延trep（此時也可能出現V1離開了ES1的范圍，但此處僅為證明閾值存在，故不考慮這種復雜情況）。

表1 已有方案對比

圖1 服務不遷移場景

圖2 服務遷移場景

則遷移策略的總時延開銷為

對比上述2 種情況可以發現，tnon-mig和tmig中存在部分相同參數，為簡化計算過程，去掉了重復的時延部分，并將MDP 中的收益函數定義為時間開銷，因此，狀態s下發生動作a的開銷函數為

5）折合系數γ

γ表示上述MDP 模型的當前收益與未來收益之間的差異，本文取γ=0.9。

需要注意的是，雖然任務類型、網絡及節點狀態的差異會影響最優閾值的具體值，但并不影響各個ES 最優閾值的存在性，因此，本節不針對某一具體狀態下的收益函數進行詳細計算。同時，定義狀態值上限值為N，當s＞N時，無條件進行服務遷移。

基于上述，提出以下命題，并給出相應證明。

命題1在一個一維的移動邊緣網絡中，存在一個ES 與移動用戶之間的最優狀態閾值k＜N，當狀態s＜k時，最優策略為不進行服務遷移；當s≥k時，最優策略為進行服務遷移。

證明

1)當狀態值s=0 時，車輛節點與ES 直接相連，采取任何動作決策收益函數值均為0，即Ca(0)=0，此時取a*(0)=0。

2)假設在狀態s=k時，對應的最優策略為遷移服務，則此時的動作價值函數滿足

式(6)中等號右側表示一個從未進行服務遷移的折合總開銷值。

3)假設在狀態k+1≤s′≤N采取不遷移動作，則每個時隙會產生一個時延tdata-trans，直到某個時隙tm到達遷移狀態S(tm)，則對于從s′開始的任何遷移路徑L有

其中，tm為s′之后需要進行服務遷移的時隙值。則有

3.2 模型設計

3.2.1 系統模型

1)網絡模型

基于運營商基站和交通部門RSU（road side unit）部署方案[27-28]，DSMMP 為每個基站和樁節點連接一個小型的ES，每個基站和樁節點的信號覆蓋范圍即為對應ES 的服務覆蓋范圍。如圖3 所示，網絡分為兩級，主要包含3 種類型的節點：車輛、ES 以及一個后端云服務器（BCS,back-end cloud server）。其中，ES 和BCS 為靜態節點，BCS 位于車輛和ES 的上層并擁有所有服務請求所需的計算資源，某個ES 中只擁有部分請求的計算資源。同時，ES 之間以及ES 與BCS 之間通過一個靜態的回程網絡互連，ES 與車輛之間通過無線網絡連接。

圖3 網絡模型

2)服務請求模型

車輛節點將其服務請求發送給直接相連的ES，DSMMP 為每個車輛設置了一個請求表（如表2 所示）來記錄每個請求的標識Rlabel、生存時間約束timer 以及接收該請求的ES 標識ESlabel（服務遷移后，ESlabel更新）。timer 代表每個請求對于時延的限制，當timer 未超時且收到回復時，車輛節點刪除該請求表項；當timer 未超時且未收到回復時，車輛節點會一直保持該請求表項；當timer 超時仍未收到回復時，車輛會認為該請求暫時不能被滿足，并刪除該請求對應的表項。

3)服務應答模型

ES 收到一個請求后會立即查詢本地是否緩存了相應的計算資源，若有則直接進行服務計算；否則，需要向BCS 進行資源請求再進行服務計算。每個ES 會維持一個服務表來記錄向其發出請求的車輛標識Vlabel、對應的請求標識Rlabel以及其與該車輛的跳數距離hop（通過回程網絡時刻跟蹤該車輛節點獲得，并在每個狀態檢測時隙進行更新）。當某個車輛的請求被滿足或進行了服務遷移后，其對應的表項將刪除。需要注意的是，一個車輛可能會向同一個ES 發送不同請求，如表3 所示，V2在不同時刻分別向同一個ES 發送了Request4、Request3和Request7。

表2 請求表

表3 服務表

3.2.2 MDP 模型

DSMMP 將時間劃分為一個個相等的狀態檢測時隙t，一個時隙作為一個采樣區間，在每個時隙開始時進行ES 狀態檢測并做出服務遷移決策。

1)狀態函數S(t)

S(t)表示在狀態檢測時隙t時，某個ES 與向其進行請求的車輛V之間的跳數距離（表3 中的hop表項值），有

2)動作函數a(t)

a(t)表示在狀態檢測時隙t時，ES 節點對于車輛請求的服務采取的遷移決策，有

(t)表示在狀態檢測時隙t時，一個ES 從狀態s′遷移到狀態s的概率。由于受道路拓撲限制，能以較高的準確度預測獲得車輛的下一個檢測時隙的狀態值，因此設(t)為0.85。此處，(t)＜1 是由車輛邊緣環境中的一些不確定因素導致的。

4)收益函數R(s,a)

R(s,a)表示ES 在狀態s下對車輛的請求采取動作a的收益值，在決策服務遷移時，ES 需要分別對a=0 和a=1 這2 種情景進行收益函數值計算及比較。當a=1 時，DSMMP 并不會只選擇一個目標ES計算R(s,1)，而是基于車輛運動及請求時延限制選擇多個候選C-ES 構成集合SetC-ES，然后分別計算其對應的收益函數，最后將最大值Rmax(s,1)設置為R(s,1)；當a=0 時，DSMMP 利用原O-ES 對應的參數計算R(s,0)。

DSMMP 算法在定義R(s,a)時綜合考慮了時延、帶寬、服務器處理能力以及車輛運動參數的影響作用。設某個ES 在狀態s下采取動作a時，有C-ESm∈SetC-ES（當a=0 時，C-ESm=O-ES），以C-ESm為例將各部分收益計算定義如下。

1)時延收益

(s,a)表示在狀態s下采取動作a后，對應于C-ESm的時延收益值。

2)帶寬收益

(s,a)表示在狀態s下采取動作a后對應于C-ESm的帶寬收益值。

3)邊緣服務器處理能力

(s,a)表示狀態s下采取動作a后獲得的C-ESm處理能力大小。DSMMP 從存儲和計算能力兩方面定義(s,a)，考慮到不同任務類型（如計算密集型業務、資源密集型業務等）對于服務器存儲和計算能力的要求各不相同，本文不涉及對具體業務類型的考慮，故各自取其權重為0.5。

4)運動收益

①構造SetC-ES

不進行服務遷移時，候選服務器唯一且為O-ES。如圖4 所示，在某個狀態檢測時隙開始時，ES1上運行著某車輛的服務計算并檢測到該車輛以速度v從Ps點離開其服務范圍，此時ES1若決定進行服務遷移，DSMMP 將進行如下操作構造集合SetC-ES。首先，查詢車輛服務請求表中對應請求的timer 值，根據車速v計算distmax=vtimer；然后，根據車輛運動方向及distmax預測請求超時時車輛節點的位置Pe；最后連接點Ps及Pe，選擇線段PsPe穿過區域對應的 ES 構建集合 SetC-ES，圖 4 中SetC-ES={C-ES2,C-ES6,C-ES7}。

圖4 C-ES 選擇示意

(s,a)表示狀態s下采取動作a后對應于C-ESm的運動收益值。結合車輛運動參數及網絡拓撲，DSMMP 將根據車輛節點在C-ES 服務范圍的逗留時間定義其運動收益。

需要說明的是，若車輛離開O-ES 的服務范圍且該O-ES 選擇不進行服務遷移，DSMMP 設置此時的(s,0)=0，因為車輛短時間內再運動回O-ES 服務范圍的概率極小。下面以C-ESm為例，分別針對不同Pe位置對進行服務遷移時的(s,1)進行討論。

①當Pe不在C-ESm的服務范圍內時（圖4 中的C-ES2和C-ES6），如圖5 所示，記車輛與C-ESm服務范圍邊界的交點為Pm，θm表示車輛運動方向與線段PmC-ESm的夾角，C-ESm的服務覆蓋半徑為R，則車輛在 C-ESm服務范圍內的逗留距離為

圖5 運動收益計算示意（Pe不在C-ESm的服務范圍）

② 當Pe在C-ESm的服務范圍內時（圖4 中的C-ES7），如圖6 所示，有

圖6 運動收益計算示意（Pe在C-ESm的服務范圍）

最終，有

其中，αm、βm、δm、εm分別為C-ESm各個參量對應的權重因子。對于每個權重因子的具體取值將在3.4.1 節中給出。

5)折合因子γ

γ表示當前總收益與未來總收益之間的差異。

3.3 遷移決策

3.3.1 Bellman 方程計算累計收益

基于3.2.2 節中定義的MDP 模型，DSMMP 將服務遷移的期望總收益定義為

其中，π描述為狀態s時采取動作a的策略，將式(19)用遞歸形式表示為

其中，s′表示狀態s的前一個狀態檢測時隙對應的狀態值，p(s',s)表示從狀態s′轉移到狀態s的概率，Vπ(s')表示狀態為s′時獲得的累計收益值。

DSMMP 的最終目標是在狀態s根據策略π采取一個動作a，以實現Vπ(s)的最大化，即

3.3.2 求解遷移狀態閾值

DSMMP 利用收益函數值迭代的方法對3.3.1 節中的Bellman 方程進行求解，從而保證在某一個具體狀態下為ES 提供合理的服務遷移決策。工作流程如圖7 所示，具體求解過程如下。

圖7 工作流程

1)初始化。狀態檢測時隙t時車輛Vi位于ESj的服務范圍內，狀態值s′=0，threshold 表示進行服務遷移的最小狀態閾值，初始時有threshold=N，N為車輛與邊緣服務器之間的最大狀態值，根據ESj的信息計算R(s′,0)=V*(s′)。

2)在接下來的每個新的狀態檢測時隙開始時，檢測ESj與Vi之間的狀態值s，若s=0，不進行服務遷移。

3)若s＞0，根據ESj與Vi對應的參數計算a=0時的R(s,0)，并獲得Va=0(s)。

4)當a=1 時，計算distmax，獲得候選ES 集合SetC-ES，分別針對SetC-ES中的每個C-ES 計算其遷移收益值，并選擇收益最大的C-ES 作為D-ES，其對應的收益值為Rmax(s,1)，計算Va=1(s)。

5)比較Va=0(s)和Va=1(s)的值，選擇長期收益最好做出遷移決策：當Va=0(s)＞Va=1(s)時，不進行服務遷移，將s賦值給s′，V*(s′)=Va=0(s)，下一個時隙繼續檢測重復上述操作；當Va=0(s)＜Va=1(s)時，ESj將Vi的服務請求遷移到D-ES 上，將s賦值給threshold。

6)結束。

算法1求解遷移決策

輸入Vi，ESj，timeslot=t，最大狀態值N，遷移狀態閾值threshold=N，R(s′,0)=V*(s′)

3.4 權重因子計算及數據更新

3.4.1 權重因子計算

DSMMP 設置每個ES 對應的權重因子各不相同，相同ES 在為不同車輛的服務進行遷移決策時所使用的權重因子相同。為適應車輛邊緣網絡環境的動態特征，DSMMP 采用基于ES 歷史數據并定期更新的權重因子計算方式。

以ESm為例，在初始時隙，設置權重的更新周期為，并取αm=βm=δm=εm=0.25，ESm基于歷史數據，建立矩陣Am進行權重計算，如表4 所示。

表4 歷史數據矩陣Am

表4 中，X1、X2、X3分別代表ESm在此次更新之前最近獲得的3 組數據編號，Ai1、Ai2、Ai3、Ai4分別代表在第i組數據中的時延收益值、帶寬收益值、服務器服務能力以及運動收益值，取

構造一個新的矩陣Bm，其矩陣元素為Bij，如式(23)所示。

在信息論中，熵不僅是不確定性的度量，同時也可以用來表示數據中包含的信息量，將矩陣Bm進行歸一化處理得到矩陣Cm，其矩陣元素為Cij，如式(24)所示。

j指標的熵為

j指標的差系數為

則j指標的權重為

從而可以得到αm=w1，βm=w2，δm=w3，εm=w4。

3.4.2 數據更新

1)權重因子更新

權重因子會隨著網絡參數的變化而變化，因此本文對其采取定期更新方式。以ESm為例，設置更新周期為。初始設置2=t，其中t為一個狀態檢測時隙的時間長度。DSMMP 算法運行一段時間之后，若算法 1 獲得了 threshold，則取，否則2=t。

在車輛節點和ESm之間的服務請求與應答完成后，其對應的參數就會失效，若二者未來再次連接，則在啟動DSMMP 算法時重新計算上述參數。

4 仿真與性能分析

4.1 仿真設置

4.1.1 參數設置

基于ORBIT[29]（open access research testbed for next-generation wireless network）平臺和CRAWDAD社區對某地區出租車進行GPS 跟蹤得到的運動軌跡數據集[30]，本文對城市車輛邊緣網絡中的動態服務遷移過程進行了真實模擬。

根據圖3 中描述的網絡模型及移動運營商對于基站的鋪設和區域覆蓋范圍的設置，取每個ES 的覆蓋半徑為2 100 m，相鄰ES 的重疊區域為204 m，表5 具體展示了仿真實驗中其他參數的詳細設置。

表5 參數設置

4.1.2 對比方案

DSMMP 策略的仿真過程有以下3 種對比方案。

1)不遷移策略，即服務一直在O-ES 上運行。

2)一直遷移策略，即車輛離開O-ES 覆蓋范圍后就會進行服務遷移且D-ES 為與車輛節直接連接的ES。

3)SEGUE 策略，根據檢測到的QoS 沖突決定是否遷移，利用累計收益計算獲得最優D-ES。

4.1.3 對比指標

1)服務響應過程。描述了在每個策略指導下的具體請求服務響應時間變化過程，該指標可以清晰地展示出每個策略的工作方式及各個策略之間直觀的性能對比。

2)平均時延。時延是衡量網絡性能的一個代表性參數，通過對比不同策略指導下的服務平均時延，可以清晰地看出各個策略的優劣。

3)分組丟失率。利用數據請求失敗率來反映每個策略的工作效率。

4)服務遷移次數。結合時延數據，服務遷移次數結果可以清晰地描述出每個策略對于環境動態變化的適應能力。

4.2 仿真結果分析

4.2.1 服務響應過程

以100 次服務請求作為一個采樣區間，圖8～圖11分別描述了數據分組大小為1 MB、4 MB、16 MB及64 MB 時，每個策略對應的服務響應過程。

圖8 數據分組為1 MB 時的服務響應過程

圖9 數據分組為4 MB 時的服務響應過程

首先，對于存在服務遷移過程的3 種策略，服務響應曲線的每個波峰都代表著一次服務遷移，從服務遷移頻率的角度來說，一直遷移策略、SEGUE策略及DSMMP 策略依次遞減。一方面，與一直遷移策略相比，SEGUE 策略和DSMMP 策略的遷移決策是分別根據QoS 沖突檢測和累計收益值來決定，而不是僅僅基于車輛節點與ES 的位置，因此遷移次數均明顯小于一直遷移策略。另一方面，DSMMP 策略在收益函數中加入了對車輛運動參數的考慮及多個C-ES 的選擇，因此，其服務遷移位置會更加符合車輛的運動軌跡，有利于實現利用最小遷移次數最快響應請求的目的。

圖10 數據分組為16 MB 時的服務響應過程

圖11 數據分組為64 MB 時的服務響應過程

其次，對于不遷移策略，其服務響應曲線并不會出現大幅度的波峰形狀，而那些小的曲線波谷則是由于請求本地滿足或車輛位置靠近ES 引起的響應時間降低。

最后，綜合比較圖8～圖11 可以發現，隨著數據分組的增大，各個策略的響應時間均出現增長，但4 種策略的工作模式并未改變，DSMMP 策略表現最優。

4.2.2 平均時延

以100 s 作為一個采樣區間，圖12～圖15 分別記錄了數據分組大小為1 MB、4 MB、16 MB 及64 MB時對應的任務平均時延變化結果。

從圖12～圖15 中可以看出，一直遷移策略的任務平均時延要明顯大于其他3 種策略。通過分析，認為原因如下：由于車輛節點一直運動，因此會一直發生頻繁的ES 切換和服務遷移過程，使網絡中請求分組和回復分組的數據流量增大，甚至出現網絡擁塞情況，并最終增大任務的傳輸時延；而不遷移策略不會存在上述問題，SEGUE 策略和DSMMP策略根據各自的設計進行遷移也不會對網絡流量造成嚴重影響。

圖12 數據分組為1 MB 時的平均時延

圖13 數據分組為4 MB 時的平均時延

圖14 數據分組為16 MB 時的平均時延

DSMMP 策略的平均時延明顯優于SEGUE 策略的結果，因為相比于SEGUE 策略，DSMMP 策略在收益函數中加入了對網絡參數、ES 服務能力及車輛節點運動參數的綜合考慮，在進行服務遷移時，其遷移決策對動態車輛邊緣網絡環境具有更好的適應能力，因此能夠更好地實現邊緣請求的快速處理。

圖15 數據分組為64 MB 時的平均時延

同時，可以發現4 條曲線均呈現出起點很高，然后急劇下降，最后趨于平緩的變化過程。因為初次請求時，ES 本地無資源緩存，需要向BCS 進行資源請求后再進行服務計算，ES 在回復給請求節點的同時會進行內容的本地緩存，當出現需要相同資源的請求時，可以在本地直接進行請求計算，大大降低了服務時延。

4.2.3 分組丟失率

在進行分組丟失率計算過程中，共進行了235次仿真實驗，每次持續100 s，然后綜合所有的仿真數據得到圖16，其分別記錄了數據分組大小為1 MB、2 MB、4 MB、8 MB、16 MB 以及64 MB 情況下各個策略的分組丟失率。

圖16 分組丟失率比較

首先，可以看出一直遷移策略的分組丟失率最高。因為其以車輛節點離開O-ES 服務覆蓋范圍作為遷移觸發條件，當一個請求未得到滿足并且車輛發生移動時，該服務會被遷移到新的ES 上重新進行服務計算。這種方式雖然簡單，但增大了服務中斷的頻率并且很容易造成一個請求及其對應回復的大量重復，從而造成網絡流量的急劇增大，甚至引發網絡擁塞，引起丟失分組，增大了數據傳輸失敗的概率。

其次，不遷移策略的分組丟失率高于SEGUE策略及DSMMP 策略。因為該策略采取的不遷移方式雖然不會造成嚴重的網絡流量增長，但隨著車輛節點與O-ES 之間距離越來越遠，很容易出現由于傳輸時延過大而造成數據傳輸超時的情況，進而造成分組丟失。從本質上來說，SEGUE 策略和DSMMP 策略是一直遷移策略與不遷移策略的一種折中方式，這2 種策略既不會隨著車輛的運動一直遷移，也不會不遷移，因此，不會出現網絡流量急劇上升及大范圍數據分組超時的情況。

進一步地，在遷移決策方面，SEGUE 策略基于QoS 沖突進行遷移決策，其僅僅考慮了ES 的QoS；DSMMP 基于一個綜合性的動態累計收益函數值來決策，并利用車輛運動參數在多個C-ES 中擇優選擇，因此，DSMMP 比SEGUE 能夠更加適應網絡的動態變化，性能更優，分組丟失數更少。

最后，從總體上來看，可以發現隨著數據分組的增大，分組丟失率逐漸增大：一方面，由于數據分組增大，網絡流量勢必增大，網絡傳輸將會受到一定影響，嚴重時引起分組丟失；另一方面，數據分組增大，當ES 不能本地滿足要向BCS 進行數據請求時（如圖3 所示），其下載時延及傳輸時延也會相應增大，嚴重時會造成數據超時。

4.2.4 服務遷移次數

圖17 展示了對235 次100 s 的仿真數據計算平均服務遷移次數的結果。DSMMP 策略的服務遷移次數最低，其次為SEGUE 策略，最大為一直遷移策略。

圖17 服務遷移次數比較

首先，SEGUE 策略基于QoS 沖突檢測以及DSMMP 策略利用累計收益決策遷移的方式，使二者的服務遷移次數小于一直遷移策略；其次，SEGUE 策略與DSMMP 策略相比，DSMMP 策略充分考慮了節點運動參數及時延限制，因此其遷移位置會更加符合車輛的運動軌跡，對于動態環境的適應性更強；最后，可以看出數據分組的大小對于各個策略的平均遷移次數影響并不大，其原因是3 種策略的遷移決策中并沒有考慮數據分組大小的影響作用，因此數據分組大小變化只會對時延造成影響，對于策略的工作過程影響不大。

之所以對服務遷移次數進行統計及比較，是因為每次的服務遷移過程都對應著不可忽視的遷移開銷，頻繁的服務遷移會對網絡造成大量的網絡負擔，結合時延及分組丟失率結果，可以發現DSMMP能夠在最小遷移次數前提下，實現更小的時延和分組丟失率，與其他策略相比，性能最優。

5 結束語

為解決車輛邊緣網絡中車輛高速移動造成的大量連接切換及服務中斷問題，本文提出了基于多參數MDP 模型的動態服務遷移算法DSMMP。DSMMP結合網絡帶寬、時延、ES 處理能力及車輛運動4 種參數構造了動態適應性更強的MDP 收益函數，利用Bellman 方程獲得累計收益，并求解收益最大的遷移狀態閾值，另外，DSMMP 還設計了基于歷史數據的權重因子計算及數據更新方案。仿真表明，該算法擁有更高的動態環境適應性與可靠性，能在遷移次數最低的情況下達到時延及分組丟失率最優。

在未來工作中，將進一步對DSMMP 算法進行改進和完善。一方面，在遷移決策中加入對更多因素的考慮，如能耗、通信開銷、遷移代價等；另一方面，進一步提高算法的可擴展性及其對動態環境適用性，如考慮將該算法應用于更為普遍的MANET 環境中。