高速移動環境下4G鏈路的測量與預測

賈 濤 霍長凡 張 寬 趙建邦

(中車青島四方車輛研究所有限公司電子事業部 山東 青島 266000)

0 引 言

互聯網通信技術的快速發展和普及把人類社會中的信息孤島有效地連接起來,信息的共享和暢通讓互聯網應成為人類學習知識和獲取知識的最主要的渠道,而且現在人們的生活、工作、娛樂、出行、健康等各方面都依賴網絡。中國高鐵技術快速發展,截至2019年底,中國高速鐵路營業里程達到3.5萬公里,世界領先。高鐵以其突出的便利性與經濟性已經成為人們日常出行的首選。所以兩者結合,如何在高鐵上為乘客提供實時的互聯網訪問,提供視頻直播的服務,為乘客提供實時的時政新聞及娛樂資訊,對3G/4G網絡的通信能力提出更高的要求[1],主要原因是高鐵一直在高速移動中。

中國高鐵動車組的運行速度在一般在250 km/h以上,而中國高鐵標準動車組復興號的運行速度達到350 km/h,在如此高速移動的載體上借助3G/4G網絡提供穩定、高速的網絡接入,在技術上面臨非常大的挑戰。

中國高鐵車體采用金屬封閉架構,對4G/5G等高頻的無線空口信號會產生嚴重的屏蔽作用;同時高鐵在高速的連續移動下,會產生Cell的快速連續切換,同時也會帶來嚴重的多普勒效應[2],產生的頻偏會影響信道的通信能力。

高鐵沿線的3G/4G網絡覆蓋不連續,質量不統一[3]。中國高鐵的建設往往選擇人員稀少地區,導致運營商專門建設的基站密度小,部分區域會產生不連續問題。雖然運營商還在不斷地補充和優化,但是這需要一個過程。目前,沿途的網絡環境還比較差,網絡體驗不夠穩定[4],尤其是穿越隧道的時候。

乘客個人通信終端的能力參差不齊,無法獲得最優的網絡性能。乘客的個人通信終端屬于移動終端,受限其功耗和尺寸問題,其通信能力相比企業級通信設備比較弱,而且其通信天線在金屬車體內,嚴重影響通信質量。

基于以上的分析就產生了一個新的技術路線,即通過統一的企業通信網關基于3G/4G網絡提供高速網絡連接。在車廂內,通過把3G/4G轉換為傳統Wi-Fi技術,簡化對乘客終端的要求。更重要的點在于,因為部署統一的企業通信網關,所以可以在這個企業通信網關上進行硬件、軟件的定制和調優。基于三大運營商的無線通信網絡部署多條車地通信無線網鏈路,采用聚合的方式進行總帶寬的提升,并通過定制的業務層面調優算法,實現直播類視頻在做鏈路上的智能調度,提升車輛整體傳輸帶寬的同時,優化業務體驗。通過Active模式獲取3G/4G網絡質量,可以優化視頻傳輸,為用戶提供高質量的視頻傳輸質量。

如之前所述,由于高鐵移動速度快,3G/4G網絡質量的變化迅速,要求系統能對鏈路質量的變化快速做出反應,甚至還需要根據大數據、訓練、算法對鏈路質量的變化進行預判,這就給技術的實現帶來很大的困難和挑戰。

為此,本文針對高速移動下的3G/4G無線通信網絡創新性提出了一種基于大數據預判的鏈路質量動態感知方法,該方法可以針對通信鏈路進行持續的實時準確探測,即MLQMP-BD(Multi-link Quality Measurement and Prediction based on Big Data)網絡探測方法。該方法綜合了大數據技術、Active模式和Passive模式,同時具備動態調整的能力,能靈活應對車輛移動速度的變化。

基于MLQMP-BD獲得的鏈路質量狀態,通過反饋到上端應用層,可以動態地進行視頻數據傳輸策略的優化的調整,保證直播視頻播放的流暢。

1 網絡測量技術

MLQMP-BD的實現的一個最重要的基礎就是鏈路質量探測,關于鏈路質量的探測區分為Active模式獲取和Passive模式獲取兩種方法。

1.1 Active模式獲取

Active模式獲取,即通過定義和構造指定的測試報文,并按照一定的規則注入到網絡中,通過在實際網絡中進行傳輸,傳輸結束后就可以獲得很多代表網絡質量指標,例如鏈路丟包率、往返時延、鏈路抖動范圍等[5]。Ping就是最常用的一種Active模式方法,傳統Ping采用ICMP報文,還有TCP Ping及UDP Ping,通過模擬構造四層的報文,讓探測的報文結構更貼近實際業務傳輸的情況。具體測試時又區分單向測量和雙向測量。

Active模式的方式在開發實現時比較簡單,開源的工具也很多,因此也是大家常用的探測方法。Active模式的缺點在于需要向現有的網絡中額外注入專門用于測試的探測包,如果構造的報文太多,比如為了模擬壓力測試,那么這樣就會加重網絡的負載,導致鏈路變擁塞或者更加擁塞,得到的驗證結果會有實際情況不符;但是如果構造的報文太少,得到的探測質量可能會比較好,但可能實際業務負擔比較重,所以這時獲得的結果也是不夠準確的。

1.2 Passive模式

Passive模式方法也稱為隨路測量方法,其利用網絡中真實的業務流量作為載體,通過監視接口中經過的真實業務流量,測量并獲取網絡當前質量[6]。因為是直接通過監控網絡中轉發的真實業務流量,所以這樣獲得的結果與實際情況完全吻合。另外,Passive模式的方法不需要單獨向網絡中導入額外的測試流量,所以不會對網絡產生干擾或者加重負載。但是Passive模式也不是一點缺點都沒有,因為它依賴真實業務流量,當網絡中沒有業務流量時,Passive模式方法就失效。而且當網絡中沒有流量時,還不能確定是因為鏈路質量太差導致的斷流,還是真實沒有業務發生。另外,因為Passive模式需要對業務流量進行額外的處理,在業務量很大時,會產生很大的處理負擔,也會為業務產生額外的延時。針對被動測量的缺點,需要有其他手段進行補充。

Passive模式方法在實現時,主要是依賴對業務報文進行Match-Remark及Match-Measure的方式,即在本端對匹配的報文進行特殊位的標記,對端收到報文后,匹配這些特殊的標記位,從而可以得到丟包率、時延等空口鏈路質量[7]。

1.3 傳統測量方法的弊端

無論是Active模式方法還是Passive模式方法,都有一個相同的適用前提,即測量的環境是靜止的,即針對某條鏈路在t0時刻開始啟動測量,經過δ時間,在t0+δ時刻獲得一個測量結果,具體情境見圖1。基于此結果進行數據傳輸的調度是完全沒問題的。

圖1 移動狀態下測量遇到的問題

但是高鐵是一個高速移動的環境,給傳統的Active模式及Passive模式都帶來了很大的問題。以350 km/h的復興號為例,針對某條鏈路在t0時刻開始進行測量,經過δ時間獲得了一個測量結果,這個結果是這條鏈路當前真實的質量嗎?理論上已經不是了。如果在探索花了2 s時間,這時車輛其實已經移動了近200 m,可能已經進入隧道,或者發生了基站的切換。

根據一個基站的實際覆蓋能力,按照350 km/h估算,平均3～6 s就會進行一次基站的切換,這就對沿線運營商基站網絡的覆蓋及能力的連續性提出了非常高的挑戰,需要在高鐵高速移動時可以平滑地連續切換。在基站切換的過程中,如果我們的速度慢,是感覺不到延遲的。但是高鐵的速度很快,可能會因為運營商基站優化不足,導致切換慢,從而出現短暫的信號丟失,如果在信號覆蓋不連續時,基站切換帶來的網絡延遲,用戶會有更加明確的感知。

基于此,現實中不能完全簡單地依托實時測量鏈路質量進行業務的優化,因為來不及,即優化傳輸策略的執行與當前測量鏈路質量有一個時間差δ。

2 多車地無線鏈路

雖然4G網絡可以提供高速的傳輸性能,但是對于一列超過600名乘客的高鐵來說,一條4G鏈路的傳輸帶寬還遠遠無法滿足,所以可以通過并行疊加多條3G/4G無線鏈路(未來可以切換5G鏈路),實現帶寬提升的同時,提高車地鏈路的可靠性和可用性。

另一方面,由于高鐵沿途各運營商部署無線網絡質量不一,可能出現信號不連續或信號未調優的情況,再者因為金屬車體屏蔽和Cell快速切換,如果只有1條3G/4G鏈路,根本無法保證鏈路的可靠性、穩定性及可用性[8],所以通過選擇鐵路沿線三大運營商的多個4G鏈路進行聚合,可以大大降低風險。

本文提到的多車地無線鏈路傳輸系統,通過捆綁多條運營商無線通信通道,大大提升整體的傳輸性能,同時規避單鏈路傳輸質量不可控的問題。在多鏈路具體實現中,高鐵上的企業通信網關一般是通過9條無線空口鏈路分別連接到不同的運營商基站,每個運營商有3條,應對3扇區的設計,可以充分利用基站的數據通信能力,同時提高了可靠性。多車地無線傳輸系統架構見圖2。

圖2 多車地無線傳輸系統架構

在真實的運行場景中,同一時刻,這九條鏈路的差異是動態變化的,這時就需要通過動態、持續的鏈路測量,在不同鏈路之間進行數據傳輸的調度,保證最終乘客觀看視頻的質量。

3 基于大數據學習的高速多鏈路質量探測原理

在高鐵環境中聚合運營商多3G/4G鏈路為乘客提供直播視頻類的業務,需要不斷地對每條質量不確定的鏈路進行實時的、動態的、持續的測量,并且因為車輛本身在高速移動狀態,所以需要更加先進的算法才能實現目的。

本文創新性地提出了基于大數據學習的技術,針對高速移動狀態的多鏈路進行測量,基于此獲取的鏈路質量可以在網絡層進行數據差異化調度。質量好的鏈路多承擔業務的轉發;對質量差的鏈路減少業務的轉發;而對于質量很差的鏈路,應該停止使用,否則會發生丟包等問題。而對于上層業務應用本身不需要關心網絡層面多鏈路之間的流量調度,只是需要基于探測的結果和鏈路質量預測的結果,對視頻的分辨率進行動態的編碼調整。

如何才能實現高速狀態下對多條鏈路進行實時的質量判定和探測,主要分為兩個部分:一是大數據的采集和學習;二是關于多鏈路的流量調度。

3.1 大數據采集和學習

在本文中,之所以采用大數據采集和學習,主要目的是為了解決車輛在高速移動下的鏈路質量判定和預判。

一條3G/4G鏈路的質量,是與3G/4G信號有直接關系,而影響3G/4G信號接收的因素包括:與車輛和基站的相對距離、基站發射功率、車體無線天線的增益能力、車廂屏蔽情況、信道擁塞情況、相對速度、天氣情況等。所以確定一個假設:在相同的網絡和地理條件下,3G/4G信號傳輸距離、基站功率、天線角度、車廂屏蔽情況等主要因素均相同,運營商的服務能力不會發生大的波動,所以具有高參考價值。通過大數據的學習和分析,就可以對鏈路的質量進行預判。

數據采集主要包括以下五個方面:(1) 絕對時間;(2) GPS地理坐標;(3) 車輛速度;(4) 無線空口質量;(5) 每個3G/4G通道的帶寬、利用率等指標。

如前文所述,在t0時刻,在(Lonx,Laty)坐標位置,車速為(zkm/h),此時的3G/4G無線信號指標(RSSI/SNR/Cell ID/MCC)。此時開始對每條3G/4G鏈路進行Active模式和Passive模式測試,經過δ時間,就可以得到一組數據。同時,在車輛運行中,每隔n分鐘自動進行一組各維度數據的采集和鏈路質量的測量,把這些數據在車輛本地進行大數據的存儲,通過深度學習算法進行數據的擬合,最終可以實現鏈路質量的預判,并有時間、坐標強關聯,最后通過與業務應用的聯動,業務層應用可以實時、動態地進行編碼、速率的調整,保證乘客看到流量的畫面。

3.2 鏈路質量預測

鏈路質量的預測主要是包括兩種類型,即Active模式和Passive模式。Active模式是通過注入新的報文獲得鏈路質量;Passive模式是針對隨路的真實業務報文進行Remark、業務解析等動作,從而獲得鏈路質量。

針對Active模式探測,可以生成指定數量的、指定長度的報文,在具體到鏈路通道層面,需要通過修改路由的方式去改變具體的4G通道,具體示例如下:

假定無線通信網關的IP配置為7.7.2.254;enp2s0上的地址是192.168.10.2,這個地址是Wi-Fi系統提供給用戶的服務器地址;vnp2m2就是基于enp2s0這個物理網口,enp2s0連接到無線通信網關(其實是個路由器)。

ip addr add dev vnp3m2 7.7.2.201/24

//從這個源地址出去的,代碼走4G卡1通道

ip addr add dev vnp3m2 7.7.2.202/24

//從這個源地址出去的,代碼走4G卡2通道

ip addr add dev vnp3m2 7.7.2.203/24

//從這個源地址出去的,代碼走4G卡3通道

ip addr add dev vnp3m2 7.7.2.204/24

//從這個源地址出去的,代碼走4G卡4通道

ip addr add dev vnp3m2 7.7.2.205/24

//從這個源地址出去的,代碼走4G卡5通道

ip addr add dev vnp3m2 7.7.2.206/24

//從這個源地址出去的,代碼走4G卡6通道

ip addr add dev vnp3m2 7.7.2.207/24

//從這個源地址出去的,代碼走4G卡7通道

ip addr add dev vnp3m2 7.7.2.208/24

//從這個源地址出去的,代碼走4G卡8通道

ip addr add dev vnp3m2 7.7.2.209/24

//從這個源地址出去的,代碼走4G卡9通道

針對Passive模式探測,本文同時使用Remark和業務解析兩種方式,其中業務解析是依靠針對視頻流進行解碼的方式進行鏈路質量信息的獲取,有區別傳統簡單Remark的方式。因為這是從真實的視頻數據流中獲取QoS信息,所以能更加真實地反映鏈路的質量。

3.3 鏈路質量探測的實現框架

如3.1和3.2兩節所述,鏈路質量的探測和獲取是通過多種手段結合實現,包括基于大數據的學習、Active模式和Passive模式,每種技術不是孤立使用的,通過一個整體架構為業務層面的多通道業務聚合提供必要的底層鏈路質量數據支撐,該架構需要具備的能力總結如下:

(1) 此機制可以通過大數據學習對移動中的高鐵列車每條鏈路的質量進行預判。

(2) 此機制可以通過長期的大數據學習,根據各種相關數據組合下的實際業務呈現效果進行深度學習算法的持續自動優化和數據調度算法的改進。

(3) 此機制能實時、持續、準確地采集設備GPS、時間、車速、每條空口鏈路的指標、每個空口的端口狀態、帶寬利用率,并進行大數據的采集及到地面的傳輸能力。

(4) 此機制能實時、準確地探測出鏈路的丟包率、往返時延等鏈路質量數據信息,通過API反饋本地上層業務調度提供參考依據。

(5) 此機制能實時、自動地根據鏈路探測和預測的結果,對網絡的流量進行本地化的調度以保證整個系統能正常運行。

(6) 此機制可以實時根據探索的結果,根據算法自動調整鏈路質量測試模式,以適應不同的網絡變化狀況。

整個多質量鏈路探測框架如圖3所示,包括數據采集模塊、Active模塊、Passive模塊、數據智能調度模塊、業務關聯模塊、地面大數據計算模塊、車載大數據計算模塊、地面控制模塊。

圖3 基于大數據的多鏈路質量探測框架模型

3.3.1大數據采集模塊

大數據采集模塊本質是通過持續的、周期的數據采集,把影響鏈路性能的各種維度的數據進行采集,在本地進行數據計算的同時,也會在鏈路空閑階段同步到地面大數據計算模塊進行存儲和計算。

在數據采集過程中,所有相關數據會跟具體的車輛(設備ID)、線路進行關聯,獲得某列車在某個區間運行時的3G/4G鏈路傳輸質量熱力圖。地面的大數據模塊因為可以獲得全國所有列車的相關數據,通過集中的大數據計算,可以挖掘深度的信息關聯規律,從而進一步優化大數據的算法,并可以把優化的算法通過控制面分發到各列車上的車載大數據計算模塊。

在實際采集過程中,一定會存在常態規律值和短期異常值的識別,如果新獲取的值比之前獲取的累加平均值高30%,會認為是一個短期異常數據。

3.3.2主動鏈路探測模塊

主動鏈路探測本身需要報文的注入,會加劇鏈路的覆蓋,所以會間隔長周期進行調用,作為Passive模式的對比和補充。結合大數據采集模塊,對于每次的主動鏈路探測結果,與時間、地理位置關聯,其結果反饋給大數據計算模塊,作為數據導入,可以實現數據的預判。其工作流程見圖4。

圖4 Active模式子模塊工作流程

主動鏈路探測的算法比較簡單,主動鏈路探測進程會關聯一個計時器,當計時器歸零,探測模塊開始發送探測包,根據控制面導入的數據生成規則,每輪生成n個數據探測報文,通過CPU生成報文后,發向目的地,該序列為{N1,N2,…,Nn},每個報文會記錄發送時間戳;每接收到一個回應包Ri也會記錄時間軸。

首先可以比較簡單的獲取的丟包率指標:即

丟包率=((發包數量-收包數量)/發包數量)×100%

同時,根據每個報文的發包時間戳和收包時間戳,就會得到每個報文的RTTi數據,即得到鏈路雙向的時延,把周期內所有未丟數據包的時延計算平均值,就可以得出鏈路往返時延的均值,通過對比不同報文的RTT值,可以得到鏈路時延的抖動率。

3.3.3Passive鏈路探測模塊

Passive模式子模塊的實現比較復雜,首先該模塊保留了傳統“著色”法原理,通過在報頭中標記一些特殊比特,運用Match-Remark和Match-Measure的方式進行報文的統計、核算。但是標準的IP報頭中可利用空余位不足,所以本文設計在車地的IPsec安全隧道報頭中增加一定冗余的信息字段,即Remark序號、時間戳等信息。最后在隧道接收端對Remark的IPSec流量進行匹配和統計,通過算法可以獲取此時該無線通道的網絡質量。

另一種被動鏈路質量探測的實現是通過車載的業務端實現的,即通過解析真實的業務層面視頻流,基于視頻流總的I幀和P幀信息的統計和時間戳來判斷鏈路的質量。

3.3.4數據調度模塊

數據調度模塊最核心的目的是在9個不同的3G/4G鏈路之間進行數據流量的分配,保證高質量的鏈路可以發送更多的數據,低質量的鏈路不發送數據,規避丟包引起關鍵數據丟失。

數據調度模塊工作在L3層,把9條鏈路視為WECMP等價路由鏈路,根據大數據計算模塊、動態探測模塊輸入的實時信息,在不同鏈路之間進行數據的調度。具體調度時,根據鏈路質量的得分,會分配不同的權重,權重高會被分配轉發更多的數據,權重為0,則不會被分配流量。

同時根據大數據計算結果,也是考慮鏈路質量的穩定性,即對每條鏈路會設置一個懲罰值,在鏈路懲罰期內,即使預測鏈路質量會變好,也不會立刻調整WECMP的權重,防止剛增加分配流量,該鏈路的質量又快速變差,快速的質量翻動也會嚴重影響視頻播放的質量。

3.3.5業務關聯模塊

該模塊作為一個數據中間層,把鏈路質量探測框架最后的結果實時持續地發送到業務關聯模塊,由業務關聯模塊進行數據格式的統一和噪聲數據的去重,通過北向的API發送到應用層的各個業務進程。

4 高速環境下多4G聚合鏈路動態探測能力驗證

基于本文提供的MLQMP-BD探測方法,在高速移動環境下,采用多4G鏈路動態測量及聚合,實現高速、高質量、自適應的車地通信鏈路,用來支撐直播視頻流的播放體驗。經過實地的驗證,得到良好的測試效果。具體測試過程及結果如下:

實際測試的兩地距離大概1 000 km,高鐵試驗列車的行進速度從100～300 km/h,其中中心服務器配置9張SIM數據卡,每個運營商各3張。通過沿途實際的測試,9張數據卡通過帶寬的聚合,峰值可以達到68 Mbit/s,具體見圖5。

圖5 沿途性能測試結果

通過沿途真實播放直播視頻節目,分析直播播放效果,基于MLQMP-BD的車地鏈路探測很好地支撐了車地多鏈路的實時探測和動態切換。

在300 km/h速率下,同時播放2路8 Mbit/s碼流的高清視頻,可以實現下載速率20 Mbit/s,1.2倍于媒體碼率,畫面流暢無卡頓。不同碼流的直播節目下載速率對比可見圖6。

圖6 不同碼流的直播節目下載速率對比

測試結論:列車在300 km及以上的高速運行狀態下,基站大約12 s切換一次,基于MLQMP-BD的動態+多鏈路聚合的技術仍然能保25～30 Mbit/s的聚合速率,滿足多路高清視頻的正常播放。

5 結 語

為了保障高速移動環境中的信號傳播水平以確保高鐵乘客可以有效應用網絡,基于大數據的高速多鏈路動態感知機制方案的設計尤為重要。本文介紹了多鏈路動態感知機制的整體功能需求,決定了設計所需要解決的實際問題,緊接著介紹了各個模塊的設計,設計主要涉及大數據計算模塊、數據調度模塊、主動測量模塊、被動測量模塊等幾大主要的子模塊,模塊之間相互作用,整體之間相互關聯,缺一不可。