改進(jìn)BBR算法在衛(wèi)星網(wǎng)TCP加速網(wǎng)關(guān)中的應(yīng)用研究

王云飛 黃 勇 朱 珊 孟祥宇 高二東 王占偉 郝曉強(qiáng)

(航天恒星科技有限公司 北京 100095)

0 引 言

隨著通信技術(shù)的快速發(fā)展，4G網(wǎng)絡(luò)已普遍應(yīng)用，5G網(wǎng)絡(luò)也在加快建設(shè)。相比4G網(wǎng)絡(luò)，5G網(wǎng)絡(luò)有著高速度、低功耗和低時延的特點(diǎn)[1]。網(wǎng)絡(luò)速度提升，用戶體驗(yàn)與感受會有較大提高，對于5G基站峰值要求不低于20 Gbit/s，這樣一個速度，意味著用戶可以每秒鐘下載一部高清電影，也能支持VR視頻。但在大延時和高丟包的衛(wèi)星通信系統(tǒng)中，網(wǎng)絡(luò)傳輸速度很低[2]，用戶體驗(yàn)不好，在時延550 ms、時延抖動比較小的情況下，TCP連接不做加速時傳輸速率為空口帶寬(衛(wèi)星口最大傳輸能力)的30%～40%。例：10 Mbit/s的帶寬最大只能利用3 Mbit/s～4 Mbit/s，其余資源被浪費(fèi)。為解決上述問題，需要采用TCP加速方式，TCP加速一般采用透明代理的方式[3]。透明代理分別與TCP連接的兩端進(jìn)行交互，這樣兩端的數(shù)據(jù)包都被緩存在兩端的TCP加速器上，TCP加速器之間的數(shù)據(jù)發(fā)送由TCP加速器進(jìn)行控制。這樣就把端到端的TCP連接分割成幾部分，就可以根據(jù)這幾部分的丟包、延時情況進(jìn)行不同的優(yōu)化，從而提高TCP的傳輸性能。而TCP加速器核心的部分就是擁塞控制算法優(yōu)化，TCP擁塞控制算法主要分為以下幾種思路：1) 基于丟包的擁塞控制：將丟包視為擁塞，采取緩慢探測的方式，逐漸增大擁塞窗口，當(dāng)出現(xiàn)丟包時，擁塞窗口減小，如Reno、CUBIC[4]等。這類算法的缺點(diǎn)是把丟包作為擁塞信號，但是丟包不一定擁塞，比如無線/移動/中間節(jié)點(diǎn)緩存小的環(huán)境中，經(jīng)常性丟包，導(dǎo)致?lián)砣翱陬l繁減小，帶寬利用率很低。2) 基于時延的擁塞控制：將時延增加視為擁塞，時延增加時減小擁塞窗口，時延減小時增大擁塞窗口，如Vegas[5]等。這類擁塞算法的缺點(diǎn)是網(wǎng)絡(luò)中Vegas與其他算法共存時，基于丟包的擁塞算法會嘗試填滿網(wǎng)絡(luò)中的緩存區(qū)，導(dǎo)致Vegas計(jì)算的RTT比較大，進(jìn)而降低擁塞窗口，使得傳輸速度越來越慢，因此Vegas未能在Internet上普遍采用[6]。3) 基于鏈路容量的擁塞控制：實(shí)時測量網(wǎng)絡(luò)帶寬和時延，認(rèn)為網(wǎng)絡(luò)上數(shù)據(jù)包總量大于估算的鏈路帶寬和最小時延的乘積時才出現(xiàn)擁塞，如BBR[7]。由于BBR算法不將丟包視為擁塞，所以在丟包率較高的網(wǎng)絡(luò)中，BBR依然有極高的吞吐量。如圖1所示。在1%丟包率的網(wǎng)絡(luò)環(huán)境下，CUBIC的吞吐量已經(jīng)降低90%以上，而BBR的吞吐量幾乎沒有受到影響，當(dāng)丟包率大于5%時，BBR的吞吐量才出現(xiàn)明顯的下降，但是當(dāng)丟包率小于10-5時，BBR吞吐量不如CUBIC。

圖1 BBR與CUBIC在不同丟包率情況下吞吐量

衛(wèi)星鏈路比地面有線鏈路具有更高的丟包率，衛(wèi)星鏈路典型的丟包率大約為10-6數(shù)量級，如果受到雨衰、射線等自然條件的影響而造成突發(fā)錯誤，使得丟包率會增加到10-4數(shù)量級[8]。本文針對衛(wèi)星網(wǎng)絡(luò)丟包率小于10-5的場景，分析BBR速率降低的原因，研究改進(jìn)BBR在衛(wèi)星網(wǎng)TCP加速網(wǎng)關(guān)中的應(yīng)用。

1 問題分析

大傳播延時是衛(wèi)星網(wǎng)絡(luò)傳輸?shù)奶攸c(diǎn)之一，地球靜止軌道衛(wèi)星的RTT為550 ms左右，鏈路較差是在600 ms～800 ms之間波動。圖2為所測試的衛(wèi)星網(wǎng)絡(luò)帶加速網(wǎng)關(guān)示意圖。

圖2 衛(wèi)星網(wǎng)絡(luò)帶加速網(wǎng)關(guān)示意圖

加速網(wǎng)關(guān)在小站和中心站部署，提供雙邊加速功能，通過在加速網(wǎng)關(guān)代理TCP連接，并且配置較大的發(fā)送緩存和接收緩存，既能實(shí)現(xiàn)前向加速，又能實(shí)現(xiàn)回傳加速。

在加速網(wǎng)關(guān)中引入BBR之后，當(dāng)衛(wèi)星鏈路丟包率小于10-5時，發(fā)現(xiàn)BBR吞吐量不如CUBIC，甚至還存在很大差距。圖3是小站回傳帶寬500 kbit/s、衛(wèi)星鏈路丟包率小于10-5的情況下，測試回傳不同大小的文件，BBR與CUBIC的平均速率對比。

圖3 BBR與CUBIC的平均速率對比

可以看出，隨著文件的增大，平均速率都在逐漸增加，但隨著文件的繼續(xù)增大，平均速率不再增加，而是趨于固定值。BBR最大平均速率在350 kbit/s左右，只有滿帶寬的70%，而CUBIC最大平均速率在480 kbit/s左右，已達(dá)到滿帶寬的96%。

BBR是基于接收端反饋ACK和發(fā)送端調(diào)節(jié)速率的擁塞算法。發(fā)送端每收到一個ACK，都會計(jì)算即時帶寬BW和RTT，然后反饋給BBR的狀態(tài)機(jī)，在不同狀態(tài)不斷地調(diào)節(jié)增益系數(shù)，最后計(jì)算出擁塞窗口CWND和即時速率Pacing Rate，即時速率規(guī)定擁塞窗口內(nèi)的數(shù)據(jù)包之間，以多大的時間間隔發(fā)送出去。BBR的狀態(tài)機(jī)如圖4所示。具體解釋如下：

圖4 BBR的狀態(tài)轉(zhuǎn)換圖

狀態(tài)機(jī)分為4種狀態(tài)：Startup、Drain、Probe_BW、Probe_RTT。Startup類似于傳統(tǒng)擁塞算法的慢啟動，CWND和Pacing Rate的增益系數(shù)都是2ln2，每次收到ACK都以這個系數(shù)增大發(fā)包速率，連續(xù)三次測的最大帶寬增長在25%以內(nèi)，就算帶寬滿了，然后進(jìn)入Drain狀態(tài)。進(jìn)入Drain狀態(tài)后，CWND的增益系數(shù)不變，Pacing Rate的增益系數(shù)小于1，目的是把Startup產(chǎn)生多余的數(shù)據(jù)包排空，檢查Inflight如果小于BDP，說明多余的數(shù)據(jù)包已排出，進(jìn)入到Probe_BW狀態(tài)，否則還在Drain狀態(tài)。Probe_BW是穩(wěn)定狀態(tài)，這時已經(jīng)測出來一個最大瓶頸帶寬，而且盡量不產(chǎn)生排隊(duì)現(xiàn)象，在Probe_BW狀態(tài)Pacing Rate按照[5/4,3/4,1,1,1,1,1,1]增益系數(shù)進(jìn)行輪詢發(fā)送。Probe_RTT是探測最小RTT狀態(tài)，超過10 s沒有探測到最小RTT，就會進(jìn)入到Probe_RTT狀態(tài)，CWND降到4個MSS，至少等200 ms才會退出這個狀態(tài)。此時，如果帶寬不滿，進(jìn)入到Startup狀態(tài)，否則，進(jìn)入到Probe_BW狀態(tài)。前面三種狀態(tài)，都會進(jìn)入到Probe_RTT狀態(tài)，把CWND降到4個MSS，這樣會使發(fā)送速率突然下降。尤其是在衛(wèi)星鏈路延遲抖動大的情況下，每隔固定時間，速率都會降很多，導(dǎo)致占不滿帶寬[9]。TCP加速追求的是盡量占滿帶寬，又不導(dǎo)致鏈路擁塞，這顯然需要在原來的基礎(chǔ)上進(jìn)行改進(jìn)。

2 設(shè)計(jì)思想及方法

考慮到Probe_RTT狀態(tài)帶來的速率損失，設(shè)計(jì)了把Probe_RTT狀態(tài)去掉，這樣能保持滿帶寬發(fā)送；為了保持速率的穩(wěn)定，設(shè)計(jì)了把建立連接的RTT作為最小RTT；為了保持多連接的公平性，在加速網(wǎng)關(guān)中設(shè)計(jì)了公平隊(duì)列調(diào)度機(jī)制。具體設(shè)計(jì)思想如下：

(1) BBR的不足就是Probe_RTT狀態(tài)下會減小窗口，容易出現(xiàn)速率急速下滑。根據(jù)對BBR狀態(tài)機(jī)的分析，TCP連接在探測到最大帶寬后，進(jìn)行排空，然后進(jìn)入到穩(wěn)定狀態(tài)，這時候RTT比較穩(wěn)定，估算的帶寬就是鏈路最大帶寬，以此計(jì)算的速率進(jìn)行發(fā)送，就能達(dá)到最大吞吐量，而不用每隔10 s檢測不到最小RTT，就進(jìn)入到Probe_RTT狀態(tài)，這樣避免進(jìn)入到Probe_RTT狀態(tài)造成的帶寬浪費(fèi)。

(2) 考慮到衛(wèi)星鏈路RTT抖動大的問題，以每次建立連接的RTT作為最小RTT，這樣避免了傳輸過程中RTT抖動大造成的速率劇烈波動。

(3) 考慮到把Probe_RTT狀態(tài)去掉后，造成的多連接不公平性，在TCP加速網(wǎng)關(guān)中設(shè)計(jì)了公平隊(duì)列調(diào)度機(jī)制，如圖5所示。TCP根據(jù)ACK反饋以及其他信息計(jì)算出Pacing Rate，并反饋到公平隊(duì)列調(diào)度器，調(diào)度器根據(jù)Pacing Rate計(jì)算出每個包發(fā)送的時間間隔，然后加入到TCP的發(fā)送隊(duì)列中。這樣做能保證每個連接的RTT相對公平，進(jìn)而速率也相對均衡。

圖5 公平隊(duì)列調(diào)度機(jī)制示意圖

3 實(shí)驗(yàn)分析

實(shí)驗(yàn)測試環(huán)境如圖6所示。所用的衛(wèi)星為地球同步軌道衛(wèi)星，運(yùn)行在離地比較高的軌道上，衛(wèi)星鏈路往返延時RTT在600 ms以上，丟包率小于10-5，配置小站回傳帶寬為500 kbit/s，小站和中心站各部署有加速網(wǎng)關(guān)。PC1首先通過低延遲地面網(wǎng)絡(luò)連接小站，小站通過高延遲的衛(wèi)星網(wǎng)絡(luò)連接中心站，中心站通過低延遲的地面網(wǎng)絡(luò)連接PC2，這樣，PC1通過衛(wèi)星網(wǎng)絡(luò)就能訪問到PC2。測試PC1給PC2發(fā)回傳TCP業(yè)務(wù)，在加速網(wǎng)關(guān)中對比測試改進(jìn)BBR和BBR的性能，測試改進(jìn)BBR多連接的公平性。

圖6 衛(wèi)星網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖

測試PC1向PC2上傳不同大小的文件，改進(jìn)BBR和BBR平均速率對比如圖7所示。

圖7 改進(jìn)BBR與BBR的平均速率對比

隨著文件不斷增大，平均速率也逐漸增加，當(dāng)文件超過150 MB時，改進(jìn)BBR平均速率達(dá)到480 kbit/s，接近回傳帶寬500 kbit/s，而BBR平均速率只有340 kbit/s。

測試PC1向PC2上傳不同大小的文件，改進(jìn)BBR和BBR傳輸時間對比如圖8所示。

圖8 改進(jìn)BBR與BBR的傳輸時間對比

隨著文件不斷增大，傳輸時間差距越來越大，在下載200 MB文件時，改進(jìn)BBR比BBR用時縮短了171 s，這是因?yàn)楦倪M(jìn)BBR避免了探測最小RTT的開銷，文件越大，探測最小RTT所占的時間越長，改進(jìn)BBR的用時越短，加速效果越明顯。

測試PC1向PC2上傳文件，并有4個并發(fā)連接，改進(jìn)BBR速率隨時間變化如圖9所示。開始的時候，只有連接1上傳，進(jìn)行慢啟動，直到占滿帶寬，速率穩(wěn)定下來；然后連接2開始上傳，導(dǎo)致連接1的RTT突然變大，瞬時速率減小，給連接2讓出來帶寬，連接2的速率漲了上去，連接1的RTT逐漸減小，連接2的RTT逐漸增加，連接1和連接2的RTT維持一個相對均衡的值，2個連接平分帶寬；穩(wěn)定一段時間后，連接3開始上傳，3個連接平分帶寬；穩(wěn)定一段時間后，連接4開始上傳，4個連接平分帶寬，持續(xù)不斷地傳輸。

圖9 改進(jìn)BBR的 4個連接速率變化

4 結(jié) 語

通過在衛(wèi)星鏈路較低丟包率情況下，改進(jìn)BBR和BBR傳輸速率的對比，說明改進(jìn)BBR的傳輸速率有明顯的提高，而且不影響多連接的公平性，比較適合衛(wèi)星鏈路的傳輸。下一步重點(diǎn)研究地面無線網(wǎng)絡(luò)環(huán)境下改進(jìn)BBR的適用性以及更為高效的TCP加速方法。