國際互聯網視頻回傳加速技術在新華社的應用

■文/牛帆

國際互聯網視頻回傳加速技術在新華社的應用

■文/牛帆

隨著數字化時代的到來，新華社每天在全球記者站有大量視頻資料回傳，而國際互聯網受限于基礎環境和各種技術問題無法保證視頻文件穩定高效地傳輸，因此需要設計一套系統來解決此問題。本文分析了市場上成熟的傳輸加速技術，并做了測試驗證。結合測試結果設計了一套傳輸系統，對于有類似需求的項目有借鑒意義。

國際互聯網；傳輸加速；TCP；UDP；離線傳輸；節點轉發

隨著互聯網時代的到來，信息量呈爆炸式增長。人們已經不滿足于僅僅獲得文字和圖片形式的資訊，視頻的需求量越來越大。而視頻拍攝設備也不再局限于專業攝像機，各種移動終端均可以作為突發新聞的采集端，記者可以隨時隨地發送視頻資料。視頻越來越多，文件越來越大，但是國際互聯網聯通性受限于各種問題并無法保證海量視頻文件的快速穩定傳輸，本文旨在尋找此問題的解決方案。

1.新華社國際互聯網視頻回傳的現狀

新華社作為國家通訊社，是中國最大的新聞信息采集和發布中心。新華社記者遍布全球，目前主要利用互聯網、專線向國內傳輸視頻文件。專線網絡狀況雖好，但成本高，架設難度大，無法在全球記者站點部署，遇到突發事件也難以使用，所以絕大多數記者還是通過互聯網的方式傳輸視頻文件。而目前的互聯網環境存在以下幾個問題：

1.1基礎網絡環境復雜，差異很大

通過第三方工具模擬測試世界各地傳輸視頻回北京的速率圖（使用FTP協議，不做任何加速）。

1.2個別地區國家禁止部分網絡協議

根據以往的傳輸經驗發現個別地區國家會禁止部分網絡協議，例如：緬甸不支持FTP協議。

1.3采集終端的復雜性

新華社記者遍布全球200多個記者站點，有中國員工還有各國雇員。他們除了在記者站點發稿，也經常奔赴重大、突發事件前方報道。手持設備各異，習慣的應用軟件也五花八門：有使用電腦、也有移動終端的；有使用wifi，也有3/4G網絡的；有使用專用傳輸軟件，也有通過QQ或者微信傳輸的；更遑論各種各樣的軟件、操作系統版本之分。

面對如此復雜的環境，需要找到一個穩定而高效的傳輸方案才能解決新華社記者即時發稿的問題。

2.互聯網視頻回傳加速技術分析

眾所周知互聯網傳輸協議有TCP （FTP、HTTP）、UDP，本文不再做詳盡分析。基于此類傳統的協議，目前已有相對應成熟的傳輸加速技術產生，并且在這些加速技術的基礎上還衍生出基于公有云資源的離線傳輸技術。

另外考慮部分地區互聯網狀況優質，還可以自行搭建節點轉發傳輸，以“另辟蹊徑”的方式實現視頻文件的快速傳輸。下面就這四類方式做詳細介紹：

2.1基于TCP的傳輸加速技術

諸多CDN公司在傳統的TCP （HTTP、FTP）傳輸技術上做了類似優化工作：

◎增加加速節點

在傳輸加速需求量比較大的國家布設數據加速節點。

◎路由探測

通過探測互聯網線路，實時掌握網絡狀況，幫助用戶選擇最快的網絡訪問線路，提高訪問速度和體驗。

◎傳輸協議優化

通過對傳輸協議的優化，解決傳統協議在數據傳輸上存在的缺陷，提高傳輸效率，并且對用戶終端無任何感知和影響。

◎鏈路優化技術

通過鏈路并行的方式提高數據傳輸速度和效率，增加穩定性，增強抗抖動能力。

◎字節優化

通過對傳輸字節流的簡化，在用戶無感知，內容無損耗的情況下，大幅提升訪問速度，提升用戶體驗。

2.2基于UDP的fasp傳輸加速技術［1］

傳統的TCP協議存在一些僅僅通過優化也不能解決的局限性。當部署在低延遲和低數據包丟失的網絡上時，它可提供可靠的數據傳遞，但是，隨著數據包丟失和延遲的增加（通常出現在遠距離WAN上），它很快就變得非常緩慢且不可靠。增加更多帶寬無法改變有效的吞吐量。文件傳輸速度無法提高，昂貴的帶寬未得到充分利用。

吞吐量瓶頸的根源在于TCP流速率控制機制，在該機制中，發送方需要確認每一個發送至接收方的數據包。如果某一接收確認因高網絡延遲或數據包丟失而未準時返回，發送方即認為相比接收方的處理能力其發送速率過快，因而大幅降低速率并緩慢恢復。結果，傳輸速率減慢到像是在爬行，而現代化的高帶寬WAN通道卻沒有得到充分利用。

與TCP形成鮮明對比的是，fasp的吞吐量不受洲際WAN和衛星、Wi-Fi 或蜂窩連接上出現的網絡延遲和極端數據包丟失的影響。因而，其傳輸時間比標準 FTP 快數百倍且可預測性強，不受網絡條件影響。

fasp 之所以能實現這一性能，是因為它摒棄了TCP對速度控制和可靠性的捆綁，采用獨特的專利方法使傳輸速度達到最大，且不影響對擁塞的回避，實現了理想高效和對帶寬的充分利用。不受網絡條件影響。最大傳輸速率僅受端點電腦資源的限制（通常為磁盤吞吐量）。

盡管 fasp 可填充任何可用帶寬，但它也包含一個智能自適應傳輸速率控制機制，該機制可調節速率，精確控制與標準 TCP 流量間的公平性，可自動蔓延，充分利用未使用的帶寬。這確保了關鍵業務 TCP 流量可正常工作，如電子郵件、網絡和業務應用，同時也允許 fasp 利用未使用的帶寬。

2.3離線傳輸

除了上述加速方式在傳輸協議上做文章，還有一些基于公有云資源的離線傳輸技術也可以使用。發起方先將文件傳輸到就近的云節點，文件在云內的高速流轉交由云廠商自己解決，接收方就近提取文件即可。提供此類技術的公司主要工作就是如何提高數據文件在云內的流轉速度。

2.4節點轉發加速

根據以往傳輸經驗，考慮到各國防火墻等安全設備的限制，有時候從A節點傳輸文件到C節點不如從A節點經過B節點再傳輸到C節點。特別是如果中轉線路是專線效果會更好，這樣可以利用少量專線實現更大范圍的快速傳輸。

3.技術方案驗證

3.1技術方案設計

針對上述各類傳輸技術，設計如下場景進行驗證。驗證系統搭建在新華社云平臺上，測試用的服務器為虛擬機，在同一局域網中，所有服務器共享新華社互聯網接入。

其中TCP加速方式選擇了五家產品進行驗證；UDP加速方式選擇了三家產品進行驗證；節點轉發則在位于美國的虛擬機上部署轉發應用進行驗證，這里選擇了三家不同平臺的虛擬機，以驗證平臺的影響；離線傳輸選取兩家產品進行驗證。

圖1　互聯網傳輸測試示意圖

3.2驗證方法與結果

本次驗證使用了自動工具測試和人工測試兩種方式，互為補充。

3.2.1自動工具測試

優點：自動工具通過在海外的眾多注冊會員，可以真實PC發起視頻傳輸。本次測試點分布五大洲，共27個城市。測試過程穩定可靠，報表數據詳盡。

缺點：目前只能針對TCP加速方式（HTTP、FTP）做測試。

結果如下圖所示：

圖2　各產品HTTP傳輸速率測試結果

各產品的HTTP傳輸速率：

圖中綠色是不做任何加速的原始效果，其他五種顏色表示五家產品，雖然加速效果各異。但可以看出加速效果好的能比源站提高3-4倍（詳細數據顯示，如果能在需要的傳輸點部署加速節點效果更佳）。

各產品的FTP傳輸速率：

圖3　各產品FTP傳輸速率測試結果

FTP加速效果與HTTP相仿，最佳效果能平均提高4倍左右。由于五家CDN廠商中只有兩家能做FTP加速，所以此處加上綠色未加速結果后只有三條曲線。

3.2.2人工測試——美國、肯尼亞

優點：各種傳輸模式都能測試到。這里通過人工方式驗證UDP加速、離線傳輸和節點轉發加速。

缺點：人工的隨機性相對難以控制。測試點少，可測試的數據相對較少。

因為人工測試環境的不穩定性，在選擇測試點的時候充分考慮網絡和地區因素，選擇具有代表性的地點。本次測試選擇了美國和肯尼亞。

測試安排2輪，每輪測試周期一天，一天選擇9：00和16：00兩個時間點，由于時差的原因，測試的時間點安排為當地時間。

前方測試人員在海外發送視頻文件，每次測試時，需要連續傳輸5次文件，求平均來避免偶然網絡波動。

表1　各產品UDP傳輸速率測試結果

由上表可見非洲地區網絡連通性較差，美國較好。但通過UDP加速方式均能提高2-3倍。其加速上限受限于用戶端帶寬。

表2　各產品節點轉發傳輸速率測試結果

由上表可見通過節點轉發部署在不同公有云平臺上效果各異，但總體來說都有提高，最高能到4-5倍。因為只是做方案驗證，本次測試的中轉線路線路仍然使用的是互聯網，如果能夠使用專線效果理應更佳。

表3　各產品離線傳輸速率測試結果

由上表可見離線傳輸加速效果不明顯，使用A工具甚至有所下降。經分析與離線傳輸的云平臺自身內部流轉效率有關，所以本文認為，離線傳輸只能作為線路的備份，暫無法作為加速工具使用。

綜合以上測試結果，得出以下結論：

◎其一，使用TCP加速的方式全球五大洲測試平均能提高4倍左右。若在臨近區域有數據節點甚至可以取得10倍以上的提高效果。

◎其二，UDP傳輸由于其協議特點可以提高帶寬占用率，在網絡連通性好的地方（比如美國），效果更佳。在網絡連通性較差的地方（比如非洲），UDP提升空間有限，節點轉發效果更好。

◎其三，離線傳輸可以作為備份手段，加速效果并不明顯。◎其四，互聯網環境千變萬化，實測多次不同時間，不同地區均有不小波動，也出現過瞬斷現象。為保證傳輸建議多種方式并用。

4.互聯網視頻回傳加速系統設計思路

基于上述驗證分析，在不考慮成本的基礎上，最好建立一個完備的技術系統集合上述方案，并且能夠自動探測效果最好的線路。這樣才能保證視頻文件穩定而高效的回傳。

圖4　互聯網傳輸系統設計圖

因此設計了自動化控制的方式選擇最優線路。

為了減少系統開銷，本方案在傳輸初始會查詢以前的傳輸記錄，如果曾經高效傳輸過則默認使用之前的通路。如果沒有傳輸過則發送測試包檢測網絡延遲和丟包率再做判斷。

記者如果定點辦公建議使用本方案，如果經常移動辦公，方案可簡化為傳輸前必須探測線路。

通過此方案可以高效使用到各種傳輸加速技術，并保證鏈路的穩定可靠。

5.結論

本文從新華社在國際互聯網條件下傳輸視頻遇到的困難入手，分析了目前市場上比較成熟的傳輸加速技術，并且分別做了實際測試驗證，最后提出穩定高效傳輸系統設計思路，對于有類似需求的項目有推廣和借鑒意義。

［1］IBM-Aspera，http∶//asperasoft.com/ zh/site/technology/fasp-transporttechnology/

［2］網宿 -Appa，http∶//www. chinanetcenter.com/products/cdn/ appa/

［3］博睿-傳輸，http∶//www.bonree. com/439/2015-11-24/1684.htm

（作者單位：新華通訊社通信技術局）

TN919.85

A