FSM S無線流媒體傳輸模型

袁健，江以玲

上海理工大學光電信息與計算機工程學院，上海 200093

FSM S無線流媒體傳輸模型

袁健，江以玲

上海理工大學光電信息與計算機工程學院，上海 200093

無線流媒體傳輸技術可以滿足用戶利用無線網絡實現在線視頻播放，但較惡劣的無線網絡環境使在線流媒體，特別對于需實況轉播的流媒體系統，視頻畫面可能出現延遲、抖動和失真等問題，這在很大程度上影響了用戶觀看視頻的直觀感受。為了降低無線流媒體傳輸技術對無線網絡環境的要求，提高無線視頻傳輸的QoS（Quality of Service，服務質量），在國外視頻分幀傳輸的思想上，提出一種FSMS（Frame Splitting Multichannel Streaming，分幀多信道傳輸）無線流媒體傳輸模型，并且基于該模型在Android移動平臺上設計并實現了一整套無線流媒體傳輸系統。系統測試表明，即使在大量幀丟失的較惡劣網絡環境下，運用此模型可以顯著提高無線流媒體視頻播放的流暢性。

無線流媒體；Android；視頻分幀；多信道；實況轉播

1 引言

隨著計算機存儲技術和寬帶網絡的高速發展，人們的生活，娛樂，學習等方式也發生了很大的改變，大量圖像，音樂和視頻等媒體數據開始不斷地涌現在互聯網上[1]。為了能夠更加有效地提供視頻媒體服務，出現了流媒體技術[2]。流媒體技術不同于傳統的網絡媒體下載模式，是利用緩存部分數據進行播放，使用戶可以邊下載邊觀看，已經成為網絡視頻傳輸的主流技術[3]。近年來，隨著智能手機的普及，人們希望能借助手機或其他PDA方便地實現高質量無線視頻的傳輸，完成如視頻通話、遠程教學、視頻文件播放等應用[4]。無線傳輸與有線傳輸相比，其傳輸質量更易受外界諸多因素的影響，因此直接將有線流媒體傳輸技術移植到無線網絡環境中效果并不理想。

無線網絡環境，特別是較惡劣的無線網絡環境無法保證流媒體在帶寬，時延，抖動和丟包等方面的需求[1]，再加上無線信道具有時變性，帶寬低，受周圍環境因素影響較大等劣勢，流媒體視頻的畫面質量可能會出現畫面延遲，抖動，播放不流暢等問題，這在很大程度上影響了用戶觀看視頻的直觀感受。特別對于需實況點播和轉播的流媒體傳輸系統，如現場新聞的實時聯播，體育比賽的實況轉播等，在客戶端發送視頻播放請求后，為了轉播時間不滯后，服務器一般不先對視頻進行預處理，而是邊處理邊傳輸。這類流媒體傳輸更加需要快速，流暢播放等特點。為了降低無線流媒體傳輸技術對無線網絡環境的要求，提高無線視頻傳輸的QoS（Quality of Service，服務質量），滿足更多用戶對無線視頻的需要，研究能適應較惡劣無線網絡環境下的流媒體傳輸技術具有重要意義。

提高無線視頻傳輸的QoS涉及到了視頻編解碼，無線通信，優化理論，網絡結構等許多該研究領域的核心技術[5]。目前國內外還未有一種一致公認的成熟的高質量的無線流媒體傳輸模型和對應的無線流媒體傳輸系統，本文基于2010年Hussein等人提出的視頻分幀傳輸思想[6]，提出了一種FSMS無線流媒體傳輸模型，并基于此模型在Android移動平臺上實現了一整套無線流媒體傳輸系統。通過實驗對視頻播放質量進行評估，驗證了即使在大量丟幀的較惡劣網絡環境下，此無線流媒體傳輸機制依然可以保證視頻畫面較流暢的播放，經測試表明系統性能也良好。

2 FSM S無線流媒體傳輸模型

2.1 視頻分幀傳輸思想

國內關于無線流媒體QoS的研究大多關注如何從網絡，傳輸協議等方面進行改善。比如自適應網絡帶寬，無線流媒體傳輸中TCP協議的使用，可伸縮編解碼技術等。而Hussein等人提出的視頻分幀傳輸的思想[6]則從視頻數據的處理出發提高傳輸質量，該思想可與前述的各方法疊加使用，同時從不同的角度共同提高無線流媒體傳輸的QoS。其基本思想如下：

在服務器端將要傳輸的視頻分為連續的視頻幀，然后將每一幀都基于像素分割的方法拆分為兩個子幀，標注為奇偶子幀，兩子幀的總像素值等于原視頻幀的像素值，子幀各通過一個無線信道進行傳輸；采用TIRS（Time Interleaving Robust Stream ing，時間交叉魯棒傳輸）算法來對奇偶子幀進行重新排序；在傳輸過程中，如果由于各種原因出現丟幀的情況，則對丟失的幀進行重構，以解決相鄰奇子幀或偶子幀的丟失問題，從而改善視頻畫質。這種方法基于很多數學理論，所以算法實現比較復雜，并增加了傳輸的冗余數據，實驗結果表明運用此算法，在傳輸過程中會間接增加傳輸的視頻幀數據，最大值可達9%的遞增[6]，所以運用此模型，雖然可以保證視頻的流暢播放，但是直接增加了無線信道的負荷，并不適合大范圍運用到無線流媒體實際應用中，實用價值不高。

本文基于該思想，加入了新的視頻編解碼以及發送延遲等技術，提出并設計一種FSMS無線流媒體傳輸模型，將原視頻幀拆分為4個子幀分別通過4個無線信道進行UDP傳輸，并在Android移動客戶端上進行實現并測試。

2.2 FSM S無線流媒體傳輸模型介紹

FSMS無線流媒體傳輸模型是采用視頻分幀多信道傳輸技術的無線流媒體傳輸模型，該模型如圖1所示，其傳輸原理和普通流媒體傳輸系統有很大的不同。

圖1 FSMS無線流媒體傳輸模型圖

FSMS傳輸模型的具體原理為：

在服務器端，當接收到來自客戶端的視頻播放請求后，首先把需要播放的視頻分成連續的視頻幀，再利用像素分割的方法將每個視頻幀拆分成4個子幀，每個子幀只擁有原幀1/4的像素，所以傳輸的子幀視頻總數據量與原視頻幀總數據量相同，未增加傳輸負荷。每個視頻子幀通過累積分幀之后形成了自己獨立的子幀流序列，再分別運用編碼技術壓縮傳輸視頻數據量。為了降低同一傳輸信道中相同視頻幀中子幀的丟失和損壞對畫質和播放流暢度的影響，每個子幀流序列分別延遲0，f，2f，3f（單位：s），經無線網絡傳輸至目的客戶端。

客戶端通過相對應的緩存延遲方法使4個子幀流序列按照原始幀序列進行排序。排序完畢后，CFS（Check Frame Sequence）機制將按照序號檢驗在傳輸過程中是否有丟幀的情況發生，若無丟幀則直接組合成播放視頻原幀，若有丟幀發生，丟幀重構算法將被用于對原始視頻子幀進行恢復和替代。恢復完成后，所有的子幀再重新組合為原始視頻幀并在移動客戶端播放。

視頻原幀的子幀分割數量可以為2的n次方，比如2，4，8，16等。如果選擇分割為兩個子幀，通過實驗可證明，信道帶寬利用率不高，丟幀重構后的視頻播放的流暢性提高效果不明顯（除非在傳輸過程中采用文獻[6]中的TIRS算法來傳輸幀數據）。若選取較大值，如8或16，雖然在子幀丟失的情況下，對保證原視頻的播放流暢性的效果較好，但是在傳輸過程中由于需要通過8或16個無線信道進行傳輸，對于采用多線程來實現信道開辟和調度的服務器和移動客戶端而言，線程越多，服務器和客戶端的負擔也就越大，配置要求也越高。綜合各種因素，模型選取將原幀分割為4個子幀，測試實驗也證明未采用TIRS算法的FSMS傳輸模型，由于采用了四信道延遲傳輸和無冗余數據傳輸，傳輸效率高，傳輸效果好。

CFS機制是用特定的算法來檢驗傳輸過程中的丟幀情況，丟幀重構算法則是丟失的幀重新構造。當4個子幀流序列中，有1個或者2個子幀流序列中有子幀丟失，那么用移位算法計算得到的相鄰子幀像素值來替代丟失子幀的像素值，并且將計算得到的值和原序列像素值一并進行重組；當有3個子幀流序列中有子幀丟失，那么直接復制存在的那個子幀像素值來代替丟失的3個像素值，再將它們一并重組。在這種情形下，視頻的質量會受到很大的影響，但是播放流暢度還是可以保證；如果4個子幀流序列中都有子幀丟失，那么丟幀重構算法將不起任何作用，丟失的子幀將不能被重新構造，視頻播放時可能會有失真發生。

3 FSM S模型的應用實現

基于FSMS模型的一個無線流媒體傳輸系統被設計和實現，該系統選用Eclipse和Android SDK搭建開發環境，客戶端選用了Android平臺，開發語言為Java。

該無線流媒體傳輸系統的關鍵技術包括：視頻分幀及幀分子幀，多信道傳輸，H.264編解碼，幀序列檢驗和丟幀重構等技術。該系統的總體技術流程如圖2所示。

3.1 視頻分幀和原幀分子幀

開源Xuggler類庫提供了利用Java解壓縮，修改和重新壓縮任何媒體或者流文件的功能。本系統選用Xuggler包來實現視頻分幀功能。引用該類庫中的相關方法可實現將原視頻流分割成連續的視頻幀。原幀分子幀指每一個視頻幀基于像素分割法被分成4個子幀，如圖3所示，首先將整個視頻原幀上的所有像素點先劃分為一個個4×4的像素矩陣，然后再將每一個像素矩陣分割為4個子像素矩陣，每個子像素矩陣相當于各取原矩陣1/4的像素點，其余為空（空則不被傳輸），再分別組成各自對應的子幀，按照這樣的劃分和分割方法，每一個子幀將都擁有原視頻幀1/4的像素值。系統利用BufferesImage和ImageIO包中的內置方法實現分幀。

圖2 無線流媒體傳輸系統技術流程示意圖

圖3 幀分子幀示意圖

3.2 多信道傳輸

多信道傳輸模塊是此系統中最重要的模塊，采用Java NIO中的Channel對象和多線程技術相結合的方式來實現，本系統選用UDP協議作為傳輸層協議。程序里Server類中的datagram channels（數據報通道）被設置成不阻塞且監聽注冊，當有來自客戶端的連接請求后，客戶端的socket地址將會首先被添加到線程池中。W riter類用來處理流媒體數據的多信道傳輸，線程池中的某個線程被喚醒后，通過識別客戶端socket地址，開辟新的通道channels來傳輸流媒體數據。4個子視頻幀序列通過4個無線信道進行傳輸，每個無線信道由一個線程操作，多線程使用的好處在于線程之間共用內存，相互間的切換速度快[7-8]，提高了執行效率，改善了移動客戶端CPU處理能力遠不及PC機的缺點。只需指定某個線程的睡眠時間即可實現各信道的傳輸延遲。

多信道傳輸的部分關鍵代碼如下：

3.3 H.264數據編解碼

為了減少系統傳輸數據量和保證視頻的清晰度和流暢性，系統采用H.264標準對傳輸數據進行編解碼。H.264是國際組織新制定的視頻編碼標準，具有高壓縮比，碼率低，圖像質量高，容錯性強，應用廣泛等諸多優點。

系統選用的Android平臺目前不支持使用H.264標準對數據進行編解碼（H264格式的視頻也只支持解碼，不支持編碼）[9]。為了實現H.264標準對各種不同格式的音視頻數據編解碼，系統使用了Java的JNI技術，由Android NDK對C++編寫的函數進行編譯生成庫文件后，Java工程項目程序即可調用完成數據的編解碼。

3.4 視頻幀序列檢驗和丟幀重構

在Android客戶端，當接收到來自服務器端傳輸來的子幀流序列后，同樣的數據報通道（datagram channel）被打開并開始接收相應的子幀流序列。

子幀流序列按照序號組合在一起后，如果CFS機制檢查出在傳輸過程中有丟幀的情況發生，則M pi類中的相應方法就會采用特定的算法對丟失的幀進行重新構造。最簡單的算法是采用取相鄰子幀像素平均值的方法來進行丟幀重構，但由于邏輯移位指令的執行時間遠遠小于乘除指令，因此系統用邏輯移位運算來實現以大大縮短指令運行時間。對丟失子幀相鄰幀的像素值（或RGB值）進行移位計算后，用結果值代替丟失子幀的像素值。丟失的子幀重構后，recreate（）方法讀取所有子幀的像素值，重新組合成視頻原幀播放。M pi類中關鍵代碼如下：

4 系統的功能和性能測試實驗分析

4.1 系統功能測試

程序在Eclipse編譯環境中編譯成功后，將其移植到安裝Android操作系統的智能手機中，利用W i-Fi無線網絡連接服務器，測試結果驗證了此無線流媒體系統在功能上滿足最基本的視頻傳輸需求，服務器端發送的視頻可以在Android客戶端流暢地播放。

4.2 系統性能測試

為了驗證運用FSMS模型的無線流媒體傳輸系統播放視頻的流暢度，本文對系統進行了3個不同的性能測試。

實驗1丟幀視頻的流暢度與畫質模擬測試

測試一段長約1 m in的簡短MP4格式的視頻，分辨率為標準176×144像素值，發送幀率為30 frame/s，幀總數為1 800 frame，無線網絡采用標準IEEE 802.11，無線信道帶寬約為240 kb/s。通過發送不同質量的視頻來模擬較惡劣的無線網絡環境，分別對四種不同的情況進行了視頻播放測試：原幀（不丟失）播放，原幀分別丟失1、2、3個子幀播放，效果如圖4所示（為便于查看效果，選用一簡單畫面，不采用手機截圖），圖4中（b）～（d）分別表示丟失1、2、3個子幀后接收到的視頻畫面效果（此情況是每一個視頻幀都丟失1，2，3個子幀）。

圖4 丟幀測試效果圖

從圖4可以看出，丟幀后視頻圖像與原圖像相比清晰度下降，但仍可分辨出圖像輪廓。經測試丟幀后的視頻依然可以流暢播放，只是對視頻的畫面質量產生影響，丟幀數量越多，則視頻質量越差。

實驗2 FSMS無線流媒體傳輸系統與普通流媒體傳輸系統的流暢度對比測試

為了測試在信號不強的無線網絡環境下，FSMS無線流媒體傳輸系統與普通流媒體傳輸系統的流暢性的不同表現，使用和實驗1相同的測試環境，測試視頻選取30段不同質量，相同制式（MP4格式，分辨率為標準176×144）的簡短視頻進行實驗并統計數據，每段視頻播放時間在3～5 m in之間，總共播放時間約為139 m in。在同一臺服務器上部署兩個傳輸系統，先使用手機自帶的普通流媒體播放器播放這些視頻，調整手機位置尋找視頻出現斷續播放的位置，記錄失真的次數并記錄。再使用同一手機在同一地點用采取FSMS模型的播放器播放同樣這些視頻并記錄，表1為測試的情況記錄。由表1數據可以明顯看出，FSMS系統在很大程度上減少了在無線網絡傳輸過程中，因嚴重丟幀造成視頻失真的發生次數。

表1 不同系統播放質量對比表

實驗3不同系統視頻流暢度客觀及主觀測試

客觀測試：本文在相同的無線信道狀態下（信道誤比特率為10-3），對實驗2所采用的30段簡短視頻中，隨即抽取5段視頻的各前300幀進行仿真實驗。無線網絡環境也和實驗1相同（帶寬240 kb/s，幀率30 frame/s）。同樣采用普通流媒體系統和FSMS系統分別傳輸這5段視頻幀序列來進行對比，對比值選用PSNR值（峰值信噪比），它是一種評價圖像的客觀標準，單位為dB，PSNR值越大，就代表失真越少[8]。表2列出了各視頻幀序列在相同信道狀況下兩種傳輸系統的對比實驗結果。

表2 兩種傳輸系統對不同幀序列在相同信道狀況下的對比測試結果

從表2實驗結果得出，與普通流媒體系統相比，FSMS模型系統能獲得平均2～3 dB左右的質量增益，表明在客戶端能獲得更高的視頻重建質量。

主觀測試：為了進一步驗證模型對于流媒體播放流暢度的改善性，本文還進行了一項主觀實驗來測試不同人員對視頻播放流暢度的感受。該實驗采用了一種通用且有效的測試方式——MOS（M ean Opinion Score，主觀意見得分）。MOS是國外廣泛使用的一種主觀評定方法之一[9]。

對于無線流媒體傳輸系統，MOS的1～5級具體評分標準如表3所示。

本次測試邀請了16位學生為無線流媒體系統進行MOS打分，然后進行統計。實驗環境如下：同實驗1，將事先處理過的丟幀視頻在校園無線WLAN網絡中的服務器分別運用普通流媒體系統和FSMS流媒體系統上播放，各位同學按照表2定義打分。MOS主觀感受評定結果如圖5所示。

表3 MOS質量評價等級表

圖5 MOS等級評分結果圖

從圖5可以看到，采用FSMS模型的流媒體傳輸技術明顯比普通流媒體技術獲得了更高的MOS等級評分值，范圍約在3.9～4.5之間，而普通流媒體技術在帶寬不高的WLAN網絡環境下明顯播放直觀感受較差，MOS值在1.6～2.9之間。這表明運用FSMS模型，即使在較為惡劣的無線網絡環境下，也可以顯著提高視頻流媒體播放的流暢性。

5 結束語

為了提高較惡劣無線環境下視頻播放的流暢性，本文提出了一種FSMS模型，并運用該模型結合現代智能手機新平臺和網絡通信的特點，設計并實現了一個基于Android平臺和多信道技術的無線流媒體傳輸系統。該系統可運行在較惡劣的無線網絡環境下，特別適合于實時編碼傳輸的實況轉播流媒體系統。系統測試表明此模型很大程度上改善了流媒體視頻播放的流暢度，但對于帶寬很低的（如帶寬20～40 kB）無線網絡環境中，視頻也會出現不流暢播放的現象。因此下一步的工作是結合國內提高無線流媒體QoS的新技術，如自適應帶寬，雙TCP傳輸等，研究在更惡劣網絡環境下，提高實時無線流媒體網絡傳輸的流暢度和質量。

[1]甘露.無線流媒體系統QOS保障體系的研究與實現[D].上海：復旦大學，2011.

[2]LaMonica F.Streaming media[J].Linux Journal，2001，81 （1）：12-16.

[3]趙韞志.基于移動終端的自適應流媒體的研究與實現[D].廣州：華南理工大學，2011.

[4]楊明極，畢晶.基于Android視頻客戶端的設計[J].電視技術，2012，36（3）：1-2.

[5]張運生.單信道無線視頻通信跨層性能優化[D].西安：西安電子科技大學，2011.

[6]Aziz H M，Fiedler M，Grahn H，et al.Streaming video as space-divided sub-frames over wireless networks[D].School of Computing，Blekinge Institute of Technology，2010.

[7]Busse I，Deffncr B，Schulzrinne H.Dynamic QOS control of multimedia applications based on RTP[J].Computer Communications，1996，19（1）：49-58.

[8]Naghshineh M，Willebeek-LeMair M.End to end QOS provisioning multimedia wireless/mobile networks using an adaptive framew ork[J].IEEE Communications M agazine，1997，35（11）：72-81.

[9]孫松源，吳建國.基于RTP和Android的視頻傳輸的研究實現方法[J].電腦知識與技術，2012，8（4）：2-3.

[10]Shirinbab S.Streaming video by using TIRS technique to Android mobile device over wireless networks[D]. Kristianstad University，2011.

YUAN Jian,JIANG Yiling

School of Optical-Electrical and Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China

Wireless streaming media transmission technology can meet the needs of online video playback over wireless network. But some problems of video picture quality such as delay, jitter and distortion may occur in the poor wireless network environment especially for lively broadcasted streaming media system, which influences the intuitive feeling of video watching to a large extent. In order to reduce the requirements of wireless streaming media transmission technology to wireless network and improve the QoS（Quality of Service）of wireless video transmission, this paper presents a FSMS model（Frame Splitting Multichannel Streaming）for wireless streaming media transmission which is based on the theories of video frame splitting transmission abroad. And a whole wireless streaming media transmission system based on this model is designed and implemented successfully on Android platform. System tests demonstrate that this model significantly improves the smoothness of the video played on mobile devices in the presence of great frame losses over unreliable wireless network.

wireless streaming media;Android;video frame splitting;multichannel;live broadcast

A

TP393

10.3778/j.issn.1002-8331.1208-0404

YUAN Jian,JIANG Yiling.FSMS wireless streaming media transmission model.Computer Engineering and Applications,2014,50（16）：113-117.

袁健（1971—），女，博士研究生，副教授，主要研究方向為網絡應用，Web數據挖掘，智能優化；江以玲（1988—），男，碩士研究生，主要研究方向為數據挖掘，信息檢索。E-mail：yuanjianwq@163.com

2012-08-31

2012-10-30

1002-8331（2014）16-0113-05