優先隊列在實時混合數據傳輸中的應用

李金龍，練益群

1.浙江大學 計算機科學與技術學院，杭州 310027 2.浙江傳媒學院 電子信息學院，杭州 310018

優先隊列在實時混合數據傳輸中的應用

李金龍1，2，練益群2

1.浙江大學 計算機科學與技術學院，杭州 310027 2.浙江傳媒學院 電子信息學院，杭州 310018

1 引言

隨著自動化應用水平的提高，發射機監控系統在廣電部門得到越來越廣泛的應用。監控系統的應用普及化使得用戶對系統功能的需求越來越高，除了要求系統具有基本的設備監控功能外，還需要系統具有自動化、智能化、多接口等更高的需求。這導致數據傳輸方式從單一的基于C/S或B/S文本字符數據傳輸發展到面向固定終端、移動設備等的分布式并發多媒體數據傳輸。

當文本、音頻、視頻數據使用同一數據傳輸通道進行傳輸時，文本字符或二進制數據一般采用基于UDP分包重組數據傳輸方法，以提高數據傳輸效率；而視音頻數據的傳輸可以通過基于UDP的流媒體技術[1]，以提高實時流的播放效果。在文本、視音頻等數據并發傳輸時，為了提高帶寬利用率和保障實時數據的流暢性[2-3]，一般需要根據數據的類別建立傳輸優先隊列和實時調整傳輸碼流，以優化數據傳輸效果。本文根據發射機監控系統對數據傳輸的要求，提出了一種混合數據傳輸優化方法，以更好地實時利用帶寬，從而提高文本、視音頻等多媒體數據并發傳輸性能。

2 發射機監控系統數據傳輸過程

2.1 發射機監控系統數據傳輸網絡結構

發射機一般位于城區以內或周邊位置較高地點，以增大信號發送覆蓋范圍。典型的發射機監控系統數據傳輸網絡結構如圖1所示。

圖1 發射機監控系統網絡結構圖

從圖1網絡結構來看，發射機監控系統主要由發射機、下位機、監控端、數據庫服務器及傳輸網絡等幾部分組成。監控端與監控存儲中心之間一般使用有線或無線高速網。監控端與監控存儲中心和下位機的通信一般采用遠程無線數據網。

監控存儲中心的主要任務是存儲采樣信息和向其他監控端發送采樣數據報警、短信報警、數據傳輸鏈路故障報警等。

監控端所有監測信息來自于監控存儲中心，控制指令直接發送給下位機。監控端的主要任務是進行報警處理和采樣數據分析。例如：通過聲光報警提醒相關人員或設置短信方式通知指定人員等。

2.2 下位機工作原理

下位機可以基于FPGA或嵌入式OS開發，其主要功能是進行數據采集、處理和發送。下位機內部結構如圖2所示。

圖2 下位機內部結構圖

圖2采用基于ARM9的S3c2440芯片進行應用開發，優點是可以實現復雜的數據處理功能。對于調幅發射機一般通過RS-485總線采集模擬量、狀態量或進行控制，對于調頻發射機一般采用RS-232采樣RVR參量或進行控制。LCD主要用于顯示當前系統工作信息；另一個作用是輔助鍵盤完成系統初始化設置（也可以通過監控端完成）。系統初始化信息存儲在Flash卡中，主要包括：監控存儲中心地址、采樣周期、各參量報警和錯誤閾值、報警或錯誤重復采樣次數等。

系統任務主要通過維護文本數據采樣、視頻采樣、音頻采樣、控制指令四個隊列完成的。采樣隊列中的任務通過采樣周期產生，用于處理模擬量、狀態量、RVR參量、溫濕度等的采集任務；視頻和音頻隊列分別用于視音頻的采集任務，主要由攝像機和音頻采集器設備完成；紅外探頭探測到紅外入侵信號時，系統會向控制指令隊列插入任務，用于將入侵信號優先傳輸到監控存儲中心，并由監控存儲中心向監控端報警。

數據存儲采用集中式被動管理，即監控存儲中心采用被動接收方式獲取采樣數據。同時，控制指令采用主動發送方式。下位機所有傳輸數據通過無線3G通道或有線數據網傳輸給監控存儲中心即數據采集端。

3 文本、視音頻數據并發傳輸方法

監控系統運行過程中，為了保障系統的整體工作性能，在混合數據（這里主要指參量采集信息It、視頻信息Iv、音頻信息Is、控制指令Ic。下位機獨立進行故障判斷，因此當參量采集信息報警或異常時，通過Ic隊列來遠程報警或設備出錯提示）使用同一數據通道進行數據傳輸過程時，控制指令信息Ic對實時性要求最高（交互操作和系統檢測響應時間最小），其次是音頻Is、視頻信息Iv，最低的是參量采集信息It。由此可定義這四類數據的優先級為：Ic?Is?Iv?It。

對于上述四類數據的傳輸，Ic和It需要傳輸的數據量是恒定的，而Is和Iv需要傳輸的數據量是可調節的，原因是接收方（監控點）對視音頻的質量要求不高，一般是根據接收到的畫面和音頻能夠判斷設備是否工作正常即可。因此，監控系統在傳輸視音頻信息時，可通過對當前數據通道可傳輸帶寬[4-6]的動態預估來實時調節視音頻傳輸碼流（這里傳輸帶寬有雙重含義，即硬件通道支持的帶寬以及當前允許視音頻傳輸的帶寬（分時隙）），即當前預估的傳輸帶寬較大時按權重（對于廣播發射機的監控，一般取W音頻＞W視頻，實驗中W音頻取0.6,W視頻取0.4）提高視音頻采集碼流，反之按比例降低視音頻采集碼流。

3.1 不同優先級隊列的傳輸任務

傳輸子系統在運行過程中主要維護四個傳輸隊列，分別負責Ic，Is，Iv，It的傳輸。

如圖3所示，Ic隊列的傳輸任務來自于采樣數據報警或出錯、溫濕度報警、紅外入侵等，該隊列緩沖當前最高優先級需要傳輸的數據。Is，Iv隊列的傳輸任務分別來自于攝像頭和音頻采集器，用于傳輸現場視頻和音頻監聽數據（視頻信息主要是現場的設備面板信息，音頻信息主要是監聽發射機設備總體工作效果（發射機信號具有覆蓋范圍的限制），參量信息可具體分析發射機設備的工作狀況）。It隊列任務主要有兩種：一種是通過設定的采樣周期所產生的采樣數據發送信息，另一種是網絡通信鏈路斷開時的緩存采樣數據。

圖3 傳輸隊列數據來源

對于It隊列，緩存采樣數據的存儲與存儲卡容量相關。當要存儲的數據超出緩存容量時，覆蓋采用優先權策略，即高優先權數據的存儲可以覆蓋低優先權數據，反之不行。優先權從高到低分別是：當前表明發射機參量錯誤的采樣數據、歷史未發送的表明發射機參量錯誤的采樣數據、當前采樣數據、歷史未發送的采樣數據。傳輸鏈路恢復時，優先傳輸即時數據。

3.2 時隙內傳輸延遲分析

設在一個時隙T內，分配給參量采集信息、視頻、音頻和控制指令的傳輸時間分別為tt，tv，ts，tc，相應的最大延遲要求分別為Ft，fv，fs，Fc（這里Ft，Fc是恒定的，即指定數據量需要傳輸的時間是一定的，而 fv，fs根據當前可用帶寬動態調節）。參量采集信息和控制指令的傳輸時間一般來說是常量，視音頻的傳輸時間和碼流線性相關。于是帶寬利用率模型可表示為：

式（1）中，設信道帶寬為V，則在這個時隙內，音頻的傳輸速率可表示為vs=V×ts/T。

于是，令Tbuffer為音頻緩沖時間，則音頻傳輸延遲有：

根據當前混合數據傳輸量不同設定視音頻的不同傳輸碼流，從而在充分利用帶寬的前提下，達到最佳的視音頻傳輸效果[7]。設視頻碼流具有Cv1，Cv2，…，Cvm，音頻碼流具有Cs1，Cs2，…，Csn，則式（1），（2）可轉化為：

其中，i=1，2，…，m;j=1，2，…，n。

在Ft，Fc恒定的情況下，很容易預估出一個時隙內的可用帶寬。式（3）表明，當前傳輸的視音頻碼流與實際可用帶寬相近時，只需根據權重計算視音頻分組，滿足式（2）的最大傳輸延遲，就可以最大化利用帶寬。由于不同時隙內帶寬是動態變化的，因此需要根據當前和歷史時隙對下一個時隙視音頻可用帶寬進行預估，從而根據視音頻權重選擇當前時隙合適的采樣碼流。

3.3 各隊列發送數據預估

混合數據傳輸過程中，由于丟包率[8]和一個時隙內的高優先級數據隊列傳輸變化等因素（發射機工作環境場強較高，使用無線傳輸需要考慮網絡丟包率的影響。報警信息量瞬時增大、瞬時控制信息增多會影響時隙T內低優先隊列數據的發送）的影響，可以通過歷史各隊列發送數據量對下一個時隙帶寬進行預估，然后根據權重計算出當前最優的視音頻采樣碼流，用于下一個時隙進行傳輸，從而優化帶寬利用率。

本文使用圖4流程對Ic隊列和It在一個時隙內的數據進行預估，進而選擇當前時隙合適的視音頻采集碼流。

圖4 一個時隙內各隊列發送數據量預估流程圖

Ic隊列優先級最高，一個時隙內 Ic隊列數據量增加時，會搶占其他隊列的傳輸用時。由于Is，Iv優先級較Ic低且具有實時性，傳輸子系統將流程忽略Ic隊列數據量增加對Is，Iv發送數據的影響，即如果一個時隙內Is，Iv隊列內數據沒有發送完將直接丟棄。It隊列數據可以非實時傳輸，因此受網絡丟包率和Ic隊列數據量變化當前時隙未發送完的數據將轉移到下一個時隙繼續發送。

由式（4）可知，求解的關鍵是權重學習，目前主要有基于神經網絡的學習方法或基于統計模型的學習方法。由于統計的方法具有收斂速度快、無需設置步長和易實現的特點，本文采用統計學習方法。

在歷史時隙中，本文方法將上一個時隙設置為較大的權重1/n＜WL＜1，其余權重取均值，即(1-WL)/(n-1)。設0.5＜Ws＜1為It隊列完成任務對預估的影響權重，顯然預估發送未完成任務的權重為1-Ws。Pi={0，1}為距離當前第i時隙It隊列是否完成預估數據發送任務，0表示失敗，1表示成功。權重可根據式（5）進行計算：

Ic隊列發送數據量的預估同樣可以采用式（4），但因不受優先級隊列數據量變化的影響，因此令式（5）中的Pi= 1(i=1，2，…，n)，可得：

通過It，Ic在一個時隙內傳輸數據量的預估，再根據物理通道帶寬及視音頻的權重，即可獲取合適的當前視音頻采集碼流，用于下一個時隙的數據傳輸。

3.4 混合數據傳輸算法

傳輸子系統中混合數據傳輸算法工作步驟：

步驟1初始化時隙T、權重系數、視音頻碼流等參數并預處理各隊列發送數據。

步驟2預估Ic隊列在下一個時隙T內的發送數據量并計算傳輸時間tc。若tc≥T，則停止采集視音頻并處理下一個時隙Ic隊列發送數據，在處理T內各隊列發送任務后重復本步驟；否則轉到下一步。

步驟3根據約束T-tc及歷史時隙It隊列發送數據量預估下一個時隙的tt（見3.3節）。

步驟4在約束T-tc-tt下，根據分組頭部及T+內碼流數據量（對于實時流，T-tc-tt時間內必須發送T+≥T碼流數據量，以保障實時性）求解Cvi和Csj最優組合（見3.2節）。若無近似解，則令tt=a×tt(0.5＜a＜1)，重新計算，Na次運算無解則下一個時隙停止采集視音頻數據（a為T內It隊列發送數據量下降因子，一般設置為0.8～0.9。Na重復求解次數，一般設置為2～4）；否則設定當前視音頻采集碼流并求出下一個時隙的ts，tv，轉到下一步。

步驟5在時隙T內設當前處理數據發送用時為t。根據優先級依次檢查Ic，Is，Iv，It隊列，并處理時隙T內的數據傳輸任務。若有搶占任務則優先處理，處理完畢后繼續處理剩余發送任務，直至t≥T。

步驟6刪除Ic，Iv隊列中超時數據，將T時間內未處理完成的Ic，It轉至下一時隙并根據tt，tv，ts，tc預處理下一個時隙各隊列發送數據，轉至第2步。

時隙T根據經驗被設為常量。實際應用時，也可以根據當前網絡數據傳輸丟包率、高優先級隊列數據變化情況、實時流數據傳輸成功率、帶寬預估等因素，通過學習因子動態調整T，以提高Is，Iv，It隊列數據傳輸成功率。令P表示Is，Iv，It發送數據整體成功率，有：

式（7）中，Wsnd，Wv，Wt分別表示對Is，Iv，It發送數據成功率對整體數據傳輸成功率的影響權重。Ps，Pv，Pt依據式（5）的方法將每個隊列發送數據成功率分解成上一次的成功率和歷史成功率，并設定不同比例的影響權重，從而計算出P。取閾值PT，當P＜PT時，令T=(1+λ)T，其中0＜λ＜1為時隙增長因子。

數據傳輸過程中，由于數據緩沖時間遠小于傳輸時間，因此可以采用并行流水線方法，從而忽略緩沖時間對傳輸延遲的影響。

4 實驗分析

流式傳輸技術可以較好地應用于固定碼率的實時流傳輸，但對于混合數據和可變碼率的實時視音頻流，動態適應性較差，其原因是沒能提供混合數據中不同優先級數據對實時性的不同要求，從而不能實時調整各隊列數據的傳輸帶寬。本文以3G網絡作為測試環境，采用UDP數據包進行一系列多優先級數據收發，并實時測試網絡帶寬利用率及混合數據傳輸效果。

可伸縮的碼流方法[12-13]可以根據帶寬變化做出自適應調整的傳輸，但這種方法較適合固定碼流的視音頻實時流，而不適用于可變碼流的混合數據傳輸。如圖5所示，通過調整Ic隊列數據傳輸量，可以觀察到其他隊列數據的傳輸做出了很好的自適應調整，并且帶寬的總利用率也較高。實驗中，以實時流的播放流暢度為評價標準，通過記錄視音頻播放緩沖等待時間觀察客戶端實時流的播放流暢度。如圖6所示，在測試時并行增加了高優先級隊列的數據和仿真增加網絡數據丟包，實時流出現了多次延遲。文獻[9-10]等方法，雖然是能夠提高帶寬利用率的方法，但由于未區分實時流和非實時流，并且沒有提供對不同隊列數據傳輸進行預估而動態調節碼流的機制，因而當其他隊列數據變化時，實時流的流暢性能就會下降。文獻[11]區分了實時流和非時流，并通過提高吞吐量來提高實時流的傳輸效果，但沒有動態調節碼流機制，所以不能改變混合數據的整體傳輸性能。本文方法加入了動態預估機制，并能夠根據權重實時調節采集碼流的步驟，因此具有動態自適應性，表現出實時流的整體流暢度較好。

圖5 各隊列帶寬占用率

圖6 實時流播放效果

5 結語

為了適應網絡帶寬的動態變化，視音頻實時流傳輸主要通過可伸縮的視音頻編碼方法[12-13]的流媒體傳輸技術和相應傳輸優化方法（提高帶寬利用率、吞吐量、動態自適應傳輸等）來實現。本文通過定義不同數據的傳輸優先級和對當前帶寬的預估從而動態調整視音頻采集碼流的方法來優化發射機監控系統中的混合數據傳輸性能。本文方法的主要優點：一是能在不同優先級隊列中數據瞬時變化的情況下，通過對時延及帶寬的預估，動態調整視音頻的采集碼流，從而優化了帶寬利用率；二是通過對帶寬的實時預估，尤其是使用無線通道進行混合數據傳輸時，可以實現自適應傳輸，從而在充分利用帶寬的前提下優化監控點實時流的播放效果。

[1]熊永華，吳敏，賈維嘉.實時流媒體傳輸技術研究綜述[J].計算機應用研究，2009，26（10）：3615-3620.

[2]寧永海，沈森，阮文輝，等.無線數據傳輸在監控系統中的應用[J].通信技術，2010，43（1）：102-104.

[3]王養廷，王長利.在強電磁干擾環境中實現可靠的無線數據傳輸[J].計算機測量與控制，2010，18（8）：1862-1864.

[4]裴玉歡，竇文華.面向實時應用的可用帶寬自適應測量方法[J].計算機應用研究，2008，25（8）：2509-2511.

[5]粱靚，黃玉清，江虹.可用帶寬自適應判定算法的研究[J].計算機工程，2009，35（2）：103-108.

[6]周輝，李丹，王永吉.可用帶寬度量系統中的若干基本問題[J].軟件學報，2008，19（5）：1234-1255.

[7]韓志軍，劉文怡，王浩，等.基于DSP的實時數據無損壓縮實現[J].電子技術應用，2008，34（11）：45-47.

[8]陳飛龍，舒勤，蘇靜.一種改進的擁塞控制算法[J].計算機應用，2010，30（5）：1188-1190.

[9]孫學軍，孫巖，何丕糜，等.語音與數據綜合傳輸的帶寬利用率[J].計算機工程，2003，29（16）：41-42.

[10]李周志，王曉東，王真之，等.基于多優先級緩存隊列的遠程數據傳輸技術[J].計算機工程，2010，36（18）：105-108.

[11]劉仙靈，張勇，戴超，等.基于預測和優先級的時隙調度策略[J].吉林大學學報：信息科學版，2009，27（1）：12-15.

[12]Schwarz H，Marpe D，Wiegand T.Overview of the scalable video coding extension of H.264/AVC[J].IEEE Trans on Circuits Syst Video Technol，2007，17（9）：1103-1120.

[13]Hansen H，Strahl S，Mertins A.A fine-grain scalable audio coding based on envelope restoration and the SPIHT algorithm[C]//16th International Conference on Digital Signal Processing.Piscataway，NJ，USA：IEEE Press，2009.

LI Jinlong1，2,LIAN Yiqun2

1.College of Computer Science and Technology,Zhejiang University,Hangzhou 310027,China
2.Institute of Electronic Information,Zhejiang University of Communications and Media,Hangzhou 310018,China

By defining data transmission priority the real-time flow transmission performance can be improved when both the real-time and the non-real-time flow data use the same data channel to transmit concurrently.When the non-real-time control information varies greatly in a short time,due to the high priority non-real-time data or packet loss probability increase,the realtime flow data with fixed stream is also affected greatly.A new method of mixed data transmission is proposed through the study on bandwidth estimation,packet loss probability,and the occasion transmission data increase greatly in different priority queues in a short time.The experimental results show that the proposed method is adaptive,and presents good performance for both bandwidth utilization and real-time flow transmission effect.

real-time stream;mixed data;packet loss probability;bandwidth utilization;adaptive transmission

使用同一數據通道對實時流和非實時流數據進行并發傳輸時，通過定義數據傳輸優先級可以提高實時流數據的傳輸性能。當非實時流數據短時間內變化較大時，固定碼流的實時流受當前優先級較高的非實時數據傳輸流量和丟包率影響會較大。為了解決這一問題，在分析了數據傳輸過程中優先級隊列傳輸信息瞬時變化、網絡丟包率、帶寬預估等因素的基礎上提出了一種混合數據傳輸方法。實驗結果表明方法具有自適應性，且在提高帶寬利用率的同時還可以提高實時流的傳輸效果。

實時流；混合數據；丟包率；帶寬利用率；自適應傳輸

A

TP393

10.3778/j.issn.1002-8331.1107-0145

LI Jinlong,LIAN Yiqun.Application of priority queue in real-time mixed data transmission.Computer Engineering and Applications,2013,49（5）：111-115.

李金龍（1976—），男，博士生，講師，主要研究領域為視音頻處理、網絡通信、數據庫；練益群（1955—），女，教授，主要研究領域為廣播電視技術、數據通信、多媒體技術。E-mail：zj_education_ljl@163.com

2011-07-08

2011-10-14

1002-8331（2013）05-0111-05

CNKI出版日期：2011-11-14 http://www.cnki.net/kcms/detail/11.2127.TP.20111114.0951.094.html

◎數據庫、數據挖掘、機器學習◎