三網融合下自適應編解碼技術的研究和應用

段保通，黃石華

（中國電信股份有限公司上海研究院 上海 200122）

1 引言

在三網融合業務發展中，信息服務將覆蓋文字、語音、數據、圖像、視頻等多種媒體信息綜合服務形式，同時用戶使用的終端也將呈現多樣化、統一化，比如電視機、游戲機、機頂盒、手機、電腦、電冰箱等，不同的終端之間除了形式不同外，功能可能已經趨于一致，比如可使用電視機上網瀏覽，用電腦看電視，用冰箱打電話等。這些終端的后臺通信以及數據傳輸渠道可能各不相同、各自獨立，但是對用戶使用來講完全一致，絲毫沒有差異的感覺。

為了達到這種用戶體驗的一致，又能適合各種不同終端處理、不同網絡傳輸的目標，需要用到多種自適應、自適配的機制和技術，而自適應編碼技術[1]就是解決關鍵的視頻數據信息處理和傳輸的方法和環節之一。

自適應編碼技術本身在早期流媒體視頻業務發展中，就已經得到了初步的應用和發展，作為提升視頻業務質量的有效手段之一，已經出現的自適應編碼技術包括以下兩種。

（1）實時編碼算法自適應技術方案，該方案主要以視頻編碼方法為核心，首先探測視頻信息的解碼終端、傳輸網絡、環境的相關變化，并根據這些變化的反饋自動調整編碼相關參數或算法，使得視頻流的輸出能夠適應當前網絡傳輸的實際情況。這種方法適用于單點到單點或少數幾個點的視頻傳輸應用，比如視頻電話、視頻監控、遠程視頻會議等。

（2）多碼率自適應技術，這種方案是在編碼器前段預置多個規格的碼流輸出，其中每種碼流輸出適配一定的終端和網絡承載情況，而對終端提供實際流數據傳輸和自適應的工作由流服務器完成，流服務負責對終端傳輸的網絡條件進行探測，并根據實際情況，選擇一路合適的碼流輸出發送給終端，完成自動適配。這種技術適用于廣播式，即一點對多點的業務模式，比如IPTV、在線影院等。

隨著編解碼技術的不斷發展和三網融合等相關業務的迅速崛起，近年來，又出現了專門應對自適應特性的SVC分層編碼技術[2]，為視頻自適應編碼方案帶來了更加靈活和有效的手段和方法，也逐漸成為當前視頻編碼技術及實現方案的熱點之一。

2 自適應編碼技術

H.264/SVC（可擴展視頻編碼）[3]在進行視頻信號編碼時，將圖像壓縮信號的輸出分成多個不同的層。當網絡條件較差、帶寬不足時，網絡和終端只對基本層的碼流數據進行傳輸和解碼；而當帶寬條件改善，整個系統則可以進一步傳輸和解碼增強層的碼流，提高視頻圖像的質量。

SVC于2007年7月獲得ITU-T批準，成為H.264標準的一部分。當前的大部分研究和試驗都是基于H.264標準進行的，實際上SVC技術并不限于H.264編碼格式本身，其他一些編碼格式應該都可以利用SVC類似技術提高視頻應用的整體質量。

H.264/AVC擴展的SVC提供了一個完整的時—空域和SNR可分級性，技術特點主要表現在以下幾個方面。

·時域分級性：主要是采用層次化B幀和基于運動補償的時域濾波(MCTF)實現。

·用于空域可伸縮性的層間預測機制：主要使用層間幀內紋理預測和層間運動補償冗余信息預測實現。

·基本層與H.264/AVC兼容：可以單獨被解碼。

·Fine Grain的SNR分級（FGS）：通過在每個空域層對變換系數漸精細地量化編碼實現，實現多個質量增強層。

·Coarse Grain SNR分級性(CGS)：不同層具有相同的分辨率，進行層間預測時，運動信息和紋理信息都不需要縮放。

·NAL單元概念的使用和擴展：當需要降低時域或者空域分辨率比特流時，可以丟棄不需要的NAL單元，只需要得到基本層所需要的NAL單元。

綜合上述的SVC各種特性，與MPEG-2、MPEG-4等標準中的方法相比，H.264/AVC可分級編碼的時空域分層是通過增加MCTF和幾個層間的預測算法進行的；質量可伸縮性是通過H.264標準中對冗余信息的量化改進得到的，即先用與H.264標準兼容的編碼方法編碼最低的視頻流，然后對變換系數逐次細分進行編碼，得到增強層碼流。H.264標準的SVC把以上幾種特點有機地結合在一起，使輸出碼流能適應較大的網絡帶寬動態變化范圍，提供可伸縮性更強的視頻流。

3 三網融合業務中自適應編碼的應用

隨著三網融合業務的快速發展，運營商對SVC等相關的編碼技術十分關注。在新形勢下，業務不斷發展，市場競爭加劇，用戶的需求不斷提高，這些都對視頻業務的質量提出了更高的要求，要想快速發展，推出真正有吸引力的產品和服務，贏得用戶的滿意，就必須解決當前視頻業務中一些亟待解決的重點問題。以SVC為代表的新型編碼，自適應技術為這些問題的解決和完善帶來了新的方法和思路，也是當前急需推進和大力發展的重點技術內容。

結合當前SVC技術本身的發展情況以及三網融合業務的實際進展，我們認為，當前可優先在如下場景中引入SVC技術。

3.1 視頻業務質量提升

SVC的設計目標就是有效提升視頻服務的質量，并能針對不同的帶寬變化以及不同的終端能力進行自動適配。當前，多個運營商都已經經營了全業務視頻服務，終端包括了PC、IPTV、手機、魔屏等各種不同形態。其中大部分業務用戶量規模較大，有較強的社會影響力，同時橫跨了以電視機為載體的廣電電視業務、以PC為終端的數字通信業務和以手機為代表的移動電信業務，很好地代表了三網融合業務的一部分發展方向和應用場景。

從這些業務多年的發展經驗來看，視頻服務質量正在不斷完善和優化，用戶滿意度也正在逐步提升，但是整體的視頻服務質量仍然存在不少問題需要解決，包括圖像質量、播放流暢度等都不同層次問題，而且用戶本身對于視頻服務質量的要求越來越高，技術的完善和進步距離用戶的滿意程度還存在一定的距離，從而造成了對用戶吸引力的下降，影響了業務的進一步發展。總之，在以視頻業務為主要內容的三網融合業務中，視頻服務質量仍然是當前一個技術難點，視頻質量的提升將在較長一段時間內作為技術研究的核心內容之一，引入SVC技術是最為重要且最有意義的一環。

視頻業務運營的經驗表明，視頻服務質量是一個端到端的保障服務體系，視頻服務質量的問題可能由很多因素或者環節造成。為了盡量保證視頻服務的質量，運營商對不同的業務模式采取了不同的技術方案。比如，當前的IPTV業務采用專網承載方式，承載網絡不受其他業務或流量的影響，網絡條件較好，視頻質量相對有一定的保障。而互聯網視頻業務采用互聯網承載方案，因互聯網本身的流量難以管理，流量互相競爭，導致網絡的承載條件無法保障，在這種模式下，互聯網業務大多都以免費模式為主，用戶相對視頻質量的要求也不是很高。當前的移動視頻業務作為運營商的重點推介產品，是各個運營商3G業務中的重點填充內容，是帶動3G網絡發展和流量經營的重要渠道和方法。移動視頻業務基于3G無線承載，網絡流量有一定的費用，用戶貢獻價值最高，但是質量卻最沒有保證，成為當前矛盾最為突出、最亟待解決的問題。同時在移動視頻業務中，影響視頻質量最關鍵的瓶頸就是網絡條件變化頻繁，容易引起質量嚴重下降。從這個角度看，移動視頻業務也正是SVC技術的用武之地，應該積極在這一領域進行嘗試和試驗。

3.2 三屏互動業務的開展

在三網融合業務中，用戶可隨意使用PC、IPTV、手機或其他形式的三網融合終端進行各種互動。比如使用手機和電視終端進行節目書簽互動和同步，可在地鐵上使用手機接著電視轉播的書簽繼續觀看；使用手機和PC進行三屏內容互動，可將手機拍攝的視頻分享在好友的IPTV和PC上，遠程教育的老師使用PC講課，而學生可使用手機和IPTV聽課等。

從以上這些描述可以看出，在多屏互動業務中，不管終端和屏幕是何種形式，互動的視頻內容始終是相同的。無論是書簽的互動，還是節目與課程的互動，都必須基于一個前提，就是不同屏幕播放內容必須是完全對應的。而SVC技術采用的多層編碼方式，正好適合這種需求和方式。SVC可以很方便地實現同一個內容為不同的終端提供不同的媒體服務，比如使用同一個媒體文件為PC、IPTV、手機、魔屏提供不同分辨率和不同碼率質量的視頻服務。

同時，三屏互動業務中終端形態各異、能力各不相同，當進行互動和互通時，視頻信息適配是首當其沖的重點問題，而SVC正是解決該問題的最好方法。比如PC采集輸出的視頻流質量較高，與手機互通時手機無法完全接收或解碼，此時應用SVC技術只傳輸基本層媒體流給手機觀看，而PC或IPTV可同時接收包括基本層和擴展層的媒體數據流。

3.3 內容統一編碼和存儲

隨著三網融合的發展，運營商經營的全業務視頻業務迎來了新的和全面的挑戰。市場競爭不僅僅是針對用戶服務質量的提升和優化，與合作伙伴和產業鏈的互動與整合，整個后臺管理和運維支撐的有效性、運營成本和方案的合理性都成為業務發展和競爭的重要環節。

在三網融合之前，各種業務分開經營，內容源分別引入，針對不同終端、不同屏幕分別進行編碼和存儲，各種業務使用的內容管理和分發平臺各自獨立。而在三網融合模式下，必須對內容源頭進行統一的引入、統一編碼和存儲，只有這樣才能實現三屏互動、三屏同看等相關的新型業務類型。原有那種內容各自引入、各自編碼和存儲的模式已經無法適應新形式的需要了。同時，隨著內容數量的急劇增大，內容管理和運營的工作量急劇上升，要滿足內容運營的及時性和豐富性，必須使用統一、有效的內容管理模式和存儲模式。而SVC編碼方式可以使用同一個媒體文件存儲不同層次的編碼流數據，而且這些流數據本身具有極大的圖像相關性，在節省存儲空間的同時，又為不同屏幕、不同分辨率、不同接入環境提供相應的視頻服務。因此，應該盡量在統一內容管理和統一內容存儲技術中引入SVC，完成內容編碼和存儲的統一處理和統一管理。在這種模式下，要求使用SVC技術對同一內容源進行編碼，然后存儲成多個分層，分別對應手機、PC、電視機等不同終端和網絡條件，可以實現一個內容存儲文件適配所有終端和網絡條件。在運營管理上，等于實現多個操作合為一個操作，避免了多文件存儲、分發、同步、檢測等復雜操作。在節省存儲資源的同時，簡化了系統整體架構和運維管理的流程，便于內容運營效率的提升。

4 自適應編碼關鍵技術

4.1 自適應轉碼技術

這種技術是利用轉碼技術實現自適應編碼，首先在服務器中保存一份質量足夠好的壓縮視頻數據，當需要降低輸出碼率時，可由相應的轉碼模塊進行轉碼后再輸出。轉碼可分為幾種方式，比較基本的是：全解全編進行轉碼，在編碼過程中，通過改變壓縮參數達到降低碼率的目的，編碼的參數改變主要通過改變量化步長實現，全編全解得到的PSNR值最高，但效率低。另一種較高效的轉碼方式是進行部分的解碼和編碼，就可以輸出合適的視頻數據流，這種轉碼主要實現方法是選擇性丟棄視頻數據中不重要的部分，即舍棄后不會嚴重影響觀看質量，如選擇性丟幀或丟棄DCT系數的高頻分量。或者進行再量化，此時解碼出來的運動向量及預測值等都可以不變。這種技術系統復雜性相對較低，但服務器計算資源開銷仍然較大，如果大量用戶同時進行點播，服務器難以承受。

為了減少開銷，自適應轉碼技術[4]有多種研究方向，比如碼率轉換(bit-rate reduction)、空間分辨率轉換(spatial resolution reduction)、時間分辨率轉換(temporal resolution reduction)、語法轉換等。隨著數字電視和IPTV的發展，目前重點在MPEG-2轉H.264的轉碼研究上，最新的研究包括H.264變換域轉碼、H.264快速模式選擇算法、H.264轉碼快速運動估計技術等。

4.2 碼流自動切換

這種技術一般是在服務器中同時保存同一個視頻節目的多個或多層數據，在未運用SVC技術之前，這些數據可以是獨立的多個拷貝，也可以是單文件內多個數據軌道，進一步運用SVC技術可以進一步消除這多個拷貝或多層軌道數據之間的數據冗余，極大地節省存儲資源。一般來講，這些碼流的幀內編碼幀（I幀）應該是對齊的，由服務器根據用戶網絡帶寬情況選擇一個適當的碼流發送給用戶。

這種技術的優點是編碼和自動適配分別由不同的單元完成，編碼器輸出后，自適應碼流切換的工作由流服務器完成。因此，編碼單元的輸出封裝格式必須采用一定的標準，使得流服務器能夠識別，才能完成碼流數據的識別和獲取以及服務過程中關鍵幀搜索、時間定位服務等功能。

這種技術在以往的流媒體視頻業務中得了較多的應用，比如在WMV、標準RTSP以及REAL等流媒體系統，技術相對成熟。在RTSP協議中，客戶端的setup請求可通過對trackID的指定選擇不同的媒體流數據，服務端可通過set parameter等指令重新指定相關的參數并發送新的數據流，完成自動切換。但是原有的切換機制只能完成一路碼流向另一路的切換，在SVC中，就需要在多層碼流中進行切換。這樣就需要對原有的信令進行擴充，擴充的內容應該包括可提供分層編碼數據流公告、實際切換指令和請求、切換的媒體數據協商信令等。

4.3 SVC文件封裝標準

雖然SVC作為H.264標準的一個擴展，但是其本身對于媒體封裝和傳輸的格式帶來了較大的影響。原有媒體文件標準格式中，缺乏對于SVC編碼產生的多層碼流描述和標志位，對于多層編碼數據組織，媒體音、視頻數據同步以及定位搜索都不可能涵蓋。而在SVC中，這些機制需要進行新的定義，增加一些新的擴展。

當前，H.264視頻封裝的媒體文件標準為MP4，事實上也存在FLV、MKV、TS流文件等多種形式。在MP4文件格式標準中，不同碼率或分辨率的媒體數據可以以不同的軌道進行保存，兩個軌道之間互不影響。因此對于SVC碼流文件的封裝可采用基本層和擴展層分軌道保存的形式，并同時在媒體文件索引頭結構中增加相應的標志位，標識相關的分層編碼信息。

SVC的文件封裝格式已有相關研究給出了建議，但是尚未形成實質性標準，推進比較小。對于面向大規模商用的SVC技術，必須形成明確的工業標準化，才能保證不同廠商、不同平臺的接口互通以及穩定和可靠的銜接。當前的文件封裝和碼流封裝標準化已經在一定程度上影響了SVC技術的實際應用和推廣。

4.4 SVC媒體流封裝標準和傳輸機制

在傳統媒體應用中，直播流大多采用RTP標準進行封裝和傳輸。為了支持SVC，目前已經有提交給IETF的H.264/SVC的RTP封裝草案[5]，在載荷格式標志上增加了一個新的媒體格式命名為“H.264/SVC”，但如果只是基本層的數據仍然以“H.264”命名。

在進行SVC的直播流傳輸中，目前多數研究[6]都是將基本層和增強層數據分成兩個不同的信道進行傳輸，并利用RTP的封裝進行增強層的數據差錯隱藏，在基本層走低誤碼率通道，增強層走高誤碼率通道的情況下，進行丟包率實驗測試后，表明視頻的客觀和主觀指標都比通常方式有所提高，可充分利用SVC的分層和RTP傳輸結合的特性。

三網融合業務中的IPTV和數字電視都采用了TS流封裝格式，網絡條件和傳輸通道都有較好保障。這種情況下，SVC需要考慮TS流的封裝格式，采用TS流封裝時，可通過對NAL單元進行擴充，區別SVC基本層和擴展層數據，TS層不進行區分，傳輸可繼續采用原有的單通道傳輸模式。

4.5 帶寬檢測技術

在以前的互聯網流媒體業務中，多碼率自適應技術曾經得到了一些較為廣泛的應用，但是對于網絡帶寬實時變化的檢測技術仍然存在一定的缺陷，導致使用體驗不太理想。一個典型的問題就是用戶在觀看時，如果網絡條件劣化，系統可自動從高碼率切換到低碼率，但是從低碼率切換到高碼率的時機卻很難探測和把握，自動帶寬探測的機制還不是很完善。同樣，如果帶寬檢測技術沒有突破，SVC的優勢就很難發揮和表現出來。

目前在互聯網中主要采用和式增加、積式減少（AIMD）的擁塞控制機制進行帶寬檢測，常用的方法主要是基于RTCP數據傳輸的統計得到一些傳輸的質量指標。隨著目前流媒體應用的不斷發展，出現了HTTP、RTP over TCP等多種傳輸方式，原有基于RTCP的計算已經不太合適了，難以反映實時傳輸的質量和情況。同時對于AIMD，也需要進行很多改進，比如在點播中，以丟包為參數，研究具有學習能力的速率控制機制，再利用SVC的特性進行碼率的切換。

當前，隨著3G移動視頻業務的發展，移動視頻帶寬檢測質量更加重要，也更加復雜。在無線網絡條件下，有時帶寬條件變化比較頻繁，除了帶寬檢測之外，還應該采取一定的策略防止切換產生乒乓效應，并制定帶寬切換模型等。在當前的技術條件下，移動視頻應用層大多都繼續使用TCP或UDP進行視頻信號的傳輸。但TCP/UDP缺乏對無線網絡質量的反饋，比如基本的無線信號質量或者強弱無法通過這些協議得到，也沒有標準的應用層接口，導致應用對網絡的變化無法感知，需要通過很多變通手段才能達到目的。這些問題都是帶寬檢測機制的實際難點和重點，對整個技術的應用非常關鍵和重要。

5 三網融合自適應編碼引入方案

SVC自適應編碼需要編碼器和解碼器的互相配合，而當前運營商經營的視頻業務已經過多年發展，原有的終端類型非常豐富，且數量巨大，這些存量終端很難經過升級直接支持SVC解碼，因此必須逐步引入和過渡到SVC技術。SVC技術要想得到廣泛的應用，也必須注意這一點。系統結構如圖1所示。

圖1 系統結構

首先，編碼端通過升級完成對SVC編碼的支持，輸出采用SVC格式的視頻流，并經過平臺進行存儲和分發。平臺在為終端提供服務時，可以根據不同的終端和網絡進行相應的適配，如果是舊的終端，不支持SVC，就需要發送單一流形式（原有格式），并按照原有的方式提供服務。對于新類型的終端，平臺可以盡量利用SVC特性，根據終端的不同發送相應的SVC單層或多層編碼流，完成SVC的支持。

隨著云計算的發展，采用實時轉碼適配終端和網絡的云轉碼方案初步得到了應用，并成為一些使用場景下的較好方案。因為實時轉碼需要消耗大量的計算資源，一般應用在訪問量不大，但是數量較多的冷片內容存儲和訪問上。如果離線轉碼進行存儲，消耗的存儲資源較多，而且利用率較低，如果利用實時轉碼，可節省大量存儲資源，并且因為訪問量小，消耗的計算資源不多，剛好可以滿足用戶的需求。編碼方案如圖2所示。

圖2 利用SVC轉碼器的轉碼方案

在這種方案中，原有的編碼器繼續采用原有編碼方案，輸出為單一的視頻流。在終端和平臺之間增加一個SVC的實時轉碼器，當終端訪問平臺時，平臺會自動對該終端和接入網絡進行判斷，判斷該終端是否可以接收編碼器輸出的流。如果兩者不適配，就自動分配終端從SVC轉碼器上接收視頻流，此時SVC轉碼器會自動將平臺上原有的單一視頻流轉碼為適合該終端形式的SVC流，并發送給終端，這樣即可完成對終端的自動適配。

在實際應用中，這兩種方法會綜合運營，根據不同的業務形式和不同的應用場景靈活組合使用，互為補充，互相配合。

6 結束語

隨著三網融合業務的快速發展，各種業務應用快速增長，以視頻質量為核心的自適應編碼技術也必將獲得廣泛的推廣和應用，必將為視頻質量的提升帶來更多、更靈活的解決思路和保障手段，一定會為三網融合提供更加合理、更加便利的解決方案和業務應用。但是應該看到，目前以SVC為代表的自適應編碼技術在編碼算法和實現上雖然已經趨于成熟，但是與應用緊密結合的文件封裝、傳輸標準、緊密相關碼流檢測、自動切換等技術卻沒有大的突破，導致距離大規模商用還需一定的時間。對此，我們應當予以重視，加大研究的力度，并推進各技術標準組織之間的緊密配合，使得自適應編碼能夠快速發展成為符合當前實際商用需求、可大規模推廣的完整技術。

1 畢厚杰.新一代視頻壓縮編碼標準——H.264/AVC.北京：人民郵電出版社，2005

2 OHM J-R.Advances in scalable video coding.Proceedings of the IEEE，2005，93(1)：42～56

3 ITU-T，ISO/IEC JTC1，JVT-N020.Joint scalable video model JS-VM 0，2005

4 尚書林，杜清秀，盧漢清等.視頻轉碼技術研究現狀與最新進展.自動化學報，2007，33(12)

5 Wenger S，Wang Y K，Schierl T，et al.RTP payload format for SVC video，http：//tools.ietf.org/html/draft-ietf-avt-rtp-svc-20， 2008

6 柳偉，陳旭，梁永生.H.264/SVC的RTP封裝算法及其應用.計算機工程與應用，2010，46(19)

7 謝正光，包志華，徐晨等.分布式視頻編碼關鍵技術及其發展趨勢.電信科學，2009，25（9）