淺論自適應碼率視頻流的原理及在OTT中應用

王堅

【摘要】 OTT視頻應用已經成為業界發展趨勢，但其網絡環境卻缺少QOE（Quality of experience）保證。因此在提供OTT業務時，用戶使用體驗QOE變得至關重要。在無線網絡環境下，由于無線頻譜資源的稀缺性，優化OTT視頻能夠節省寶貴的無線網絡資源。本文通過介紹自適應碼流的原理及在OTT中的應用，說明自適應碼流技術在OTT環境中的重要應用價值。

【關鍵詞】 IPTV OTT 自適應碼流 QOE 視頻優化

一、IPTV與OTT視頻行業背景

2002年左右，IPTV作為付費電視的一種，開始在歐洲部署。經過10多年的快速發展，IPTV視頻業務日益普及。據市場研究機構Multimedia Research Group（MRG）2011年研究報告稱，全球IPTV用戶總數將在2014年增至1.02億。截至2012年底，中國大陸地區就已超過2000萬IPTV用戶，用戶主要集中在電信運營商。另外一種主流的付費電視，廣電的有線數字電視用戶在國內目前已經超過1億。通常將IPTV和有線數字電視都稱為付費電視業務，付費電視用戶的服務體驗是得到有線網絡（數字電視）或電信運營商（IPTV）承諾保證的。

近幾年隨著寬帶網絡的普及發展，家庭網絡接入提速，智能終端得到普及，包括智能手機、各種PAD屏、智能電視機頂盒等。有不少用戶已經逐步從有線數字電視和IPTV等付費電視服務中分離出來，觀看更多來自互聯網的視頻內容，即OTT（OVER THE TOP）業務。全球知名的咨詢機構ABI RESEARCH調查報告稱，到2017年全球OTT的市場收入會達到320億美元，是2012年82億美元的4倍多[1]。

二、OTT視頻服務中存在的問題

OTT視頻特點是用戶通過運營商提供的寬帶接入網絡，消費來自互聯網視頻內容供應商的內容，在國外比較典型的是NETFLEX，GOOGEL TV等。終端用戶可以通過互聯網在OTT平臺訂購OTT的視頻節目包，而這筆訂購費用是直接支付給OTT服務提供商，而對電信運營商只收取寬帶網絡接入的費用，不收取節目費用。所以，OTT視頻的內容體驗質量，電信網絡運營商是不提供保證的。

技術層面，與付費電視IPTV相比，OTT視頻的最大區別在于：IPTV是運營商提供視頻內容，是在運營商的寬帶網絡內分發，承諾提供體驗有質量保證的視頻內容。IPTV一般采用恒定碼率的編碼方式CBR。OTT視頻由于是在網絡不能保證QOS的情況下采用可編碼率VBR或CVBR壓縮的視頻，容易出現如下2種情況：（1）沒有用戶視頻體驗質量保證QOE。在網絡帶寬瞬間劣化的情況下，由于視頻壓縮后的帶寬要求大于網速，無法滿足正常播放視頻的要求，客戶端就會出現圖像卡頓現象。另外就是視頻內容由于網絡丟包而造成圖像馬賽克現象。用戶對視頻業務的體驗ITU-T P.10/G.100中的QOE（Quality of Experience）規定的一般采用用戶主觀評分的方式評估（ITU-R BT.500），客觀評估是個復雜的課題，雖然有許多研究機構和組織向ITU提交了關于視頻QOE 客觀評估的建議，但ITU 目前還沒有定義統一的國際標準[2]。（2）OTT視頻過度消耗無線網絡資源，造成網絡擁塞。據調查，約75%的互聯網視頻流量主要都是約占其中5%鏈接過高分辨率的視頻及圖像文件造成的，而約95%的客戶端連接只消耗網絡總帶寬的20%-40%。相對顯視頻屏幕的大小，OTT提供視頻的同時，往往給手機等智能終端分辨率過高的內容，由此而造成無線帶寬資源的浪費。比如給終端屏幕5英寸的智能手機屏提供高質量視頻，480P分辨率視頻就足夠了，若提供1080P分辨率的視頻就會占用大量不必要的網絡帶寬資源，而用戶主觀的視頻清晰度沒有明顯增加，這顯然是不經濟的，甚至可能造成由于少量高帶寬用戶的突發請求，出現較大面積阻塞無線網絡的情況發生，導致其它用戶的業務體驗響應延遲。

三、HTTP自適應碼流基本原理及方案組成

（1）自適應碼流基本原理

首先是編碼過程，視音頻信號（可以是直播或非直播）的節目源，經過編碼后成為MPEG-2 TS封裝的節目流。然后將連續的 MPEG2 流進行切片，成為一個系列視頻片段進行保存，比如一系列.ts結尾的文件格式。如果只有音頻文件而不包括視頻，則可以是一系列MPEG的音頻文件，一般是帶ADTS頭的AAC或 MP3文件。編碼時可以對同一內容設置不同編碼帶寬，分別設為125K，250K，600K，1200K，2500K，8000K的同樣內容的視頻文件。

切片的過程，通常需要用軟件切片實現。切片工具在切片同時產生一個索引文件，即index文件。該索引文件包含一系列的媒體文件相關信息，包括元數據 metadata。索引文件是.M3U8格式。播放的客戶端通過URL，首先獲得這個索引文件，然后就按索引順序獲取分片媒體文件，然后順序播放。切片的同時可以選擇對文件進行加密或不加密。

多碼流文件在切片時，編碼器往往不是切片1個固定帶寬的文件，而是切片多個帶寬的壓縮的文件，可以按多種帶寬壓縮文件，比如每個文件可以定長為10秒。

HTTP客戶端則根據網絡的狀況，在不同的視頻帶寬文件中進行選擇最優的適合此時網絡帶寬的文件進行下載播放。

整體結構如圖（1）。

總之，HTTP提供一些明顯的優勢，例如支持媒體加密和根據不同網絡鏈接速度動態的在不同碼流之間切換。相對TS封裝，如果采用單一的MPEG-4或QUICKTIME文件封裝是比較高效，但不能實現不同碼率的動態切換。

（2）方案組成

①服務端部分：

編碼器

流文件切片器和存儲切片文件

編碼器：

編碼器功能是將未壓縮的視音頻信號進行編碼壓縮并做封裝輸出。編碼設置的格式需要為客戶端可以支持解碼配合，例如是H.264視頻和HE-AAC音頻編碼，然后通過 MPEG-2TS封裝，對音頻信號則只包含MPEG ES封裝音頻信號。編碼器需要對相同視頻內容生成不同帶寬的視頻內容，比如125K，250K，600K，1200K，2500K，8000K的不同編碼率文件。endprint

注意：MPEG-2TS封裝不能與MPEG-2編碼的概念混淆。封裝是一種打包的格式，可以封裝多種編碼格式內容，比如對視音頻就是H.264視頻和AAC音頻，對音頻就是MPEG ES格式，封裝帶ATDS頭的AAC格式或MP3格式。

流文件流切片器及存儲：

流切片過程是通過軟件在本地網絡讀出TS封裝文件，并將文件切片為一系列，較小的等長度的媒體文件，比如10秒為一段。這些已分割的文件，可以在客戶端重新復原組成連續的流文件。

切片同時創建一個索引文件，包含了切片文件的樣板。每次切片器完成文件切片，索引文件就會更新。索引文件用來跟蹤媒體文件可用性及位置。切片器以在切片的過程中，可以對文件進行加密并在這個過程中生成相關密鑰文件。切片后的媒體文件被保存為.ts文件（MPEG-2封裝，索引文件被保存為.M3U8文件）。切片時需要強調的是，對文件的等長切片，而且要對不同碼率的視頻文件都做切片。

②分發單元

分發系統是一個WEB服務器或WEB 緩存系統，通過HTTP與客戶端建立鏈接并下發媒體文件和索引文件。 對于WEB服務器可以是通用的，一般只需要少量配置工作就可以實現。

推薦配置是典型的用于MIME類型的M3U8文件和 .ts 文件。生存時間 TTL值對于.M3U8 文件可以設置，以達到需要WEB CACH服務緩存達到的設計要求。這些文件經常需要頻繁的覆蓋，最新的內容則按最新的請求下載。

③客戶端單元

首先是客戶端獲取索引文件并基于URL來區分不同視頻流。索引文件按序定位已存在的媒體文件，密鑰文件及可替換的媒體文件等。對于選擇播放的流，客戶端會按順序下載已有媒體文件。每個文件即包含播放流里的順序文件。當下載足夠的數據文件后，客戶端開始播放給用戶重新組裝的流。

客戶端負責獲取解密密鑰字，認證或提供認證界面并按需解密媒體文件。在這個過程中，客戶端一旦索引文件中遇到 #EXT-X-ENDLIST的標記，就會停止這個過程。如果一直不遇到#EXT-X-ENDLIST的標記，則索引文件則會是持續廣播信號的一部分。客戶端會周期性的下載新版本的索引文件，然后客戶端在更新的索引文件中尋找媒體文件及解密密鑰字，并將這些URL加到隊列中。

Session 會話類型

HTTP直播流協議支持直播會話和VOD視頻點播會話鏈接。對直播會話鏈接，新的媒體文件創立并且現有的索引文件實時更新。新的索引文件包括新的媒體文件，而舊的索引文件被移除，更新的索引文件表現為連續播放流的一個移動窗口，這種會話適用于連續的廣播視頻。

對于 VOD會話，媒體文件表示了需要播放的完整周期。索引文件是靜態的，包含從文件之初到結束的完整索引。這種類型的會話允許客戶端能完整的訪問到整個節目內容中。

也可以創立一個直播然后轉為點播，即轉直播到VOD，這時不需要從服務器里移除舊的文件或從索引文件里刪除URL，只需要在廣播結束時增加一個 #EXT-X-ENDLIST標識。客戶端可以隨后加入廣播并仍舊看到完整事件，這在需要重播的時候就相當方便。

替換流的切換

索引文件可以指向可替換的流內容，從而實現對同一視頻多種編碼質量對應不同的終端類型和網絡質量。如果網絡帶寬變化，HTTP直播流協議支持動態的流切換，客戶端軟件則會自動在不同的流之間在適當的時候進行切換，這種自動方式是根據測量網絡吞吐能力來實現。

索引文件指向一個替換流，是通過指向另一給索引文件標示實現，如圖（2）所示。

客戶端可以在任意時刻，實現對不同流的切換，比如移動終端從蜂窩網絡接入或離開WIFI 熱點。所有的可替換流需要使用統一的音頻，這樣才能實現平滑的切換過程。

應用案例說明：

按照在不同網絡帶寬的條件下，我們對視頻內容進行不同的編碼率實現編碼，比如我們可以對同一部電影內容，采用H.264編碼，做7個級別碼率編碼，如表1所示。

手機，PAD，PC和TV至少都由2檔質量可選，具體選哪種質量，取決于網絡，在默認情況下，應選擇較高質量的視頻內容，以滿足較好的用戶體驗。比如在網絡條件允許的情況下，采用H.264的編碼壓縮的視頻256Kbit/s圖像的清晰度一定比128Kbit/s的要高，如果在網絡情況不好時，則自動切換到低碼率的一檔，從而使播放流暢。

另外一種情況是，但對于較小屏幕如提供較高的帶寬，實際是對網絡帶寬的消耗是一種浪費，因為用戶體驗并未得到很明顯的提高，這種由少量用戶對大寬帶視頻的需求，會對無線網絡的帶寬消耗造成浪費和擁塞，降低了其它大量用戶的使用體驗，因此需要在無線網絡內對視頻進行優化處理，比如對手機用戶的所有1080P的視頻降低為720P或480P視頻分辨率，從而節省寶貴的網絡資源。

四、總結

在OTT的業務環境中，由于業務是假設在互聯網之上，對網絡服務質量沒有QOS保證，因此需要在應用層對視頻傳輸進行進一步的優化處理，以提供用戶業務體驗：（1）通過HTTP的自適應碼流技術，提高OTT視頻在網絡帶寬波動的情況下提供平滑播放的業務體驗。（2）對各種視頻終端的屏幕實現分辨率匹配策略，尤其在無線網絡環境下，減少OTT視頻對網絡開銷，降低無線網絡擁塞的可能，從而提高業務體驗質量。

參 考 文 獻

[1] 黃遠清. 2012年美國OTT市場淺析[J]，衛星電視與寬帶多媒體，2012（23）

[2] 姚良等. 智能電視終端的視頻服務質量保障[J]，電信科學，2013（04）endprint

注意：MPEG-2TS封裝不能與MPEG-2編碼的概念混淆。封裝是一種打包的格式，可以封裝多種編碼格式內容，比如對視音頻就是H.264視頻和AAC音頻，對音頻就是MPEG ES格式，封裝帶ATDS頭的AAC格式或MP3格式。

流文件流切片器及存儲：

流切片過程是通過軟件在本地網絡讀出TS封裝文件，并將文件切片為一系列，較小的等長度的媒體文件，比如10秒為一段。這些已分割的文件，可以在客戶端重新復原組成連續的流文件。

切片同時創建一個索引文件，包含了切片文件的樣板。每次切片器完成文件切片，索引文件就會更新。索引文件用來跟蹤媒體文件可用性及位置。切片器以在切片的過程中，可以對文件進行加密并在這個過程中生成相關密鑰文件。切片后的媒體文件被保存為.ts文件（MPEG-2封裝，索引文件被保存為.M3U8文件）。切片時需要強調的是，對文件的等長切片，而且要對不同碼率的視頻文件都做切片。

②分發單元

分發系統是一個WEB服務器或WEB 緩存系統，通過HTTP與客戶端建立鏈接并下發媒體文件和索引文件。 對于WEB服務器可以是通用的，一般只需要少量配置工作就可以實現。

推薦配置是典型的用于MIME類型的M3U8文件和 .ts 文件。生存時間 TTL值對于.M3U8 文件可以設置，以達到需要WEB CACH服務緩存達到的設計要求。這些文件經常需要頻繁的覆蓋，最新的內容則按最新的請求下載。

③客戶端單元

首先是客戶端獲取索引文件并基于URL來區分不同視頻流。索引文件按序定位已存在的媒體文件，密鑰文件及可替換的媒體文件等。對于選擇播放的流，客戶端會按順序下載已有媒體文件。每個文件即包含播放流里的順序文件。當下載足夠的數據文件后，客戶端開始播放給用戶重新組裝的流。

客戶端負責獲取解密密鑰字，認證或提供認證界面并按需解密媒體文件。在這個過程中，客戶端一旦索引文件中遇到 #EXT-X-ENDLIST的標記，就會停止這個過程。如果一直不遇到#EXT-X-ENDLIST的標記，則索引文件則會是持續廣播信號的一部分。客戶端會周期性的下載新版本的索引文件，然后客戶端在更新的索引文件中尋找媒體文件及解密密鑰字，并將這些URL加到隊列中。

Session 會話類型

HTTP直播流協議支持直播會話和VOD視頻點播會話鏈接。對直播會話鏈接，新的媒體文件創立并且現有的索引文件實時更新。新的索引文件包括新的媒體文件，而舊的索引文件被移除，更新的索引文件表現為連續播放流的一個移動窗口，這種會話適用于連續的廣播視頻。

對于 VOD會話，媒體文件表示了需要播放的完整周期。索引文件是靜態的，包含從文件之初到結束的完整索引。這種類型的會話允許客戶端能完整的訪問到整個節目內容中。

也可以創立一個直播然后轉為點播，即轉直播到VOD，這時不需要從服務器里移除舊的文件或從索引文件里刪除URL，只需要在廣播結束時增加一個 #EXT-X-ENDLIST標識。客戶端可以隨后加入廣播并仍舊看到完整事件，這在需要重播的時候就相當方便。

替換流的切換

索引文件可以指向可替換的流內容，從而實現對同一視頻多種編碼質量對應不同的終端類型和網絡質量。如果網絡帶寬變化，HTTP直播流協議支持動態的流切換，客戶端軟件則會自動在不同的流之間在適當的時候進行切換，這種自動方式是根據測量網絡吞吐能力來實現。

索引文件指向一個替換流，是通過指向另一給索引文件標示實現，如圖（2）所示。

客戶端可以在任意時刻，實現對不同流的切換，比如移動終端從蜂窩網絡接入或離開WIFI 熱點。所有的可替換流需要使用統一的音頻，這樣才能實現平滑的切換過程。

應用案例說明：

按照在不同網絡帶寬的條件下，我們對視頻內容進行不同的編碼率實現編碼，比如我們可以對同一部電影內容，采用H.264編碼，做7個級別碼率編碼，如表1所示。

手機，PAD，PC和TV至少都由2檔質量可選，具體選哪種質量，取決于網絡，在默認情況下，應選擇較高質量的視頻內容，以滿足較好的用戶體驗。比如在網絡條件允許的情況下，采用H.264的編碼壓縮的視頻256Kbit/s圖像的清晰度一定比128Kbit/s的要高，如果在網絡情況不好時，則自動切換到低碼率的一檔，從而使播放流暢。

另外一種情況是，但對于較小屏幕如提供較高的帶寬，實際是對網絡帶寬的消耗是一種浪費，因為用戶體驗并未得到很明顯的提高，這種由少量用戶對大寬帶視頻的需求，會對無線網絡的帶寬消耗造成浪費和擁塞，降低了其它大量用戶的使用體驗，因此需要在無線網絡內對視頻進行優化處理，比如對手機用戶的所有1080P的視頻降低為720P或480P視頻分辨率，從而節省寶貴的網絡資源。

四、總結

在OTT的業務環境中，由于業務是假設在互聯網之上，對網絡服務質量沒有QOS保證，因此需要在應用層對視頻傳輸進行進一步的優化處理，以提供用戶業務體驗：（1）通過HTTP的自適應碼流技術，提高OTT視頻在網絡帶寬波動的情況下提供平滑播放的業務體驗。（2）對各種視頻終端的屏幕實現分辨率匹配策略，尤其在無線網絡環境下，減少OTT視頻對網絡開銷，降低無線網絡擁塞的可能，從而提高業務體驗質量。

參 考 文 獻

[1] 黃遠清. 2012年美國OTT市場淺析[J]，衛星電視與寬帶多媒體，2012（23）

[2] 姚良等. 智能電視終端的視頻服務質量保障[J]，電信科學，2013（04）endprint

注意：MPEG-2TS封裝不能與MPEG-2編碼的概念混淆。封裝是一種打包的格式，可以封裝多種編碼格式內容，比如對視音頻就是H.264視頻和AAC音頻，對音頻就是MPEG ES格式，封裝帶ATDS頭的AAC格式或MP3格式。

流文件流切片器及存儲：

流切片過程是通過軟件在本地網絡讀出TS封裝文件，并將文件切片為一系列，較小的等長度的媒體文件，比如10秒為一段。這些已分割的文件，可以在客戶端重新復原組成連續的流文件。

切片同時創建一個索引文件，包含了切片文件的樣板。每次切片器完成文件切片，索引文件就會更新。索引文件用來跟蹤媒體文件可用性及位置。切片器以在切片的過程中，可以對文件進行加密并在這個過程中生成相關密鑰文件。切片后的媒體文件被保存為.ts文件（MPEG-2封裝，索引文件被保存為.M3U8文件）。切片時需要強調的是，對文件的等長切片，而且要對不同碼率的視頻文件都做切片。

②分發單元

分發系統是一個WEB服務器或WEB 緩存系統，通過HTTP與客戶端建立鏈接并下發媒體文件和索引文件。 對于WEB服務器可以是通用的，一般只需要少量配置工作就可以實現。

推薦配置是典型的用于MIME類型的M3U8文件和 .ts 文件。生存時間 TTL值對于.M3U8 文件可以設置，以達到需要WEB CACH服務緩存達到的設計要求。這些文件經常需要頻繁的覆蓋，最新的內容則按最新的請求下載。

③客戶端單元

首先是客戶端獲取索引文件并基于URL來區分不同視頻流。索引文件按序定位已存在的媒體文件，密鑰文件及可替換的媒體文件等。對于選擇播放的流，客戶端會按順序下載已有媒體文件。每個文件即包含播放流里的順序文件。當下載足夠的數據文件后，客戶端開始播放給用戶重新組裝的流。

客戶端負責獲取解密密鑰字，認證或提供認證界面并按需解密媒體文件。在這個過程中，客戶端一旦索引文件中遇到 #EXT-X-ENDLIST的標記，就會停止這個過程。如果一直不遇到#EXT-X-ENDLIST的標記，則索引文件則會是持續廣播信號的一部分。客戶端會周期性的下載新版本的索引文件，然后客戶端在更新的索引文件中尋找媒體文件及解密密鑰字，并將這些URL加到隊列中。

Session 會話類型

HTTP直播流協議支持直播會話和VOD視頻點播會話鏈接。對直播會話鏈接，新的媒體文件創立并且現有的索引文件實時更新。新的索引文件包括新的媒體文件，而舊的索引文件被移除，更新的索引文件表現為連續播放流的一個移動窗口，這種會話適用于連續的廣播視頻。

對于 VOD會話，媒體文件表示了需要播放的完整周期。索引文件是靜態的，包含從文件之初到結束的完整索引。這種類型的會話允許客戶端能完整的訪問到整個節目內容中。

也可以創立一個直播然后轉為點播，即轉直播到VOD，這時不需要從服務器里移除舊的文件或從索引文件里刪除URL，只需要在廣播結束時增加一個 #EXT-X-ENDLIST標識。客戶端可以隨后加入廣播并仍舊看到完整事件，這在需要重播的時候就相當方便。

替換流的切換

索引文件可以指向可替換的流內容，從而實現對同一視頻多種編碼質量對應不同的終端類型和網絡質量。如果網絡帶寬變化，HTTP直播流協議支持動態的流切換，客戶端軟件則會自動在不同的流之間在適當的時候進行切換，這種自動方式是根據測量網絡吞吐能力來實現。

索引文件指向一個替換流，是通過指向另一給索引文件標示實現，如圖（2）所示。

客戶端可以在任意時刻，實現對不同流的切換，比如移動終端從蜂窩網絡接入或離開WIFI 熱點。所有的可替換流需要使用統一的音頻，這樣才能實現平滑的切換過程。

應用案例說明：

按照在不同網絡帶寬的條件下，我們對視頻內容進行不同的編碼率實現編碼，比如我們可以對同一部電影內容，采用H.264編碼，做7個級別碼率編碼，如表1所示。

手機，PAD，PC和TV至少都由2檔質量可選，具體選哪種質量，取決于網絡，在默認情況下，應選擇較高質量的視頻內容，以滿足較好的用戶體驗。比如在網絡條件允許的情況下，采用H.264的編碼壓縮的視頻256Kbit/s圖像的清晰度一定比128Kbit/s的要高，如果在網絡情況不好時，則自動切換到低碼率的一檔，從而使播放流暢。

另外一種情況是，但對于較小屏幕如提供較高的帶寬，實際是對網絡帶寬的消耗是一種浪費，因為用戶體驗并未得到很明顯的提高，這種由少量用戶對大寬帶視頻的需求，會對無線網絡的帶寬消耗造成浪費和擁塞，降低了其它大量用戶的使用體驗，因此需要在無線網絡內對視頻進行優化處理，比如對手機用戶的所有1080P的視頻降低為720P或480P視頻分辨率，從而節省寶貴的網絡資源。

四、總結

在OTT的業務環境中，由于業務是假設在互聯網之上，對網絡服務質量沒有QOS保證，因此需要在應用層對視頻傳輸進行進一步的優化處理，以提供用戶業務體驗：（1）通過HTTP的自適應碼流技術，提高OTT視頻在網絡帶寬波動的情況下提供平滑播放的業務體驗。（2）對各種視頻終端的屏幕實現分辨率匹配策略，尤其在無線網絡環境下，減少OTT視頻對網絡開銷，降低無線網絡擁塞的可能，從而提高業務體驗質量。

參 考 文 獻

[1] 黃遠清. 2012年美國OTT市場淺析[J]，衛星電視與寬帶多媒體，2012（23）

[2] 姚良等. 智能電視終端的視頻服務質量保障[J]，電信科學，2013（04）endprint