基于長短期記憶的流媒體QoE預測模型

孫 鵬，白光偉，沈 航，顧一鳴

(南京工業(yè)大學 計算機科學與技術學院，江蘇 南京 211816)

0 引 言

根據思科視覺網絡索引[1]的預計，到2021年視頻流將占世界移動數據流量的四分之三。視頻服務提供商想讓自己提供的流媒體視頻服務得到用戶認可，則需要一種以用戶接受程度為基準的評價方法作為對他們服務的一種度量準則，用戶體驗質量[2](quality of experience，QoE)由此產生。

QoE涉及到一些主觀因素，這些因素很多都是非線性的，現有的客觀視頻質量評估(VQA)方法被證明不能充分地模擬QoE[3]建模，但VQA模型的結果仍是QoE預測系統設計中一個重要因素。視頻質量評估(VQA)模型包括全參考模型(FR)、部分參考模型(RR)和非參考模型(NR)。

同樣客觀的服務質量評價(QoS)都不足以直接用來模擬QoE建立模型，因此需要整合VQA、QoS相關指標以及會影響到QoE一些關于人類認知方面如記憶性、新近性[4]等因素。

本文提出訓練一種連續(xù)時間的QoE預測模型，并且將連續(xù)時間QoE預測視為一種時間序列預測問題。已有文獻[5]提出采用線性自回歸平均移動距離(autoregressive-moving-average，ARMA)模型來進行預測時間序列。雖然該模型更容易分析，但是其基于一種平穩(wěn)性假設，然而預測主觀QoE是非平穩(wěn)且具有復雜時間依賴性的過程，因此本文采用一種基于LSTM(長短期記憶)的神經網絡為引擎預測視頻流用戶連續(xù)QoE的方法，簡稱L-QoE。LSTM在序列標記[6]、視覺識別等應用中對復雜時間依賴關系的建模是有效的。所提L-QoE模型依賴于3個輸入特征，即：①瞬時視頻感知質量(short-time perceived video quality)用SPVQ表示；②播放狀態(tài)指示(playback indicator)表示為PI；③自上次視頻受損以來經歷的時間，表示為T1。在已公開連續(xù)的QoE數據庫上對L-QoE進行了評估，結果與當前的QoE預測方法相比，本文提出方法預測結果的精確度更高。

1 相關工作

QoE預測模型需要以QoE受損視頻和相關人類主觀評分數據庫為載體進行設計和評估。研究人員設計了許多主觀視頻質量數據庫[3,7,8]，但是這些數據庫不能模擬視頻由網絡引起的失真。本文研究目標涉及了如重載卡頓和壓縮失真等混合動態(tài)視頻損傷對用戶觀看流媒體視頻體驗質量的影響，選用LIVE Netflix[9,10]數據庫來對連續(xù)時間的QoE預測器進行訓練，該數據庫是基于帶寬可用模型模型設計，并且模擬應用多種視頻失真模式(如圖1所示)。

圖1 LIVE Netflix數據庫中受損視頻演示

近期研究提出的QoE預測方式分為回顧性和連續(xù)性；回顧性QoE預測模型會輸出一個總結觀看完視頻QoE的總體得分數值。當前許多QoE預測模型都屬于回顧性QoE預測模型，例如Yeganeh H等[11]提出的DQS模型，該模型的精確度不高。Duanmu Z等[12]提出SQI模型和Bampis CG等[3]提出基于學習的Video ATLAS模型以及Zhang Y等[13]提出的FDT預測模型等。但是，這些模型只能進行全局測量，因此不能捕捉到觀看流式視頻時主觀體驗質量在某一時刻的變化，從而實時性表現很差。

因此本文部署連續(xù)時間預測模型，將連續(xù)時間QoE預測問題作為一種時間序列預測分析，公式表述

y(t)=f(y(t-1),y(t-2),…,y(1),x(t))

(1)

式(1)表述利用過去一段時間內被預測QoE數值y(t-1∶1)以及視頻的時間特征x(t)來預測未來一段時間內所需該視頻的QoE數值y(t)。這樣度量QoE頻率會更高，有很強的實時性，非常適合服務提供商在優(yōu)化資源分配時進行參考。

在連續(xù)時間QoE預測方面的問題上，已有文獻[14-16]，分別使用H-W和NARX模型對僅受動態(tài)比特率變化影響的視頻進行連續(xù)時間的QoE預測。上述模型的問題是輸入特征單一不全面，不能充分地描述影響人類主觀QoE的因素，因此導致模型預測精確度不高。

在最近的研究中，文獻[17]提出了一種被稱為NLSS-QoE的基于傳統狀態(tài)空間方法的非線性QoE預測模型，該模型在一定程度上模擬了在預測過程中復雜的時間依賴關系，但其固定對于時間依賴性的量化參數，無法適應在實際中的動態(tài)變化。

總結先前關于QoE的研究或多或少存在著以下問題：

(1)訓練模型時所用的數據庫存在局限性；

(2)提出的模型只能滿足單種輸入特征；

(3)與QoE相關的記憶性，動態(tài)性以及其產生過程中非線性沒有被模擬出來；

(4)缺乏將連續(xù)時間QoE預測轉化為時間序列預測的有效措施。

為了建立實時性好精確度高的預測模型，需要克服這些問題，本文也將在后面章節(jié)中就這些問題提出相應的解決方案。

2 QoE預測建模

2.1 問題建模

根據國際電信聯盟對QoE的定義：最終用戶主觀感知的應用程序或服務的總體質量[18]。許多心理視覺實驗研究都假設，人類視覺系統(HVS)中視覺質量與感知體驗之間的關系是高度非線性的[19]，用戶在觀看視頻時產生的QoE實質是外界刺激的非線性函數。視覺QoE是動態(tài)以及時變的，在一系列因素例如視頻的重載和碼率變化下的影響下，HVS會產生滯后效應，即過去事件的發(fā)生在當前時刻對QoE留下了非常可觀的影響。滯后效應本質上意味著QoE產生過程在本質上是非馬爾可夫的，在于最開始事件序列中存在著一種影響當前QoE的記憶。隨著時間不斷推移，QoE產生過程會具有長時間跨度的一種依賴關系，如圖2所示。

圖2 QoE產生過程的非馬爾可夫性

由于滯后效應，連續(xù)時間的QoE體現出非馬爾可夫時間動態(tài)性。為了捕捉這種動態(tài)，本文使用了LSTM，在文獻[20]中已被證明其在建立具有長期時序依賴關系的序列數據方面是有效的。LSTM已經成功地應用于解決諸如序列標記[6]、視覺識別[21]和機器翻譯等復雜問題。在此基礎上，本文提出了一種基于LSTM的連續(xù)QoE預測模型。

2.2 LSTM神經網絡框架

本文找尋一個合適的神經網絡框架，即LSTM模型：LSTM(long short-term memory)模型是一種RNN變種，而遞歸神經網絡(recurrent neural network，RNN)是目前就所知在時間序列預測模型最常用并且最強大的工具。LSTM架構核心是cell狀態(tài)(cell state)，其作用是將信息從上一個cell傳遞到下一個cell，和其它部分只有很少的線性的相互作用。LSTM在一般RNN結構添加了3類閥門：遺忘閥門(forget gate)，輸入閥門(input gate)和輸出閥門(output gate)。這些閥門用于判斷模型網絡的記憶態(tài)在該層輸出結果是否達到閾值從而加入到當前該層計算中。閥門由一個sigmoid函數和一個點乘操作組成。sigmoid函數的輸出值在[0,1]區(qū)間，0代表完全丟棄，1代表完全通過。模型中所需要的記憶功能由這些閥門節(jié)點實現。因此，通過調節(jié)閥門的開關可以實現早期的時間序列對最終結果的影響。每一層包括閥門節(jié)點的權重都會在每一次模型反向傳播訓練過程中更新，經典LSTM單元節(jié)點結構如圖3所示。

圖3 LSTM單元結構

根據LSTM的結構，每個LSTM單元工作的公式描述如下

ft=σ(Wf·[Ht-1,xt]+bf)

(2)

it=σ(Wi·[Ht-1,xt]+bi)

(3)

(4)

(5)

ot=σ(Wo·[Ht-1,xt]+bo)

(6)

Ht=ot×tanh(ct)

(7)

此外，LSTM利用輸入閥門，遺忘閥門和輸出閥門使得自循環(huán)的權重可以自適應調整，從而在一定程度上規(guī)避了梯度消失的問題。

2.3 L-QoE模型

x(t)=[x1(t),x2(t),x3(t),…,xm(t)]

(8)

p(y(t)|y(t-1),y(t-2),…,y(1))≠p(y(t)|y(t-1))

(9)

其中，式(9)中條件概率為p(y(t)|y(t-1),y(t-2),…,y(1))，QoE產生表現出高度時間依賴性，但這種長時間依賴性很復雜，使用單個LSTM單元可能無法有效地捕獲它們。因此目前想法是建議建立一個LSTM網絡來學習這些涉及到QoE預測過程的依賴關系，其表述如圖4所示。這個提議的動機來自于各種基于LSTM的解決方案，這些解決方案已被證明能夠成功地解決一些涉及復雜依賴關系問題，例如序列學習[22]，活動識別和圖像描述。

圖4 L-QoE網絡架構

(10)

單元cell狀態(tài)更新總體上描述公式如下

(11)

從式(10)、式(11)中可以看出，輸入特征x(t)對于連續(xù)的QoE預測是至關重要的。所選的輸入特征應該有效的捕獲和整合能夠在LSTM狀態(tài)轉換中影響QoE預測的因素。本文在下面小節(jié)中，討論輸入特征向量x(t)的組成。

2.4 輸入特征選擇

出于它們被證實的有效性[23]，本文在L-QoE中使用了以下3個特征來預測QoE：

(1)瞬時視頻感知質量(short-time perceived video quality,SPVQ)：定義為當前呈現給用戶的視頻片段的感知質量，使用現有的視頻質量評估指標(VQA)作為輸入。例如采用全參考(FR)的MS-SSIM，VMAF；部分參考的(RR)STRRED，以及無參考的(NR)的NIQE。

(2)播放狀態(tài)指示(playback indicator，PI)：當前的視頻播放狀態(tài)，用布爾值表示，即

(12)

(3)距最近發(fā)生視頻重載經歷的時間(T1)：一個重載事件后通常是一個恢復階段，在這個階段中，由于卡頓而下降的QoE會隨著播放過程的進行而恢復。本文使用T1，一個變量來跟蹤自上次重載事件發(fā)生以來經過的時間，并且假設QoE的恢復和T1成正相關。

在下面的章節(jié)中討論了在QoE數據庫上的L-QoE的實施和性能評估。

3 L-QoE實現

3.1 數據庫選擇和描述

本文使用已公開的連續(xù)QoE數據庫對提出的L-QoE模型進行訓練和評估。數據庫的細節(jié)，以及訓練和測試流程的描述如下。

LIVE Netflix數據庫：該數據庫包含在56個實驗者參與下從移動設備上提供的112個視頻的主觀評估中收集的約5000個連續(xù)和回顧性主觀QoE評分。它是基于帶寬可用模型模型設計的，并且在來自Netflix和其它公開可用視頻源劃分出14不同種類視頻內容，每個種類中有8個視頻且采用不同的視頻播放模式，數據庫中的視頻分辨率為1920×1080。數據庫中視頻的連續(xù)QoE分數的范圍為[-2.26,1.52]，分值與QoE成正相關。

為了減少內容和模式依賴，我們將數據庫中14種內容劃分為兩個不相交的集合：一個訓練集和一個包含不重疊內容的測試集；具體表述為：用j為庫中視頻做編號，即j∈[1,2,…,112]，對于每個j對應的視頻，排除與j具有相同內容種類或相同播放模式的所有其它視頻，將這些視頻定義為第j號訓練集，而與其對應的測試集只包含單獨視頻j，每個訓練測試集含有(14-1)×(8-1)=91個視頻。

3.2 性能評估度量方法

所提出的模型對QoE預測性能使用以下4種度量方法進行量化：①線性相關系數(LCC);②斯皮爾曼等級相關系數(SROCC);③歸一化的根均方差(RMSEn);④中斷率(OR)。

LCC的定義公式為

(13)

SROCC定義公式為

(14)

(15)

式中：N為實際進行預測的次數；而OR則表示預測序列落在在實際值序列的兩倍置信區(qū)間之外的頻率，公式定義

(16)

式中：置信區(qū)間范圍設為95%，即CIy(t)=95%。其中SROCC和LCC的值越高，預測模型性能越好，具有更好的單調性和線性精度，而較低的RMSEn和OR數值則表明該模型具有較好的預測結果相似度。SROCC和LCC僅在樣本之間互相獨立時才能獲得最好效果，而RMSEn不能捕獲時序性誤差變化，OR則是不能評判在置信區(qū)間內預測值與實際值的誤差大小。由于模型中預測分數是高度時間依賴性的，因此將本文上述4種方法組合起來評估QoE預測模型的性能。

3.3 L-QoE網絡的參數選擇

在這一節(jié)研究LSTM網絡含有的層數m和單元數n對QoE預測的影響，圖5說明L-QoE在LSTM網絡中配置不同的層數m和單元數n的預測性能變化通過改變層數和LSTM單元的數量，在LIVE Netflix數據庫上使用SPVQ、PI和T1這些輸入特征檢查預測性能。

圖5 各種L-QoE網絡配置的QoE預測性能

從圖5觀察到，當網絡配置在2層及以上，LSTM單元在15個以上時在LCC和OR的表現趨于飽和。當LSTM層數超過2層時，模型僅產生了輕微的性能改善，并且在配置超過4個LSTM層時模型性能開始下降。這可能是因為隨著LSTM單元和層數增加，網絡變得越來越深，而訓練這樣一個更大的網絡可能會因為潛在過度擬合而導致效率降低。綜合考慮性能表現以及計算消耗，在仔細研究LCC和OR性能的基礎上，選用2個LSTM層和每層16個單元的配置是LSTM網絡預測QoE最佳選擇，即m=2，n=16。下一節(jié)中將討論提出的輸入特征對QoE預測的影響。

4 實驗結果與分析

4.1 輸入特征貢獻

本節(jié)研究證實各個輸入特征(SPVQ，PI，T1)的不同組合對QoE預測的貢獻，即將這些特征組合輸入到L-QoE網絡中，并在LIVENetflix數據庫上評估它們的QoE預測性能。在這里采用STRRED作為SPVQ以及2層16個單元的LSTM網絡進行實驗。圖6說明了在不同的特征組合下模型LCC以及OR的表現，將各個輸入特征組合全部列出：a:SPVQ、b:PI、c:T1、d:SPVQ+PI、e:PI+T1、f:SPVQ+T1、g:SPVQ+PI+T1；其中越高的LCC和越低的OR值越能說明模型性能的優(yōu)越性。結果如圖6所示，結果顯示g組的表現最好，即采用全部輸入特征：SPVQ，PI，T1作為L-QoE的輸入驅動，隨后討論L-QoE連續(xù)性預測表現。

4.2 L-QoE的預測表現

圖6 各種輸入特征組合的QoE預測性能

圖7、圖8、圖9分別直觀展現本文提出的L-QoE模型以及作為對比的NARX[16]、H-W[21,27]模型在LIVE Netflix數據庫上某個視頻序列中的預測表現，圖中實線與虛線分別表示實際與預測的QoE數值。

圖7 L-QoE在數據庫上分別以MS-SSIM，STRRED，NIQE作為SPVQ的度量方法的表現

圖8 NARX在數據庫上分別以STRRED，MS-SSIM，NIQE作為SPVQ的度量方法的表現

圖9 H-W在數據庫上分別以STRRED，MS-SSIM，NIQE作為SPVQ的度量方法的表現

表1 L-QoE和其它模型的QoE預測性能

實驗結果表明，提出的L-QoE網絡模型能夠捕獲QoE預測過程中復雜的長時間依賴關系，因此我們推斷L-QoE是一種高效、有效的QoE預測模型。

4.3 L-QoE的回顧性預測表現

本節(jié)探究能否通過L-QoE的連續(xù)性預測分數推算用戶的回顧性QoE。除連續(xù)的QoE評分外，LIVE Netflix數據庫還提供主觀研究中每個視頻結束時獲得的總體QoE分數。分別使用平均匯總和中值匯總兩種策略，將預測的連續(xù)時間QoE分值推算出的回顧性QoE分數，用與回顧性QoE評分的實際值的相關性來評價結果。分別使用LCC與SROCC作為性能度量方法，通過使用兩種匯總策略，結果見表2。即模型所展現出的回顧性QoE預測值與實際值之間的線性相關性以及單調性的表現非常好。實驗結果也展示出可通過L-QoE模型得出的連續(xù)時間QoE預測值來推算該視頻的回顧性QoE值。

表2 不同匯總策略推算回顧性QoE的預測性能

5 結束語

本文提出一種預測連續(xù)時間QoE的L-QoE模型，該模型采用LSTM網絡來捕獲與QoE的產生和預測過程中復雜時間依賴關系。該模型進行的QoE預測使用了一組能確定QoE的特征，在LIVENetflix數據庫對所提出的模型進行了綜合評價。結果表明，L-QoE提供一個很好的預測結果并且預測精確度要優(yōu)于近期提出的一些預測模型。在未來工作中，我們打算繼續(xù)探究并描述QoE預測過程中的復雜時間依賴性，尋找一個魯棒通用的QoE預測方法，可以在更多不同的QoE數據庫以及不同場景的流視頻上提供更好的預測精確度。