基于自動機器學習的QoE預測模型研究

摘要：準確預測流媒體視頻的用戶體驗質量（QoE）是提升其服務的關鍵所在。流媒體QoE預測模型通常基于視頻質量和網絡傳輸質量等客觀指標進行評估，然而，QoE的主觀性為準確評估帶來了極大的挑戰。為了更精確地預測用戶體驗質量，文章首次將自動機器學習用于流媒體視頻的QoE預測，提出了基于自動機器學習的QoE預測模型。該模型通過特征分析從視頻質量評估指標和網絡質量評估指標中選擇最優特征作為輸入，采用H2O AutoML自動機器學習算法進行QoE建模。為了評估方法的有效性，在公開數據集SQoE-Ⅲ數據庫上進行實驗，并與基于傳統機器學習的XGBoot算法的QoE模型結果進行對比分析。實驗結果顯示，通過自動選擇和調優，基于自動機器學習的QoE預測模型取得了顯著的進展。該模型的MAE為5.53699、RMSE為7.35987，有效提升了QoE預測的準確性。該研究為QoE建模提供了新的思路和方法，精確預測了用戶對視頻流的感知滿意度。

關鍵詞：流媒體視頻；用戶體驗質量；自動機器學習；機器學習

中圖分類號：TP311文獻標志碼：A

0引言

2023年，全球互聯網現象報告顯示視頻流量已經占互聯網流量的65.93%，成為全球網絡流量的主要貢獻者［1］。就中國而言，網絡視頻用戶規模為10.44億人，網民使用率達96.8%［2］。面對如此龐大的需求，如何提升網絡視頻的用戶體驗質量（Quality of Experience，QoE）以獲得更大的市場份額，成為服務提供商和學術界的研究熱點。目前，基于HTTP的動態自適應流（Dynamic Adaptive Streaming over HTTP，DASH）是視頻流業務的主要解決方案，其將多媒體文件分割為一個或多個片段，并使用超文本傳輸協議傳遞給客戶端。客戶端根據當前網絡條件利用自適應比特流算法自動選擇合適的比特率下載，從而避免播放卡頓或重新緩沖事件，提高用戶的QoE［3］。其面臨的最大挑戰是準確評價終端用戶的QoE并在此基礎上優化自適應比特流算法。

QoE是用戶情緒體驗，具有主觀性，受到視頻質量、網絡傳輸情況、觀看終端設備等各種因素的影響，如何評價QoE并制定面向更精確的QoE訓練方案一直是研究的熱點。隨著人工智能的進步，自動機器學習應運而生。自動機器學習可以自動執行模型選擇、調優和特征工程等任務；可以在大量模型和超參數組合中進行搜索，找到最優模型和配置；可以通過交叉驗證等技術，減輕過擬合風險。為了深入理解并精確預測用戶對視頻流的感知滿意度，本研究提出將自動機器學習技術融入QoE建模中，通過實現模型的自動選擇和調優，節省時間和資源，適應不同的數據集和網絡條件，為DASH流提供更靈活的QoE預測，從而提高QoE預測的準確性。

本文的主要工作如下：

（1）研究視頻質量、網絡傳輸情況等客觀指標與用戶體驗主觀性之間的關聯性，選出重要特征；

（2）首次提出將自動機器學習技術應用于DASH流媒體的QoE預測領域，構建基于H2O AutoML自動機器學習的QoE預測模型；

（3）在公開數據集SQoE-Ⅲ中進行驗證，并對結果進行對比分析。

1相關工作

目前，DASH視頻流QoE預測模型的常用方法是：通過找到影響用戶體驗質量的關鍵因素，利用數學建模的方法建立QoE預測模型去逼近平均意見分數MOS值。該方法主要分為以下2類：一是參數化的模型，利用線性模型或者指數模型將卡頓、視頻質量、比特率等指標建立公式，并用幾個參數平衡這些指標的關系；二是采用機器學習的方法，將卡頓、視頻質量、比特率等指標作為輸入，利用各種機器算法進行預測。

Mok等［4］最早提出QoE模型，利用簡單的線性公式建立了初始加載延時、卡頓次數和卡頓時長與MOS值的映射關系；Rodríguez等［5］提出模型VsQMDASH，利用指數公式建立了初始加載延時、卡頓和模式切換與MOS值的映射關系；Robiza等［6］提出模型P.NATS，將視頻質量、新近效應、卡頓位置和時長作為指標。Bampis等［7］提出了基于各種機器算法的模型Video ATLAS，采用了Support Vector Regression （SVR）、Random Forest （RF）、Gradient Boosting （GB）、Extra Trees （ET） 以及Ridge and Lasso regression等方法，并且利用數據庫LIVE_NFLX_PublicData預測整體的QoE；隨后提出NARX模型和增強NARX模型［8-9］，利用非線性自回歸網絡預測連續QoE。Zhang等［10］提出了DeepQoE，利用詞嵌入和3D卷積神經網絡篩選特征值，結合深度學習預測QoE。類似地，Huyen等［11］使用自建數據庫，采用adLSTM和baLSTM預測QoE。Duanmu等［12］創建數據庫SQoE-Ⅲ，在此數據庫上，IVCHENKO A. V.等采用了算法模型Linear Regression、Gradient Boosting Regression、Support Vector Machine Regression、Random Forest Regression預測QoE，并對其進行了性能比較。Eswara等［13］提出LSTM-QoE，基于遞歸神經網絡的LSTM網絡QoE預測模型，預測時變的QoE。

然而，參數化模型的過度簡化無法充分捕捉用戶體驗的細微差異；Video ATLAS和NARX模型的復雜性導致其在實時預測中面臨延遲問題，并且調參及維護極具挑戰；同時，LSTM模型在處理長序列數據時的高計算成本以及難以捕捉長期依賴關系的問題限制了其實際應用。傳統機器學習方法依賴手動特征工程和參數調整，難以適應網絡條件的動態變化。為了克服這些局限性，探索自適應和自動化特征選擇方法至關重要。

2基于自動機器學習的QoE預測模型

本次研究主要基于自動機器學習實現QoE的預測，其總體技術路線如圖1所示。首先，該方法獲取流媒體視頻數據庫SQoE-Ⅲ［12］，包括450個流媒體視頻以及對應的視頻質量評價指標和網絡質量評價指標；其次，分別對視頻質量評價指標和網絡質量評價指標進行特征選擇；然后，采用自動機器學習算法進行模型構建，此次采用的自動機器學習模型是H2O AutoML；最后，將自動機器學習算法的預測結果進行分析比較。

2.1數據庫描述

本文采用SQoE-Ⅲ數據庫，該數據庫包括20個不同內容類型的源序列和在不同的失真模式下創建的450個流媒體視頻，涵蓋了6種具有不同特征的自適應算法，并在13種代表性的網絡條件下進行了測試。該數據庫是專門為視頻質量評估和用戶體驗研究設計的，其提供了大量的主觀和客觀的視頻質量評分。這些數據點可以用來訓練和驗證QoE預測模型，因此使用這個數據庫可以確保研究的基礎數據是可靠和有代表性的。

2.2自動機器學習

自動機器學習（Automatic Machine Learning， AutoML）是一種利用自動化技術來簡化和加速機器學習模型開發的方法［14］。該方法減少了傳統機器學習方法中所需的手動工作量和專業知識。自動機器學習的流程包括數據預處理、特征工程、模型選擇、超參數調整甚至部署，其組織框架如圖2所示［15］。

目前，常見的自動機器學習方法如下：Auto-sklearn，基于scikit-learn構建的自動化機器學習工具，通過使用貝葉斯優化來搜索模型空間，并使用元學習器來選擇最佳模型［16］；Auto-Keras，基于Keras構建的自動化深度學習工具，通過搜索神經網絡架構和超參數來優化模型［17］；Google Cloud AutoML，由Google提供的一系列AutoML工具，包括AutoML Vision、AutoML Natural Language等，用于圖像分類、文本分類等任務［18］；H2O AutoML，H2O.ai提供的自動機器學習平臺，可以自動執行數據預處理、特征工程、模型選擇和調參等任務。本次研究采用H2O AutoML，其是一個開源、分布式的機器學習平臺，使用快速隨機搜索和堆疊集成的組合來實現高效訓練。H2O AutoML通過培訓一系列算法（例如GBM、隨機森林、深度神經網絡和GLM等），促成了候選模型之間的多樣性。這種多樣性為堆疊集成提供了可充分利用的基礎，最終塑造出強大而穩健的模型。

2.3模型評價指標

本文使用以下統計學評價指標來度量提出的QoE預測模型的質量，分別是平均絕對誤差（Mean Absolute Error，MAE）、均方誤差（Mean Squared Error，MSE）、均方根誤差（Root Mean Square Error，RMSE）和決定系數（Coefficient of Determination，R2）。其中MAE、MSE、RMSE的取值越小表示該模型性能最優。R2取值范圍是0～1，其值越接近1表示模型越能解釋目標變量的方差。

MAE的定義公式為：

MAE=1n∑ni=1y^i-yi（1）

MSE的定義公式為：

MSE=1n∑ni=1y^i-yi2（2）

RMSE的定義公式為：

RMSE=1n∑ni=1y^i-yi2（3）

R2的定義公式為：

R2=1-∑ni=1yi-y^i2∑ni=1yi-y-2（4）

其中，yi是實際觀測值，y^i是對應觀測值的模型預測值，y-是目標變量的均值，n是樣本數量。

3實驗

3.1實驗環境

本次研究的編程工具為Python3.10，編程集成環境為PyCharm Community Edition2023.3.2，使用自動機器學習庫H2OautoML。研究實驗環境為處理器Intel（R） Core（TM） Ultra 7 155H 1.40 GHz；機帶RAM：32.0 GB；系統類型：64 Bits操作系統，基于x64的處理器。

3.2特征選取

在視頻流媒體領域，QoE預測是復雜且具有挑戰性的任務，其受視頻質量、內容、網絡波動、用戶行為以及觀看環境等多種因素的綜合影響。在視頻質量評估方面，客觀評估方法通過模擬人類視覺系統以量化方式評估視頻質量，包含以下評估模型：全參考模型PSNR（峰值信噪比）、SSIM（結構相似性指標）、MSSSIM（多尺度結構相似性指標）、VQM（視頻質量度量）和VMAF（視頻多方法評估框架）、SSIMplus；半參考模型STRRED（空間-時間減少參考熵差異）和無參考模型TLVQM、BRISQUE和NIQE、V-BLIINDS等。在網絡傳輸性能評估方面，流媒體視頻聯盟（Streaming Video Alliance）定義如下關鍵指標：視頻起播時間（initialBufferTime）、緩沖次數（rebufferCount）、緩沖速率（rebufferRate）、緩沖比率（rebufferPercentage）、平均媒體碼率（average VideoBitrate）、比特率切換次數（audioSwitchCount）、比特率切換率（bitrateSwitchRateAudio）以及掉幀次數（droppedFrameCount）。

為了在QoE預測中找到關鍵指標，本研究利用SQoE-Ⅲ數據庫，并以MOS（Mean Opinion Score）值作為標簽。通過應用斯皮爾曼相關系數（SROCC）和皮爾遜相關系數（PLCC），對特征進行篩選和優化，以確保模型的準確性和效率。其計算方法如下所示。

PLCC=∑ni=1xi-x-yi-y-2∑ni=1xi-x-2yi-y-2（5）

SROCC=1-6∑ni=1（yi-xi）2n（n2-1）（6）

PLCC和SROCC是用于衡量特征變量之間相關性的指標，其絕對值越大說明兩者之間的相關性越強。視頻質量評估方法與目標變量MOS值之間PLCC和SROCC計算結果如表1所示。

視頻質量評估方法與MOS值的PLCC結果如圖3所示。視頻質量評估方法與MOS值的SROCC結果如圖4所示。VQM與目標變量MOS值之間相關性最大，因此，選取VQM作為特征變量。

在網絡性能方面，參考流媒體視頻聯盟定義的關鍵指標，計算這些關鍵指標與目標變量MOS值之間的PLCC和SROCC，結果如表2所示。

網絡性能指標與MOS值的PLCC結果如圖5所示。網絡性能指標與MOS值的SROCC結果如圖6所示。Rebuffer count、averageWeightedBitrate、Rebuffer percentage、average duration of stalling event與MOS值之間相關性大，因此選取為特征變量。

最終確定的特征變量如下：Rebuffer count、averageWeightedBitrate、Rebuffer percentage、average duration of stalling event和VQM。

3.3實驗結果分析

本次實驗采用SQoE-Ⅲ數據庫，共450條視頻。將此數據庫按照8∶2進行劃分，80%為訓練集，20%為驗證集。采用K折交叉驗證，K設置為10。模型數量設置為6，最終自動選擇模型為以下6種，分別是Stacked Ensemble_AllModels_1、DeepLearning_grid_3、GBM_grid_1、GLM_1、XRT_1、DRF_1模型。各個自動機囂學習模型的預測結果如表3所示。最終，StackedEnsemble_AllModels_1獲得最優性能，MAE為5.53699、MSE為54.16774、RMSE為7.35987、R2為0.77622。

利用最好模型StackedEnsemble_AllModels_1進行預測，預測結果與真實MOS值的關系如圖7所示，從中可以看出預測結果能夠較好地跟隨MOS值。

4結語

本文基于SQoE-Ⅲ數據庫，利用自動機器學習的方法建立了DASH視頻流的QoE自動機器學習預測模型。所提出的模型具有無需調參的特點，顯著提高了建模效率，適用于實際互聯網視頻服務質量評估。此次研究采用H2O AutoML自動機器學習算法，后續工作還可以繼續探索將其他自動機器學習算法用于DSAH視頻流的QoE預測。并且，隨著短視頻和直播的興起，課題組還可以研究多種場景下的QoE預測模型，增強模型的魯棒性。

參考文獻

［1］SANDVINE. 2023 Global internet phenomena report［EB/OL］. （2023-01-19）［2024-03-25］. https：//www.sandvine.com/hubfs/Sandvine_Redesign_2019/Downloads/2023/reports/Sandvine%20GIPR%202023.pdf.

［2］中國互聯網絡信息中心.第52次《中國互聯網絡發展狀況統計報告［EB/OL］.（2023-08-28）［2024-03-25］.https：//www.cnnic.net.cn/n4/2023/0828/c88-10829.html.

［3］SEUFERT M， EGGER S， SLANINA M， et al. A survey on quality of experience of HTTP adaptive streaming［J］. IEEE Communications Surveys amp; Tutorials， 2014（17）：469-492.

［4］MOK R， CHAN E， CHANG R.Measuring the quality of experience of HTTP video streaming［EB/OL］.（2021-05-23）［2024-03-25］.https：//www.semanticscholar.org/paper/Measuring-the-quality-of-experience-of-HTTP-video-Mok-Chan/02160860e66ac561530f7339ad343781a055147b.

［5］RODRIGUEZ D， ROSA R， ALFAIA E， et al. Video quality metric for streaming service using DASH standard［J］. IEEE Transactions on Broadcasting， 2016（62）：628-639.

［6］ROBIZA W， GARCIA M， RAAKE A.A modular HTTP adaptive streaming QoE model-Candidate for ITU-T P.1203 （'P. NATS'）［EB/OL］.（2021-05-31）［2024-03-25］.https：//www.xueshufan.com/publication/2728546541.

［7］BAMPIS C， BOVIK A. Learning to predict streaming video QoE： distortions， rebuffering and memory ［EB/OL］. （2017-03-02）［2024-03-25］. http：//arxiv.org/abs/1703.00633.

［8］BAMPIS C， LI Z， and BOVIK A. Continuous prediction of streaming video QoE using dynamic networks［J］. IEEE Signal Processing Letters， 2017（24）：1083-1087.

［9］BAMPIS C， BOVIK A. An augmented autoregressive approach to HTTP video stream quality prediction ［EB/OL］. （2017-07-10）［2024-03-25］. https：//arxiv.org/abs/1707.02709.

［10］ZHANG H， DONG L， GAO G， et al. DeepQoE： A multimodal learning framework for video quality of experience （QoE） prediction［J］. IEEE Transactions on multimedia， 2020（22）：3210-3223.

［11］HUYEN T， DUC V， NAM P， et al. Overall quality prediction for HTTP adaptive streaming using LSTM network［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2021（31）：3212-3226.

［12］DUANMU Z， REHMAN A， WANG Z. A quality-of-experience database for adaptive video streaming［J］. IEEE Transactions on Broadcasting， 2018（64）： 474-487.

［13］ESWARA N， MANASA K， AVINASH K， et al. A continuous QoE evaluation framework for video streaming over HTTP［J］. IEEE Transactions on Circuits Systems for Video Technololy 2018（28）：3236-3250.

［14］KAMAT P， ZHANG YY， TRAPPE W， et al.Enhancing source-location privacy in sensor network routing［EB/OL］.（2021-06-06）［2024-03-25］.https：//ieeexplore.ieee.org/document/1437121.

［15］IMRUS S， MD I， PRITOM S， et al. AutoML： A systematic review on automated machine learning with neural architecture search［J］. Journal of Information and Intelligence，2024（2）：52-81.

［16］MATTHIAS F， KATHARINA E， STEFAN F， et al. Auto-Sklearn 2.0： The Next Generation［EB/OL］. （2020-06-01）［2024-03-24］. https：//www.researchgate.net/publication/342801746_Auto-Sklearn_20_The_Next_Generation.

［17］JIN H， SONG Q， HU X.Auto-Keras： An efficient neural architecture search system［EB/OL］.（2021-07-25）［2024-03-25］.https：//www.nstl.gov.cn/paper_detail.html？id=980e804ca0f5c7683fdc68f7056861ea.

［18］EKABA B. Building Machine learning and deep learning models on Google cloud platform［M］. CA： Apress Berkeley， 2019：581-598.

（編輯沈強編輯）

Research on QoE prediction model based on automatic machine learning

WANG" Wendie

（School of Physics and Electronic Engineering，Sichuan Normal University， Chengdu 610000， China）

Abstract： Accurately predicting the users’ quality of experience（QoE） for streaming video is crucial for enhancing its service. QoE prediction models for streaming media typically rely on objective metrics such as video quality and network transmission quality. However， the subjectivity of users’ QoE poses significant challenges for accurate assessment. In order to more precisely predict user experience quality， this paper introduces， for the first time， the application of automated machine learning to QoE prediction for streaming video， proposing an automated machine learning-based QoE prediction model. The model utilizes feature analysis to select optimal features from video quality assessment metrics and network quality assessment metrics as input， employing the H2O AutoML automated machine learning algorithm for QoE modeling. To evaluate the effectiveness of the method， the experiments are conducted on the publicly available SQoE-Ⅲ database， comparing the results with a traditional machine learning XGBoost-based QoE model. The experimental results demonstrate the significant progress in QoE prediction by adopting the automated machine learning-based model through automatic feature selection and model tuning. The model’s MAE is 5.53699， and RMSE is 7.35987， effectively improving the accuracy of QoE prediction. Therefore， this study provides new perspectives and methods for QoE modeling， contributing to a deeper understanding and precise prediction of user perceptual satisfaction with streaming video.

Key words： streaming video; quality of experience; automatic machine learning; machine learning