淺析短視頻用戶故障定界定位和感知評價工具

摘要：隨著5G網絡的普及，為了提升小視頻用戶的使用感知，并能夠先于客戶發現問題，成為當下移動網絡要解決的首要問題。本文先闡述了利用QoE理念重新梳理用戶端關鍵性能指標，通過主客觀感知的關聯建立隨機森林決策樹，最后應用交叉驗證模型的方式對系統進一步調優，讓系統更智能、更貼合用戶的使用感知。

關鍵詞：小視頻、QoE理念、隨機森林決策樹、交叉驗證模型、用戶感知

一、引言

傳統的視頻故障定界定位仍沿用以往視頻類業務的3個指標，即“視頻播放成功率”“視頻播放等待時長”“視頻卡頓次數”，并未區分長視頻和短視頻的業務指標。長視頻就像長跑，需要的是耐力，小視頻就像短跑，需要的是爆發力，二者的指標不應混同。通過傳統指標對短視頻進行定界定位是不準確的。

另外傳統的短視頻用戶感知評價是通過人工電話或者短信的問卷方式進行調查。完成1000個用戶的調查需要8個人一天的時間，費時費力不說，效果未必真實客觀。在此背景下，研究短視頻的關鍵指標和用戶感知迫在眉睫。

二、工具介紹

短視頻用戶故障定界定位和感知評價的工具主要由三大模塊組成：一是關鍵指標的提煉；二是主客觀用戶感知關聯；三是工具參數調優。

（一）通過QoE理念提煉關鍵指標

首先借鑒QoE理念并將其融入網絡質量指標體系[1]，從所有的基礎指標中，梳理出與短視頻相關的KQI指標，再根據指標的權重提煉出QoE指標，從而生成短視頻關鍵指標，用來自動定界定位故障。

1.通過部署S1_U接口探針，從XDR話單中提取指標，KPI指標是包含所有的基礎指標。

2.篩選出短視頻KQI指標模塊，根據視頻上網的整個信令流程，從每個關鍵的信令中篩選出與短視頻相關的KQI指標。

3.為了更詳細地反映視頻用戶的感知，根據視頻指標的特性進行分類分段模塊，將篩選后的指標按照覆蓋性、接入性、完整性和保持性進行分類分段。

4.按照指標的權重提煉出QoE指標，主要對接入性、完整性、保持性和覆蓋性下的指標權重進行評分。5.根據指標的權重，并結合用戶感知吻合度，提煉出5個關鍵指標，分別是：400KB啟動時延（視頻播放啟動階段傳輸400KB數據所需要的時長）、有效下載速率（有效數據流量/有效傳輸時長，扣除無下載量的時間間隔）、播放流暢度（速率碼率比>1.2的單據占所有單據的比例，評估視頻業務播放是否流暢）、上行RTT時延（服務器回環時延，評價業務側響應能力）、下行RTT時延（無線回環時延，評價無線網絡質量）。其中上下行RTT時延這兩個指標可以分別用來定義無線側問題和業務側問題。

（二）主客觀感知相關聯

通過在特定場景下進行大量測試，生成主觀的小視頻感知，來訓練出N個決策樹即隨機森林；通過前面部署S1_U接口探針，提取S1_U口用戶的客觀指標，并將客觀指標輸入到決策樹中，讓主觀感知與客觀指標相結合，最后生成小視頻用戶的感知評價，如圖1所示。

1.小視頻感知的生成。首先，從無線側提供的基站場景數據，制定相應的53個場景。接著，安排人員對每個場景進行大量的撥測，確保撥測覆蓋無線側所有場景，并生成主觀的小視頻主觀感知。

2.通過測試生成的主觀感知建立決策樹，并不斷對每個場景下的主觀感知樣本進行訓練，最終由多棵決策樹組成隨機森林[2]。此過程可確保每個場景下的問題用戶的情況都能夠得到直觀的體現。

3.通過對小視頻進行建模，得出適用于小視頻的質量評價方法。將主觀的測試感知數據和客觀的用戶側指標提取的數據相結合，輸出用戶的感知和實現問題的清晰定界[3]。

（三）交叉驗證并調優

為了確保定界定位的準確性和用戶感知的真實性，通過交叉驗證模型進行調優進行驗證，具體步驟是，將在每個場景中得到的5個關鍵指標參數的權重值進行10組測試，每組依次選擇一組作為驗證集，其余9組作為訓練集，讓訓練集與驗證集比較后，再取10組的平均值進行調優，通過這樣的方式重復性調優，可以保證每個場景下5個關鍵指標的權重值得到最優的結果[4]。

三、測試過程

（一）建立主觀撥測模擬測試場景

通過事先制定各鐘場景，并在這52個場景下進行大量撥測（如表1所示），確保場景與無線側提供的撥測場景達到百分百覆蓋，進一步驗證感知的準確性。

（二）通過正交試驗對主客觀感知進行準確性驗證

為了利用隨機森林決策樹法將主客數據相關聯，選用正交試驗法確定隨機森林決策樹的最優參數組合，每個參數有3個位級，制定因素位級表，選用L9（3^4）正交表（如表2所示）安排實驗計劃并進行實驗。

制定因素位級表后，小組成員進行正交試驗，并選取最優參數進行調優，實驗后，測試小視頻用戶故障的定界定位準確率達90%以上。

（三）數據交叉驗證調優測試

將一組數據劃分成10組，每組按照排列順序選一個作為驗證集，其余作為訓練集，讓每個訓練集和驗證集比較后，取其平均值后進行調優。最后測試的用戶感知識別率可達93%以上，短視頻用戶故障定界定位準確率可達90%以上。

四、工具結果展示

該工具將多方數據關聯，通過隨機森林決策樹算法，將得到的用戶感知與測試的感知相關聯，最后并通過交叉驗證，使得到的用戶感知與現實感知情況更加吻合。

（一）多維度結合使感知更吻合

傳統的小視頻評價利用現網中長視頻的評價工具，是通過單一的用戶指標分析進行評價。由于用戶所在的場景不一致，再加上長視頻的評價指標不適用于小視頻的感知，導致評價準確率低。

該工具是通過機器自主學習，產生多棵決策樹后生成隨機森林。隨機森林決策樹算法是基于決策樹的集成學習算法關聯多維數據分析，該方法讓主客觀數據關聯更加吻合，從而使得到的感知評價準確率更高。

（二）先于客戶發現問題并解決問題

采用5個關鍵指標監測，通過設定每個場景的閾值，能夠及時發現某個場景下的指標是否偏離了閾值，從而實現自動定界定位。該工具能夠做到先于客戶發現問題并解決問題，在短視頻用戶劇增條件下，很大程度上提升了一線維護人員的工作效率，減輕了故障處理和維護的壓力。

該工具能夠定位到具體問題用戶的Userid，有利于一線客服第一時間向用戶發起主動關懷，從而有效提升企業品牌口碑。有效應用該工具，可以有效提升客戶感知，進而給公司帶來巨大的經濟效益。

（三）質差小區快速鎖定

該工具能夠更快地得到感知評價，迅速進行質差小區自動鎖定，縮短感知和質差小區定位流程。通過隨機森林決策樹法對小視頻用戶進行感知評價分析，能夠快速自動生成全網的質差小區。

（四）利用交叉驗證法驗證指標權重

該工具可將從每個場景下得到的指標權重參數，輸入到交叉驗證模型中，運用PDPC程序圖法管控對策實施過程中可能會出現的情況（如圖2所示）。通過反復不斷地驗證對比，確保得到的每個場景的指標權重都能夠。

考慮到目前的城市規模的發展速度，場景越來越多，用戶的使用感知也越來越多樣，只有通過交叉驗證模型不斷進行調優。這種方法不僅可以適應網絡的快速發展，還能滿足未來城市飛速發展的需要。

（五）制定指標閾值門限觸發預警

該工具對各個場景下設定了指標閾值門限，一旦超過該門限值，便會自動觸發預警，并第一時間通過短信、電話通知一線維護人員和相關專業維護人員。通過各節點協同定位，縮短了故障處理時長，從而真正做到先于客戶發現問題并解決問題。

五、結束語

該工具基于五個關鍵指標，利用隨機森林決策樹算法自動實現故障的定界定位，企業無需花費額外的成本購買硬件設備，不僅可以響應公司“增效降本”的號召，還能創造更多的效益。該工具的用戶感知和質差小區定位功能，給一線維護人員帶來了極大的便捷，能夠幫助工作人員在短時間內排查出問題的原因。另外，該工具對全網用戶的感知評價，方便一線客服人員在用戶投訴前提供主動服務與關懷，從而提升用戶對企業服務的滿意度。將該工具廣泛應用于各類App的故障定界定位，可以創造更大的社會效益。

作者單位：高楊輝 中國移動通信集團福建有限公司閩侯分公司

參考文獻

[1]馮國玲，徐旭東.用戶感知評估體系的設計與實現[J].河北工業科技，2009，26（03）：190-192+209.

[2]馬敏，李威，陳潔.基于機器學習的細分業務用戶感知評估方法[C]//2017-2019年“學術金秋”獲獎論文集.中國移動通信集團設計院有限公司陜西分公司;，2020：6.

[3]林志.基于信令分析的4G用戶感知評估及問題定位方法研究[J].數字通信世界，2019，（03）：143.

[4]章文俊，韓曉龍.基于交叉驗證網格尋優隨機森林的黑產用戶識別方法[J].科技視界，2019，（28）：1-3+7.