智能家居音視頻質量評價方案研究與應用

袁小霞，楊 琛，黃 挺，孫 越，劉 超

（中移（杭州）信息技術有限公司，浙江 杭州 311121）

0 引 言

智能家居結合物聯網、人工智能等技術，集成了家居生活有關的設備并升級，不僅可以遠程控制設備，還可以對設備進行集中管理，保持實時通信和視頻回看，創造了便捷、舒適、健康、安全、環保的智能居住環境。過去幾年，由于疫情遠程辦公和居家娛樂的雙輪驅動以及智能技術的加持，智能家居產品及服務廣泛應用于智能家庭中。在智能家居設備中，音視頻通話、視頻監控查看和回放是產品的重點功能，但由于產品種類、形式和所處環境多樣，以及復雜的網絡環境，家居音視頻質量無統一的評價標準。

在目前的音視頻產品質量評價中，國內外主流評價方法分為主觀質量評價和客觀質量評價兩種方法[1]。主觀質量評價觀察者根據預先規定的評價尺度或經驗對待測圖像給出質量判斷，應用于各種靜態和動態的場景，判斷者對音視頻質量給出平均意見分（Mean Opinion Score，MOS），但判斷結果與判斷者的經驗有很大關系[2]。客觀質量評價方法通過有參考、無參考或半參考的方法，采用專業測試設備，結合算法對圖像視頻質量進行評價，不受測試環境的限制，測試結果客觀公正。但主觀和客觀質量評價方法都未考慮復雜網絡場景對音視頻產品質量的影響。文獻[3]根據國際電信聯盟無線電通信部門（ITU-Radiocommunication Sector，ITU-R）制定的主觀視頻質量評估標準，開發了基于MFC 的主觀視頻質量評估軟件，同時研究了基于HVS 視覺加權的視頻質量客觀評估方法，在文獻的兩種評估方法中，測試指標MOS 沒有考慮到幀率、凍幀、音畫同步等其他指標對音視頻質量的影響。

以用戶滿意度為標準的視頻質量評價方法，主要采用基于服務質量（Quality of Service，QoS）[4]的評價方法和基于用戶體驗質量（Quality of Experience，QoE）的評價方法。QoS 從客觀角度，只考慮音視頻在網絡層的時延、抖動、丟包等性能指標。QoE 是以用戶為中心，反映的是用戶對服務或產品的整體感受，包括對設備、網絡、系統、業務質量、業務性能以及業務內容的綜合評價，既要考慮主觀因素，又要考慮客觀因素，因此，QoE 是目前應用于音視頻質量較全面的評價方法。

針對以上的問題和分析，結合智能家居音視頻的質量要求，本文提出一種基于QoE 的針對智能家庭安防設備的音視頻能力評價方案，根據不同的業務測試場景，考慮網絡因素設計測試方案，同時研發適用于智能家居設備音視頻能力評價的自動化測試工具，可以覆蓋多場景的音視頻質量測試。

1 音視頻質量評價體系

智能家居業務場景的音視頻質量測試，集合了行業PESQ、POLQA 等音頻算法和PEVQ、NIQE等視頻算法，音頻參考MOS、時延、抖動等關鍵業務指標，視頻通過全參考或無參考評分，參考MOS 值、幀率等關鍵業務指標，同時結合了專家打分、專家儀表和軟件工具，構成一整套完整音視頻質量評測體系，如圖1 所示。

2 業務場景和網絡方案設計

根據智能家居產品真實用戶的網絡使用場景分析，本文設計了適合智能家居設備的網絡場景方案，如表1 所示。

表1 網絡場景方案

通過以上分析，結合業務場景和網絡方案，測試儀器采用思博倫網絡損傷儀器Attero 和音視頻質量測試設備Chromatic Umetrix，本文設計了針對智能家居設備音視頻質量的業務場景和網絡測試方案，架構如圖2 所示。

圖2 業務場景和網絡測試組網

3 音視頻質量評價模型

3.1 音視頻質量評價指標

參考QoE 音視頻質量評價方法，本文設計了音視頻的客觀測試指標，定義如下。

（1）MOS（GED）。GED（Gross Error Detection）提供基于幀的針對音視頻業務質量的MOS 評分。GED 從用戶感知角度對流媒體點播、音視頻通話等音視頻業務的音視頻流暢度進行分析，通過計算獲得整個音視頻的MOS（1=差，5=優）。同時提供其他實用的KPI 指標，對影響音視頻質量的因素進行量化，用來評估音視頻流暢度性能、音頻音視頻同步（需要結合音頻評估算法）等。

（2）MOS（NR）。MOS（NR）基于機器學習的人工智能（Artificial Intelligence，AI）無參考音視頻圖像質量分析，無須預設音視頻源，模擬人眼對音視頻圖像質量進行MOS 打分（1 分=差，5 分=好），同時無參考檢測音視頻TI（Temporal Information）時間復雜度、SI（Spatial Information）空間復雜度、緩沖，卡頓等狀況，結合各種指標如（不同壓縮比及分辨率下）音視頻圖像質量MOS 分，給出一個用戶感知體驗（QoE）分值。

（3）幀率。音視頻的幀率（Frame rate）是用于測量顯示幀數的量度，一幀代表一副靜止的圖像，測量單位為每秒顯示幀數（Frames per Second，FPS）。

（4）凍幀率。凍幀率即音視頻凍屏百分比，通過測試過程中識別出的音視頻畫面凍結時長/測試音視頻總時長得出。

（5）破損率。破損率即音視頻破損百分比，通過測試過程中識別出的音視頻畫面破損幀數量/測試音視頻總幀數得出。

三維激光掃描技術，是信息時代的新興技術之一，最早不是我國研究開發的，而是由國外研究進行開發的。其主要儀器設備是三維激光掃描儀，結合激光測距的基本原理，采用伺服馬達設備及掃描進，按照既定目標要求對有關的行業進行掃描和定位，進而根據流程獲得紋理信息及三維坐標，最終充分體現出三維場景。

（6）音畫同步。音畫同步指音頻與視頻畫面的時間戳一致性，測量單位為毫秒（ms）。

各個指標的計分方法和參考依據如表2 所示.

表2 音視頻質量評價指標

3.2 音視頻質量評分方法

根據上述關鍵指標，依據音視頻流暢度、清晰度指標對實際音視頻體驗影響權重，得出最貼近用戶真實體驗的得分評價算法：

單個場景得分（總分10 分）=音視頻流暢度得分（總分5 分）+音視頻清晰度得分（總分5分）=MOS（GED）×20%+ 幀率×10%+ 凍幀率×10%+ 音畫同步×10%+MOS（NR）×30%+ 破損率×20%；

綜合得分（總分10 分）=無限制網絡場景得分（總分4 分）+帶寬限制網絡場景得分（總分3 分）+擁塞網絡場景得分（總分3 分）=無限制網絡場景得分×40%+低帶寬限制網絡場景得分×15%+常規帶寬限制網絡場景得分×15%+輕度擁塞限制網絡場景得分×10%+中度擁塞限制網絡場景得分×10%+重度擁塞限制網絡場景得分×10%。

3.3 評價算法分析

單個指標評分范圍為[0，10]，8 ～10 分為優秀，6 ～8 分為良好，4 ～6 分為一般，2 ～4 分為差，2 分以下為很差。

單個場景得分中，音視頻流暢度指標和音視頻清晰度指標得分評分范圍為[0，5]，4 ～5 分為優秀，3 ～4 分為良好，2 ～3 分為一般，1 ～2 分為差，1 分以下為很差[5]。

綜合得分評分范圍為[0，10]，8 ～10 分為優秀，6 ～8 分為良好，4 ～6 分為一般，2 ～4 分為差，2 分以下為很差。

4 系統設計和實現

4.1 系統設計與實現

通過以上研究，結合智能家庭安防設備的音視頻能力評價方案，集成硬件測試設備網絡損傷儀器Attero 和音視頻質量測試設備Chromatic Umetrix 能力，本文設計了針對智能家居設備的音視頻能力評價的自動化測試工具。本工具基于springboot+vue+mysql 實現用例管理、測試執行、測試結果自動獲取和分析等功能，主要分為硬件層、服務層及網頁層三層，如圖3 所示。

圖3 音視頻質量評價自動化測試框架

硬件層由測試儀器及測試設備構成，硬件設備向外提供可擴展的應用程序編程接口（Application Programming Interface，API）和能力。通過對API和測試能力進行二次開發和封裝，使得各硬件設備可實現遠程自動化運行。

服務層基于springboot 框架開發，由多個負責解析和處理自動化測試參數、用例執行的jar 包組成，以對應的功能模塊分為音頻處理模塊Voice.jar、視頻處理模塊Video.jar、網損處理模塊Attero.jar 及設備處理模塊Device.jar。測試管理控制節點（Controller）負責將所有測試指令進行整合分析，并有序地調度和分發給服務層的各處理模塊。

網頁層基于Vue 框架開發，主要提供自動化測試的圖形化界面，給測試人員提供方便快捷的用例集管理、測試模型設置、測試用例配置、測試任務執行以及測試結果查看功能。其中，測試結果的保存和展示均通過數據庫來進行存儲和讀取。網頁層同時為音視頻通信能力自動化測試提供瀏覽器訪問網址，對音視頻測試進行統一規范的測試管控，提供的服務能力為測試用例配置、測試任務管理、測試執行和結果自動分析并打分。通過前端界面（Web）模塊的配置，測試任務及用例參數被下發至測試管理控制（Controller）模塊，經過控制模塊處理調度后將測試參數及指令通過HTTP 請求發送至后端測試能力集成（Server）模塊。該模塊通過調用經過二次開發和封裝的各測試設備API 進行最終測試用例的執行，執行結果同步至數據庫。Web 模塊通過輪詢數據庫的方式獲取測試進度并展示測試結果。

4.2 音視頻質量測試結果與分析

為了驗證評價模型，本文選取行業前三的智能家居攝像頭產品，在模擬用戶正常網絡和損傷網絡環境下，采用客觀和主觀的方法對產品音視頻質量分別進行打分，表3 是部分測試數據統計。

表3 測試數據統計

在6 種網絡場景下，客觀測試結果與主觀測試結果一致，說明本文提出的網絡場景方案、評價指標和算法能夠客觀地對智能家居產品的音視頻質量進行評價。

5 結 語

本文根據行業音視頻質量評價標準和測試方法，建立適合智能家居設備的音視頻能力評價方案，提出了適合智能家居設備音視頻的6 種網絡測試方案和6 個視頻能力評價模型指標，填補了全面評價智能家居設備音視頻質量的空白。同時，結合行業先進音視頻質量測試工具，整合網絡損傷儀，研發出多場景音視頻自動化測試工具，通過簡單操作用例管理和執行，即可自動設置網絡損傷儀器的網絡參數，通過選擇測試類型自動化執行音視頻質量評價測試，自動搜集測試結果并生成測試報告。通過評測給出真實、可靠的測試指標數據，適用于多場景的智能家居設備的音視頻質量測試。