智能語(yǔ)音業(yè)務(wù)質(zhì)量評(píng)估保障方案

李光宇，梁燕萍，余立，王昆，陳揚(yáng)銘，劉思佳

（中國(guó)移動(dòng)通信有限公司研究院，北京 100053）

1 引言

長(zhǎng)期以來(lái)，作為運(yùn)營(yíng)商的自營(yíng)業(yè)務(wù)，語(yǔ)音業(yè)務(wù)一直是運(yùn)營(yíng)商需要重點(diǎn)保障的核心業(yè)務(wù)。隨著LTE網(wǎng)絡(luò)、5G NR網(wǎng)絡(luò)的建設(shè)和發(fā)展，運(yùn)營(yíng)商用戶數(shù)的持續(xù)增加，VoLTE業(yè)務(wù)量也在逐年增長(zhǎng)，業(yè)務(wù)質(zhì)量保障需要投入的人力也隨之增加。傳統(tǒng)的VoLTE業(yè)務(wù)質(zhì)量保障工作通常由用戶的語(yǔ)音業(yè)務(wù)質(zhì)差投訴觸發(fā)，優(yōu)化人員需要在業(yè)務(wù)質(zhì)差位置附近區(qū)域進(jìn)行道路測(cè)試，使用收發(fā)終端撥打語(yǔ)音業(yè)務(wù)并播放通用語(yǔ)料庫(kù)，通過(guò)測(cè)試工具對(duì)比分析收發(fā)端的語(yǔ)料質(zhì)量差異計(jì)算得到POLQA（感知客觀聽力質(zhì)量評(píng)估）MOS（mean opinion score）作為語(yǔ)音質(zhì)量的評(píng)分，針對(duì)MOS值較低的情況進(jìn)行信令分析、問(wèn)題定位及解決。傳統(tǒng)的問(wèn)題排查及優(yōu)化手段存在覆蓋面窄、投入資源高、解決周期長(zhǎng)的問(wèn)題，且需要同時(shí)拿到收發(fā)端語(yǔ)料內(nèi)容，無(wú)法滿足運(yùn)營(yíng)商的日常優(yōu)化需求。為了在不獲取收發(fā)端語(yǔ)音內(nèi)容的前提下進(jìn)行質(zhì)量評(píng)估，ITU提出了多種通過(guò)業(yè)務(wù)性能指標(biāo)分析運(yùn)算得出業(yè)務(wù)質(zhì)量結(jié)果的無(wú)參考方案，以E-model為代表，通過(guò)業(yè)務(wù)丟包率、相對(duì)時(shí)延等業(yè)務(wù)傳輸同步、時(shí)延引起的質(zhì)量損傷作為計(jì)算因子，估算得出MOS，但估算精度不夠理想。

本文介紹了一套通過(guò)網(wǎng)絡(luò)側(cè)數(shù)據(jù)包傳輸特征數(shù)據(jù)、用戶測(cè)量數(shù)據(jù)進(jìn)行VoLTE業(yè)務(wù)質(zhì)量評(píng)估及保障的技術(shù)方案，該方案基于網(wǎng)絡(luò)中全量語(yǔ)音業(yè)務(wù)通信特征數(shù)據(jù)，通過(guò)人工智能算法建模并利用模型進(jìn)行業(yè)務(wù)質(zhì)量評(píng)估，可針對(duì)運(yùn)營(yíng)商全量語(yǔ)音業(yè)務(wù)進(jìn)行高精度質(zhì)量分析及質(zhì)差定位解決，以滿足運(yùn)營(yíng)商實(shí)際生產(chǎn)環(huán)節(jié)中的優(yōu)化工作需求。該方案由網(wǎng)絡(luò)數(shù)據(jù)采集、數(shù)據(jù)特征分析、質(zhì)量評(píng)估、業(yè)務(wù)質(zhì)差定位及解決4部分組成，目前已取得較好的保障效果。

2 語(yǔ)音業(yè)務(wù)質(zhì)量保障方案

相對(duì)于傳統(tǒng)的語(yǔ)音業(yè)務(wù)質(zhì)量評(píng)估工作，本文提出的方案通過(guò)在業(yè)務(wù)特征的設(shè)計(jì)與生成、業(yè)務(wù)特征的分析與選擇、業(yè)務(wù)評(píng)估模型的搭建與優(yōu)化3方面的重點(diǎn)優(yōu)化與創(chuàng)新，大幅提升了質(zhì)量評(píng)估的準(zhǔn)確性，保證了業(yè)務(wù)質(zhì)差的發(fā)現(xiàn)成功率。

2.1 業(yè)務(wù)特征的設(shè)計(jì)與生成

VoLTE業(yè)務(wù)發(fā)起之前，用戶會(huì)進(jìn)行網(wǎng)絡(luò)附著及IMS注冊(cè)流程。完成注冊(cè)后主被叫用戶建立路由，開始業(yè)務(wù)數(shù)據(jù)傳輸。VoLTE業(yè)務(wù)基于實(shí)時(shí)傳輸協(xié)議（real-time transport protocol，RTP）進(jìn)行數(shù)據(jù)包的雙向?qū)崟r(shí)傳輸，并通過(guò)實(shí)時(shí)傳輸控制協(xié)議（real-time transport control protocol，RTCP）進(jìn)行QoS（quality of service，服務(wù)質(zhì)量）控制。VoLTE語(yǔ)音業(yè)務(wù)在數(shù)據(jù)包傳輸過(guò)程中，通話期每20 ms發(fā)送一個(gè)語(yǔ)音包，包括RTP/UDP/RLC-security壓縮頭；每160 ms生成一個(gè)SID靜默幀，通過(guò)噪音提高用戶的業(yè)務(wù)感受[1-2]。

圖1 VoLTE協(xié)議棧及RTP包頭示意圖

VoLTE協(xié)議棧及RTP包頭結(jié)構(gòu)如圖1所示，在業(yè)務(wù)質(zhì)量監(jiān)控場(chǎng)景下，業(yè)務(wù)特征分析不能涉及用戶隱私，因此針對(duì)RTP之下的包頭信息進(jìn)行分析。包頭中序列號(hào)（sequence number，SN）用于標(biāo)識(shí)發(fā)送的RTP 數(shù)據(jù)包編號(hào)，在業(yè)務(wù)質(zhì)量分析中可用于計(jì)算丟包情況；時(shí)間戳（timestamp）標(biāo)識(shí)RTP數(shù)據(jù)分組中第一個(gè)字節(jié)的采樣時(shí)間，可用于計(jì)算時(shí)延及抖動(dòng)信息[3]。

RTP本身沒(méi)有提供任何的機(jī)制來(lái)確保實(shí)時(shí)的傳輸或其他的QoS保證，RTCP通過(guò)不同報(bào)文類型計(jì)算端到端丟包數(shù)、丟包率、包間抖動(dòng)等指標(biāo)，可以更準(zhǔn)確地評(píng)估語(yǔ)音業(yè)務(wù)質(zhì)量信息[4]。

目前，VoLTE語(yǔ)音質(zhì)量主要通過(guò)丟包、時(shí)延及抖動(dòng)3類特征進(jìn)行分析，當(dāng)使用業(yè)務(wù)級(jí)特征數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)中全量語(yǔ)音質(zhì)量分析時(shí)，無(wú)法獲取端到端信息，因此無(wú)法獲取業(yè)務(wù)的時(shí)延特征。使用現(xiàn)有方案進(jìn)行業(yè)務(wù)質(zhì)量評(píng)估時(shí)仍存在特征粒度較粗，無(wú)法精細(xì)化評(píng)估秒級(jí)業(yè)務(wù)質(zhì)量變化情況的弊端。以RTP丟包率及抖動(dòng)分析為例，目前丟包對(duì)業(yè)務(wù)質(zhì)量的影響主要通過(guò)丟包率是否超過(guò)一定門限進(jìn)行判斷，但針對(duì)連續(xù)丟包及間歇性丟包對(duì)業(yè)務(wù)質(zhì)量的不同影響程度未做詳細(xì)分析。間歇性丟包與連續(xù)丟包對(duì)比如圖2所示，當(dāng)語(yǔ)音業(yè)務(wù)中出現(xiàn)連續(xù)丟包時(shí)，雖然丟包率相同，但業(yè)務(wù)質(zhì)量會(huì)有較明顯惡化，現(xiàn)有方案無(wú)法發(fā)現(xiàn)問(wèn)題。

圖2 間歇性丟包與連續(xù)丟包對(duì)比

同樣，現(xiàn)有方案針對(duì)業(yè)務(wù)抖動(dòng)檢測(cè)采用滑動(dòng)疊加機(jī)制，將當(dāng)前抖動(dòng)絕對(duì)值與前一時(shí)刻的抖動(dòng)加權(quán)相加，計(jì)算式如下：

其中，J代表當(dāng)前抖動(dòng)結(jié)果，D表示兩數(shù)據(jù)包間抖動(dòng)，S與R分別表示數(shù)據(jù)包的發(fā)送與接收時(shí)間。

現(xiàn)有方案沒(méi)有考慮較長(zhǎng)時(shí)間范圍內(nèi)抖動(dòng)的累加效應(yīng)，且沒(méi)有考慮正向抖動(dòng)和負(fù)向抖動(dòng)的抵消情況。當(dāng)數(shù)據(jù)包間隔在標(biāo)準(zhǔn)間隔上下波動(dòng)時(shí)，終端會(huì)通過(guò)緩沖機(jī)制進(jìn)行調(diào)整，保證業(yè)務(wù)質(zhì)量不受影響；而當(dāng)數(shù)據(jù)包間隔不斷增長(zhǎng)時(shí)，會(huì)導(dǎo)致業(yè)務(wù)時(shí)延逐漸增大，影響業(yè)務(wù)體驗(yàn)。這種情況下，現(xiàn)有方案無(wú)法區(qū)分前者與后者的差別。隨機(jī)抖動(dòng)與正向抖動(dòng)的對(duì)比如圖3所示，圖3（a）的情況時(shí)延正常波動(dòng)，業(yè)務(wù)質(zhì)量較好，圖3（b）的情況時(shí)延由于抖動(dòng)的正向累加不斷增加，業(yè)務(wù)質(zhì)量劣化明顯，但兩種情況下現(xiàn)有方案計(jì)算出的抖動(dòng)值相同，無(wú)法發(fā)現(xiàn)圖3（b）的劣化問(wèn)題。

圖3 隨機(jī)抖動(dòng)與正向抖動(dòng)的對(duì)比

為了解決現(xiàn)有業(yè)務(wù)質(zhì)量評(píng)估方案的問(wèn)題，本文介紹的方案將RTP包間抖動(dòng)的正、負(fù)方向，丟包連續(xù)性等問(wèn)題考慮在內(nèi)，提出了3類新指標(biāo)：相對(duì)時(shí)延指標(biāo)、連續(xù)丟包數(shù)指標(biāo)以及最大包間指標(biāo)。通過(guò)新指標(biāo)的補(bǔ)充運(yùn)用，可以解決現(xiàn)有方案問(wèn)題，優(yōu)化業(yè)務(wù)質(zhì)量評(píng)估效果。

連續(xù)丟包數(shù)可以通過(guò)最大連續(xù)丟包、連續(xù)丟包較多的問(wèn)題出現(xiàn)次數(shù)等維度，在整體丟包率的基礎(chǔ)上額外發(fā)現(xiàn)業(yè)務(wù)的局部性或突發(fā)性質(zhì)差問(wèn)題。連續(xù)丟包的計(jì)算方式為：將所有收到的RTP數(shù)據(jù)包根據(jù)序列號(hào)從小到大排序，分別計(jì)算相鄰序列號(hào)的差值，若差值大于1，則存在連續(xù)丟包。計(jì)算式如下：

其中，CPL代表連續(xù)丟包數(shù)，SN代表排序后的RTP包序列。

相對(duì)時(shí)延代表每個(gè)數(shù)據(jù)包相對(duì)于業(yè)務(wù)過(guò)程中第一個(gè)數(shù)據(jù)包時(shí)延的變化情況，計(jì)算方式為首包時(shí)延加上當(dāng)前包與首包間所有抖動(dòng)的累加結(jié)果，抖動(dòng)累加時(shí)考慮正向負(fù)向。計(jì)算式如下：

其中，RD代表相對(duì)時(shí)延，J代表抖動(dòng)，RD′代表校準(zhǔn)后的相對(duì)時(shí)延，目的是避免第一個(gè)收到的包并非切片內(nèi)第一個(gè)發(fā)送包，從而影響相對(duì)時(shí)延序列的情況。

在VoLTE業(yè)務(wù)中，通過(guò)相對(duì)時(shí)延，可以準(zhǔn)確分辨隨機(jī)抖動(dòng)與連續(xù)正向抖動(dòng)對(duì)通話質(zhì)量的不同影響結(jié)果。以圖4為例，圖4（a）和圖4（b）分別是平滑濾波前后的抖動(dòng)情況，可以看到1 500～3 000 ms時(shí)間范圍內(nèi)是隨機(jī)抖動(dòng)，由圖4（c）可見(jiàn)相對(duì)時(shí)延計(jì)算結(jié)果在130 ms以內(nèi)，通過(guò)圖4（d）波形圖看到收發(fā)端語(yǔ)音無(wú)明顯差別，此時(shí)通話過(guò)程未感受到質(zhì)量劣化；而5 000～6 500 ms時(shí)間范圍內(nèi)發(fā)生了連續(xù)正向抖動(dòng)，相對(duì)時(shí)延在6 200 ms后達(dá)到200 ms以上且持續(xù)增加，通過(guò)波形圖可以看到方框標(biāo)注部分有明顯的收端延后情況，此時(shí)通話質(zhì)量下降明顯。

由此可見(jiàn)，新特征的設(shè)計(jì)和實(shí)現(xiàn)可以有效地彌補(bǔ)現(xiàn)有質(zhì)量評(píng)估方案的不足，更精細(xì)地發(fā)現(xiàn)業(yè)務(wù)質(zhì)量劣化的情況，幫助提升評(píng)估效果。基于連續(xù)丟包特征，可以設(shè)計(jì)最大連續(xù)丟包、連續(xù)丟包超過(guò)n個(gè)的次數(shù)等指標(biāo)，而相對(duì)時(shí)延特征可以衍生得到最大相對(duì)時(shí)延、平均相對(duì)時(shí)延、非靜默期相對(duì)時(shí)延等指標(biāo)，這些指標(biāo)均為語(yǔ)音業(yè)務(wù)質(zhì)量評(píng)估的重要特征。

圖4 隨機(jī)抖動(dòng)與正向抖動(dòng)的時(shí)延分析及波形圖對(duì)比

2.2 業(yè)務(wù)特征的分析與選擇

當(dāng)完成新特征的設(shè)計(jì)與實(shí)現(xiàn)后，特征分析模塊針對(duì)基于業(yè)務(wù)知識(shí)設(shè)計(jì)、選出的重要特征進(jìn)行重要性分析，目標(biāo)是篩選其中對(duì)業(yè)務(wù)質(zhì)量影響程度更高的指標(biāo)并通過(guò)機(jī)器學(xué)習(xí)的手段完成特征處理，促進(jìn)業(yè)務(wù)質(zhì)量評(píng)估模型的精度提升。

本方案中使用的特征分析與選擇方案融合了數(shù)理統(tǒng)計(jì)與機(jī)器學(xué)習(xí)領(lǐng)域常用的特征重要性分析工具。其中，數(shù)據(jù)統(tǒng)計(jì)方式通過(guò)繪制各個(gè)特征與MOS分的散點(diǎn)分布進(jìn)行特征相關(guān)性分析[5]，結(jié)果如圖5所示。

可以看出，最大相對(duì)時(shí)延及（非靜默期）最大包間隔和MOS之間存在較明顯的負(fù)相關(guān)性，隨著兩類標(biāo)簽取值的增加，MOS迅速下降，符合業(yè)務(wù)邏輯。

機(jī)器學(xué)習(xí)的特征重要性分析通過(guò)決策樹模型的構(gòu)建及訓(xùn)練，通過(guò)每個(gè)特征在質(zhì)量評(píng)估過(guò)程中被選作劃分點(diǎn)的次數(shù)來(lái)衡量特征指標(biāo)的重要性[6-7]。基于決策樹模型得到的特征重要性排序如圖6所示，可以看出平均相對(duì)時(shí)延、最大包間隔、最大相對(duì)時(shí)延等均在預(yù)測(cè)MOS的模型中起到了比較重要的作用，證明新增特征的設(shè)計(jì)具有必要性。

2.3 業(yè)務(wù)評(píng)估模型的搭建與優(yōu)化

目前，業(yè)界公認(rèn)的VoLTE業(yè)務(wù)語(yǔ)音質(zhì)量評(píng)估標(biāo)準(zhǔn)是POLQA MOS。該標(biāo)準(zhǔn)由ITU提出，通過(guò)對(duì)比VoLTE業(yè)務(wù)過(guò)程中收/發(fā)端語(yǔ)音的聲紋信息，經(jīng)過(guò)時(shí)間對(duì)齊、語(yǔ)音采樣分析、感知分析等操作評(píng)估手段語(yǔ)音相對(duì)發(fā)端語(yǔ)音的劣化程度[8]。在語(yǔ)音業(yè)務(wù)質(zhì)量評(píng)估過(guò)程中，本方案同樣使用含有POLQA MOS的語(yǔ)音業(yè)務(wù)路測(cè)數(shù)據(jù)建立訓(xùn)練數(shù)據(jù)集，針對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行特征工程及模型訓(xùn)練，獲取高精度模型。然后通過(guò)該模型評(píng)估每一通語(yǔ)音通話的業(yè)務(wù)質(zhì)量。

圖5 最大相對(duì)時(shí)延、（非靜默期）最大包間隔與MOS的分布關(guān)系

圖6 特征指標(biāo)重要性排序

傳統(tǒng)的E-model模型[9]在進(jìn)行語(yǔ)音業(yè)務(wù)質(zhì)量分析時(shí)，選取丟包率、時(shí)延等指標(biāo)并人為制定計(jì)算式及參數(shù)，得到MOS評(píng)估結(jié)果，評(píng)估模型相對(duì)簡(jiǎn)單粗糙。本方案使用深度神經(jīng)網(wǎng)絡(luò)建立模型，該模型參數(shù)豐富，擬合能力強(qiáng)，更有利于學(xué)習(xí)業(yè)務(wù)特征數(shù)據(jù)中RTP丟包、連續(xù)丟包、抖動(dòng)、相對(duì)時(shí)延、包間隔等業(yè)務(wù)特征與POLQA MOS的復(fù)雜映射關(guān)系，評(píng)估效果優(yōu)于E-model模型。

本方案在進(jìn)行質(zhì)量分析時(shí)，共有特征處理、建模優(yōu)化、質(zhì)量評(píng)估3個(gè)步驟。

（1）特征處理指針對(duì)上文理論分析結(jié)合特征重要性分析確定的相對(duì)時(shí)延、丟包、包間隔等重要指標(biāo)，進(jìn)行平方、立方、離散化等特征增強(qiáng)操作，增加這些指標(biāo)對(duì)最終MOS分析的影響程度。

（2）建模優(yōu)化指通過(guò)模型訓(xùn)練和參數(shù)優(yōu)化，使得模型輸出盡量接近POLQA MOS，同時(shí)盡量全面地發(fā)現(xiàn)質(zhì)差業(yè)務(wù)。前者的優(yōu)化方式通過(guò)模型訓(xùn)練盡可能縮小模型輸出與POLQA MOS的均方差，計(jì)算式如下：

其中，n代表語(yǔ)音業(yè)務(wù)數(shù)據(jù)樣本量，MOSpredict與MOStrue分別代表模型輸出結(jié)果與POLQA MOS。

（3）質(zhì)量評(píng)估：模型發(fā)現(xiàn)質(zhì)差業(yè)務(wù)的能力通過(guò)質(zhì)差召回率衡量，質(zhì)差召回率即模型發(fā)現(xiàn)的質(zhì)差數(shù)量與所有業(yè)務(wù)質(zhì)差數(shù)量的比值。目前，本文認(rèn)為MOS低于3分即質(zhì)差業(yè)務(wù)[10]。

通過(guò)這樣的訓(xùn)練目標(biāo)，評(píng)估模型在整體MOS評(píng)估準(zhǔn)確性與質(zhì)差業(yè)務(wù)檢出能力之間達(dá)到均衡。模型示意圖如7所示。

圖7 語(yǔ)音業(yè)務(wù)質(zhì)量分析模型示意圖

完成建模優(yōu)化后，模型已經(jīng)可以較準(zhǔn)確地完成MOS評(píng)估，并較全面地發(fā)現(xiàn)業(yè)務(wù)質(zhì)差。此時(shí)使用該模型評(píng)估網(wǎng)絡(luò)中真實(shí)發(fā)生的VoLTE業(yè)務(wù)，即可得到接近于路測(cè)工具得出的MOS，實(shí)現(xiàn)大規(guī)模的業(yè)務(wù)質(zhì)量分析。

3 系統(tǒng)應(yīng)用效果

本文提出的方案除了實(shí)驗(yàn)室驗(yàn)證，也應(yīng)用在真實(shí)網(wǎng)絡(luò)環(huán)境并取得了較好的效果。本節(jié)將介紹方案目前的應(yīng)用方式及效果。

3.1 質(zhì)量保障方案結(jié)構(gòu)及部署方式

本文介紹的語(yǔ)音業(yè)務(wù)質(zhì)量保障方案由網(wǎng)絡(luò)數(shù)據(jù)采集、數(shù)據(jù)特征分析、質(zhì)量評(píng)估、業(yè)務(wù)質(zhì)差定位及解決4個(gè)模塊組成，期間的工作流程及與外部系統(tǒng)的對(duì)接情況如圖8所示。

數(shù)據(jù)采集模塊對(duì)接網(wǎng)絡(luò)大數(shù)據(jù)平臺(tái)，獲取網(wǎng)絡(luò)真實(shí)產(chǎn)生的語(yǔ)音業(yè)務(wù)特征數(shù)據(jù)用于質(zhì)量評(píng)估，獲取用戶測(cè)量（MR）數(shù)據(jù)用于質(zhì)差原因定位。語(yǔ)音業(yè)務(wù)特征數(shù)據(jù)來(lái)源于各類業(yè)務(wù)過(guò)程中的數(shù)據(jù)包傳輸指標(biāo)以及包頭信息的解析運(yùn)算，涵蓋的業(yè)務(wù)特征包括基本的數(shù)據(jù)包傳輸時(shí)延、抖動(dòng)、傳輸包數(shù)、丟包數(shù)及丟包率等；同時(shí)，經(jīng)過(guò)數(shù)據(jù)采集系統(tǒng)的迭代升級(jí)，目前業(yè)務(wù)特征數(shù)據(jù)中已包含第2節(jié)介紹的最大相對(duì)時(shí)延、最大連續(xù)丟包數(shù)等新指標(biāo)，因此適合用于業(yè)務(wù)級(jí)質(zhì)量分析的特征數(shù)據(jù)。實(shí)際優(yōu)化工作中發(fā)現(xiàn)，VoLTE業(yè)務(wù)的質(zhì)差主要是由無(wú)線網(wǎng)絡(luò)的覆蓋、干擾、移動(dòng)性參數(shù)配置等問(wèn)題引起的，而MR數(shù)據(jù)包含無(wú)線網(wǎng)絡(luò)中用戶測(cè)量的服務(wù)小區(qū)及鄰小區(qū)的信號(hào)質(zhì)量，可用于覆蓋及干擾分析，因此本方案通過(guò)網(wǎng)管系統(tǒng)的MR數(shù)據(jù)進(jìn)行業(yè)務(wù)質(zhì)差分析。

圖8 保障方案功能模塊結(jié)構(gòu)及與外部系統(tǒng)的對(duì)接情況示意圖

數(shù)據(jù)特征分析模塊結(jié)合不同覆蓋場(chǎng)景的數(shù)據(jù)特點(diǎn)及VoLTE業(yè)務(wù)流程特點(diǎn)，分析已有業(yè)務(wù)特征的重要性，并結(jié)合人工智能算法中的常用特征工程方案針對(duì)全量語(yǔ)音業(yè)務(wù)數(shù)據(jù)進(jìn)行特征處理，輸出質(zhì)量評(píng)估模塊用于語(yǔ)音業(yè)務(wù)MOS評(píng)估。

質(zhì)量評(píng)估模塊通過(guò)深度學(xué)習(xí)完成建模及優(yōu)化后，在所有評(píng)估模型中挑選效果最優(yōu)的模型對(duì)網(wǎng)絡(luò)的語(yǔ)音業(yè)務(wù)單據(jù)進(jìn)行推理，輸出語(yǔ)音切片級(jí)MOS、語(yǔ)音話單級(jí)MOS，用于判斷業(yè)務(wù)質(zhì)量情況，并將推理結(jié)果返回至大數(shù)據(jù)平臺(tái)。

業(yè)務(wù)質(zhì)差定位及解決模塊，通過(guò)關(guān)聯(lián)分析質(zhì)差業(yè)務(wù)對(duì)應(yīng)的用戶MR數(shù)據(jù)，將業(yè)務(wù)質(zhì)差原因歸納為上下行弱覆蓋、干擾、鄰區(qū)漏配等9類問(wèn)題，并針對(duì)每類問(wèn)題制定解決方案，作為網(wǎng)絡(luò)問(wèn)題排查解決建議[11]。目前，該模塊與網(wǎng)絡(luò)優(yōu)化平臺(tái)對(duì)接，在故障工單派發(fā)過(guò)程中將定位的質(zhì)差原因及解決方案以備注信息的形式隨單下發(fā)，幫助一線網(wǎng)優(yōu)人員迅速定位解決問(wèn)題，保障用戶業(yè)務(wù)體驗(yàn)。

3.2 質(zhì)量保障方案應(yīng)用效果

目前，本文提出的保障方案已在北京、浙江、湖南等多地應(yīng)用，面向全省、市的全量VoLTE語(yǔ)音業(yè)務(wù)進(jìn)行質(zhì)量評(píng)估及質(zhì)差保障。目前該方案每日評(píng)估的語(yǔ)音業(yè)務(wù)超過(guò)3億條，經(jīng)過(guò)實(shí)地測(cè)試驗(yàn)證，質(zhì)量評(píng)估的效果相對(duì)于傳統(tǒng)的E-model模型有明顯提升，本文方案中語(yǔ)音業(yè)務(wù)質(zhì)量評(píng)估效果與傳統(tǒng)E-model評(píng)估結(jié)果對(duì)比見(jiàn)表1。

表1 本文方案中語(yǔ)音業(yè)務(wù)質(zhì)量評(píng)估效果與傳統(tǒng)E-model評(píng)估結(jié)果對(duì)比

圖9 MOS評(píng)估結(jié)果對(duì)比（節(jié)選）

業(yè)務(wù)質(zhì)量較差部分的MOS評(píng)估結(jié)果對(duì)比如圖9所示，可以看到本文介紹的方案評(píng)估的MOS（MOS_AI）相對(duì)于E-model模型的評(píng)估結(jié)果（MOS_E-model）更貼近于真實(shí)MOS。表1中統(tǒng)計(jì)結(jié)果顯示本文提出的保障方案對(duì)MOS的預(yù)測(cè)結(jié)果與POLQA MOS的誤差相對(duì)E-model預(yù)測(cè)結(jié)果更小。目前，本方案將MOS預(yù)測(cè)結(jié)果與真實(shí)結(jié)果誤差±0.25范圍內(nèi)認(rèn)定為準(zhǔn)確預(yù)測(cè)，表1結(jié)果顯示業(yè)務(wù)保障方案評(píng)估準(zhǔn)確率達(dá)到84.7%，明顯優(yōu)于E-model模型的72.1%。

完成質(zhì)量評(píng)估后，質(zhì)差定位及解決模塊通過(guò)工單派發(fā)的形式已經(jīng)輔助完成數(shù)千個(gè)質(zhì)差小區(qū)的問(wèn)題解決，對(duì)應(yīng)小區(qū)的業(yè)務(wù)質(zhì)差數(shù)量明顯降低。

4 結(jié)束語(yǔ)

本文介紹了一套基于網(wǎng)絡(luò)側(cè)獲取的語(yǔ)音業(yè)務(wù)數(shù)據(jù)進(jìn)行業(yè)務(wù)質(zhì)量保障的方案，該方案通過(guò)在業(yè)務(wù)特征的設(shè)計(jì)與生成、特征的重要性分析與選擇、業(yè)務(wù)質(zhì)量分析建模與優(yōu)化工作上的創(chuàng)新與改進(jìn)，達(dá)到了比傳統(tǒng)無(wú)參考評(píng)估方案有較大提升的業(yè)務(wù)質(zhì)量評(píng)估效果，同時(shí)針對(duì)業(yè)務(wù)質(zhì)差進(jìn)行原因定位及方案輸出，提升了實(shí)際生產(chǎn)中問(wèn)題排查解決工作的效率，改善了用戶語(yǔ)音業(yè)務(wù)質(zhì)差感知。

該方案的設(shè)計(jì)思路同樣適用于VoNR、VoIP等語(yǔ)音業(yè)務(wù)，隨著5G NR用戶數(shù)的快速增長(zhǎng)及對(duì)應(yīng)數(shù)據(jù)采集系統(tǒng)功能的逐漸完善，后續(xù)也會(huì)將本文方案結(jié)合VoNR等業(yè)務(wù)特征進(jìn)行適配優(yōu)化，使能更廣泛的語(yǔ)音業(yè)務(wù)質(zhì)量保障。