語義通信性能評估體系及指標

鄭遠/ZHENG Yuan，王鳳玉/WANG Fengyu，許文俊/XU Wenjun

（ 北京郵電大學，中國 北京100876）

從20世紀80年代后期1G的誕生到如今5G商業化進程的穩步展開，移動通信經歷了近半個世紀的高速發展。得益于高峰值速率、低傳輸時延與高連接密度，5G 系統支持包含虛擬/增強現實、智能駕駛、智慧城市等在內的多樣化垂直應用[1]。隨著全球新一輪科技與產業革命的加速發展,信息通信技術將進一步重構人與人、人與物、物與物之間的復雜聯系，為工業、醫療、交通、教育、金融、娛樂、零售等千行百業帶來革新。當前通信系統主要基于香農信息論研究設計。從1G 到5G，通信系統雖然在業務形式、服務對象、網絡架構和承載資源等方面進行了技術變革，但都依賴于增加信息傳輸的物理維度、通過技術堆疊處理來逼近香農信息論極限。

隨著通信系統與各垂直行業領域的緊密結合，面向個人、行業等用戶的智能需求將被進一步挖掘，這對通信系統準確傳遞信息含義提出更高要求。而以香農信息論為基礎的傳統通信系統并不關注信息中承載的含義，只關注每個傳輸比特的正確接收。這導致不必要的通信資源耗費，難以滿足未來通信持續發展的需求。語義通信通過交叉融合人工智能與通信技術，深度挖掘信息本身的語義維度，引入語義層次的信息，關注傳輸信息內容而非編碼符號，更加滿足未來通信需求。通過充分利用語義層面信息的高度抽象、智能簡約等特性，語義通信將變革經典香農信息論框架，有望突破經典通信系統的傳輸瓶頸，形成智能化的新型通信體系[2]。

當前，語義通信尚處于研究初期，構建統一的、具有泛化價值的性能評估體系對語義通信的發展至關重要。本文圍繞評估體系在語義通信系統設計實現中的作用展開探討，并在分析現有通信系統評估指標的基礎上提出具有泛化性的語義通信評估體系，為語義通信的發展奠定基礎。

1 語義通信性能評估體系需求

當前，語義通信尚處于研究初期，語義通信理論在代表性的人-機、機-機等智能交互場景中快速發展，關鍵性成果不斷涌現，系統性能增益更加顯著。然而，由于缺乏統一且具有泛化價值的性能評估體系，語義通信研究成果的可理解性有所欠缺，成果間的橫向對比難以實現。

一般而言，準確性與時效性是評價通信系統性能的兩個重要指標。現有語義通信相關研究所采用的評估體系主要由傳統通信系統評估體系演化而來，或由下游語義任務評估體系遷移而來。對于由傳統通信系統評估體系演化而來的情況，相應的準確性評估指標常采用誤比特率，時效性評估指標常采用比特傳輸速率。這類評估指標的問題在于無法有效反映通信收發端語義信息傳遞的能力。對于由下游語義任務評估體系遷移而來的情況，由于系統模型多采用通信模塊與下游語義任務模塊組合確定結構、端到端訓練固定參數的方式，這類評估指標具有與通信任務場景、信息模態高度關聯的特征。如面向語義重建的語義通信系統普遍采用原始信息與重建信息的誤差函數作為準確性度量，采用壓縮比的函數作為時效性度量；而面向文本翻譯、圖像分割等語義任務的語義通信系統則普遍將模型輸出與監督標簽的差異作為準確性度量。

上述各評估指標的定義不同，取值范圍存在顯著差異，導致諸多研究的系統模型之間無法橫向貫通。即使針對相同評估指標，由于信道、干擾、信源語義特征等差異性存在，不同場景下的語義傳輸方案也無法進行有效對比。統一且具泛化價值的語義通信評估體系，從整體視角對通信系統性能進行直觀的評估，不僅能驗證系統的合理性，還可以為系統的優化改進提供參考，進而為系統演進提供方向。語義通信評估體系相關研究亟待開展，以便為語義通信的穩步發展夯實基礎。

2 現有語義通信性能評估指標

語義通信性能評估指標與具體通信任務場景、信息模態高度關聯。其中，信息重建任務廣泛出現在以人類作為最終接收用戶的應用場景中，如音視頻通話、多媒體文件云備份等，該類任務要求在收端將信息恢復至發端信息模態，并盡量保證信息的準確，性能評估指標基于發送信息與重建信息的差異進行定義；非信息重建任務多出現于人-機、機-機交互場景中，如智能駕駛、工業物聯網等，該類任務要求所發信息的關鍵內容能夠被理解和應用，性能評估指標基于所輸出信息與相應監督標簽之間的差異定義。對于信息模態而言，人類針對文本、圖像/視頻、語音等模態信息采用不同的重點捕捉方式，各模態信息的失真無法簡單通過歐氏距離等方式統一度量。各模態信息所衍生的后續任務存在很大差異，文本情感分析、智能問答、圖像分割、語音識別等任務均需要定義各自的性能評估指標。

基于重建任務與其他代表性人工智能任務（例如文本分類、圖像目標檢測、語音識別）的劃分，本節對文本、圖像/視頻、語音3種常見模態信息傳輸模型的性能評估指標進行分析總結，為后續構建統一、具有泛化性的語義通信性能評估體系奠定基礎。

2.1 面向重建任務的評估指標

2.1.1 文本信息重建

文本信息重建的現有常用衡量指標主要為雙語替換評測分數[3]（BLEU），該指標最初被用于文本翻譯的質量評估。BLEU基于加權n元模型（n ?gram）精確度進行定義，其具體形式為：

其 中 ， pn表 示 n ?gram 精 確 度 ， Countclip(n ?gram)、 Count(n ?gram')分別表示n 長詞組在原始文本X 與重建文本X?中的出現次數。BLEU 的物理意義是衡量重建文本的所有n長詞組中同時出現在原始文本中的數量占比。盡管作為最為常用的文本信息重建衡量指標，BLEU仍無法實現對于詞匯語義的理解[4]，存在未考慮到詞匯語料的召回率[5]等不足。

2.1.2 圖像/視頻信息重建

現有圖像/視頻信息重建的常用衡量指標包括峰值信噪比（PSNR）與多尺度結構相似性[6]（MS ?SSIM）。PSNR 定義為均方誤差（MSE）的對數函數。對于動態范圍N 的圖像/視頻幀，PSNR計算如下：

MS ?SSIM將人眼生理特性納入考慮：人眼在衡量兩幅圖的相似性時，對于兩幅圖的局部結構差異更為敏感。故一方面，MS ?SSIM 的運算基于一定尺寸的圖像塊；另一方面，MS ?SSIM 通過分別定義亮度、對比度、結構對比函數，將3 類信息拆分，賦予它們不同的權重并獨立進行對比。相較于PSNR，MS ?SSIM的評估結果更符合人眼感知。MS ?SSIM的計算方式為：

其中，降采樣次數M、亮度權重αM、對比度權重βJ、結構對比權重γJ為超參數，其常用取值為：M = 5, β1= γ1=0.044 8, β2= γ2= 0.285 6, β3= γ3= 0.300 1, β4= γ4=0.236 3, α5=β5= γ5= 0.133 3。XM、分別為原圖及重構圖像/視頻幀的M級降采樣結果。

C1=(k1N)2、C2=(k2N)2、C3= C2/2 為固定參數，用于防止除法運算問題的產生。N為圖像/視頻幀的動態范圍，k1= 0.01、k2= 0.03為經驗取值。

近年的相關工作[8-9]多采用PSNR與MS ?SSIM指標并行的方式。此外，文獻[8]還采用了對數形式的MS ?SSIM 指標，以應對MS ?SSIM取值范圍過小的問題。

2.1.3 語音信息重建

語音信息重建的現有衡量指標包括語音質量感知評估[10]（PESQ）與短時客觀可懂度[11]（STOI）等。早期語音質量衡量主要通過主觀打分方式獲得平均意見值（MOS）。PESQ是用于模擬MOS打分的音頻質量評價算法，其定義為：

其中，dSYM與dASYM分別為算法求得的語音信息對稱與非對稱干擾，反映重建模型的預測精度和概括能力。PESQ是對重建語音信號可理解程度的衡量，側重人的主觀感受，在早期的無線通信系統中廣泛使用。

同樣被廣泛使用的指標還包括STOI。STOI 是對重建語音信息失真程度的客觀度量，其取值與基于人工智能的語音識別等下游任務性能相關。具體而言，首先定義?(k,m)為第m 幀語音信號的第k 個離散傅里葉變換（DFT）波瓣，計算第m幀語音信號的第j個1/3倍頻程范數Xj(m)。

其中，k1(j)、k2(j)為定義的取值邊界。同理，可定義重建語音信號的相應范數Yj(m)，計算Yj(m) 的歸一化形式

2.2 面向其他人工智能任務的評估指標

2.2.1 文本分類

文本分類是自然語言處理領域的典型任務，其目的在于通過人工智能為文本信息按照一定的標準進行標記，可細分為情感分析、主題分類、問答任務、意圖識別等多種應用場景。以單標簽二分類的情感分析任務為例，現有評價指標主要為分類準確率與F 分數[13]（F ?score），具體計算邏輯如下：

按照各樣本的分類結果與真實標簽，可將各樣本的分類結果分為真陽性（TP）、真陰性（TN）、假陽性（FP）、假陰性（FN），如表1 混淆矩陣所示。在此基礎上，準確率定義為經模型正確分類的樣本占總樣本的比例，是對任務性能最簡單直觀的度量。在實際應用場景中，FN與FP的代價可能是不同的，準確率指標無法對其進行細化評估，而F分數彌補了這方面的不足。

2.2.2 圖像目標檢測

圖像目標檢測的目的在于通過人工智能判斷出圖像中物體的類別與相應位置。圖像目標檢測任務的現有評價指標主要為平均精確度均值（mAP），其定義為各類目標查準率（P）-查全率（R）曲線下方面積的均值。

▼表1 二分類任務混淆矩陣

具體而言，首先，根據目標檢測結果Bp的置信度，以及Bp與真實結果Bgt的重合程度（可用兩者的交并比IoU 度量，，可將檢測結果分為如表2 混淆矩陣所示的TP、TN、FP、FN；其次，由檢測順序中TP、FP數量的累加情況計算查準率與查全率的累加值：

然后，對于各類目標樣本，以查全率為橫坐標，以查準率為縱坐標，繪制P-R曲線并計算精確度均值（AP）；最后，由AP 加權平均可得mAP，即分別為目標類別數量與該類別樣本數量。

目前，基于上述定義的mAP 指標在現有工作[16]中已被廣泛使用。值得注意的是，在如圖像檢索等實例級圖像任務中，存在另一種基于整圖匹配結果定義的mAP 指標（已應用在文獻[17]的端到端車輛重識別系統中）。兩者的運算邏輯一致，僅在混淆矩陣定義上存在差異。

2.2.3 語音識別

語音識別的目的在于通過人工智能實現語音信息到文本信息的模態轉換過程。語音識別任務的現有評價指標主要為準確率ACCURACY。準確率可基于字錯誤率（WER）定義，即：

▼表2 目標檢測任務混淆矩陣

整體而言，語義通信評價指標存在以下問題：

1）現有評價指標普遍從具體的重建任務/人工智能任務直接遷移而來，側重于反映任務完成的準確性維度，忽視了時效性維度。語義通信系統追求的是在有限帶寬資源消耗與時延下的任務完成準確性，而非不計成本地逼近準確性上限。

2）不同任務場景/模態信息下的評估指標不互通，性能評估結果不易理解。在語義通信過程中，受通信意圖變化的影響，系統的評估指標會不斷發生變化，造成通信質量評估混亂。

3）各評價指標的取值范圍、量綱不一致，給性能的橫向對比帶來困難。如上文中所提到的PESQ、PSNR指標與文本分類和語音識別準確率指標存在明顯差異。這種差異主要表現在取值范圍與物理意義方面。

綜上所述，對于語義通信系統的評價指標，一方面，應在選取應用任務導向的準確性指標的同時，引入時效性指標以進行制約；另一方面，應篩選物理意義相似的指標以組成指標集合，并設計指標的標準化邏輯統一取值范圍，使在不同任務場景下構建的語義通信系統之間能夠進行橫向性能對比。對于包含不同通信意圖的語義通信系統，它們的具體實現需要與場景、應用緊密結合。從整體視角進行直接的性能評估，有助于系統之間橫向貫通，促進系統的迭代演進。

3 語義通信性能評估新角度

為解決現有語義通信性能評估指標存在的問題，我們提出語義通信效率指標Esc與語義通信效用指標Usc，并以語義圖像重建與語音重建任務為例，搭建端到端語義通信仿真系統，基于所提指標對仿真系統性能進行評估。

3.1 新評估指標定義

其中，γ表示給定的通信資源條件，包含信噪比（SNR）與帶 寬 等 參 數 ； ACC ∈{g(BLEU,MS ?SSIM,TOP ?n ACCURACY,mAP,…)}、TIM ∈{ f(計算時延,傳輸時延,端到端時延,…) }分別為語義任務相關的準確性與時效性評價指標，g(?)與f(?)分別為相應的變換函數；ACCmin與ACCth分別為特定語義任務的準確性下界與優化邊界，TIMth為特定語義任務時效性優化邊界。這里，超越邊界的準確性或時效性指標的取值不存在或不具備進一步優化的需求。

標準化操作旨在規范不同評估指標的取值尺度，剔除語義任務難易度差異對語義通信系統性能評估產生的影響。進一步地，基于上述標準化指標，我們定義語義通信效率指標Esc：

語義通信效率指標Esc∈[0, 1]旨在衡量通信系統在給定通信資源下、在單位時間開銷內的任務完成準確性。當通信系統的準確性指標增大或時效性指標減小時，Esc會增大，即Esc越接近1，系統的語義通信效率越高。

語義通信效用指標Usc為：

其中，λ表示加權因子，用于權衡準確性需求和時效性需求的比重。語義通信效用指標Usc∈[0, 1]旨在衡量通信系統在給定通信資源下，對于任務性能上限的接近程度。當系統側重于任務完成準確性或時效性時，Usc的前項或后項會增大，但另一項會相應減小。Usc越接近1，系統在準確性與時效性兩方面的綜合效用表現越高。

3.2 新性能指標分析與評估

本文首先以圖像重建任務為例，選取車聯網領域的傳感器擴展應用作為具體驗證場景，基于上述評估指標進行仿真分析。傳感器擴展應用要求車輛、行人、交通設施等通信節點之間能夠實現傳感器所采集的圖像/視頻信息的實時交互，對數據傳輸的準確性、時效性均有較高要求。

針對上述應用場景，準確性指標ACC 轉換為對數形式MS ?SSIM，時效性指標TIM 為傳輸時延，變換函數g(?)與f(?)均選取恒等函數，即：

根據第3代合作伙伴計劃（3GPP）制定的《5G NR Rel-16 V2X車聯網標準》，準確性邊界、時效性邊界與通信參數如表3所示。

▼表3 通信模型仿真參數

進一步地，我們搭建包含圖像壓縮重建、信道編碼與調制模塊在內的端到端通信仿真模型，基于選定指標進行驗證。圖像壓縮重建模塊基于文獻[19]的網絡結構實現，并分別采用ImageNet數據集、Cityscapes數據集進行訓練和驗證。圖像壓縮重建模塊在訓練過程中采用了4組不同的率失真參數α ={256, 512, 1 024, 2 048}。采用更高的α 參數訓練的模型會更傾向于降低圖像壓縮比以換取更高的重建質量。模型采用低密度奇偶校驗碼（LDPC）進行信道編碼，并根據信噪比條件將LDPC 碼率控制在1/5～8/9 之間。調制方式采用二進制相移鍵控（BPSK）。

圖1 給出了語義通信效率Esc與通信系統信噪比的關系曲線。隨著信噪比的上升，包含不同參數的語義任務模型均表現出更高的語義通信效率。此外，采用高α參數訓練的模型對信噪比的變化更為敏感，在低信噪比條件下表現出明顯的性能劣化，同時在高信噪比條件下具有更高的性能上限。這是由于此類模型在低信噪比條件下產生了過多的編碼開銷以保護信息不被噪聲破壞，從而無法滿足任務的時效性需求；在高信噪比條件下，通信所需的編碼冗余顯著減少。此類模型能夠在時效性不超出閾值的前提下，實現更高的任務準確性。

▲圖1 圖像重建任務語義通信效率Esc與信噪比的關系曲線

圖2給出了λ = 5條件下語義通信效用Usc與通信系統信噪比的關系曲線。考慮到實際語義任務場景中存在對準確性或時效性更為側重的情況，參數λ使效用指標更為真實地反映語義任務需求。本部分以準確性需求導向的任務為例。隨著信噪比的上升，4組模型的語義通信效用均表現出與直覺吻合的上升趨勢。即使在低信噪比條件下，高α參數模型表現出較高的準確性與較低的時效性，其語義通信效率劣于低α參數模型。但由于任務對于準確性需求的側重，高α參數模型具有更高的語義通信效用。圖3與表4分別展示了典型圖像經語義圖像重構模型仿真傳輸后的可視化結果與具體性能參數。高α參數模型表現為更出色的圖像重建質量（紅綠燈的色彩更準確，建筑物、地磚的細節更清晰）與更高的圖像傳輸時延開銷，在較好的信道條件下，其傳輸時延未超出閾值，故高α參數模型具有更高的語義通信效率與語義通信效用。

▲圖2 圖像重建任務語義通信效用Usc與信噪比的關系曲線（λ = 5）

▲圖3 通信模型可視化結果

▼表4 通信模型性能參數

接著我們以語音信息重建任務為例，構建應用自適應多速率寬帶（AMR ?WB）語音編碼的高清語音通信模型，并基于上述評估指標進行仿真分析。準確性指標ACC轉換為寬帶語音質量感知評估（WB ?PESQ），時效性指標TIM 為傳輸時延，變換函數g(?)與f(?)均選取恒等函數，即：

同時，準確性邊界、時效性邊界與通信參數如表3所示。

本文采用日本電報電話公司（NTT）寬帶語音數據集[20]的美式英語子集進行驗證，同時為AMR ?WB編碼設定4組不同的速率參數α ={12.65,15.85,19.85,23.85 (kbit/s)}。采用更高碼率的模型會更傾向于降低壓縮比以獲得更高的重建質量。模型同樣采用LDPC 信道編碼與BPSK 調制方式，并根據信噪比條件將LDPC的碼率控制在1/5～8/9之間。

圖4給出了λ = 1/5條件下語義通信效率Esc與效用Usc隨通信系統信噪比的變化趨勢曲線。與面向圖像重建任務的語義通信系統相似，隨著信噪比的上升，效率與效用指標均表現出上升趨勢。同時，在語義效用Usc方面，低速率編碼方案具有更顯著的優勢，能夠反映出系統對時效性需求的側重。在上述面向圖像與語音重建任務的通信模型仿真中，除帶寬之外的通信參數都是一致的。語義通信效率指標與效用指標的評估結果表現出統一性，為兩者的橫向性能對比提供指導。帶寬參數的設定與信息模態相關，它所產生的影響可通過對變換函數進一步設計來消除。

▲圖4 語音重建任務語義通信效率Esc與效用Usc隨信噪比的關系曲線（λ = 1/5）

4 結束語

通過融合人工智能與通信技術，充分利用語義層面信息的高度抽象、智能簡約等特性，語義通信有望形成突破經典通信系統傳輸瓶頸的智能新型通信體系。由于語義通信尚處于研究初期，統一且具泛化價值的性能評估體系的缺失，阻礙了關鍵性成果間的橫向貫通與對比。本文通過分析語義通信評估痛點，提出語義通信效率指標Esc與語義通信效用指標Usc。該指標具有更好的泛用性，且為不同任務場景、模態信息下的語義通信模型的橫向性能對比提供指導，進而促進語義通信的快速發展。