基于語義重要度的不等錯誤保護數據傳輸機制

郭帥帥/GUO Shuaishuai，李樹靜/LI Shujing

（ 山東大學，中國 濟南 250062）

隨著人工智能的發展，各種新型通信對象大量涌現。通信網絡不僅要支撐人與人（H2H）之間的交互，還要支撐人與智能機器（H2SM）的交互和智能機器與智能機器（SM2SM）的交互。星地融合的全覆蓋和機器-機器意圖通信或將成為6G使能的創新應用[1]。然而，傳統通信系統中信息壓縮和傳輸的方法已經逼近香農信息論極限。語義通信有望打破這一瓶頸，成為6G 的關鍵技術[2]。語義通信關注數據中蘊含的語義，結合背景知識提取與任務相關的語義，其通信目標是接收端在語義層面上恢復信息。現有關于語義通信的研究大多基于信源信道聯合設計的思路，在仿真中表現出優越的性能，但在神經網絡訓練耗時和通信安全等方面仍存在一些問題[3]。本文從信源信道分離設計的角度出發，提出了一種基于語義重要度構造不等錯誤保護的傳輸機制。

1 傳統通信與語義通信

傳統通信以香農經典信息論為指導，按照技術堆疊的思路發展，系統復雜度和對資源的消耗都不斷提高。語義通信拓展香農信息論，挖掘信息的語義維度，實現信息的高度抽象表征和智能簡約傳輸。本節將從系統組成和理論基礎兩方面討論傳統通信和語義通信之間的異同。

1.1 系統組成

傳統通信系統模型如圖1所示，在信源到信宿之間采用信源、信道分離編解碼。信源編碼把經過采樣和量化的模擬信號變換成數字脈沖，信道編碼按照一定的協議對信息進行糾、檢錯編碼，以彌補由高斯白噪聲（AWGN）、信道衰落等引起的信息錯誤。信源、信道譯碼是編碼過程的逆過程。

▲圖1 傳統通信系統模型

信源信道聯合設計的語義通信系統模型如圖2所示，該模型除采用信源信道聯合編碼外，還引入了語義編解碼功能塊。語義編碼器和語義解碼器都會使用神經網絡。語義編碼器從要傳輸的數據中提取出與任務相關的語義信息，并進行語義編碼，降低傳輸數據的維數；語義解碼器接收語義信息，并根據背景知識進行語義恢復。在這個過程中存在兩種噪聲，即物理信道中的物理噪聲和語義信道中的語義噪聲。背景知識庫不匹配，或者傳輸內容存在歧義，都是語義噪聲的來源[3]。語義噪聲的存在可能使信源和信宿之間產生誤解，導致語義失真。建立知識庫可以解決這一問題。語義通信系統是一種基于知識的系統[3]。背景知識庫的建立十分耗時，它在訓練的過程中通過對環境的感知學習不斷更新，但發送端和接收端所處環境與學習過程不同會導致兩者的知識庫不匹配[4]。通過收發端知識庫共享可以減少這種不匹配，提高語義通信的準確性。但在實際應用中，出于對通信開銷和隱私保護等因素的考慮，背景知識完全共享難以實現。

▲圖2 信源信道聯合設計的語義通信系統模型

信源信道分離設計的語義通信系統模型如圖3 所示。信源信道的編解碼和調制解調可使用經典的技術。添加一個訓練好的神經網絡可使系統根據背景知識對數據進行學習。引入神經網絡是為了識別數據的語義重要度，以便對具有不同語義重要度的數據設置差異化的傳輸機制：重要度高的語義信息使用比特保護能力強的傳輸機制，重要度低的語義信息使用比特保護能力弱的傳輸機制。

▲圖3 信源信道分離設計的語義通信系統模型

1.2 經典信息論與語義信息論

信息論是建立在概率論的基礎上的，香農在文獻[5] 中引入了信息熵的概念，以比特為單位衡量信息量，為通信過程建立數學模型，這奠定了通信的理論基礎。對于特定的傳輸任務，如何衡量語義信息量，目前理論研究尚不完備。

1）信息熵與語義熵

經典信息論用信息熵H(X)表示無損傳輸的信源壓縮上限。對于給定的信源X，其信息熵可以表示為：

信息熵的計算只考慮原始數據，而語義熵的計算還需要考慮語義。例如文獻[6]從邏輯概率角度出發，將香農的通信理論從語法層面擴展到語義層面，定義了句子x的語義熵：

其中，P(x)是句子的邏輯概率。然而，這種定義存在邏輯悖論問題，且不具有普適性。從本質上講，語義信息只是原始數據有損壓縮后的信息。對此，我們先定義語義失真測度，然后依據失真測度推導率失真定理，再根據信息熵是無失真編碼碼率的下界，將語義熵描述為語義失真最小的編碼碼率的下界。這種定義方式具有普適性且與傳統信息論邏輯自洽，有利于理論及其支撐下的編碼技術的平滑演進。

2） 傳統信道容量與語義信道容量

信道傳輸的信息量可以由信道輸入X和信道輸出Y間的互信息表示，互信息表達式為：

其中，條件熵H(X|Y)表示信道傳輸中信息量的損失。高斯信道容量取上述互信息的最大值，計算公式為：

其中，B 表示系統帶寬，P 表示輸入信號平均功率限制，N0代表噪聲功率的譜密度。傳統通信中信道容量的大小與傳輸的內容無關，而語義信道容量既與通信系統本身有關，也與傳輸任務有關。文獻[6] 還開發了語義信道容量的定理。假設X 代表信道輸入，Z 是從中提取的語義特征，Y 為信道的輸出，離散無記憶信道的語義信道容量可以表示為：

其中，I(X; Y)表示語法信道的性能，C = sup{I(X; Y)}。H(X|Z)代表語義編碼后的歧義，表示語義編碼器的性能。代表接收消息的平均邏輯信息，其值越大表示接收者對接收到的消息的解釋能力越強。在語法信道容量的基礎上，語義信道容量的大小取決于

3） 率失真與語義率失真

率失真理論也叫有損信源編碼定理。對于給定的最大平均失真D*，率失真函數R(D*)給出傳輸比特率的下限[7]：

其中，失真D與X和Y的距離有關。不考慮外部信息，語義率失真要同時考慮傳輸的失真和語義層面的失真。文獻[8]中給出了一種計算公式：

其中，Ds是信源X和恢復信息?之間的語義失真，Da是信道噪聲引起的語義表征Z和接收端接收到的語義表征Z?之間的失真。

一些研究人員引入信息瓶頸理論來進行率失真權衡。文獻[9] 設計了一種新的損失函數：

其中，α和β是調節互信息項和推理項的權重的參數。壓縮項表示X所需的平均位數。推理項是編碼器處的X和接收器捕獲的?之間的KL 散度，表示接收端推理性能。在文獻[10] 中，作者利用信息瓶頸公式化了邊緣推理系統的率失真權衡，損失函數如下：

其中，V是推理任務，失真項表示推理結果的不確定性，壓縮項表示給定X條件下的Z?中保留的信息。

2 語義通信系統架構

語義通信系統的架構有信源信道聯合設計和信源信道分離設計兩種。語義通信的研究工作主要分為兩類：一是以數據重建為目標，如文本圖像的高質量傳輸；另一個是以執行任務為目標，如圖像的分類、識別、分割和視覺問答等。現有工作主要集中于聯合信源信道編碼的語義通信系統。本章節按照數據重建導向和任務執行導向的分類方式對相關研究進行總結，并提出一種信源信道分離設計的方案。

2.1 信源信道聯合設計的語義通信

1） 面向數據重建的語義通信

通信系統傳輸的數據類型主要有圖像、文本和語音3種。面向數據重建的通信任務目標是在接收端恢復信源數據。對于此類任務，語義通信系統借助先驗背景知識庫，僅對提取的語義信息進行編碼傳輸，而不是傳輸全部原始數據。大量仿真實驗表明，語義通信系統具有比傳統通信系統更高的魯棒性和更低的通信開銷。

文獻[11] 提出了傳輸高分辨率圖像的方案——基于深度學習的聯合信源信道編碼（Deep JSCC），將圖像像素值直接映射為復值信道輸入符號。編碼器和解碼器通過兩個卷積神經網絡進行聯合訓練。該方案分別在CIFAR-10 和Kodak 圖像數據集中進行訓練和測試。實驗顯示，在峰值信噪比和結構相似度方面，Deep JSCC 方案性能比傳統的信源信道分離方案更優，在低信噪比區域的優勢尤其顯著，且在時變信道上表現出更高的魯棒性。

文獻[12]提出一種用于文本傳輸的方案，將互信息作為損失函數的一部分，通過恢復句子的含義不僅使系統容量達到最大，還可以使語義錯誤變得最少。文獻[12]還定義了名為句子相似性的新指標，以描述兩個句子在語義信息方面的相似水平。該指標的計算公式如公式（10）所示，其中BΦ代表BERT（一個巨大的用于提取語義信息的預訓練模型）。

文獻[13]設計了用于語音傳輸的語義通信系統（DeepSC-S），采用了聯合信源信道編碼的方式，尤其使用了壓縮和激勵（SE）網絡來提取重要語音語義信息，并在電話系統和多媒體傳輸系統中驗證了模型的適應性。結果表明，在兩種情況下的信號失真比和語音失真感知評估等語音信號指標都優于傳統通信。

2） 面向任務執行的語義通信

在面向任務執行的語義通信系統中，發送端要在知識庫的支持下提取充分且盡量少的語義特征，并且忽略無關信息，使接收端能夠根據接收到的語義特征有效地執行任務，同時最大程度地減少通信開銷，提高資源利用率。面向數據的通信能夠滿足H2H 通信的需求，而H2SM 通信和SM2SM通信需要更加智能、高效的面向任務執行的通信。

文獻[14] 研究了多用戶語義通信，并將圖像檢索、機器翻譯和視覺問答（VQA）3個智能任務作為傳輸目標，基于Transformer 提出了不同的模型。用于VQA 任務的系統模型在結合圖像檢索和機器翻譯外，還加入了一種新的用于圖像-文本信息融合的語義解碼器網絡。

文獻[10]和[15]設計了一種用于邊緣推理的語義通信系統，將特征提取器和聯合信源信道編碼器布置在邊緣設備，利用信息瓶頸原理提取推理任務的相關特征，以低延遲進行準確邊緣推理。對于動態信道條件下的圖像分類任務，文獻[10]提出了一種可變長度變分特征編碼的端到端架構，可根據信道條件調整特征編碼的激活維度數。該架構在延遲和準確率方面的性能良好。為彌補該設備感知的不足，文獻[15]提出了用于多設備協作邊緣計算的語義通信方案（VDDIBSR），并開發了一種選擇性重傳機制，以識別多個邊緣設備的編碼特征中的冗余。在多視圖圖像分類和多視圖對象識別任務上進行的實驗表明，VDDIB-SR與現有方法相比，實現了更高的分類和識別精度，同時降低了通信開銷和延遲。

2.2 信源信道分離設計的語義通信

當傳輸任務或通信環境改變時，信源信道聯合設計的語義通信系統需要對整個網絡進行重新訓練。這是一個非常復雜且耗時的過程。此外，信道中直接傳輸的語義特征容易受到攻擊，存在隱私/秘密泄露等風險。現有的語法通信是基于信源信道分離定理設計的，且分離設計的通信技術已經非常成熟，這些都有助于語義通信系統信源信道的分離設計。

文獻[16]提出了一種語義通信信號成形（SSSC）方法，以最小化語義損失。語義損失通過來自BERT模型的預訓練雙向編碼器測量。該方法將信號集優化問題轉化為受功率約束的矢量優化，能夠合理設計星座圖。因為考慮了每個信號點的語義，所以文中設計的信號星座是不規則的。語義相似度越高的信號星座點越接近，留出的空間就越多，有利于放置其他信號星座點。這里我們將所提出的SSSC 與二進制相移鍵控和正交相移鍵控等設計相比較。仿真結果表明，SSSC在減少語義損失方面能夠帶來顯著性能增益。

本文提出了一種基于語義重要度構造不等錯誤傳輸機制的方案。基于背景知識，該方案在信源編碼時對語義按重要度進行分類，根據重要度設置不同的誤碼率限制并采用不同的傳輸方案（包括信道編碼等），為重要度高的語義信息構建強保護傳輸的傳輸機制，為重要度低的語義信息設計弱保護傳輸機制，用較少的通信資源實現良好的通信性能。

系統模型如公式（11）所示。對于要傳輸的數據X，根據背景知識將其語義重要度從低到高劃分為n類，原始數據X 也分為n 組。對應地，傳輸機制也分為n 個等級，保護性能的強弱與等級高低一致。

我們在AWGN信道下用Mnist 數據集進行仿真實驗，使用神經網絡識別圖片上的數字。不失一般性，我們假設語義重要度與數值大小一致（9 對應的重要度最高，0 對應的重要度最低），并與不區分語義重要度的傳統通信方法進行對比。圖4給出了在實現相同的誤比特率（BER）條件下，信源信道分離的語義通信系統與傳統通信系統BER性能對比。仿真中，重要數據對應數字9，共1 000 張圖片，采用（7，4）漢明碼+4符號正交幅度調制（4 QAM）;次要數據對應數字0，共1 000張圖片，采用（7，4）漢明碼+64 QAM。為了公平對比，我們采用傳統通信方案傳輸這2 000張圖片，不進行重要度區分，均采用（7，4）漢明碼+16 QAM調制。仿真結果顯示，在BER=10-3時，我們所提的語義重要度感知的通信方法比傳統通信方案節省了約3 dB 的功率。這一結果表明，區分語義重要度能夠更好地保障重要數據的傳輸，從而節約通信資源。

▲圖4 信源信道分離設計的語義通信與傳統通信方案的性能對比

3 語義通信的開放問題

1）近年來，深度學習取得了巨大的進步，其在語義通信中的應用彌補了概率統計等理論基礎的不足，使語義通信再次成為研究熱點。但深度學習的可解釋性差，語義信息度量、語義傳輸容量等基礎理論問題仍未突破，語義通信的研究仍然缺乏一種通用的科學理論指導。

2）現有語法通信是基于信源信道分離定理而設計的，而目前語義通信系統的研究幾乎全部采用信源信道聯合設計的方法。通信網絡中任何一個節點都有可能遭受攻擊，而語義特征的提取是基于背景知識庫的。按照理想的設計思路，在背景知識未知的情況下，系統中傳輸的信息是無意義的。也就是說，語義特征提取與語義編碼的過程為語義通信提供了天然的加密層。實際上這種加密是否有效還有待考證。

4 結束語

傳統的語法通信已經逼近香農定理的極限，在原有思路上提升性能只能依靠技術的堆疊，而這也帶來了系統復雜度和能耗的提高。語義通信提供了一條新的發展思路，旨在構建“智能、簡約、達意”的通信系統，且其在理論和技術方面都具有光明的發展前景和廣闊的研究空間。