基于信息論的語義通信：理論與挑戰

施雨軒/SHI Yuxuan，吳泳澎/WU Yongpeng，張文軍/ZHANG Wenjun

（ 上海交通大學，中國 上海200240 ）

2019 年底，5G 移動通信網絡的正式商用為人、機、物的互聯開創了嶄新的通信范式。人們對下一代移動通信網絡的愿景，不僅體現在通信、感知、計算泛在融合的硬性需求中，還體現在人、機、物、靈（genie）互相聯結的超大規模架構中[1]。“萬物智聯”的通信范式將通信領域的邊界從物理世界拓寬到數字世界，實現高效、智能與大規模的傳輸網絡。與此同時，新一代通信網絡也給現有的網絡運營與設備鋪設帶來極大挑戰。據國際電信聯盟（ITU）預測：全球移動數據流量的年增長速率將會在2030 年達到55%，數據總量將會提升至現在的100 倍，遠超5G 的體量。此外，人們多維度、多途徑的通信需求會帶來數據模態的多樣化（語音、圖像、視頻）、任務需求的多樣化、智能業務的多樣化，這些都會成為現有架構的難點。為了解決這些難點，人們將關注點從“如何精確恢復傳輸的符號”轉移到“如何精確恢復傳輸的語義”[2]。語義層傳輸即語義通信，是一種關注傳輸符號中蘊含信息的通信范式。這種通信范式能利用語義關聯性去除冗余數據，并且在接收端通過背景知識庫來恢復語義，以執行特定任務。需傳輸的抽象語義概念的數據量通常遠小于精確的特征數據量，因此基于該范式的通信可以極大地提升傳輸效率。

采用SPSS 17.0軟件處理數據,采用卡方檢驗和t檢驗對兩組患者的數據進行比較,P<0.05為差異具有統計學意義。

語義通信的首次提出可以追溯到C. E. SHANNON 與W.WEAVER 的開創性的著作《The Mathematical Theory of Communication》中[2]。邏輯概率在經典信息論中對統計概率的替換，是信息論先賢們對語義信息度量的理解[3]。語義熵、語義信道容量[4]、語義反饋[5]以及背景知識[6]等相關概念相繼引入，極大地推動了語義傳輸的理論研究。然而這些工作主要基于邏輯概率的測度，難以拓展到文本以外的應用場景。近年來，深度學習及其應用（如自然語言處理、語音識別和計算機視覺）的最新進展為多模態語義通信的實現提供了可能，同時信源信道聯合編碼（JSCC）[7]被認為是一種語義通信的可達方案，用于捕獲和傳輸語義特征。基于以上方法，一系列為多模態數據[8-10]傳輸而開發的語義通信框架引起業界廣泛的關注。上述的語義通信方案在已有的架構上取得不錯的表現，但由于缺乏語義表示的通用數學模型，語義通信的理論建模與從信息論視角的解讀仍然是一個開放性問題。

白銀文化的產生應歸結于明代白銀貨幣化的進程。根據成玉玲[6]的研究，明代白銀貨幣化經歷了大明寶鈔的衰落和白銀貨幣合法化兩過程。具體如下：

基于以上討論，本文從理論模型與可實現框架的綜合視角來解讀語義通信，并提出一個通用的語義通信理論模型。通過將語義通信過程建模為一個考慮間接信源的JSCC問題，我們可以利用經典信息論工具來分析該模型的性能極限，并作為現實編碼方案/神經網絡的設計依據。在該模型中，間接信源被視為不可觀測的語義信息，直接信源則被視為可被捕獲的外部信息，聯合信源信道編碼方案用于描述間接信源編碼與語義感知的信道編碼的結合。在給定有限/無限塊長的設定上，基于模型對錯誤概率、率失真函數、編碼方案進行分析，對現實語義通信框架的設計有著指導意義。

1 語義通信研究進展

現階段語義通信的工作大致分為兩部分：語義信息的理論工作，如度量定義、數學建模等；基于機器學習方法的語義提取與通信框架的相關工作。本節中，圍繞這兩個方面，我們重點介紹語義信息與語義通信的發展歷史與研究進展。

1.1 無線網絡面臨的挑戰與語義通信的發展動機

1949 年，C. E. SHANNON 與W. WEAVER 在《The Mathematical Theory of Communication》中正式提出了“語義層面的信息傳輸”的相關概念[2]。其中，W. WEAVER 將通信分為3個層級的問題：技術、語義與效率。作為旨在有噪信道上追求精確比特傳輸的范式，技術層級的通信已服務于面向內容交付的無線網絡長達半個世紀之久。其明確的性能極限早已由香農理論給出，并被現有技術不斷逼近。然而人們的通信需求卻似乎永無極限：5G、6G 的不斷迭代、通信需求的爆炸式增長、下游任務的多樣化與智能化，都是現有無線網絡亟需解決的難題。作為能夠解決以上問題的未來基礎通信范式之一，語義通信是一種不再關注精準比特恢復而是面向任務交付的新型范式。如圖1所示，針對圖像識別/分類任務，圖中的孩童與摩托車被抽象為依賴于下游任務的語義概念，隨后編碼器對語義進行編碼并通過信道進行傳輸。在接收端通過背景知識庫恢復出來的并非是原有的精確像素。但利用恢復得到的語義依然可以輕松地完成圖像識別或分類任務。需要注意的是，語義通信在很大程度上依賴于譯碼端的背景知識，因此可能會出現無礙于任務執行的比特層面的誤差，例如收發兩端摩托車的樣式等。由于抽象出語義信息的數量級遠小于傳統通信，因此語義通信可以極大地提升通信效率。

1.2 語義信息的度量定義與數學建模

對語義信息進行刻畫是語義通信中不可或缺的環節。不同語義信息的度量與定義，會對數據的語義提取、編碼方案以及下游任務的執行等，產生重要的影響。

1.2.1 語義信息刻畫及度量

1.理念創新——我國主流政治文化網上引導能力提升的先導。理念是行為的先導，先進的傳播理念則是提升傳播效果的觀念因素和先導條件。適應中國轉型深化期的特殊國情和互聯網在我國迅速發展普及的實際，我國主流政治文化的傳播必須進一步增強傳播中的政治觀念、群眾觀念和時代觀念，樹立以受眾為中心，主動引導、開放包容的網絡傳播新理念。

3）U不可用，V可用，我們引入不同于碼字W的輔助隨機變量，可以得到：

稱取預處理紅枸杞粉2g(精確到0.0001)，在一定的料液比、超聲時間、提取溫度下進行超聲提取，提取完畢，過濾，用乙醇溶液醇沉過夜(乙醇含量80%以上)、棄去上清液，蒸干后溶解定容、稀釋后按照1.3.2.1所示方法測定吸光度，計算多糖含量。

其中，條件熵H(W|X)為碼字中包含的語義不確定性，例如碼字“蘋果”蘊含了“水果”與“品牌”兩種意思；為接收到碼字基于邏輯概率的平均信息量。這篇啟發性的文章促進了更多相關理論的產生。2020年，基于Rényi熵，M.KOUNTOURIS和N. PAPPAS[11]提出了通信系統中語義感知的信息度量方式；2021 年，A. CHATTOPADHYAY[12]等為了量化語義任務的復雜度，提出了用特定任務中最少需要回答的問題數量而非最少比特數（即熵）來刻畫復雜度。

▲圖1 針對圖像識別任務的語義通信

1.2.2 語義信息的理論建模

隨著語義信息理論的發展，人們開始基于經典的香農信息論來研究語義建模。2021年，LIU J. K.等[13]基于經典的間接信源編碼模型來刻畫語義感知的率失真函數。其中，語義信息被建模為間接信源，表征信息被建模為直接信源。與傳統信源編碼不同，該模型同時對語義信源與表征信息的重建有失真度的要求。2022 年，ZHANG P.[1]提出用“語義基”（Seb）的概念作為語義信息的表征框架，這樣能夠更好地描述發送數據的應用意圖與不同模態；在文獻[14]中，NIU K.等從聯合典型的角度考慮了經典編碼方案與語義編碼方案的異同。與經典編碼中信源序列S與碼字序列X映射的唯一性不同，語義編碼中不同的信源序列有概率映射到同一個碼字上。這是由于針對特定任務，不同的信源序列可能擁有相近的“語義”，即在語義空間毗鄰。圖2[14]很好地解釋了語義編碼能夠擁有更小碼本空間的原因。由于背景知識庫的存在，即使帶有歧義的映射也能完成特定任務的無損傳輸，這也是語義通信的優勢所在。文獻[15]將語義信息與神經網絡的隱含層變量聯系起來，根據信息瓶頸理論將語義損失刻畫到神經網絡的損失函數中，以提高圖像的傳輸表現。其基本原理是基于變分自編碼器（VAE）中的證據下界，構建輔助分布用于近似較難計算的語義分布。

▲圖2 經典編碼傳輸與語義編碼傳輸的對比（從序列典型性角度）［14］

1.2.3 基于機器學習方法的語義提取與通信框架

在特定情形下（如S與X聯合高斯分布且失真測度采用均方誤差），基于該模型的速率失真函數可通過線性最小均方誤差估計（LMMSE）的線性特性以及代理（surrogate）②在聯合高斯情形下，對S的失真約束可以退化為對X的失真約束。失真測度獲得。

1）多模態數據的語義提取

文獻[10]中，LIU J. K.提出刻畫語義信息的信源編碼模型。如圖3所示[13]，信源的語義特征被刻畫為不可見的信源S，S 服從分布PS且至信源可觀測外部特征X 的轉移概率為PX|S。與傳統間接信源編碼僅要求恢復不可見信源?有所不同，譯碼端要求同時恢復語義重建與比特重建，失真測度函數分別對應要求的失真度約束。基于該模型，其速率-失真函數被表述為：

廢舊農膜回收利用工作作為一項社會性公益事業，社會效益和生態效益顯著，需要政府的扶持。農業環保部門應積極爭取省市廢舊農膜專項補助資金，同時區級配套資金，加大對廢舊農膜回收利用企業的扶持力度，鼓勵企業擴大回收規模，對現有設備進行技術改造升級，延長產業鏈，生產滴管、塑料筐、井蓋等產品，增加產品附加值。政府層面與電力、交通等部門協商，落實電價優惠補貼政策，減免過路費等，減少加工運輸成本，為回收加工企業注入終端動力。

階級的聯合必然發展為階級民主。階級間的聯合與合作，為人民民主的實現提供了廣泛的社會力量，保障了人民的政治地位和政治權利。統一戰線不僅為人民民主提供了廣泛的階級基礎和社會基礎，而且為協商民主主體提供了多元社會力量。

語義信息能夠對多模態數據語義進行處理，還可以與經典通信技術相結合。基于語義的混合自動重傳請求（SRHARQ），在文獻[9]中用于克服信道狀態的動態變化，并獲得了優于傳統HARQ 的性能表現；DAI J. C.[10]等利用基于高斯噪聲的非線性變換實現自適應語義通信框架，并可根據不同信道情況進行速率分配，以達到在無線信道中較好的傳輸效果。此外，應用于物聯網（IoT）的云網絡架構場景與后5G大規模連接場景中的相關框架也有優異的表現。

3）本地背景知識庫設計

選擇具有專業素養且口味互異的評價員20人,組成評價小組,對飲料的色澤、氣味、口感進行評價。應用統計學的方法處理數據[9],所得感官評價方法如表1所示。

診斷多重共線性的方法常用的是方差膨脹因子（VIF）法，可根據方差膨脹因子（VIF）的大小進行判斷。一般地，當0＜VIF＜10時可認為指標不存在多重共線性。借助SPSS，計算結果如表4：

在語義通信的場景中，一個優異的本地知識庫是收發端進行語義提取和生成的重要因素。關于本地背景知識庫的工作目前仍處于探索階段。XIA L.[16]等從理論角度討論了本地知識庫匹配問題對語義通信中用戶聯合與帶寬分配的影響。S. KADAM[17]等針對不同場景進行定制化的背景知識庫的收集和獲取，也就是說收發端僅在該案例下完成對知識庫的利用。S. KADAM等在工作中考慮足球賽事解說的場景并構建語義知識庫，顯著提高傳輸效率。此外，聊天生成式預訓練轉換器（ChatGPT）[18]使用參數量巨大的模型和海量的優質原始數據，預訓練出一個能夠勝任各種場景、各種問題的語義交互知識庫，使通用人工智能技術不再遙不可及。

業界的相關研究都驗證了語義通信在6G 智能網絡應用中的巨大潛力。因此，語義通信被視為實現“萬物智聯”愿景的重要助力。

2 語義通信理論建模

基于相關工作，我們不難發現，通用、完整的理論建模仍是語義通信領域的一大空白。為了對已有的語義通信框架提供適配的理論模型，本節中我們將著重討論語義通信理論的數學建模。我們將點對點刻畫語義信息的信源編碼模型，拓展到JSCC模型，并給出特定場景的一些初步結論。

3.1 加強協會建設，完善中介服務。加強種苗行業協會建設，建立健全各級林木種苗協會或社會團體，充分發揮其在行業服務、行業自律、行業協調、行業代表等方面的職能。行業協會要以當地龍頭企業為中心，通過簽訂合同等方式，規定各方權利和義務，吸納小型種苗基地和個體育苗戶成立本地區的種苗協會或種苗合作社，收集對本組織有用的技術、市場、法規、政策信息，為組織自身及其成員使用。

2.1 語義感知的信源編碼模型

基于深度學習的語義提取模塊，使得語義通信突破文本的桎梏，廣泛活躍于語音、圖片、視頻等多模態的數據傳輸場景中。WENG Z. Z.等[8]提出了適用于動態信道的語音傳輸框架，其中利用自注意力機制的語義感知網絡可以最小化語音傳輸中的語義錯誤； 針對圖片的傳輸， E.BOURTSOULATZE[7]等首次提出了基于深度學習的信源信道聯合編碼（D-JSCC）方案。該方案相當于在卷積自編碼器中插入了一層不可訓練的信道參數層，很快被證明對語義信息的提取有較好的幫助。例如，在JIANG P. W.等的工作[9]中，基于Transformer 的D-JSCC 模塊被用于視頻會議的語義傳輸，其任務需求是在恢復端恢復出表情保真的人臉信息。語義信息被理解為視頻流幀間的殘差信息，在譯碼端根據初始幀進行恢復。這種基于語義的視頻處理方式能夠較大地減少通信開銷，并能確保下游任務一定的精確度。

▲圖3 刻畫語義信息的信源編碼模型[13]

現代語義通信致力于建立完整、統一的數學表述。在此過程中，涌現大量語義感知的工程可實現框架[8-11]。接下來，我們分別從數據提取與通信設計兩個角度對這些工作進行介紹。

2.2 語義感知的邊信息編碼模型

在實際應用場景中，上述的間接信源編碼模型可以拓展為具有邊信息的場景模型。

圖4展示了具有邊信息的語義信源編碼模型。該模型在編碼器與解碼器端存在的背景知識庫被建模為兩個有限樣本空間的隨機變量U與V，即收發端在處理語義序列時利用兩邊的邊信息進行編解碼。考慮到背景知識的編碼模型更貼近實際的語義通信模型，其速率-失真度函數RS(DS,DX)可通過求解拓展至長馬爾科夫鏈的Wyner-Ziv問題來獲得。基于該模型的退化情形如下：

▲圖4 具有邊信息的語義信源編碼模型

1）U 與V 都可用且U=V，RS(DS,DX)退化至語義感知的條件率失真函數為

2）U與V都不可用，RS(DS,DX)退化至R(DS,DX)；

2）語義感知的通信設計

在前香農時代，人們更多關注的是基于自然語言的信息度量。1953 年，Y. BAR-HILLEL 和R. CARNAP[3]審視了W.WEAVER 的工作，發現了其中遺漏的語義問題，并基于邏輯概率的測度初步定義了語義信息。所謂邏輯概率，即事件為“真”的概率越大，則該事件的熵值就越小。直到2004年，針對這種概率測度，L. FLORIDI[6]發現了“Carnap-Bar-Hillel矛盾”，即基于邏輯概率定義的熵會導致任意事件與其補事件交集的混亂度變得無窮大。同時，他提出應該用“距離”這種非負的度量來衡量語義信息的信息量。此后，學者們更為關注語義信息的本質，而不再拘泥于自然語言層面的問題。2011 年J. BAO[4]在《Towards a Theory of Semantic Communication》一文中拓展語義相關的通信因素，闡明了語義噪聲和語義信道的概念，并提出了一個語義通信框架來最小化語義錯誤。在此框架中，語義信道的容量刻畫為：

公式（4）的失真度約束同語義感知的信源編碼模型（公式（2））。對于具有邊信息的任意信源模型，其率失真函數的閉式表達仍是一個開放問題。我們將該點對點的信源編碼模型拓展至通信問題中，并提出一個泛用性較高的語義感知的JSCC模型。

2.3 語義感知的信源信道聯合編碼模型

在文獻[19]中，我們引入了語義感知的JSCC模型，具體如圖5。對可觀測信源序列Xk進行JSCC 編碼后，可以得到碼字Yn，再經信道后得到碼字Zn，之后譯碼為語義恢復S?與觀測恢復?。其中，編碼方案要求語義恢復與觀測恢復的失真程度在給定閾值DS與DX范圍內。與信源壓縮模型不同的是，引入信道模型后，速率失真函數不再具備較高的參考價值。因此，我們定義錯誤事件與錯誤概率：

▲圖5 語義感知的信源信道聯合編碼模型[19]

基于上述語義感知的JSCC 模型的錯誤概率的內外界能夠反映語義與觀測失真度約束對通信譯碼錯誤概率的影響，具有較高的研究價值。考慮到碼字塊長k →∞的漸進情況，錯誤概率內外界的具體推導由Csiszar 的單約束JSCC 發展為兩約束JSCC：在長馬爾科夫鏈的情形下，錯誤概率的逆定理即球填充外界（Sphere-packing Bound），可由最優列表譯碼得到；錯誤概率的正定理則可以通過構造考慮語義序列的高維隨機箱（即隨機編碼）得到。值得一提的是，可達界可以通過刪除較差碼字得到更好的隨機碼本。該錯誤概率模型同樣可以通過特定信源信道分布如信源聯合高斯、信道瑞麗衰落、信道多輸入多輸出（MIMO）等得到更具體的表達式，并進行解析或數值求解。此外，除了錯誤概率，該模型可以推導錯誤指數（反應誤碼率下降的指數級速度），從收斂性角度指導損失函數的計算；推導可行速率區域，通過角點指導現實方案的設計等。

該JSCC 模型很大程度上適配了現有的語義通信工作模型，我們以現有的工程可實現框架為例：一方面，在文獻[15]中，圖片序列Xk蘊含語義特征Sk，經由JSCC編碼后得到序列Yn，并經過信道傳輸接收得到加擾序列Zn，在譯碼端由恢復為圖片像素?，從而完成重建任務，再由恢復為語義特征進行分類任務，即為同時執行圖像恢復與下游任務的語義通信框架②k指塊長，即k張圖片對應k個語義特征，且k張圖片同時編碼得到n長的碼字。圖片本身維度、語義特征序列的維度與塊長沒有關系。在現實語義通信場景中，我們通常需要X的維度大于Y的維度。。另一方面，將觀測失真度約束取消即DX→∞，對應文獻[9]中恢復視頻信號的單任務語義通信框架；將語義失真度取消即DS→∞，對應以精準恢復比特為目標的傳統通信框架；將JSCC 拆解為獨立的兩個編碼器，，即采用分離信源信道編碼（SSCC）的語義通信架構，見文獻[12]。

可持續發展是全球出現能源危機以及全球環境問題時形成的一種可保障人們長久生存的主要理念。建筑業作為我國的支柱產業，消耗了大量的能源，因此，倡導綠色建筑，有利于節約資源，對人類的可持續發展具有重大意義。本文對綠色建筑的發展情況進行了分析與說明，并結合綠色建筑發展情況，對綠色建筑發展取得的成就及存在的問題進行了分析，提出了我國綠色建筑發展的基本應對策略，以便為后期綠色建筑發展提供借鑒。

3 挑戰與問題

基于以上的介紹與討論，本節將會從理論建模和實際應用兩個角度，介紹語義通信在無線網絡應用中的潛在挑戰與開放性問題。

3.1 語義通信理論通用數學建模

現有語義信息的研究通常集中于測度定義與理論建模。本文中，我們介紹了一個具有研究價值的JSCC 模型，但其點對點的建模特性對現實場景的通信設計仍有影響，例如：在多用戶場景、云/邊緣場景、考慮邊信息（即收發兩端的語義知識庫）場景中，語義通信的理論建模將會發生改變。因此，如何將語義通信在現實通用的場景中合理建模是一個挑戰。首先，語義信息的具有隱藏信源的特性，因此在CEO問題（間接多用戶信源編碼模型中的率失真問題）、Wyner-Ziv 問題、多址接入（Multiple-Access Channel）、廣播（Broadcast Channel）問題中引入間接信源是一種解決方案，但可達速率的邊界、錯誤概率等的推導仍不清楚；其次，我們研究的是基于無限塊長的編碼模型，漸進等分性、聯合典型工具對有限塊長的性能損失研究是無法適用的。

3.2 語義傳輸與通信協議設計

大多數的語義通信框架集中于物理層的設計，語義與通信協議層結合的設計涉及較少。這是由于現有的下層協議設計大多是為了滿足上層不同類型的需求，這會導致協議設計需要較高的泛用性。當語義通信執行特定下游任務時，現有的協議設計將會帶來大量的物理層資源消耗。這會使得再好的物理層設計（如語義提取模塊、信道CSI估計算法）都存在不必要的性能瓶頸。因此，語義覺知能力與現有通信協議的結合是一個亟待解決的問題。

3.3 跨模態語義融合傳輸架構設計

現有的語義傳輸更關注端到端的單一模態通信問題，例如：發送圖片、接受圖片、執行圖片相關的下游任務。可以預見的是，在6G 的智能網絡范疇內，跨模態的通信模式是一種必然，即發送端需要同時處理文本與視頻或語音與圖片等模態組合，隨后在接收端執行多媒體的語義任務。對于這類需求，現有的框架大都無法滿足，或是只能做到簡單組合。因此對于寬泛的應用需求，如何滿足跨模態的語義通信仍不明確。

3.4 本地背景知識庫的設計與更新

對于語義通信的范式而言，本地知識庫是完成低碼率傳輸的一個重要保障。也就是說，語義通信的性能在很大程度上取決于收發兩端的背景知識的重疊率與完備程度。除了背景設計之外，語句的含義或者知識庫會隨著時代的發展改變或迭代，因此需要周期性地更新以達到預期的語義通信性能。針對收發兩端本地知識庫的重疊比率、涵蓋范圍等，已有研究進行了初步的建模，但仍然存在泛化性較差、耗費資源過多等問題。因此如何高效地對本地背景知識庫進行設計與更新是一個重大挑戰。

4 結束語

本文中，我們對語義通信的研究現狀與前景進行了討論，并基于理論模型與機器學習展開了分析。首先，從刻畫語義信息的間接信源編碼模型出發，將間接信源視為不可觀測的語義信息，直接信源視為可被捕獲的外部信息，并介紹了兩個具有研究價值的語義信源編碼模型。接著，我們將其中點對點的信源編碼模型拓展至語義感知的JSCC 模型中，并推導了初步性能邊界。我們認為該模型對現有語義通信框架有較高的適配度，其性能極限分析對現有工作也有著有較大的指導意義。最后，指出現有語義通信框架面臨的挑戰與開放性問題。語義通信是繼物理層通信之后的6G 無線網絡新興范式，在“萬物智聯”愿景時代中必然占有一席之地。