面向智能任務(wù)的語(yǔ)義通信：理論、技術(shù)和挑戰(zhàn)

劉傳宏，郭彩麗,，楊洋，陳九九，朱美逸，孫魯楠

（1.北京郵電大學(xué)先進(jìn)信息網(wǎng)絡(luò)北京實(shí)驗(yàn)室，北京 100876；2.北京郵電大學(xué)網(wǎng)絡(luò)體系構(gòu)建與融合北京市重點(diǎn)實(shí)驗(yàn)室，北京 100876）

0 引言

目前，以5G/6G 通信和人工智能（AI,artificial intelligence）為代表的新一輪信息技術(shù)革命和產(chǎn)業(yè)變革席卷全球，通信與AI 已成為國(guó)家戰(zhàn)略的兩大重要組成部分。隨著通信與AI 緊密融合的智能社會(huì)到來(lái)，傳統(tǒng)的人-人通信將延伸到機(jī)-機(jī)、人-機(jī)、人-人多種方式智能互聯(lián)，通信的信源和信宿將變成具有智能分析和處理能力的人、機(jī)等智能體[1]。不同類型的智能體之間如何實(shí)現(xiàn)更高效的通信？經(jīng)典香農(nóng)信息論的基本假設(shè)和理論結(jié)果是否可以支撐海量智能體互聯(lián)的需求？這些都是在以傳統(tǒng)通信為主導(dǎo)的香農(nóng)時(shí)代沒(méi)有被考慮的場(chǎng)景和問(wèn)題，亟須挖掘通信基礎(chǔ)理論的新突破和新指引。

當(dāng)面臨智能體之間的通信時(shí)，需要重新審視通信的目的、方式和過(guò)程。通信真正的目的是通過(guò)通信雙方交互使接收方理解發(fā)送方的信息內(nèi)容，即“達(dá)意”通信[2]。香農(nóng)早已定義信息所表示的內(nèi)容為“語(yǔ)義”。Weaver[3]進(jìn)一步對(duì)通信的認(rèn)識(shí)做出重要補(bǔ)充，將通信問(wèn)題歸為3 個(gè)層面。

1) 語(yǔ)法（技術(shù)）層面。這一層面是經(jīng)典香農(nóng)信息論涉及的范疇，解決通信符號(hào)如何準(zhǔn)確地加以傳輸。

2) 語(yǔ)義層面。這一層面解決傳輸?shù)姆?hào)如何精確地傳達(dá)內(nèi)容含義（也就是本文所說(shuō)的語(yǔ)義信息）。

3) 語(yǔ)用層面。這一層面解決如何對(duì)接收的語(yǔ)義信息以最佳的方式加以利用，即通信的目的。

盡管消息蘊(yùn)含的語(yǔ)義信息和語(yǔ)用價(jià)值早已被察覺(jué)并定義，但受當(dāng)時(shí)技術(shù)發(fā)展水平和通信場(chǎng)景需求的限制，人們?cè)诟鶕?jù)香農(nóng)信息論進(jìn)行通信系統(tǒng)的相關(guān)研究時(shí)，主要專注于語(yǔ)法（技術(shù)）層面的問(wèn)題，僅以可靠有效傳輸比特?cái)?shù)據(jù)為目標(biāo)[4]。時(shí)至今日，有關(guān)通信可靠性及有效性的問(wèn)題已基本得到解決。隨著人工智能技術(shù)與通信技術(shù)的融合日益緊密，未來(lái)的通信趨于萬(wàn)物智聯(lián)，過(guò)去暫時(shí)擱置的語(yǔ)義層面的問(wèn)題重新凸顯，以“達(dá)意”為目標(biāo)的語(yǔ)義通信成為下一個(gè)研究熱點(diǎn)[2]。本文旨在綜述已有語(yǔ)義通信相關(guān)工作并為語(yǔ)義信息的度量和編碼提出一些可行的思路。本文的主要貢獻(xiàn)如下。

1) 綜述現(xiàn)有語(yǔ)義通信的研究現(xiàn)狀，分析現(xiàn)有語(yǔ)義通信在語(yǔ)義度量和語(yǔ)義編碼方面存在的瓶頸問(wèn)題，提出面向智能任務(wù)的語(yǔ)義通信網(wǎng)絡(luò)架構(gòu)，將語(yǔ)義信息和語(yǔ)用價(jià)值進(jìn)行深度融合。

2) 針對(duì)非統(tǒng)計(jì)型語(yǔ)義信息難以度量的問(wèn)題，借鑒模糊數(shù)學(xué)理論和方法對(duì)面向智能任務(wù)的語(yǔ)義信息量進(jìn)行定性和定量分析，在智能任務(wù)的約束下，將模糊集、隸屬函數(shù)和模糊度等賦予實(shí)際物理意義，使語(yǔ)義熵的計(jì)算可以通過(guò)經(jīng)典信息論擴(kuò)展得到。

3) 針對(duì)如何高效壓縮語(yǔ)義信息的問(wèn)題，基于信息瓶頸理論和擴(kuò)展的信息瓶頸理論，分別提出面向智能任務(wù)的語(yǔ)義編碼和信源信道聯(lián)合編碼方案，顯著提升語(yǔ)義編碼壓縮的有效性和語(yǔ)義信息傳輸?shù)目煽啃浴?/p>

4) 搭建語(yǔ)義通信平臺(tái)，對(duì)所提方法進(jìn)行驗(yàn)證和測(cè)試；實(shí)驗(yàn)結(jié)果證明所提方法的可行性和優(yōu)越性，相較于傳統(tǒng)通信方法，所提方法可以有效提升智能任務(wù)性能和帶寬利用率。

5) 分析并總結(jié)語(yǔ)義通信未來(lái)的主要挑戰(zhàn)和開(kāi)放性問(wèn)題，旨在為語(yǔ)義通信后續(xù)的探索提供思路和方向。

1 語(yǔ)義通信的研究現(xiàn)狀及瓶頸問(wèn)題

1.1 語(yǔ)義通信的研究現(xiàn)狀

語(yǔ)義通信的研究致力于解決Weaver[3]定義的通信系統(tǒng)語(yǔ)義和語(yǔ)用層面的問(wèn)題，現(xiàn)有研究主要分為兩類，一是為解決語(yǔ)義層面的問(wèn)題——如何精確地傳達(dá)內(nèi)容含義，考慮從通信系統(tǒng)傳輸需求出發(fā)，研究語(yǔ)義信息的度量；二是為解決語(yǔ)用層面的問(wèn)題——如何最佳利用語(yǔ)義信息，考慮從智能系統(tǒng)應(yīng)用需求出發(fā)，研究語(yǔ)義信息理論的延伸擴(kuò)展和實(shí)際應(yīng)用。

在語(yǔ)義信息度量方面，主要面臨以下問(wèn)題。①與語(yǔ)法信息相比，語(yǔ)義信息涉及內(nèi)容含義，存在對(duì)錯(cuò)偏差等問(wèn)題，所以其概率是非統(tǒng)計(jì)型的，導(dǎo)致語(yǔ)義信息難以表示；②語(yǔ)義信息的不確定性不僅來(lái)自事件發(fā)生概率，還來(lái)自語(yǔ)義概念及其外延的模糊性，導(dǎo)致具有隨機(jī)和模糊雙不確定性的語(yǔ)義信息難以度量。后續(xù)語(yǔ)義信息度量相關(guān)研究重點(diǎn)在于解決這兩大問(wèn)題，主要分為以下兩類。

1) 針對(duì)語(yǔ)義信息的非統(tǒng)計(jì)特性和模糊性等問(wèn)題，從信息哲學(xué)的角度對(duì)語(yǔ)義信息進(jìn)行表示。Carnap等[5]提出用邏輯概率代替統(tǒng)計(jì)概率來(lái)描述語(yǔ)義信息的對(duì)錯(cuò)偏差和非統(tǒng)計(jì)特性等問(wèn)題。Popper[6]提出用邏輯概率和信息準(zhǔn)則檢驗(yàn)語(yǔ)義信息，并對(duì)邏輯概率進(jìn)行數(shù)學(xué)描述。另一方面，Zadeh[7-8]提出模糊集合論和模糊事件來(lái)描述語(yǔ)義信息的模糊性等問(wèn)題。Luca 等[9]提出用來(lái)測(cè)度模糊事件信息量的模糊信息熵公式。

2) 針對(duì)具有雙不確定性的語(yǔ)義信息難度量問(wèn)題，引入廣義信息論對(duì)語(yǔ)義信息進(jìn)行度量。Floridi[10]將語(yǔ)義信息進(jìn)行分類并提出基于邏輯真值的語(yǔ)義信息度量公式，但該信息公式與傳統(tǒng)的香農(nóng)信息公式相距太遠(yuǎn)，無(wú)法在同一個(gè)通信系統(tǒng)中統(tǒng)一表示和計(jì)算。Lu[11-12]引入廣義信息論，考慮在香農(nóng)信息論的基礎(chǔ)上對(duì)語(yǔ)義信息統(tǒng)一度量，并基于貝葉斯公式、邏輯概率和模糊集合等理論對(duì)語(yǔ)義信息進(jìn)行數(shù)學(xué)度量。上述研究都是在香農(nóng)經(jīng)典信息論的基礎(chǔ)上進(jìn)一步擴(kuò)展，側(cè)重研究語(yǔ)義信息的表示和度量，未考慮信息語(yǔ)義理解的智能化需求，很難在實(shí)際場(chǎng)景中進(jìn)行應(yīng)用。

在語(yǔ)義信息理論延伸擴(kuò)展和實(shí)際應(yīng)用方面，主要面臨以下問(wèn)題。①語(yǔ)義信息面向不同的智能化需求，蘊(yùn)含不同的效用價(jià)值，忽略語(yǔ)用價(jià)值的語(yǔ)義信息的度量缺乏物理含義，難以對(duì)實(shí)際應(yīng)用場(chǎng)景進(jìn)行指導(dǎo)；②傳統(tǒng)的通信系統(tǒng)和網(wǎng)絡(luò)架構(gòu)難以滿足智能化需求，在實(shí)際應(yīng)用中智能任務(wù)的實(shí)現(xiàn)難以達(dá)到預(yù)期效果；③如何高效提取不同模態(tài)信源中的主觀語(yǔ)義信息存在挑戰(zhàn)。因此，近年來(lái)，大量研究關(guān)注智能化需求，對(duì)語(yǔ)義通信理論進(jìn)行擴(kuò)展并考慮其實(shí)際應(yīng)用，研究工作主要分為以下三類。

1) 針對(duì)語(yǔ)義信息的效用價(jià)值等問(wèn)題，引入全信息論等對(duì)傳統(tǒng)信息論進(jìn)行延伸和擴(kuò)展。鐘義信[13]提出在人工智能領(lǐng)域更應(yīng)該關(guān)注信息的內(nèi)容含義和效用價(jià)值，并提出了全信息的概念；從語(yǔ)法信息、語(yǔ)義信息和語(yǔ)用信息3 個(gè)方面對(duì)信息進(jìn)行統(tǒng)一描述，并在后續(xù)研究工作中闡述了3 種信息形式的相互關(guān)系并推導(dǎo)了全信息的初步測(cè)度公式[14]；鐘義信等[15]利用信息生態(tài)理論解釋了語(yǔ)義信息的生成機(jī)理，然后對(duì)其進(jìn)行定義，并給出了人工智能與信息科學(xué)的交叉研究模型。石光明等[16]從智能感知的角度給出了新的語(yǔ)義通信方式，并討論了語(yǔ)義編譯碼機(jī)制。上述研究對(duì)語(yǔ)義信息的定義和表示形式進(jìn)行了有益的探討，指出了信息論與人工智能結(jié)合的信息科學(xué)理論的研究方向。

2) 針對(duì)傳統(tǒng)通信網(wǎng)絡(luò)難以滿足智能化需求的問(wèn)題，利用人工智能技術(shù)賦能，設(shè)計(jì)面向未來(lái)智慧場(chǎng)景的語(yǔ)義通信系統(tǒng)和網(wǎng)絡(luò)架構(gòu)[17-26]。在語(yǔ)義網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)方面，Bao 等[17]首先提出了在網(wǎng)絡(luò)中加入語(yǔ)義處理和知識(shí)共享機(jī)制，并給出了基本的三層通信模型，強(qiáng)調(diào)了本地知識(shí)和共享知識(shí)對(duì)收發(fā)雙方語(yǔ)義通信的輔助作用。Strinati 等[2]提出在6G 的語(yǔ)義網(wǎng)絡(luò)中加入語(yǔ)義學(xué)習(xí)機(jī)制。Popovski 等[18]提出在6G協(xié)議棧中引入語(yǔ)義平面，以實(shí)現(xiàn)語(yǔ)義濾波和面向特定目標(biāo)的語(yǔ)義控制。在語(yǔ)義通信系統(tǒng)設(shè)計(jì)方面，Kountouris 等[19]探討了面向智能系統(tǒng)互聯(lián)的語(yǔ)義使能通信場(chǎng)景，并給出了語(yǔ)義使能通信的基本模型。Yang 等[20]將語(yǔ)義通信和智能任務(wù)結(jié)合，提出了面向智能任務(wù)的語(yǔ)義通信架構(gòu)。Kalfa 等[21]提出了語(yǔ)義信號(hào)處理框架，可以適用于接收方不同的通信任務(wù)。牛凱等[22]和Zhang 等[23]探討了語(yǔ)義信息的度量，并提出了智能高效的語(yǔ)義通信系統(tǒng)架構(gòu)。石光明等[24]將語(yǔ)義通信作為未來(lái)萬(wàn)物智聯(lián)網(wǎng)絡(luò)的新型基礎(chǔ)范式，提出了與萬(wàn)物智聯(lián)網(wǎng)絡(luò)融合的語(yǔ)義通信的基本模型和組成。

3) 針對(duì)主觀的語(yǔ)義信息難以提取的問(wèn)題，基于深度學(xué)習(xí)技術(shù)，面向不同類型的信源提出了一系列工程可實(shí)現(xiàn)的語(yǔ)義通信方法[27-35]。針對(duì)文本和語(yǔ)音信息傳輸，F(xiàn)arsad 等[27]基于長(zhǎng)短期記憶（LSTM,long short-term memory）網(wǎng)絡(luò)提出了聯(lián)合信源信道編碼（JSCC,joint source channel coding）方法，并證明了基于深度學(xué)習(xí)的JSCC 的優(yōu)越性。Xie 等[4]基于Transformer 提出了一種用于文本信息傳輸?shù)恼Z(yǔ)義通信系統(tǒng)DeepSC（deep learning based semantic communication），首次在句子層級(jí)上對(duì)語(yǔ)義信息進(jìn)行了區(qū)分。在文獻(xiàn)[4]的基礎(chǔ)上，Xie 等[28]進(jìn)一步提出了一個(gè)輕量化的分布式語(yǔ)義通信系統(tǒng)，使其更容易部署在物聯(lián)網(wǎng)設(shè)備上。Weng 等[29]將DeepSC 擴(kuò)展到語(yǔ)音信號(hào)傳輸中，設(shè)計(jì)了一個(gè)基于注意力機(jī)制的語(yǔ)義編解碼器DeepSC-S。針對(duì)圖像信源傳輸，Bourtsoulatze 等[30]基于卷積神經(jīng)網(wǎng)絡(luò)（CNN,convolutional neural network）提出了JSCC 來(lái)實(shí)現(xiàn)無(wú)線信道中的圖像傳輸，同時(shí)優(yōu)化語(yǔ)義編解碼器來(lái)提升圖像傳輸?shù)男阅堋：罄m(xù)工作將圖像信源和視覺(jué)任務(wù)進(jìn)行結(jié)合，Lee 等[31]設(shè)計(jì)了一個(gè)聯(lián)合圖像傳輸和分類的語(yǔ)義通信系統(tǒng)，接收端直接輸出分類任務(wù)的結(jié)果。

針對(duì)圖像檢索任務(wù)，Jankowski 等[32]提出了邊端協(xié)同的語(yǔ)義通信方法，大大提升了圖像檢索任務(wù)的性能。劉傳宏等[33]考慮在智能物聯(lián)網(wǎng)場(chǎng)景中，提出了智能任務(wù)導(dǎo)向的語(yǔ)義通信系統(tǒng)，并基于語(yǔ)義概念和語(yǔ)義特征之間的重要性關(guān)系實(shí)現(xiàn)對(duì)語(yǔ)義信息的進(jìn)一步壓縮。針對(duì)多模態(tài)信源數(shù)據(jù)傳輸，Xie 等[34]考慮視覺(jué)問(wèn)答任務(wù)，一位用戶傳輸文本問(wèn)題，另一位用戶傳輸待詢問(wèn)的圖像，提出了針對(duì)多模態(tài)數(shù)據(jù)傳輸?shù)亩嘤脩粽Z(yǔ)義通信系統(tǒng)。基于文獻(xiàn)[34]的研究，Xie 等[35]進(jìn)一步考慮多用戶及多任務(wù)的語(yǔ)義通信方法，提出了基于Transformer 的語(yǔ)義通信框架，并在機(jī)器翻譯、圖像檢索和視覺(jué)問(wèn)答智能任務(wù)上驗(yàn)證了所提方法的優(yōu)越性。上述研究主要包括基于深度學(xué)習(xí)的語(yǔ)義編碼方法和語(yǔ)義通信的框架及思路，為工程應(yīng)用提供了可供參考的系統(tǒng)和網(wǎng)絡(luò)模型，但是暫未將智能任務(wù)和語(yǔ)義信息熵的度量相結(jié)合，同時(shí)暫無(wú)基于深度學(xué)習(xí)的語(yǔ)義編碼和語(yǔ)義通信平臺(tái)的落地實(shí)現(xiàn)，這些都需要進(jìn)一步研究和探討，對(duì)推動(dòng)語(yǔ)義通信未來(lái)的進(jìn)一步發(fā)展和完善具有重要意義。

1.2 語(yǔ)義通信面臨的瓶頸問(wèn)題

綜上，自1950 年以來(lái)，人們期待對(duì)語(yǔ)義信息建立相應(yīng)的理論，包括語(yǔ)義信息的度量、語(yǔ)義信息的壓縮及語(yǔ)義信息在語(yǔ)義信道中的有效傳輸。現(xiàn)有國(guó)內(nèi)外相關(guān)研究還處于語(yǔ)義信息度量公式的探討或是基于深度學(xué)習(xí)的語(yǔ)義通信工程技術(shù)層面的嘗試，語(yǔ)義通信的進(jìn)一步發(fā)展面臨以下瓶頸問(wèn)題亟須突破。

1) 如何量化語(yǔ)義信息。語(yǔ)義信息的度量問(wèn)題是語(yǔ)義信息理論的基礎(chǔ)。經(jīng)典的香農(nóng)信息論以概率論為基礎(chǔ)來(lái)表征和度量信息，其信息概率是固定可統(tǒng)計(jì)的，而語(yǔ)義信息經(jīng)過(guò)傳輸和智能計(jì)算后不僅存在統(tǒng)計(jì)判決對(duì)錯(cuò)問(wèn)題，還存在語(yǔ)義理解偏差帶來(lái)的模糊表征及度量問(wèn)題，屬于非統(tǒng)計(jì)型信息，其概率是不確定的[5]。

2) 如何壓縮語(yǔ)義信息。對(duì)信源進(jìn)行語(yǔ)義層面的信息提取與編碼表示，有助于進(jìn)一步壓縮語(yǔ)義信息的冗余，提高語(yǔ)義傳輸?shù)挠行浴ＵZ(yǔ)義編碼充分利用信源的語(yǔ)義冗余，提取最重要的語(yǔ)義特征，屬于有損壓縮。一般用深度神經(jīng)網(wǎng)絡(luò)（DNN,deep neural network）提取的語(yǔ)義信息具有不可解釋性，如何設(shè)計(jì)最優(yōu)語(yǔ)義編碼方法，探尋有損壓縮的極限問(wèn)題難度很大。有損壓縮極限問(wèn)題的另一個(gè)關(guān)鍵是對(duì)語(yǔ)義失真的度量，但語(yǔ)義的失真度量存在很大主觀性。

2 面向智能任務(wù)的語(yǔ)義通信

2.1 語(yǔ)義與語(yǔ)用信息的結(jié)合

值得一提的是，語(yǔ)義信息往往隱含了語(yǔ)用的目的，而語(yǔ)用也往往包含了語(yǔ)義信息，正如Weaver[3]在論文中所提，語(yǔ)義信息與語(yǔ)用信息是難以分割的。北京郵電大學(xué)的鐘義信教授[14,36]也指出，語(yǔ)義信息的內(nèi)涵是語(yǔ)法信息和語(yǔ)用信息。在未來(lái)人工智能時(shí)代，智能體之間通信的最終目的往往為完成智能任務(wù)，即通信終端不僅接收語(yǔ)義信息，還需要理解發(fā)送方的語(yǔ)義信息并加以利用。因此智能體間通信的本質(zhì)是通信與智能任務(wù)的融合。

以完成目標(biāo)檢測(cè)智能任務(wù)為目標(biāo)的語(yǔ)義通信示例如圖1 所示。從圖1 可以看出，當(dāng)智能任務(wù)的目標(biāo)（即語(yǔ)用信息）分別為檢測(cè)狗、檢測(cè)貓和同時(shí)檢測(cè)貓和狗時(shí)，對(duì)應(yīng)的通信內(nèi)容（即語(yǔ)義信息）隨之發(fā)生變化。面向特定的智能任務(wù)，語(yǔ)義的模糊性以及不可解釋性限制語(yǔ)義度量和壓縮難題有望得到突破。

圖1 面向智能任務(wù)的語(yǔ)義通信示例

2.2 面向智能任務(wù)的語(yǔ)義通信架構(gòu)

圖2 對(duì)比了面向智能任務(wù)的傳統(tǒng)通信系統(tǒng)和語(yǔ)義通信系統(tǒng)。傳統(tǒng)通信系統(tǒng)中，信源在編碼和傳輸?shù)倪^(guò)程被轉(zhuǎn)換成比特流，接收機(jī)追求準(zhǔn)確恢復(fù)代表信源的比特流以恢復(fù)原始數(shù)據(jù)，接著進(jìn)行語(yǔ)義提取并執(zhí)行任務(wù)。語(yǔ)義通信系統(tǒng)傳輸信源的語(yǔ)義信息和傳統(tǒng)通信系統(tǒng)最主要的區(qū)別之一是引入了語(yǔ)義編碼，語(yǔ)義編碼依據(jù)要執(zhí)行的任務(wù)對(duì)信源進(jìn)行語(yǔ)義特征提取，僅傳輸語(yǔ)義特征，大大降低了對(duì)通信資源的需求。接收機(jī)的任務(wù)包括信源重建和其他智能任務(wù)，如圖像分類和目標(biāo)檢測(cè)等。語(yǔ)義編碼的引入實(shí)現(xiàn)了信源傳輸和信源理解過(guò)程的融合，即“先理解后傳輸”；而傳統(tǒng)通信方法中，信源傳輸和理解相對(duì)獨(dú)立，為“先傳輸后理解”的通信模式。

圖2 傳統(tǒng)通信系統(tǒng)和語(yǔ)義通信系統(tǒng)對(duì)比

本文基于DNN 設(shè)計(jì)語(yǔ)義特征提取網(wǎng)絡(luò)，主要有以下2 個(gè)原因：1) 傳統(tǒng)機(jī)器學(xué)習(xí)通過(guò)人工設(shè)定規(guī)則提取特征，而DNN（如CNN 等）通過(guò)卷積池化等多層網(wǎng)絡(luò)提取語(yǔ)義特征，雖然DNN 缺乏可解釋性，但是大量的實(shí)驗(yàn)結(jié)果證明DNN 提取的特征比人工設(shè)定規(guī)則提取的特征在完成智能任務(wù)方面表現(xiàn)更佳；2) 語(yǔ)義信息本身具有主觀和不確定特性，特別是針對(duì)圖像等信源，難以設(shè)計(jì)合適的手工提取規(guī)則，無(wú)法直接用傳統(tǒng)機(jī)器學(xué)習(xí)的方法提取信源數(shù)據(jù)中的語(yǔ)義特征，而通過(guò)可視化證明了CNN 等方法與人類神經(jīng)系統(tǒng)極為相似，能夠提取局部語(yǔ)義特征，因此基于DNN 的語(yǔ)義特征提取方法更加適合語(yǔ)義通信的場(chǎng)景。此外，實(shí)際應(yīng)用中提取語(yǔ)義信息的編解碼網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)需要綜合考量信源模態(tài)和具體的智能任務(wù)等，如針對(duì)文本信源，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN,recurrent neural network）能提取上下文相關(guān)語(yǔ)義信息；針對(duì)圖像信源，CNN 表現(xiàn)更加優(yōu)越。然而，要設(shè)計(jì)最優(yōu)的面向智能任務(wù)的語(yǔ)義通信系統(tǒng)，語(yǔ)義信息的度量是基礎(chǔ)。

3 面向智能任務(wù)的語(yǔ)義信息度量

3.1 語(yǔ)義信息熵的度量

信源產(chǎn)生的消息序列不僅服從一定的概率分布，還蘊(yùn)含豐富的語(yǔ)義信息。現(xiàn)有語(yǔ)義信息熵度量相關(guān)研究一方面基于模糊數(shù)學(xué)理論，用隸屬函數(shù)刻畫信源的語(yǔ)義模糊測(cè)度[37-38]；另一方面基于命題邏輯理論，用邏輯概率描述消息語(yǔ)義為真的概率[17,39]。上述研究均借鑒傳統(tǒng)香農(nóng)熵的形式，雖分別構(gòu)建了模糊熵和語(yǔ)義熵來(lái)度量信源的語(yǔ)義信息量，但未考慮面向不同智能任務(wù)時(shí)，因關(guān)注的語(yǔ)用價(jià)值不同，同一消息蘊(yùn)含的語(yǔ)義信息量不同。因此，度量所得的語(yǔ)義信息量數(shù)值缺乏物理意義，難以對(duì)面向智能任務(wù)的語(yǔ)義通信技術(shù)進(jìn)行有效指導(dǎo)。

因此，本文針對(duì)特定智能任務(wù)，度量基于本地知識(shí)庫(kù)理解的消息所蘊(yùn)含的語(yǔ)義信息量。定義構(gòu)成語(yǔ)義消息的最小基本單元為語(yǔ)義元（例如用知識(shí)圖譜表示語(yǔ)義消息時(shí)，語(yǔ)義元為三元組），從語(yǔ)義元層面考慮本地知識(shí)庫(kù)的輔助作用以及智能任務(wù)對(duì)語(yǔ)義理解的影響。具體表現(xiàn)為本地知識(shí)庫(kù)提供構(gòu)成消息的所有可能的語(yǔ)義元，協(xié)助將消息提煉為多個(gè)語(yǔ)義元，每個(gè)語(yǔ)義元對(duì)不同類別的智能任務(wù)進(jìn)行決策的貢獻(xiàn)程度不同，同時(shí)在特定智能任務(wù)條件下，每個(gè)語(yǔ)義元對(duì)每個(gè)正確決策結(jié)果的隸屬程度具有模糊性。因此，基于模糊數(shù)學(xué)理論刻畫語(yǔ)義理解的模糊程度，實(shí)現(xiàn)語(yǔ)義信息熵的度量。

則語(yǔ)義元cn對(duì)智能任務(wù)Γ的模糊熵為cn對(duì)每個(gè)正確結(jié)果Tm的模糊熵之和，即

語(yǔ)義信源產(chǎn)生的每條語(yǔ)義消息可被理解為若干語(yǔ)義元的集合X，且X?K。針對(duì)每一個(gè)cn∈K，若c n∈X，則ρX(cn)=1，否則ρX(cn)=0。則在給定本地知識(shí)庫(kù)K時(shí)，面向智能任務(wù)Γ的語(yǔ)義消息X的語(yǔ)義熵為

該語(yǔ)義熵度量了在給定本地知識(shí)庫(kù)K時(shí)，面向智能任務(wù)Γ的語(yǔ)義消息X蘊(yùn)含的語(yǔ)義信息量。

3.2 語(yǔ)義信道容量的度量

傳統(tǒng)通信系統(tǒng)信道容量?jī)H與信道轉(zhuǎn)移概率有關(guān)，可通過(guò)優(yōu)化編碼器尋求最佳碼字分布，使收發(fā)端碼字間的互信息達(dá)到上確界，則信息傳輸速率逼近信道容量。與傳統(tǒng)信道容量追求最大化傳輸速率不同，語(yǔ)義信道容量追求最大化語(yǔ)義信息傳輸能力。針對(duì)語(yǔ)義通信系統(tǒng)，文獻(xiàn)[17]提出降低語(yǔ)義編碼的模糊度，提高物理信道的傳輸速率和語(yǔ)義解碼器的理解能力，來(lái)優(yōu)化語(yǔ)義信息傳輸速率達(dá)到語(yǔ)義信道容量。但在實(shí)際語(yǔ)義通信場(chǎng)景中，通信雙方的知識(shí)共享程度越高，語(yǔ)義信道傳輸相同碼字承載的語(yǔ)義信息就越多；同時(shí)，只有面向特定智能任務(wù)時(shí)語(yǔ)義編解碼器理解的語(yǔ)義信息才具有語(yǔ)用價(jià)值。考慮圖3 所示的語(yǔ)義通信過(guò)程，設(shè)通信雙方共享知識(shí)庫(kù)為K，面向智能任務(wù)Γ的語(yǔ)義通信過(guò)程描述為發(fā)送端將語(yǔ)義信源產(chǎn)生的消息X（標(biāo)簽為Y，同一信源X在不同智能任務(wù)Γ下有不同的標(biāo)簽Y）經(jīng)語(yǔ)義編碼生成語(yǔ)義表示Z，經(jīng)語(yǔ)義信道傳輸后，接收端將接收到的經(jīng)語(yǔ)義解碼得到智能任務(wù)處理結(jié)果。

圖3 語(yǔ)義通信過(guò)程示意

在上述通信過(guò)程中，語(yǔ)義信道容量與智能任務(wù)的類別、收發(fā)雙方共享知識(shí)庫(kù)的協(xié)同程度以及語(yǔ)義信道條件有關(guān)。

面向智能任務(wù)Γ時(shí)，當(dāng)共享知識(shí)庫(kù)K的協(xié)同程度和語(yǔ)義信道轉(zhuǎn)移概率p(|z)一定時(shí)，語(yǔ)義通信系統(tǒng)的語(yǔ)義信道容量為定值，反映了該系統(tǒng)的語(yǔ)義信息傳輸能力上限。語(yǔ)義信道容量Cs的計(jì)算式為

其中，H s(Z|Γ,K)為在智能任務(wù)Γ和共享知識(shí)庫(kù)K條件下語(yǔ)義表示Z的語(yǔ)義熵，即Z蘊(yùn)含的語(yǔ)義信息量，反映了語(yǔ)義編碼器的語(yǔ)義信息提取能力；同理，H s(|Γ,K)反映了語(yǔ)義解碼器的語(yǔ)義信息理解能力；I(Z;)為Z與之間的互信息，表示經(jīng)過(guò)語(yǔ)義信道后，接收的語(yǔ)義表示所保留的關(guān)于Z的語(yǔ)義信息，反映了語(yǔ)義編碼器的抗語(yǔ)義信道干擾能力。此時(shí)，可通過(guò)優(yōu)化語(yǔ)義編解碼器，尋求最佳語(yǔ)義表示Z的分布p(z)，以及最佳智能任務(wù)處理結(jié)果的分布p()，使上述三項(xiàng)之和達(dá)到上確界，則語(yǔ)義信息傳輸速率達(dá)到語(yǔ)義信道容量。

4 面向智能任務(wù)的語(yǔ)義編碼

由語(yǔ)義信道容量度量計(jì)算式可以看出，如何設(shè)計(jì)最優(yōu)的語(yǔ)義編碼方案對(duì)語(yǔ)義通信系統(tǒng)至關(guān)重要。語(yǔ)義編碼的本質(zhì)是在一定的語(yǔ)義失真前提下，盡可能多地壓縮信源信息，語(yǔ)義編碼與傳統(tǒng)信源編碼的區(qū)別如表1 所示。

表1 語(yǔ)義編碼與傳統(tǒng)信源編碼的區(qū)別

面向智能任務(wù)的語(yǔ)義編碼示意如圖4 所示，以廣義的率失真理論為語(yǔ)義編碼的指導(dǎo)理論，可以表示為

圖4 面向智能任務(wù)的語(yǔ)義編碼示意

其中，I(X;O)表示O保留的關(guān)于X的信息量，衡量編碼前后語(yǔ)義信息量的壓縮程度；D(X;O)表示O與X之間的信息差別，衡量編碼前后語(yǔ)義信息的失真程度；λ表示權(quán)重參數(shù)。針對(duì)是否需要重建信源，O可以有不同表示，當(dāng)需要重建信源時(shí)，O為由碼字重建的信源；當(dāng)不需要重建信源時(shí)，O為語(yǔ)義編碼后的碼字Z。本節(jié)以智能任務(wù)為導(dǎo)向，分別從語(yǔ)義失真度量和語(yǔ)義編碼方案兩方面綜述現(xiàn)有研究及可行的方向。

4.1 語(yǔ)義失真度量

目前，語(yǔ)義失真評(píng)價(jià)的目標(biāo)是研究人在觀察圖像或視頻時(shí)的視覺(jué)感受，而非機(jī)器的理解[41-43]。近年來(lái)，基于深度學(xué)習(xí)的失真評(píng)估方法開(kāi)始大范圍應(yīng)用[44-46]。這些方法一般分兩步評(píng)估樣本的失真程度，首先設(shè)計(jì)適當(dāng)?shù)奶卣魈崛【W(wǎng)絡(luò)提取語(yǔ)義特征，然后使用這些特征進(jìn)行回歸或分類來(lái)評(píng)估失真程度。然而在智能互聯(lián)時(shí)代，大量的失真圖像和視頻需要被輸入機(jī)器中執(zhí)行各種智能任務(wù)，語(yǔ)義失真度量應(yīng)該趨近于機(jī)器理解并以智能任務(wù)為導(dǎo)向，使機(jī)器可以更好地理解圖片和視頻中的語(yǔ)義信息，從而更好地完成智能任務(wù)。

基于此，為了更好地度量機(jī)器對(duì)于語(yǔ)義理解的失真，可以基于孿生語(yǔ)義編碼器實(shí)現(xiàn)語(yǔ)義失真度量。孿生語(yǔ)義編碼器Φ對(duì)一組樣本同時(shí)提取語(yǔ)義特征，這里的孿生語(yǔ)義編碼器網(wǎng)絡(luò)模型的選擇和信源模態(tài)等有關(guān)（如文本信源可以選擇RNN，圖像信源可以選擇CNN 等），接著語(yǔ)義失真度量模型度量語(yǔ)義重建的數(shù)據(jù)X'和原數(shù)據(jù)X的語(yǔ)義域距離d(Φ(X),Φ(X'))；同時(shí)，將失真前后的信源數(shù)據(jù)輸入智能任務(wù)處理網(wǎng)絡(luò)，得到智能任務(wù)的性能損失Δd，并以Δd作為語(yǔ)義失真度量模型的參考和標(biāo)簽，指導(dǎo)語(yǔ)義失真度量模型擬合智能任務(wù)的性能損失，從而實(shí)現(xiàn)以智能任務(wù)為導(dǎo)向、趨近于機(jī)器理解的語(yǔ)義失真度量。語(yǔ)義失真度量模型如圖5 所示。

圖5 語(yǔ)義失真度量模型

此外，考慮到互信息能夠衡量一個(gè)隨機(jī)變量包含的關(guān)于另一個(gè)隨機(jī)變量的信息量，因此還可以借鑒互信息度量語(yǔ)義失真程度。I(X;Y) -I(X;Z)度量將信源X壓縮為Z所丟失的關(guān)于重要語(yǔ)義信息Y的信息量，即壓縮過(guò)程中的語(yǔ)義失真程度。其中，Y與智能任務(wù)相關(guān)，例如在分類任務(wù)中Y為類別標(biāo)簽。針對(duì)具體的智能任務(wù)，還可以在收發(fā)雙方分別對(duì)信源產(chǎn)生的消息和信宿接收的消息提取語(yǔ)義信息，將收發(fā)雙方語(yǔ)義信息熵的差值H(X)-H(X')作為語(yǔ)義失真的度量。3 種語(yǔ)義失真度量方法的總結(jié)與對(duì)比如表2 所示。

表2 3 種語(yǔ)義失真度量方法的總結(jié)與對(duì)比

4.2 面向智能任務(wù)的語(yǔ)義編碼方案

基于廣義率失真理論，不僅需要考慮語(yǔ)義失真的度量，還需要進(jìn)一步研究面向智能任務(wù)的語(yǔ)義編碼方案，其可以根據(jù)完成智能任務(wù)的接收端是否需要重建信源分成需要重建信源和不需要重建信源的語(yǔ)義編碼方案，如圖6 所示。

4.2.1 需重建信源的語(yǔ)義編碼方案

在需要同時(shí)滿足人和機(jī)器理解的場(chǎng)景（如虛擬現(xiàn)實(shí)）中，語(yǔ)義編碼傳輸方案應(yīng)具備在接收端恢復(fù)信源的能力，從而不僅可以直接面向智能任務(wù)，還可以用于人類的視覺(jué)理解與分析，適用于人-物交互的通信場(chǎng)景中。以圖6(a)中移動(dòng)監(jiān)控場(chǎng)景為例，不僅需要實(shí)現(xiàn)行人和車輛檢測(cè)，還需要保存移動(dòng)監(jiān)控記錄視頻，以備后續(xù)人工查閱。目前，基于深度學(xué)習(xí)的信源編碼方案發(fā)展迅速，在圖像壓縮編碼領(lǐng)域，現(xiàn)有大多數(shù)工作都僅以圖像像素級(jí)的差異作為編碼失真度量，僅以恢復(fù)圖像為目標(biāo)，未引入對(duì)下游智能任務(wù)的考量[47]。文獻(xiàn)[48]提出了一種可辨別的圖像壓縮方法，旨在保持下游AI 任務(wù)的特征級(jí)一致性。然而，下游AI 任務(wù)的性能最終更多地取決于語(yǔ)義級(jí)信息。像素級(jí)、特征級(jí)和語(yǔ)義級(jí)信息的關(guān)系示意如圖7 所示。與現(xiàn)有工作思路類似，需要重建信源的語(yǔ)義編碼主要側(cè)重于給定壓縮比時(shí)，最小化語(yǔ)義失真D(X;)。一方面，可以將智能任務(wù)作為先驗(yàn)信息，在信源重建中考慮對(duì)后續(xù)智能任務(wù)的影響，在收發(fā)雙方分別提取信源、信宿針對(duì)特定任務(wù)的語(yǔ)義信息，將損失函數(shù)設(shè)計(jì)為信源在收發(fā)雙方的語(yǔ)義失真，基于此完成語(yǔ)義編解碼網(wǎng)絡(luò)的訓(xùn)練。由于考慮到了語(yǔ)用層，該編碼思路不僅可以提升接收端的智能任務(wù)性能，還可以保證信源恢復(fù)的質(zhì)量與傳統(tǒng)編碼方法相當(dāng)。另一方面，還可以考慮將像素級(jí)的失真均方誤差（MSE,mean squared error）和智能任務(wù)的性能聯(lián)合考慮作為語(yǔ)義的失真度量。具體來(lái)說(shuō)，在考慮圖像重構(gòu)質(zhì)量的基礎(chǔ)上，同時(shí)考慮了重構(gòu)圖片在后續(xù)智能任務(wù)上的性能，系統(tǒng)的優(yōu)化目標(biāo)加權(quán)考慮了重構(gòu)質(zhì)量和智能任務(wù)性能，即MSE(X,)+αCrossEntropy，其中α為權(quán)重系數(shù)，直接將智能任務(wù)的影響引入編碼壓縮過(guò)程中，從而可以在編碼過(guò)程中有效保留智能任務(wù)需要的語(yǔ)義信息；CrossEntropy 為分類任務(wù)的損失函數(shù)。

圖6 面向智能任務(wù)的語(yǔ)義編碼方案

圖7 像素級(jí)、特征級(jí)和語(yǔ)義級(jí)信息的關(guān)系示意

4.2.2 不需要重建信源的語(yǔ)義編碼方案

與需要重建信源的語(yǔ)義編碼方案固定壓縮比不同，不需要重建信源的語(yǔ)義編碼方案不追求對(duì)信源的無(wú)失真重建，主要適用于物-物互聯(lián)的場(chǎng)景，因此有更高的壓縮空間，其旨在找到語(yǔ)義失真D(X;Z)和語(yǔ)義壓縮I(X;Z)的最優(yōu)折中。以圖6(b)中工業(yè)互聯(lián)網(wǎng)場(chǎng)景中殘次品檢測(cè)任務(wù)為例，工業(yè)相機(jī)捕捉產(chǎn)品圖像僅需要完成殘次品檢測(cè)智能任務(wù)，而不需要人工進(jìn)行圖像識(shí)別，因此不需要重建信源。此時(shí)，語(yǔ)義編碼應(yīng)盡可能保留信源中關(guān)于智能任務(wù)全部的語(yǔ)義信息，語(yǔ)義編碼的目的與數(shù)理統(tǒng)計(jì)中充分統(tǒng)計(jì)量的思路一致，充分統(tǒng)計(jì)量是對(duì)信源數(shù)據(jù)的總結(jié)，包含了完成智能任務(wù)所需的語(yǔ)義信息，極小充分統(tǒng)計(jì)量是最小化的充分統(tǒng)計(jì)量[49]。最優(yōu)的語(yǔ)義編碼應(yīng)包含所有語(yǔ)用信息，即信源中與智能任務(wù)相關(guān)的信息，同時(shí)應(yīng)是對(duì)信源中與智能任務(wù)無(wú)關(guān)信息的最大程度壓縮，所以可以從極小充分統(tǒng)計(jì)量的角度出發(fā)研究針對(duì)智能任務(wù)最優(yōu)的語(yǔ)義編碼方案。

1) 基于近似極小充分統(tǒng)計(jì)量的語(yǔ)義編碼

由于在信源分布未知的情況下直接求解信源的極小充分統(tǒng)計(jì)量非常困難，而且只有非常特殊的分布才有精確的極小充分統(tǒng)計(jì)量[50]，因此可以通過(guò)信息瓶頸[52]的方法來(lái)求解近似的極小充分統(tǒng)計(jì)量，如圖8 所示。具體來(lái)說(shuō)，就是放寬優(yōu)化條件，要求盡可能壓縮信源互信息I(X;Z)同時(shí)盡可能多地保留與智能任務(wù)相關(guān)的語(yǔ)義信息I(Z;Y)，而非全部信息。通過(guò)信息瓶頸方法得到的有效表示就是近似的極小充分統(tǒng)計(jì)量，是實(shí)現(xiàn)高效語(yǔ)義編碼的一種可行方案。

圖8 基于信息瓶頸求解極小充分統(tǒng)計(jì)量示意

2) 基于可解釋性的語(yǔ)義編碼

上述語(yǔ)義編碼均基于神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，考慮到語(yǔ)義信息的抽象屬性和神經(jīng)網(wǎng)絡(luò)的黑盒屬性，為了更好地利用神經(jīng)網(wǎng)絡(luò)提取語(yǔ)義信息，應(yīng)進(jìn)一步研究神經(jīng)網(wǎng)絡(luò)提取語(yǔ)義信息的可解釋性，從而實(shí)現(xiàn)高效的語(yǔ)義編碼方案。

針對(duì)具體的智能任務(wù)，可以從智能任務(wù)對(duì)應(yīng)的語(yǔ)義概念（指智能任務(wù)中客觀表示的某一具體事物，如貓狗分類任務(wù)中的貓和狗）出發(fā)，如圖9 所示，首先利用神經(jīng)網(wǎng)絡(luò)對(duì)信源進(jìn)行編碼特征提取，然后利用語(yǔ)義概念c的得分對(duì)第k個(gè)特征圖Ak求梯度，最后經(jīng)過(guò)全局平均池化即可得到針對(duì)語(yǔ)義概念c的第k個(gè)特征圖的重要性權(quán)重，可表示為

圖9 基于可解釋性的語(yǔ)義編碼方案

其中，得分yc定義為最后一層全連接經(jīng)過(guò)Softmax 之前語(yǔ)義概念對(duì)應(yīng)的神經(jīng)元激活值；Ak的寬度和高度分別為w和h；為特征圖第i行j列的激活值。基于此，將語(yǔ)義概念和特征進(jìn)行關(guān)聯(lián)，提取可解釋的語(yǔ)義關(guān)系，建立特征對(duì)概念的重要性排序，并基于重要性排序?qū)μ卣鬟M(jìn)行裁剪壓縮，從可解釋角度實(shí)現(xiàn)對(duì)語(yǔ)義信息的進(jìn)一步壓縮，從而在保證后續(xù)智能任務(wù)性能的前提下，大大提高語(yǔ)義編碼的效率。

5 面向智能任務(wù)的語(yǔ)義聯(lián)合信源信道編碼

為了實(shí)現(xiàn)最優(yōu)的語(yǔ)義通信系統(tǒng)，不僅需要設(shè)計(jì)語(yǔ)義編碼，還需要考慮語(yǔ)義信道傳輸對(duì)語(yǔ)義通信的影響，以提升語(yǔ)義通信系統(tǒng)的穩(wěn)健性。近年來(lái)，基于深度學(xué)習(xí)的JSCC 在通信性能上展現(xiàn)了強(qiáng)大的優(yōu)勢(shì)，其可能成為未來(lái)通信系統(tǒng)的主要編解碼方式。然而現(xiàn)有的聯(lián)合信源信道編碼主要考慮信源傳輸及重建的場(chǎng)景，缺乏與智能任務(wù)的結(jié)合，因此仍然存在大量的冗余，可以進(jìn)一步進(jìn)行壓縮并提升系統(tǒng)的穩(wěn)健性。本文分別從是否需要重建信源的JSCC兩方面綜述現(xiàn)有研究及可行方向。

5.1 需要重建信源的JSCC

在需要重建信源的JSCC 中，原始圖片經(jīng)過(guò)編碼器提取到的特征不僅需要在接收端盡可能無(wú)失真地恢復(fù)出圖片，還需要能夠抵抗信道噪聲的干擾。然而，目前針對(duì)圖片重建的JSCC 主要考慮在固定的網(wǎng)絡(luò)結(jié)構(gòu)下，盡可能多地保留特征中關(guān)于原始圖片的信息。這導(dǎo)致提取的語(yǔ)義信息中仍存在一定的語(yǔ)義冗余，因此應(yīng)在現(xiàn)有基礎(chǔ)上研究如何在傳輸更少的信息的同時(shí)更好地抵抗信道噪聲干擾。需要重建信源的語(yǔ)義JSCC 方案如圖10 所示，基于擴(kuò)展的信息瓶頸理論，在最大化接收特征與圖像間的互信息I(X;)的同時(shí)最小化發(fā)送特征和圖像的互信息I(X;Z)，以I(X;Z)-λI(X;)為網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)，其中λ為超參數(shù)。在盡可能壓縮圖像的語(yǔ)義信息量的同時(shí)，保留足夠的語(yǔ)義信息恢復(fù)圖片，同時(shí)考慮信道噪聲的影響，提升語(yǔ)義信息傳輸?shù)姆€(wěn)健性和有效性。在實(shí)際應(yīng)用過(guò)程中，超參數(shù)λ控制壓縮和重建質(zhì)量之間的平衡，如果λ過(guò)大，則Z有可能丟失過(guò)多關(guān)于X的信息；如果λ過(guò)小，則Z中會(huì)包含更多的冗余信息，增加傳輸所需比特?cái)?shù)。針對(duì)損失函數(shù)中超參數(shù)λ調(diào)參煩瑣且費(fèi)時(shí)費(fèi)力的問(wèn)題，基于比例積分微分控制（PID,proportional-integral-derivative control）理論引入了超參數(shù)自適應(yīng)算法[51]，更好地平衡了語(yǔ)義壓縮和重建質(zhì)量。

圖10 需要重建信源的語(yǔ)義JSCC 方案

5.2 不需要重建信源的JSCC

在不需要重建信源的JSCC 中，語(yǔ)義編碼器提取信源的語(yǔ)義信息后經(jīng)信道傳輸，接收端不需要重建信源而是直接完成下游智能任務(wù)。目前相關(guān)的工作旨在完成智能任務(wù)的同時(shí)保證香農(nóng)信息熵最小[52]，難以保證在考慮信道傳輸?shù)挠绊懞蠼邮斩巳詾樽顑?yōu)的語(yǔ)義表示。面向智能任務(wù)的JSCC 方案如圖11 所示，基于擴(kuò)展的信息瓶頸理論，通過(guò)最小化I(X;Z)和最大化I(;Y)尋求語(yǔ)義壓縮與經(jīng)信道傳輸后語(yǔ)義信息失真的最優(yōu)權(quán)衡，指導(dǎo)語(yǔ)義信源信道編碼器既能實(shí)現(xiàn)面向智能任務(wù)的最優(yōu)壓縮，又能抵抗物理信道干擾。同時(shí)，考慮最大化收發(fā)端傳輸語(yǔ)義信息間的互信息I(Z;，從而提高語(yǔ)義通信系統(tǒng)的信息傳輸速率。當(dāng)面向圖像分類任務(wù)時(shí)，最大化I(Z?;Y)可轉(zhuǎn)化為最小化交叉熵，指導(dǎo)分類器進(jìn)行智能任務(wù)處理。

圖11 面向智能任務(wù)的JSCC 方案

6 面向智能任務(wù)的語(yǔ)義通信性能測(cè)試

目前，語(yǔ)義通信相關(guān)的實(shí)驗(yàn)結(jié)果均處于仿真階段，缺乏硬件平臺(tái)的支撐，為了測(cè)試語(yǔ)義通信方法在實(shí)際應(yīng)用中的可行性和優(yōu)勢(shì)，本文設(shè)計(jì)并搭建了語(yǔ)義通信平臺(tái)，對(duì)語(yǔ)義通信的性能進(jìn)行了測(cè)試，以圖像分類這一智能任務(wù)為例，面向智能任務(wù)的語(yǔ)義通信平臺(tái)架構(gòu)如圖12 所示。語(yǔ)用層明確通信所面向的智能任務(wù)；語(yǔ)義層主要完成語(yǔ)義信息的編譯碼；技術(shù)層主要實(shí)現(xiàn)信道編譯碼、調(diào)制等傳統(tǒng)通信中的其他功能。考慮到語(yǔ)義通信平臺(tái)和傳統(tǒng)通信平臺(tái)最大的區(qū)別在于語(yǔ)義編解碼部分，為了更好地提取語(yǔ)義，語(yǔ)義通信平臺(tái)中語(yǔ)義編解碼器均需基于DNN 實(shí)現(xiàn)。首先基于PyTorch 深度學(xué)習(xí)框架實(shí)現(xiàn)了語(yǔ)義編解碼器，為了將提取的語(yǔ)義信息轉(zhuǎn)化為可傳輸?shù)牟ㄐ涡盘?hào)，需要設(shè)計(jì)語(yǔ)義層和技術(shù)層的接口，本文搭建的平臺(tái)利用通用軟件無(wú)線電外設(shè)（USRP,universal software radio peripheral）從計(jì)算機(jī)的用戶數(shù)據(jù)報(bào)協(xié)議（UDP,user datagram protocol）端口讀取語(yǔ)義信息，然后基于LabVIEW軟件控制USRP 對(duì)語(yǔ)義信息進(jìn)行信道編碼和64QAM 調(diào)制，最后經(jīng)天線發(fā)出；接收端為一系列逆過(guò)程，即利用USRP 恢復(fù)接收到的語(yǔ)義信息，并通過(guò)技術(shù)層和語(yǔ)義層的接口將語(yǔ)義信息輸入語(yǔ)義解碼器，輸出智能任務(wù)結(jié)果。

圖12 面向智能任務(wù)的語(yǔ)義通信平臺(tái)架構(gòu)

實(shí)驗(yàn)數(shù)據(jù)集采用STL-10 圖像分類數(shù)據(jù)集，包含10 類圖像，圖像分辨率為96 像素×96 像素，每類500 張用于訓(xùn)練，800 張用于測(cè)試。語(yǔ)義層DNN 初始化參數(shù)設(shè)置如表3 所示。通信系統(tǒng)設(shè)計(jì)套件為L(zhǎng)abVIEW Communications System Design Suite 2.0。技術(shù)層基于LTE 協(xié)議實(shí)現(xiàn)，信道編碼采用Turbo 碼。技術(shù)層參數(shù)設(shè)置如表4 所示。

表3 語(yǔ)義層DNN 初始化參數(shù)設(shè)置

表4 技術(shù)層參數(shù)設(shè)置

結(jié)合未來(lái)的通信需求，語(yǔ)義通信方法及本文所提的語(yǔ)義通信平臺(tái)可以應(yīng)用到大量的通信場(chǎng)景中，尤其是數(shù)據(jù)量大且通信資源相對(duì)緊張的環(huán)境中，如物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、擴(kuò)展現(xiàn)實(shí)、工業(yè)互聯(lián)網(wǎng)、遠(yuǎn)程醫(yī)療和智慧城市等[26,53]。本文以工業(yè)互聯(lián)網(wǎng)場(chǎng)景中的殘次品檢測(cè)任務(wù)為例，說(shuō)明所搭建的語(yǔ)義通信平臺(tái)的應(yīng)用方法，其主要分為2 個(gè)階段。1) 離線訓(xùn)練階段。首先建模工業(yè)互聯(lián)網(wǎng)的通信傳輸場(chǎng)景，在離線訓(xùn)練語(yǔ)義通信模型時(shí)考慮信道噪聲等影響，得到該場(chǎng)景下最優(yōu)的網(wǎng)絡(luò)模型參數(shù)。2) 在線測(cè)試階段。利用工業(yè)攝像頭捕捉流水線上的待檢測(cè)產(chǎn)品圖像，圖像在本地輸入語(yǔ)義編碼器提取語(yǔ)義信息，后經(jīng)量化調(diào)制等傳輸?shù)椒?wù)器端，服務(wù)器端解調(diào)恢復(fù)語(yǔ)義信息以完成分類任務(wù)，得到是否為殘次品的結(jié)果，并做出相應(yīng)決策。

為了驗(yàn)證語(yǔ)義通信平臺(tái)的性能優(yōu)勢(shì)，采取JPEG信源編碼和Turbo 信道編碼的傳統(tǒng)通信方法作為對(duì)比方案。傳統(tǒng)通信方法中，發(fā)送端采集的圖像經(jīng)過(guò)JPEG 壓縮編碼、信道編碼后進(jìn)行傳輸，接收端進(jìn)行信道譯碼和JPEG 譯碼恢復(fù)圖像后在本地完成分類任務(wù)。需要重建信源的語(yǔ)義通信方法選擇面向智能任務(wù)的圖像語(yǔ)義重構(gòu)（ITOISR,intelligent tasks-oriented image semantic reconstruction）方法[54]（4.2.1節(jié)）；不需要重建信源的語(yǔ)義通信方法選擇基于可解釋性的語(yǔ)義通信（SCBI,semantic communication based on interpretability）方法[33]（4.2.2 節(jié)）與基于信息瓶頸的語(yǔ)義通信（SCBIB,semantic communication based on information bottleneck）方法（5.2 節(jié)）。接下來(lái)分別對(duì)重建信源的ITOISR、直接面向分類任務(wù)的SCBI 和SCBIB 在平臺(tái)上的實(shí)驗(yàn)細(xì)節(jié)進(jìn)行介紹。

ITOISR。語(yǔ)義編解碼器的深度學(xué)習(xí)模型采用基于CNN 的自動(dòng)編碼器架構(gòu)，并在接收端解碼器后級(jí)聯(lián)一個(gè)基于ResNet18 的分類網(wǎng)絡(luò)。發(fā)送端首先利用語(yǔ)義編碼器提取圖像的語(yǔ)義信息，然后將語(yǔ)義信息經(jīng)過(guò)二值量化、64QAM 調(diào)制后經(jīng)天線發(fā)出；接收端解調(diào)恢復(fù)語(yǔ)義信息，并將接收到的語(yǔ)義特征輸入語(yǔ)義解碼器中，以恢復(fù)原始圖像，最后將恢復(fù)的圖像輸入ResNet18 分類網(wǎng)絡(luò)以完成圖像分類任務(wù)。

SCBI 和SCBIB。語(yǔ)義編解碼器的深度學(xué)習(xí)模型基于ResNet18 網(wǎng)絡(luò)，根據(jù)文獻(xiàn)[33]可知，VGG16 等其他深度學(xué)習(xí)模型同樣適用。SCBI 和SCBIB 的主要區(qū)別體現(xiàn)在以下兩點(diǎn)：1) 2 種方法訓(xùn)練過(guò)程中的損失函數(shù)設(shè)計(jì)不同；2) 2 種方法調(diào)節(jié)壓縮率的方式不同。SCBI 通過(guò)在測(cè)試過(guò)程中依據(jù)語(yǔ)義信息重要性不同進(jìn)行語(yǔ)義裁剪來(lái)調(diào)整編碼碼率，不同碼率時(shí)不需要重復(fù)訓(xùn)練網(wǎng)絡(luò)參數(shù)；SCBIB 通過(guò)修改編碼器輸出的神經(jīng)元個(gè)數(shù)來(lái)調(diào)整編碼碼率，不同碼率時(shí)需要重新訓(xùn)練網(wǎng)絡(luò)。2 種方法的實(shí)現(xiàn)流程類似，發(fā)送端利用ResNet18 的卷積層提取語(yǔ)義信息，并對(duì)語(yǔ)義信息進(jìn)行壓縮，然后將壓縮后的語(yǔ)義信息進(jìn)行二值量化和64QAM 調(diào)制，接著經(jīng)天線發(fā)出；接收端解調(diào)恢復(fù)接收到的語(yǔ)義信息，并直接輸入全連接層分類器，輸出分類結(jié)果。

6.1 需要重建信源的語(yǔ)義通信方法性能分析

面向智能任務(wù)需重建信源的語(yǔ)義通信方法性能不僅關(guān)注重建圖像的性能，如峰值信噪比（PSNR,peak signal-to-noise ratio）和結(jié)構(gòu)相似性（SSIM,structural similarity）等，同時(shí)關(guān)注重建圖像后續(xù)完成智能任務(wù)的性能，如分類任務(wù)的分類準(zhǔn)確率。

圖13(a)對(duì)比了不同壓縮比時(shí)傳統(tǒng)通信方法（JPEG+Turbo）與需要重建信源的語(yǔ)義通信方法（ITOISR）的分類性能。像素深度（bpp,bits per pixel）表示存儲(chǔ)每個(gè)像素所用的位數(shù)。對(duì)于相同尺寸的圖像，bpp 越小就意味著圖像可以使用越少的比特來(lái)表示，在傳輸時(shí)占用越少的帶寬資源。如圖13(a)所示，在所有bpp 設(shè)置下，所提ITOISR 方法的分類性能都優(yōu)于JPEG+Turbo 方法，尤其是在bpp 較低的情況下。

圖13(b)和圖13(c)對(duì)比了不同壓縮比時(shí)傳統(tǒng)通信方法（JPEG+Turbo）與需要重建信源的語(yǔ)義通信方法（ITOISR）的圖像重建性能，與傳統(tǒng)方法相比，語(yǔ)義通信方法圖像重建性能也更優(yōu)，在相同壓縮比下有更高的PSNR 和SSIM，這是因?yàn)檎Z(yǔ)義通信方法可以在保留智能任務(wù)所需的語(yǔ)義信息的同時(shí)更好地恢復(fù)信源數(shù)據(jù)。

圖13 不同壓縮比時(shí)傳統(tǒng)通信方法與需要重建信源的 語(yǔ)義通信方法的性能對(duì)比

圖14 從直觀上將傳統(tǒng)通信方法（JPEG+Turbo）和語(yǔ)義通信方法（ITOISR）的圖像重建性能進(jìn)行了對(duì)比。從圖14 中可知，語(yǔ)義通信方法重建的圖像在主觀上也有更高的清晰度，目標(biāo)物體輪廓更清晰。這與客觀指標(biāo)的評(píng)估結(jié)果一致，即語(yǔ)義通信方法不僅可以保證更高的智能任務(wù)性能，還可以獲得更優(yōu)的重建性能。

圖14 2 種通信方法圖像重建性能對(duì)比

超參數(shù)α的選擇會(huì)直接影響語(yǔ)義通信的性能，為了探究重建和分類性能隨超參數(shù)的變化情況，實(shí)驗(yàn)中將α的值設(shè)置為從小到大依次增加10 倍，不同α值時(shí)重建和分類性能變化如圖15 所示。從圖15 中可知，隨著α的增大，分類任務(wù)的準(zhǔn)確率逐漸上升，但是圖像重構(gòu)的質(zhì)量逐漸下降，這是因?yàn)棣猎酱螅琈SE(X,)+αCrossEntropy 中分類部分占比就越大，網(wǎng)絡(luò)將更加關(guān)注分類任務(wù)的性能，由于分類和重構(gòu)所需要的特征分布差異較大，因此更加關(guān)注分類的特征將會(huì)導(dǎo)致重構(gòu)性能下降。為了盡量平衡重構(gòu)性能和分類任務(wù)的性能，本節(jié)實(shí)驗(yàn)中α的取值設(shè)定為0.01。

圖15 不同α值時(shí)重建和分類性能變化

6.2 不需要重建信源的語(yǔ)義通信方法性能分析

不需要重建信源的語(yǔ)義通信系統(tǒng)的性能會(huì)受到帶寬資源和信噪比的影響，并且時(shí)延也是評(píng)估通信系統(tǒng)性能的重要指標(biāo)。因此對(duì)于不同通信方式的性能比較主要考慮3 個(gè)方面：1) 完成智能任務(wù)的帶寬需求；2) 通信系統(tǒng)的抗噪聲性能；3) 完成智能任務(wù)的時(shí)延。

圖16 對(duì)比了不同壓縮比條件下傳統(tǒng)通信方法（JPEG+Turbo）與不需要重建信源的語(yǔ)義通信方法（SCBI 和SCBIB）的分類性能。實(shí)驗(yàn)中將信噪比固定為20 dB，2 種通信方法分別對(duì)相同測(cè)試集的所有圖像進(jìn)行傳輸，計(jì)算分類準(zhǔn)確率。傳統(tǒng)通信方法通過(guò)改變JPEG 壓縮率來(lái)獲得不同bpp 的圖像，然而無(wú)論怎么提高壓縮率，圖像經(jīng)過(guò)JPEG 壓縮后的數(shù)據(jù)量始終遠(yuǎn)大于語(yǔ)義通信中特征提取的數(shù)據(jù)量，并且當(dāng)壓縮率較高時(shí)，圖像失真嚴(yán)重，分類準(zhǔn)確率急劇下降。語(yǔ)義通信方法可以在極大壓縮比的情況下，較好地完成分類任務(wù)，這是因?yàn)檎Z(yǔ)義通信傳輸圖像的語(yǔ)義信息而非圖像的所有數(shù)據(jù)，大大減小了其帶寬需求。語(yǔ)義通信的帶寬利用率超出傳統(tǒng)通信方式的100 倍，并且隨著bpp下降，少量數(shù)據(jù)仍然包含重要的語(yǔ)義信息。

圖16 不同壓縮比條件下傳統(tǒng)通信方法與不需要 重建信源的語(yǔ)義通信方法分類性能比較

圖17 對(duì)比了不同信噪比條件下傳統(tǒng)通信方法與不需要重建信源的語(yǔ)義通信方法的分類性能。傳統(tǒng)通信方法固定JPEG 壓縮率，傳輸圖像經(jīng)JPEG編碼后的數(shù)據(jù)；語(yǔ)義通信方法固定壓縮比，傳輸圖像經(jīng)特征提取的重要語(yǔ)義信息。訓(xùn)練完成后，分別對(duì)測(cè)試集所有圖像進(jìn)行傳輸，計(jì)算分類準(zhǔn)確率。由于JPEG 圖像壓縮算法未考慮語(yǔ)義信息，少量的誤碼會(huì)使恢復(fù)的圖像產(chǎn)生較大的失真，在信道條件惡劣時(shí)甚至?xí)霈F(xiàn)圖像格式錯(cuò)誤并且無(wú)法恢復(fù)的情況，分類性能同樣受到較大影響。而語(yǔ)義通信方法抗噪聲性能遠(yuǎn)好于傳統(tǒng)通信方法，這是因?yàn)檎Z(yǔ)義通信方法傳輸?shù)臄?shù)據(jù)保留了圖像的語(yǔ)義特征，且模型訓(xùn)練時(shí)考慮了信道噪聲的影響，使其分類性能更優(yōu)，具有更好的穩(wěn)健性。

圖17 不同信噪比條件下傳統(tǒng)通信方法與不需要重建信源的語(yǔ)義通信方法分類性能比較

圖18 對(duì)比了傳統(tǒng)通信方法與不需要重建信源的語(yǔ)義通信方法完成智能任務(wù)的時(shí)延，分別從傳輸時(shí)延與處理時(shí)延2 個(gè)方面衡量。傳輸時(shí)延即在單次任務(wù)中發(fā)收天線間信號(hào)傳輸所用的時(shí)間。傳統(tǒng)通信方法的處理時(shí)延主要包括單次任務(wù)JPEG 圖像壓縮、USRP 基帶處理、圖像重構(gòu)、PyTorch 本地網(wǎng)絡(luò)計(jì)算4 個(gè)部分；語(yǔ)義通信方法的處理時(shí)延主要包括單次任務(wù)PyTorch 語(yǔ)義提取、USRP 基帶處理、PyTorch 分類網(wǎng)絡(luò)計(jì)算3 個(gè)部分。將信噪比固定為20 dB，分別傳輸相同數(shù)量的圖像，計(jì)算單次任務(wù)平均時(shí)延。相較于傳統(tǒng)通信方法，語(yǔ)義通信方法由于傳輸數(shù)據(jù)量大大減少，因此在帶寬資源相同的情況下，傳輸時(shí)延顯著下降；此外，由于不需要進(jìn)行圖像的重構(gòu)，軟硬件的處理負(fù)荷減小，處理時(shí)延也有所下降。可見(jiàn)本文平臺(tái)在保證高精度分類性能的同時(shí)，大幅減少了端到端智能任務(wù)的時(shí)延。

圖18 傳統(tǒng)通信方法與不需要重建信源的語(yǔ)義通信方法時(shí)延比較

7 語(yǔ)義通信的未來(lái)挑戰(zhàn)及開(kāi)放性問(wèn)題

7.1 語(yǔ)義信息理論研究

本文從智能任務(wù)的角度出發(fā)，基于模糊數(shù)學(xué)理論對(duì)語(yǔ)義信息量和語(yǔ)義信道容量進(jìn)行了初步度量，但是如何利用得到的度量方法對(duì)語(yǔ)義編解碼進(jìn)行指導(dǎo)存在挑戰(zhàn)；如何基于語(yǔ)義熵和語(yǔ)義信道容量公式設(shè)計(jì)最優(yōu)的語(yǔ)義編解碼架構(gòu)還不明晰；此外，智能任務(wù)性能和語(yǔ)義通信的傳輸速率之間的理論關(guān)系仍有待進(jìn)一步探究。

7.2 語(yǔ)義通信系統(tǒng)架構(gòu)設(shè)計(jì)

語(yǔ)義信息是信源數(shù)據(jù)簡(jiǎn)潔有效的表示，可以使語(yǔ)義通信系統(tǒng)在保證智能任務(wù)性能的同時(shí)大大節(jié)省通信資源。但是，目前還沒(méi)有針對(duì)語(yǔ)義通信方法的通用架構(gòu)，缺乏語(yǔ)義通信系統(tǒng)統(tǒng)一的模型設(shè)計(jì)。此外，如何對(duì)語(yǔ)義通信中的語(yǔ)義噪聲建模仍然存在挑戰(zhàn)，設(shè)計(jì)一種對(duì)語(yǔ)義噪聲具有強(qiáng)穩(wěn)健性的語(yǔ)義通信架構(gòu)具有重要意義。

7.3 語(yǔ)義通信知識(shí)庫(kù)的設(shè)計(jì)與更新

語(yǔ)義通信性能很大程度上取決于通信雙方本地及共享知識(shí)庫(kù)的完備性，合理設(shè)計(jì)語(yǔ)義通信知識(shí)庫(kù)至關(guān)重要。此外，語(yǔ)義知識(shí)會(huì)隨著人類和社會(huì)的發(fā)展而變化，同時(shí)需要考慮語(yǔ)義實(shí)體和其他實(shí)體間的關(guān)系變化，因此如何基于終身學(xué)習(xí)的概念設(shè)計(jì)語(yǔ)義通信知識(shí)庫(kù)的更新機(jī)制也需要進(jìn)一步研究。

7.4 多模態(tài)信源語(yǔ)義編解碼方法

目前，大多數(shù)語(yǔ)義通信相關(guān)的工作缺乏對(duì)輸入信源模態(tài)的考量，都是針對(duì)某一種信源（如圖像）設(shè)計(jì)的通信架構(gòu)和訓(xùn)練策略，而在實(shí)際通信場(chǎng)景中，單純針對(duì)一種模態(tài)（如圖像）的信源難以完成很多智能任務(wù)（如視覺(jué)智能問(wèn)答），因此如何設(shè)計(jì)合理的語(yǔ)義編解碼方法以融合多模態(tài)信源語(yǔ)義信息至關(guān)重要，如何設(shè)計(jì)適用于不同模態(tài)信源的統(tǒng)一的編解碼架構(gòu)也需要進(jìn)一步探索。

7.5 語(yǔ)義通信系統(tǒng)中的資源分配策略研究

目前，語(yǔ)義通信方法相關(guān)工作側(cè)重于端到端的通信架構(gòu)設(shè)計(jì)，忽略了資源分配對(duì)語(yǔ)義通信性能的影響。與傳統(tǒng)通信系統(tǒng)中以最大化系統(tǒng)速率或最小化時(shí)延為優(yōu)化目標(biāo)的資源分配不同，語(yǔ)義通信系統(tǒng)中應(yīng)綜合考慮通信和智能任務(wù)[55]，以提升語(yǔ)義通信系統(tǒng)的效率為目標(biāo)。首先需要探究如何定義和量化語(yǔ)義通信的性能和效率，其次設(shè)計(jì)面向智能任務(wù)的語(yǔ)義通信系統(tǒng)的資源分配優(yōu)化問(wèn)題存在挑戰(zhàn)。

8 結(jié)束語(yǔ)

本文首先從語(yǔ)用的角度出發(fā)提出了面向智能任務(wù)的語(yǔ)義通信方法的基本架構(gòu)，并簡(jiǎn)要給出了面向智能任務(wù)的語(yǔ)義信息度量的基本方法；然后，綜述了現(xiàn)有語(yǔ)義編碼相關(guān)的工作以及未來(lái)與智能任務(wù)結(jié)合后可行的語(yǔ)義編碼思路；接著，綜述了現(xiàn)有聯(lián)合信源信道編碼的相關(guān)工作，提出了從信息瓶頸理論出發(fā)的聯(lián)合信源信道編碼的語(yǔ)義通信方法；然后，搭建了端到端的語(yǔ)義通信平臺(tái)，實(shí)驗(yàn)驗(yàn)證了所提思路的有效性；最后，對(duì)語(yǔ)義通信未來(lái)的挑戰(zhàn)和開(kāi)放性問(wèn)題進(jìn)行了進(jìn)一步的思考和總結(jié)。毫無(wú)疑問(wèn)，語(yǔ)義通信將繼續(xù)保持快速發(fā)展，其中大量的基礎(chǔ)概念和基礎(chǔ)問(wèn)題亟須進(jìn)一步討論和完善，極有可能成為6G 時(shí)代技術(shù)創(chuàng)新和突破的主要領(lǐng)域，需要學(xué)術(shù)同仁共同推動(dòng)實(shí)現(xiàn)。