面向語義通信的語義知識庫綜述

孫亞萍/SUN Yaping，崔曙光/CUI Shuguang，2，3，張平/ZHANG Ping，4

（ 1. 鵬城實驗室，中國 深圳 518055；2. 香港中文大學（深圳），中國 深圳 518055；3. 香港中文大學（深圳）未來智聯網絡研究院，中國 深圳 518000；4. 北京郵電大學泛網無線通信教育部重點實驗室，中國 北京 100876 ）

隨著5G 的不斷成熟和商用，在構建“萬物智聯、數字孿生”的人類社會這個總體愿景的驅動下，6G將通過人工智能與通信技術的深度融合，實現人、機、物、智能體的智慧互聯，有望成為支撐擴展現實（XR）、工業互聯網、智慧城市等典型場景的核心基礎設施[1]。與傳統語法通信主要關注比特數據的準確傳輸不同[2]，人、機、物、智能體交互重點關注語義信息的準確傳遞。因此，傳統語法通信系統的設計無法滿足未來6G 通信需求，而語義通信能夠有效降低傳輸負載，提高任務服務質量[3]，已成為6G 的關鍵技術之一。

在傳統通信中，基于人工設計的編碼映射，編碼將信源符號映射到傳統碼流。映射函數的確立基于經驗性的設計與構建。在語義通信中，基于人工智能（AI）的編碼映射，語義編碼將信源符號映射到語義碼流。映射函數的確立基于數據與模型雙驅動的學習與搜索。語義知識庫定義了高效搜索空間，規范了搜索路徑。因此，語義知識庫是語義通信的外掛和效率的加持器。

語義知識庫是一種可為數據信息提供相關語義知識描述的、結構化的且具備記憶能力的知識網絡模型。面向語義通信的語義知識庫可分為信源、信道、任務知識庫，分別為信源數據（如文本、圖片、視頻）、信道傳輸環境（如傳輸中障礙物和散射體位置與形狀信息、智能反射面位置信息與配置矩陣），以及任務需求（如圖片分類、三維重建、語義分割）提供多層級語義知識表征，從而支撐端到端語義通信的高效實現。如圖1所示，基于語義知識庫進行語義信道聯合編解碼設計，實現語義信息的準確傳遞，是當前語義通信的研究熱點。

▲圖1 端到端語義通信框架圖

具體而言，在端到端語義通信中，發送端基于信源、信道以及任務知識庫，獲取信源數據多層級語義知識描述、傳輸環境的語義推斷與估計，以及下游任務的語義需求，從而進行語義信道聯合編碼。接收端基于本地語義知識庫，對接收到的信息進行知識檢索與理解，完成語義信道聯合解碼，從而實現任務驅動的語義通信。

以圖像的語義傳輸為例，假設發送端獲得一張“斑馬”圖片，則可基于本地知識庫，獲取該圖片的多層級語義知識向量。面向圖像分類任務的最高級語義知識可表示為“斑馬”；面向語義推斷任務的中級語義知識包括斑馬的屬性描述“顏色：黑白”“輪廓：馬”“條紋：有”等；面向圖片傳輸任務的低級語義知識包括該圖片的像素級特征向量。除此之外，信道知識庫對傳輸環境的描述也會影響各層級語義知識表征維度。基于語義信道彈性編碼方法，發送端首先傳輸最高級語義知識“斑馬”。若接收端知識庫里存儲“斑馬”相關語義特征描述，則任務完成；否則，則傳輸中級語義知識。若接收端知識庫可解析“斑馬”語義屬性描述，則語義交互成功；否則，則發送低級語義知識，即原始圖片信息，供接收端進行圖片理解。

由此可見，語義知識庫對于語義信道編解碼方案的設計至關重要，可以提升語義通信傳輸效率以及智能任務的服務準確度。語義知識庫的概念自提出以來在不斷地發展和完善。語義知識庫早期的工作主要基于計算機領域的知識圖譜，以描述各實體概念及其相互關系為目標。近年來，隨著語義通信重獲關注，語義知識庫也呈現出新的發展契機。

1 計算機領域知識庫研究現狀

傳統語義知識庫主要應用于計算機領域，如圖2 所示。最早的語義知識庫可以追溯到WordNet[4]。WordNet的基本單元是同義詞集合，即每個集合中的元素相互之間構成同義關系。WordNet使用不同的關系來構造語義知識庫（包括上下位關系、反義關系、整體-部分關系等），并且基于這些關系構成了語義知識表征。隨后FrameNet[5]引入了“框架”的概念，使得語義資料庫可以靈活地表達更加復雜的語義關系。接下來，綜合語言知識庫（ILD）[6]為詞語引入了屬性的概念，通過建立詞語之間的“實體-用途”的關系，豐富了語義知識庫的表達。

▲圖2 傳統語義知識庫模型示意圖

由于手工建立語義知識庫的效率非常低，MindNet[7]首次使用句法分析器自動分析英語詞典釋義文本，從而構建語義知識庫。HowNet[8]作為首個漢語語義知識庫，以概念本身以及概念與概念之間所具有的關系為基礎，構建了語義知識庫。ConceptNet[9]以實體、關系和屬性三元組的形式進行語義知識庫的構造，并以該形式完成了多代更新。DBPedia[10]通過爬取維基百科數據，完成了語義知識庫的構建。NELL[11]使用數據挖掘的方式從非結構化的數據中構建語義知識庫，實現了基于更廣泛文本信息來源的語義知識庫自動化構造。

另一些研究則通過引入圖像、程序源碼等其他的模態數據源來進行語義關系的提取，豐富了知識庫的數據來源。文獻[12]將圖像信息作為實體的一個額外特征，提出了一個新型大規模數據集，提升了知識庫的表征學習能力。文獻[13]通過分析深度學習及其對應的源代碼，提出了一個融合文本、圖像、程序源碼等多模態的知識庫，用于文獻的挖掘與檢索。文獻[14]利用文章中的文本信息，提取實體及實體之間的關系，并且通過檢測文章中的圖像，構造了圖像子知識庫，從而利用文本與圖像之間的特征匹配關系，解決了圖像配文問題。

語義知識庫的構建涉及典型場景的數據集構建、語義知識提取與建模。在計算機視覺領域，ImageNet[15]與COCO[16]數據集的提出為物體檢測與圖像分割任務提供了大規模的標注數據，促進了該領域的快速發展。卷積神經網絡[17]與變形神經網絡（Transformer）[18]為圖像與自然語言等數據提供了強大的語義提取技術支撐。針對語義知識庫構建過程中數據構建和語義知識提取方法設計，我們構建了大規模視覺語義信息數據集[19]，并且分別面向圖像處理[20]、語義分割[21]、三維場景理解[22]與重建[23]、點云數據采樣與恢復[24]等智能任務，提出了語義信息提取方法。

綜上所述，基于常見數據模態（如文本、圖像等）信息的語義知識庫構建方法已得到充分的發展。然而，現有語義知識庫僅可簡單地描述各實體概念及其之間的相互關系，無法滿足語義通信對信源、任務、信道等數據信息的多層級語義知識描述的需求。

2 通信系統知識庫研究現狀

語義傳輸中涉及的智能體包括發送端不同模態信源智能體、信道中不同傳輸環境智能體，以及接收端不同任務智能體知識庫。本節中，我們將分別對語義傳輸中信源、信道以及任務語義知識庫研究現狀進行介紹。

2.1 信源知識庫

目前，通信系統中信源知識庫的構建主要有3 類方法。第1類方法基于知識圖譜構建知識庫。針對文本的傳輸，文獻[25]使用描述語義信息的三元組（包含頭部實體、關系、尾部實體）來構建語義知識圖譜，并且將此作為收發端語義知識庫，以指導文本傳輸中的語義編解碼。基于該語義知識庫，文獻[26]提取文本信源中所包含的語義三元組集合，并且度量各三元組的語義重要性。基于此，根據信道狀態的好壞，文獻[26]還提出智能化地選擇所發送的三元組集合，以保證收發端信息的語義相似度。針對語音傳輸，文獻[27]提出基于知識圖譜的多層級結構的語義知識庫基礎模型，以及包含語義表達和語義符號抽象兩個步驟的語義知識庫構建方法。數值結果表明，基于該知識庫的語義傳輸框架可在保證語義保真度的同時，降低帶寬開銷。針對圖數據傳輸，鵬城實驗室石光明教授研究團隊提出了由顯式語義、隱式語義以及與用戶相關的知識推理機制組成的多層語義表征方法，并且基于模仿學習對接收端用戶的語義推理機制進行訓練，從而與發送端推理機制保持一致，降低了傳輸負載[28]。除此之外，文獻[28]提出了語義知識庫使能的異構網絡中協同推理機制。

第2類方法以帶標簽的訓練數據集作為知識庫。上海交通大學陶梅霞教授研究團隊提出，當需要傳輸的數據信息與訓練數據集的統計特性分布不同時，可利用遷移學習中的領域自適應技術，降低兩者間分布的差異性，并且動態地更新語義信道編解碼方案[29]。該方法的有效性在圖像傳輸任務中得到了驗證。

第3類方法將基于深度學習模型提取的特征向量作為語義知識庫。清華大學秦志金教授研究團隊定義了一組有限離散語義基向量集合為語義知識庫，并且對語義編解碼以及語義知識庫構建進行了端到端聯合訓練[31]。數值結果顯示語義知識庫可提高語義通信對語義噪聲的魯棒性。

2.2 信道知識庫

現有信道環境知識庫可分為特定于站點的數據庫與特定于位置信息的知識庫兩大類。具體而言，特定于站點的數據庫旨在提供準確的物理環境地圖信息，主要包括三維城市地圖[32]、無線電環境地圖[33-34]等。然而，該類設計需要運行復雜度較高的算法（如射線跟蹤算法），計算與存儲資源開銷較大。為了降低計算與存儲資源的開銷，特定于位置信息的知識庫不再保留發送端與接收端相關活動信息，重點關注與信道特性相關的知識描述（如信道增益、陰影、入射角等）。該類設計主要包括信道增益地圖[35]、信道路徑地圖[36]、波束索引映射[37]等。然而，該類設計主要局限于特定傳輸環境下信道知識的構建，在多變環境的自適應性以及泛化能力方面有待于進一步提高。

除此之外，針對收發端傳播環境動態多變特性，北京郵電大學張建華教授研究團隊提出基于環境特征、環境圖表示等定義傳播環境語義特征，用以輔助波束預測等任務完成[38]。數值仿真結果顯示，在節省87%時間開銷下，信道評估與最大功率散射體檢測任務準確度分別可達0.92與0.90。

2.3 任務知識庫

現有任務知識庫的構建主要為與任務相關的特征向量集合。文獻[30]提出了面向圖像分類任務的語義傳輸系統。該系統首先利用帶類別標簽的圖像數據集來預訓練一個圖像分類網絡，接著量化分類網絡所提取的特征圖與物體類別信息之間的相關性，并且以此特征圖與類別相關性作為語義知識庫。傳輸特征統計特性大大降低了帶寬開銷。文獻[39]面向多任務需求多模態數據源，構建了由離散碼本組成的跨任務共享的語義知識庫，并且與收發端語義信道編解碼器進行聯合訓練。

3 面向語義傳輸的語義知識庫

實現語義知識庫對語義通信的高效支撐仍有3 方面的挑戰：

1）多層級語義知識庫構建。針對典型場景（如XR、工業互聯網、智慧城市等）中復雜多變的信源、任務、信道環境等數據信息，如何高效構建多層級語義知識庫至關重要。現有基于知識圖譜與特征統計特性等構建的知識庫僅考慮文本、圖片等信息，無法滿足語義通信的多層級語義表征需求。因此，亟需研究多層級語義知識庫的構建理論與方法，以此形成統一的方法論，從而指導典型場景中語義知識庫的高效構建。

2）語義知識庫動態演進。語義通信的高效實現同樣離不開收發端之間知識庫的高度匹配，以及知識庫對信源、任務與信道等數據信息的時變自適應性。然而，端到端語義傳輸中交互信息往往冗余且易受無線信道噪聲與干擾的影響。現有知識庫更新方法尚未考慮這一問題，無法直接應用于語義通信中知識庫的動態演進。因此，亟需設計語義傳輸中知識庫動態更新方法，揭示知識庫動態演進機理。

3）多智能體知識庫協同更新。語義通信呈現發送端信源多模態化、接收端任務需求多樣化以及信道環境智能多變等特性。然而，現有知識庫協同機制同樣僅針對文本、圖片等信息，場景單一，并且尚未考慮語義傳輸中跨智能體的信息缺失、重疊以及隱私保護等，無法滿足跨模態語義融合、跨任務語義理解以及跨環境語義傳輸需求。因此，如何高效協同更新多智能體（包括多模態信源、多任務、以及多環境信道）語義知識庫是另一個亟待解決的問題。

4 結束語

基于知識圖譜、帶標簽的訓練數據集，特征統計特性的語義知識庫已被應用于端到端語義通信中，并取得了一定的成果。然而，現有研究工作面臨著構建理論與方法匱乏、動態演進機理不明確、多智能體協同更新策略不清晰等問題。如何深度融合人工智能與通信技術，創新性地提出多層級語義知識庫框架。文章認為打造跨模態、跨任務、跨環境的知識庫是高效語義傳輸新的研究主題與挑戰。

致謝

本研究得到了香港中文大學（深圳）陳冠英教授、韓曉光教授、許杰教授的大力支持與幫助，在此表示感謝！