數字圖書館跨媒體語義檢索模型研究

張偉民

（廣東金融學院圖書館，廣東 廣州 510520）

移動互聯網技術的進步催生了各類新媒體工具，其以互聯網和移動通訊為依托，具有極快的傳播速度和即時社交等功能，很容易產生集聚效應。網絡新媒體層出不窮，報刊、電視等傳統媒體也依然具備優勢，新舊媒體的交互與影響，形成了復雜的泛媒體環境，使得信息的形成傳播機制更為復雜。在這樣的環境下，數字圖書館的發展不再是擁有多樣化媒體內容，而是將音頻、視頻等多種信息格式進行高效處理，并通過互聯網傳遞給用戶，滿足他們隨時隨地獲取信息的需求。面對泛媒體環境下海量的數字化信息，如何拓展用戶信息資源獲取渠道，提高信息檢索效率，是數字圖書館需要考慮的問題。尤其是泛媒體信息異構分布，語義關系復雜多變，僅僅依靠傳統的數據庫和元數據檢索方式，檢索出來的跨媒體資源往往關聯度差，很難滿足用戶的專業化需求。因此，要求數字圖書館建立適應泛媒體特點的語義檢索模型，實現對跨媒體數據的采集與動態分析，從語義層面尋找不同模態信息的關聯，為用戶帶來更為優質的檢索體驗。

1 數字圖書館跨媒體語義檢索的現實意義

跨媒體語義檢索是在多種媒體形態基礎上，結合不同媒體的特點，從語義層面對相同或相關的信息進行處理，實現數字化資源的精準檢索與高效存儲。泛媒體環境下的跨媒體語義檢索，屬于符合知識認知的語義檢索方法，對于數字圖書館的發展具有重要意義。

1.1 提升數字化資源采集力度

不同媒體形態數字化資源的異構與動態性，一直是困擾數字圖書館的難題[1]。近年來基于內容的多媒體檢索技術，雖然為數字圖書館跨媒體檢索提供了便利，實現了不同模態資源的同步采集，但是在實際應用過程中，這種檢索方法無法兼顧泛媒體信息的特征，無法揭示不同信息資源之間的關聯，這就難以滿足對數字化資源的深層次服務需求。跨媒體語義檢索充分考慮多模態信息的語義關聯，從知識認知的角度，分析不同類型資源的語義聯系，讓多種模態的信息資源能夠被綜合利用。它不僅突破了數字圖書館傳統的數字化資源采集范圍，提升了資源采集力度，也有助于構建更為系統的數字化資源體系[2]。

1.2 推動數字化資源高效整合

目前國內很多圖書館依然以文本檢索為主，即便建立了跨媒體檢索系統，也僅僅是輔助檢索工具，無法處理多樣化的數據，無法滿足泛媒體環境下用戶對多模態信息資源的需求。而跨媒體語義檢索的應用，依托先進的語義信息組織技術，挖掘不同模態信息存在的內在關聯，促進語義信息高效組織，推動數字化資源整合，以統一的信息管理方式降低檢索成本，提高了數字圖書館的服務效率。跨媒體語義檢索將不同于媒體類型的數字化資源，如圖像、文本、視頻等，通過統一的資源整合服務平臺，避免了根據不同媒體類型分別檢索導致的資源浪費，也提升了數字圖書館的資源利用率。

1.3 為用戶提供統一檢索入口

數字圖書館跨媒體語義檢索的應用，不僅解決了多模態信息資源的統一檢索問題，也可以提供統一的信息檢索入口，讓用戶依托移動智能設備，就可以隨時隨地檢索海量信息，豐富了檢索體驗。基于跨媒體語義檢索的一站式平臺，避免了用戶在檢索不同類型數字化資源過程中，由于登陸不同的網站，采用不同的搜索引擎導致的時間浪費，節省了檢索成本，提高了數字資源檢索效率[3]。同時基于語義的信息檢索方式，能夠實現對跨媒體資源的迅速采集與高效整合，從中發現不同資源的內在關聯，并在對比分析基礎上，反饋給用戶所需的信息，強化用戶對檢索結果的認知。跨媒體語義檢索也可以從用戶感知角度，提供更多檢索示例，方便其找到更多與需求相關的信息資源，從而獲得更多的選擇自由。

2 數字圖書館跨媒體語義檢索的常見技術

跨媒體語義檢索實現了對不同模態信息的特征識別、提取與融合，實現不同媒體的跨越式檢索與信息歸類，從語義層面消除用戶理解上的障礙。根據信息的不同模態，以下主要介紹圖片、音頻、視頻等常見的語義檢索技術。

2.1 圖片語義檢索

數字圖書館對圖片中語義信息的提取，是從先驗知識的角度，將視覺特征映射至語義層面。檢索系統可以借助機器學習的方式，生成與圖片信息檢索相關的語義規則，或者借助遺傳算法、神經網絡等人工智能方法，對圖片中的語義信息進行提取處理，進而提升跨媒體圖片信息檢索的精準度。具體操作過程中，首先要從視覺層面提取圖片的紋理、顏色、形態等特征，并從語義層面進行描述。其次，針對圖片中包含的具體對象，分析不同對象之間的語義關系并進行描述。此外，根據語義描述結果分析檢索對象的空間、場景關系，對于其中涉及的語義要素進行合并，根據對應的語義規則組合形成圖片表達的意義。

2.2 音頻語義檢索

音頻語義檢索涉及對音頻內容的分類，具體而言就是根據不同音頻的聲學特征，分析不同音頻之間的語義關系，采用音頻分類算法計算不同對象之間的語義距離，如利用決策樹、神經網絡等計算模型，進而提取其中的語義信息。一般可以從聲學特征、物理特征、語義特征三個層面，對音頻中蘊含的內容進行提取[4]。其中物理特征包括編碼方式、采樣頻率等原始數據，這是泛媒體信息的基本存在形式，在檢索過程中可以直接瀏覽、調用，并輕松提取其中的物理數據。聲學特征數據是從感官層面，表達用戶對音頻的感知情況，可以直接通過檢索的方式識別不同音頻的特征。而語義特征則是從語義層面，對音頻內容、對象與關系進行描述和綜合分析，進而獲得其中蘊含的隱性知識。

2.3 視頻語義檢索

泛媒體時代視頻內容日益豐富，對跨媒體視頻資源進行語義檢索，是通過符合人類思維的語義描述方式，對這些視頻內容進行分析、過濾與檢索，并將其中的語義信息以直觀的方式展示給用戶。一般而言，在語義檢索過程中需要過濾視頻中的常規特征，如形態、顏色、紋理等基本特征信息。然后從高層語義角度對其他信息進行處理，從而提高檢索的精準性。用戶可以肉眼的方式獲取這些信息，因此并不需要二次處理[5]。對于比較重要的特征信息，則將其轉化至語義空間，通過語義規則推理、語義注釋、統計學習等方法，提取視頻資源中蘊含的多樣化語義信息，并通過語義信息組織技術進行整合應用，為用戶提供更有針對性的服務。

3 數字圖書館跨媒體語義檢索的基本流程

泛媒體環境下數字圖書館本身擁有海量數字化資源，這些資源存在復雜的內在關聯，有助于強化跨媒體檢索的語義理解能力，提升跨媒體語義檢索的精準化水平。總體來看，數字圖書館跨媒體語義檢索的基本流程，涉及資源采集、特征提取、語義描述、本體構建等多個環節，如圖1。

圖1 數字圖書館跨媒體語義檢索的基本流程

3.1 數字化資源采集維護

數字圖書館在跨媒體語義檢索過程中，可以引入智能化代理技術，自動發現、捕獲與采集不同網站中的數字化資源，或者自動對泛媒體資源進行識別與存儲，提高數字化資源采集效率。同時依托圖書館資源分類標準，對這些采集獲取的數字化資源進行整合處理，過濾不必要的內容，并存儲于多媒體資源數據庫中。泛媒體環境下數字化資源是動態變化的，用戶對檢索服務的需求也在發生變化[6]。數字圖書館不僅需要做好數據采集工作，也需要根據用戶需求變化，根據泛媒體資源的結構特征與變化趨勢，及時做好館藏數據庫的更新維護工作。尤其是安排專業技術人員，對多媒體資源進行定期檢查、更新，促進數據庫結構優化。

3.2 特征提取和語義分析

數字圖書館在采集大量泛媒體信息資源后，需要借助語義分析技術，對這些信息資源進行統計，做好不同類型資源的語義分析、識別與注釋工作，從中抽取有價值的概念，通過對比分析發現不同信息之間隱含的關系，將其揭示出來并納入語義數據庫中。在實施過程中，一方面需要參考本體庫中的對應信息，建立泛媒體信息資源的語義關聯樹，依托機器學習或深度學習技術，采用逐層分析的方式，去挖掘信息資源之間的語義關聯，獲得更多有深度的內容；另一方面，要借助本體推理技術，促進底層特征向語義層面映射，通過特征提取消除語義鴻溝，保障語義檢索的統一性和精準度。

3.3 本體構建與結果展示

數字圖書館跨媒體語義檢索的核心階段，就是構建跨媒體本體。這是因為泛媒體數據資源類型多樣，結構多變，從中可以提取多種信息維度，不同信息之間復雜的聯系，很容易導致語義的重復，增加語義檢索的難度。這就需要通過本體構建的方式，根據語義特征提取與語義相關聯的結果，消除數據表達中的維度重復問題，保障數據處理的標準統一[7]。而本體庫也是語義關聯的重要參照，有助于底層特征向語義空間轉化，進而優化語義數據庫。在此基礎上，數字圖書館可以利用深度學習技術，促進跨媒體信息資源整合和語義轉化，通過可視化的方式形成全局視圖，方便用戶根據自身需求，自動登錄檢索頁面獲取所需的語義信息，并將最終結果以可視化的方式反饋至用戶終端。

4 數字圖書館跨媒體語義檢索模型的構建

數字圖書館跨媒體語義檢索是泛媒體環境下的必然發展趨勢，也是符合用戶習慣的全新發展方向。為了減少跨媒體語義檢索中的障礙，充分發揮其服務優勢，數字圖書館可以構建融合語義信息組織、跨媒體檢索、數據挖掘等技術，包含擴展查詢、語義檢索等功能模塊的結構模型，保障圖書館檢索系統的性能（如圖2）。

圖2 數字圖書館跨媒體語義檢索模型

4.1 拓展查詢模塊

拓展查詢模塊的主要功能是根據用戶提供的檢索關鍵詞，依托語義索引、語義推理和檢索引擎，對用戶所需資源進行拓展檢索，形成相關度高的概念集合[8]。然后對檢索關鍵詞進行概念拓展，擴大關鍵詞的范圍，以此作為新的查詢條件，然后將其傳遞給語義檢索模塊。在拓展查詢過程中，數字圖書館檢索系統會依據參考本體庫，調取其中的分類方法和敘詞表，并將查詢結果填充至領域本體庫中。語義索引是根據語義索引存儲表中的相關概念，迅速定位本體庫中的具體概念，給出領域本體與語義之間的對應關系，可以幫助分析用戶需求，為拓展查詢提供依據。檢索引擎則是將關鍵詞傳輸至本體庫中，將經過概念化的關鍵詞，與本體庫中的概念進行對比，以遍歷的方式尋找其相關概念，以拓展的方式形成語義關系網，形成經過語義拓展的概念集。

4.2 語義檢索模塊

語義檢索模塊接收經過拓展查詢的概念集合后，可以根據用戶需求，開展泛媒體信息資源采集與處理工作，并從館藏數據庫中迅速調取相關信息，在數據資源歸類基礎上進行信息匹配，然后將檢索結果反饋給用戶。語義檢索階段需要做好多媒體資源的歸類整理工作，無論是文本、圖片還是視頻資源，都可以通過建立多模態信息索引庫的方式，在不同媒體之間搭建橋梁，以多模態信息交叉索引的方式，將多種形態特征的信息資源，轉換至統一的語義空間，并對不同模態的資源進行語義描述，方便系統進行資源歸并與深度挖掘。數字圖書館可以借助神經網絡，獲取檢索對象的全局特征，通過語義映射實現對文本、音頻等多媒體資源的關聯檢索，并采用語義相似度計算的方法，實現不同模態信息資源的語義匹配。

4.3 語義標注轉換機制

數字圖書館跨媒體語義檢索模型的構建，不僅需要做好拓展查詢與語義檢索，也需要建立語義標注轉換機制。這是因為泛媒體信息資源規模大，在檢索過程中的語義標注工作量大，可以通過建立統計模型的方式，設置對應的訓練數據集，實現對多媒體信息資源的自動語義標注，提高檢索系統運行效率。要想實現這一目標，需要數字圖書館引入大量訓練數據集，根據泛媒體資源的語義分布情況，設置對應的統計決策模型，并做好對應模型的訓練工作，提高語義標準的準確率。同時數字圖書館可以借鑒機器學習中的語義轉換機制，采用對語義標注過程進行跟蹤的方式，在語義標注后迅速實現信息傳遞，并將未經標注的信息傳輸至訓練集中，結合先驗方法減少語義標注模型的工作量，降低語義標注的復雜度。

5 結語

當前我國數字圖書館的建設如火如荼，其中信息檢索系統的引入與應用是關鍵內容。泛媒體環境下跨媒體語義檢索模型的構建，可以建立不同媒體之間的關聯檢索機制，從語義層面發現不同資源的內在聯系，解決復雜維度數據的跨媒體檢索問題，提升數字圖書館跨媒體檢索效率。目前跨媒體語義檢索的應用還處于初始階段，部分技術與方法還不成熟，如何發揮其在數字圖書館中的作用還有待深入研究。