面向文化遺產領域的移動視覺搜索模型研究*

曾子明，宋揚揚

0 引言

近年來，文化遺產的數字化建設成為圖書館界日益熱門的話題。文化遺產的數字化是指采用數字采集、數字存儲、數字處理、數字展示、數字傳播等數字化技術將文化遺產轉換、再現、復原成可共享、可再生的數字形態，并以新的視角加以解讀，以新的方式加以保存，以新的需求加以利用[1]。文化遺產數字化建設的內容主要包括數字處理技術、數字存儲技術、數字共享平臺或系統三部分。文化遺產數字化建設最重要的意義是利用數字化技術將文物、古跡、戲曲、工藝、方言等所承載的歷史和文化知識進行傳播和共享，為研究人員和學者提供專業的知識資源，為普通讀者提供豐富、有趣的歷史文化知識，真正實現民族文化的傳承和繁榮發展。

文化遺產的數字化載體包括文本、圖像、音頻、視頻和3D模型等，其中包括圖像、視頻、3D模型等在內的視覺載體可以更完整、更形象、更清晰地保存文化遺產的語言、文字、結構和形式等特征，成為文化遺產數字化保護最主要的載體。如今文化遺產視覺資源的存儲量遠遠超過文本資源。然而，目前文化遺產數字資源的獲取方式以文本搜索為主，不適應其資源類型。同時，移動互聯網高度普及和快速發展，4G和5G移動網絡相繼實現，隨時隨地、快速獲取所需知識資源的移動閱讀成為人們的一種生活方式。然而，目前文化遺產領域的知識服務仍然局限在場館范圍內，具有很大的被動性，顯然不能滿足當下日益個性化的讀者需求。而移動視覺搜索(Mobile VisualSearch，MVS)利用便捷智能設備獲取物理空間圖像、視頻、3D模型等視覺對象作為檢索對象，并在視覺對象知識庫范圍內利用移動互聯網檢索其關聯信息[2]，具有便利、高效、靈活的特點。因此，MVS能夠適應當下文化遺產數字資源的存儲類型并克服其檢索服務的不足，更好地滿足讀者日益個性化的閱讀需求，為文化遺產領域的知識服務提供了一種新思路和新工具，對文化遺產知識的傳播和繼承具有積極的作用和影響。本文基于文化遺產數字化建設和MVS相關研究現狀的不足，分析面向文化遺產領域的MVS服務的必要性，提出面向文化遺產領域的MVS模型，并探討模型實現的技術框架。

1 研究現狀

我國文化遺產的數字化建設始于20世紀90年代初，經過20多年的發展，主要在對文化遺產的數字化復制、復原、4D影像體驗館、數字影像記錄、增強現實再現等方面取得了大量重要成果[3]。例如，故宮的“超越時空的紫禁城”項目，利用3D技術仿真模擬故宮全貌，讀者只需輕輕點擊鼠標就能足不出戶免費“游覽”故宮[4]；敦煌研究院經過多年的探索和實踐，已完成一百多個洞窟的圖像采集、全景漫游節目制作、三維描述以及文獻數據庫20萬條[5]。在學術方面，黃永林等人[6]從建立數字化分類體系、數據采集標準、知識可視化表達、新技術綜合運用體系、多媒體交互體系平臺、保護與傳承技術體系六個方面探討了非物質文化遺產的深度開發與運用；付躍安[7]從資源建設、資源組織、數據加工、文本建設、服務與版權等方面探討圖書館地方文化遺產數字化建設，并結合圖書館業務特點提出了具體的實施策略；包鑫[8]以黑龍江省西部少數民族地區為例探討了地方高校圖書館非物質文化遺產資源的采集策略，并從平臺建設、構建原理和優化策略三個方面論述數據庫的建設舉措。這些研究重點集中在數字化技術的應用、構建方式或策略、理論框架等方面，缺少服務方式的創新。同時，目前文化遺產知識服務仍然以場館為中心，未能真正考慮用戶的個性化需求，缺乏靈活性。此外，資源檢索方面僅支持文本搜索，而存儲量占主導地位的視覺資源的利用率不高。

2009年Chen等[9]在第一屆移動視覺搜索研討會上首次系統地提出了移動視覺搜索的概念，經過近十年的探索，已經取得了一些成果。國外相關文獻主要是從計算機領域對其涉及到的技術(如特征提取與表示、高維索引與匹配、幾何一致性檢驗、圖像標準)進行創新和發展。Duan等[10]提出一種視覺檢索方法，該方法通過學習一個定制的JEPG量化表來深度壓縮查詢圖像；Chen等[11]提出一個緊湊、有識別性的全局簽名來描述每個圖像，利用圖像的顏色信息和相似圖像的關系來提高檢索精度；Matsuzaki等[12]通過多視圖合成圖像提取局部特征，并根據關鍵點的檢測和量化誤差的特征魯棒性來定義特征可靠性，以控制數據庫的大小。國內的研究集中在MVS的檢索機制、構建方式、管理機制等方面，如趙宇翔等[13]歸納MVS中的游戲化元素及其對應的動因示能，提出面向大數據的MVS游戲化設計框架；劉喜球等[14]從視覺大數據資源的識別、獲取、存儲與分析、MVS服務支撐平臺等角度出發構建服務框架，提出具體的實施思路；張亭亭等[15]提出以眾包理念和方法來獲取新的視覺資源，并從收集方式、收集成本、參與時間和機制體現四方面與傳統的信息檢索模式進行對比。由此可知，國內外的研究成果都從移動視覺搜索本身出發，缺少與具體領域和應用的結合，尤其是在文化遺產領域研究方面。

綜上可知，文化遺產數字化建設的主要方式是通過圖像、視頻、3D模型、動畫等方式進行復制、復原和保存，其視覺資源的存儲量已經遠遠超過了文本資源。然而其檢索方式單一，仍然以文本為主，視覺資源的利用率不高，顯然與實際的資源類型不符。同時，移動互聯網快速發展和高度普及，隨時隨地獲取所需資源已經成為讀者的一種閱讀習慣和生活方式，讀者的需求呈現多樣化、個性化的特點，特定場館的單一文本檢索無法滿足當前讀者的檢索需求。而移動視覺搜索能夠提供多樣化的視覺資源檢索方式，具有高效、便利、不受時空約束的服務特點，已成為信息服務領域重要的檢索工具。因此，將移動視覺搜索應用到文化遺產領域并構建相適應的服務模式，能夠提高文化遺產視覺資源的利用率，優化文化遺產領域的知識服務，滿足讀者的個性化閱讀需求，對促進文化遺產知識的傳播、繼承和發揚都具有十分重大的積極作用。

2 移動視覺搜索模型的體系結構

目前，文化遺產領域的各個組織或機構，如數字圖書館、數字博物館、文化遺產特色數據庫、文化遺產知識科普平臺等，都是獨立存儲文化遺產數字資源的，且存儲的內容各不相同，單獨的某個機構無法實現對某個主題資源幾近完整的存儲，這就需要機構之間的資源共享來豐富彼此的館藏。而智慧圖書館以物聯網和云計算技術為支撐，能夠實現各種資源的充分共享和協同管理，包括知識資源以及存儲和管理這些資源的系統和設備等。針對文化遺產數字資源的這種存儲特點，本文依托智慧圖書館，將數字圖書館、數字博物館、特色數據庫、文化遺產知識科普平臺等各種文化遺產知識服務機構通過智慧云互聯為一個統一的整體，實現知識資源的協同管理、智慧化整合和充分共享。

社交網絡的普及使讀者的需求呈現出較強的即時性和交互性特點，讀者越來越注重與信息服務提供者的互動與交流，希望自己的需求和反饋等信息可以及時到達平臺，同時也能夠直接、實時接收平臺的服務與信息。讀者的這種需求特點就要求信息服務平臺能夠提供可以直接、便捷交流的窗口及根據實時情境變化的即時服務。因此，本文通過實時情境采集和建立社交網絡平臺，為讀者提供社交、個性化推薦、LBS等智慧服務，進而將移動視覺搜索無縫、動態、實時地嵌入讀者的文化遺產知識活動中，并利用采集到的情境信息、社交等服務數據全方位、多角度分析讀者檢索意圖和文化遺產知識需求，實現個性、多樣、準確、靈活、交互的文化遺產移動視覺檢索服務。在此基礎上，構建面向文化遺產領域的MVS模型，該模型的體系結構如圖1所示。

圖1 移動視覺搜索模型的體系結構

2.1 數據采集層

數據采集層主要利用物聯網技術對面向文化遺產領域的MVS服務所需要的數據進行采集和傳輸，包括待檢索的外部視覺對象、文化遺產數字資源、讀者相關信息。

(1)外部視覺對象采集：通過移動智能終端(如VR眼鏡、AR設備、智能手機、平板電腦等)采集待檢索的視覺對象，包括圖像、視頻、動畫、3D模型、地圖等，并將其傳輸到智慧圖書館的數據庫中等待進一步的處理。

(2)內部文化遺產數字資源共享：將數字圖書館、虛擬博物館和特色數據庫中的文化遺產數字資源通過互聯網進行采集并傳輸到智慧圖書館的智慧云中進行存儲，實現資源的充分共享和利用。

(3)讀者信息采集：利用網絡數據監控工具采集讀者在文化遺產知識服務過程中的行為數據，包括瀏覽行為、檢索行為和社交行為等；利用RFID、藍牙、GPS、監視器、傳感器、紅外感應器等感知傳輸設備捕捉與讀者相關的情境信息，包括物理情境和社會情境。其中，物理情境是指物理存在的、不以人的意志為轉移的信息，包括時間、讀者所處的地理位置、當時當地的天氣、移動終端性能和屏幕大小、網絡上傳和下載速率等等。社會情境是指用來描述讀者并與讀者個人直接相關的信息，包括年齡、性別、職業、社會關系、受教育程度、所進行的社會活動等。這些信息對面向文化遺產領域的移動視覺搜索服務具有十分重要的作用，通過挖掘分析這些信息得到讀者與文化遺產知識相關的偏好、檢索目的等重要信息，將這些信息融入到智慧服務中將極大地提高服務質量和效果。

2.2 資源管理層

資源管理層依托智慧圖書館的Hadoop云計算架構，利用分布式的存儲設備、計算集群和調度組織系統對文化遺產MVS服務過程中涉及的數據資源進行存儲、組織和協同管理，為視覺檢索和智慧服務提供基礎和保障。

(1)原始數據存儲。對采集的原始數據分別進行存儲，以方便后續處理和組織，包括待檢索的外部視覺對象源、內部的文化遺產數字資源、讀者的網絡行為數據和情境信息等。

(2)資源組織。對采集的原始數據分別進行相應的處理，獲取高層的、有組織、有價值的知識。對待檢索的視覺對象和文化遺產視覺資源分別進行視覺特征計算：特征檢測、特征提取和特征表示，將處理后的文化遺產視覺資源存儲到數據庫中，方便視覺檢索過程中能夠快速獲取候選視覺對象的特征向量，提高視覺檢索的效率，減輕終端設備的計算負擔。待檢索的視覺對象處理后等待與數據庫中候選視覺對象進行特征匹配。對文化遺產數據資源進行語義標注和關聯分析，實現文本資源和視覺資源之間的語義關聯，將關聯后的視覺資源進行索引標注，方便視覺檢索過程中能夠快速定位和獲取到文化遺產視覺資源，提高檢索效率。對采集的讀者行為數據和情境數據分別進行行為分析和情境計算，通過邏輯推理獲取讀者的知識模型，即這些數據中所蘊藏的價值信息。例如，讀者在文化遺產領域的興趣、與文化遺產相關的活動內容、潛在的文化遺產閱讀傾向等。這些價值信息有助于理解讀者視覺檢索的真實意圖，降低語義鴻溝，同時為個性化的文化遺產知識服務提供了方向和依據，有利于提高服務的質量和效率。

(3)知識存儲。對經過處理和計算得到的知識進行有組織地存儲和管理，包括文化遺產視覺資源的特征索引、文化遺產數字資源的關聯索引、讀者知識模型和MVS案例等。這些知識為上層的文化遺產知識服務提供了數據資源支持和便利。

(4)資源協同。文化遺產知識服務數據通過Hadoop云計算架構進行分布式存儲和并行計算，即存儲數據的介質和計算設備物理上相互獨立，但在互聯網中相互聯通，智慧云對這些存儲介質和計算設備進行協同管理，實現文化遺產數字資源的充分共享。

2.3 視覺檢索層

視覺檢索層以基于超圖的視覺檢索引擎為主，以超圖學習機制、評價反饋機制和邏輯推理機制為輔，實現文化遺產領域的視覺檢索服務。基于超圖的視覺搜索引擎是文化遺產視覺檢索的核心，它將處理后的待檢索視覺對象和特征索引庫中文化遺產視覺對象的特征量化為特征詞包，然后以這些特征詞包為基礎構建超圖模型，并計算數據庫中文化遺產視覺對象與待檢索的視覺對象之間的關聯分數，系統根據關聯分數高低對結果進行排序。超圖學習機制為視覺搜索引擎提供機器學習的技術支持，完成超圖模型的構建、學習和計算任務。邏輯推理機制和評價反饋機制則為文化遺產數字資源的MVS服務的改進和優化提供支持和幫助：邏輯推理機制通過對讀者情境信息、行為信息進行邏輯分析和推理，獲取讀者潛在的興趣、偏好、目的等知識模型，幫助視覺檢索引擎深刻理解讀者的檢索意圖，降低語義鴻溝問題。評價反饋機制通過對讀者的瀏覽、閱讀、檢索等行為分析讀者對文化遺產知識服務的評價和感受，進而對服務進行改進，以改善讀者的服務體驗。

2.4 智慧服務層

智慧服務層以讀者為中心，為讀者提供一站式的文化遺產MVS知識服務。MVS使讀者可以通過多種途徑、多種載體形式智能檢索文化遺產知識資源。例如，讀者可通過AR、VR眼鏡等設備對敦煌石窟的壁畫、雕塑等文物實景進行即時搜索，也可以通過移動終端的攝像頭等對文物的復制品進行拍照，將圖片上傳到智慧圖書館的MVS系統進行手動搜索，獲取相關的知識資源。將社交、LBS、推薦等服務無縫嵌入讀者的情境活動中，為讀者提供實時、準確的個性化知識服務：對文化遺產領域相同或相似主題感興趣的讀者之間可建立討論社區，也可與該領域的專家直接溝通，實現讀者間知識的充分共享；可以根據讀者的地理位置，為讀者提供附近相關的文化遺產場館、景點等，例如，可以根據讀者在敦煌博物館的位置，為讀者推送該位置附近壁畫、雕像等文物的年代、內容、含義、歷史事件等相關知識，也可為讀者提供到達某個古跡、遺址或場館等的路線規劃和實時導航；可以根據讀者的興趣、物理情境和社會情境進行綜合邏輯推理分析，主動為讀者推薦符合讀者偏好的文化遺產知識資源、文化遺產領域的專家和交流圈等，使讀者不用搜索也可以享受到內容全面、豐富的文化知識資源服務。面向文化遺產領域的移動視覺搜索服務還為讀者提供一站式智慧導航服務，包括主題導航、智慧展示和讀者個人信息管理等。主題導航將資源云中的文化遺產數字資源按主題進行關聯和分類，形成以主題為核心的知識架構和圖譜，清晰的分類和知識層級為讀者展示以主題為核心的知識體系，方便讀者查閱。讀者可根據自己的需求和興趣在導航欄中查找相關的文化遺產資源主題；智慧展示可根據讀者的需求對系統提供的知識資源自動選擇展示方式，例如根據移動終端屏幕大小、網絡狀況和檢索的結果等決定展示的形式是文本、圖像、視頻還是圖文并茂；讀者個人信息管理包括賬戶管理、個人文化遺產主題標簽選擇或設置、評價反饋等，為讀者提供個人興趣愛好的初始化操作、對MVS等智慧服務的評價反饋提供通道和途徑，這不僅可以優化視覺搜索和推薦模型，提高檢索和推薦的準確率，也可以提高服務質量，改善讀者的閱讀體驗。

2.5 服務交互層

服務交互層以智慧云為依托，將文化遺產領域的數字圖書館、虛擬博物館、特色數據庫、視覺搜索平臺、文化遺產知識科普平臺等機構或組織有機地進行互聯，實現文化遺產數字資源的充分共享和協同管理，是讀者與智慧圖書館交互的窗口。讀者在任一個服務平臺均可訪問智慧圖書館下的各機構的文化遺產館藏資源，便捷地獲取豐富、多樣的文化遺產知識資源和知識服務。

3 MVS模型實現的技術框架

3.1 基于超圖的移動視覺檢索

文化遺產領域的數字資源主要以圖像、視頻為主要載體，與普通的視覺資源相比，文化遺產由于歷史原因導致的唯一性和獨特性，使得其視覺資源具有較強的語義特征。例如，敦煌壁畫《飛天》，與之相似的圖像均與“敦煌”“壁畫”“飛天”等語義相關。除語義特征外，文化遺產的視覺資源還包含色彩、紋理、邊等一般的視覺屬性特征。例如，古代水墨畫，尤其是彩色水墨畫的重要特點是著色層次，而且顏色是圖像內容組成的基本要素，顏色特征與幾何特征相比更可靠、更穩定，對圖像中子對象的大小和方向的變化都不敏感，具有較強的魯棒性，因此，通過顏色特征值能更好地描述文化遺產視覺資源的視覺特征。然而，傳統的視覺檢索技術，如SIFT技術，雖然具有尺度、旋轉不變性以及具有部分的照度不變性，對圖像中的背景噪聲、遮擋等影響具有良好的適應性，運行效率高，具有良好的可擴展性，可從圖像上提取出大量的特征[16]，但SIFT算法只利用了圖像的灰度信息，忽略了圖像的色彩、紋理、邊和語義信息等屬性，不能準確、全面地描述文化遺產數字資源的視覺特征。

為了更全面、準確地描述文化遺產視覺對象，需要充分考慮各項屬性特征。因而在進行相似性計算時，要分別考慮各視覺對象同類屬性之間的相似關系，這就涉及到多種屬性關系的處理和計算。此外，與待檢索的視覺對象相似的視覺對象也不唯一，即待檢索的視覺對象與文化遺產數據庫中的多個視覺對象存在關聯關系，因此待檢索的視覺對象與候選視覺對象間也是多元的關聯關系。因此，需要一個能夠較好地表示視覺對象間多元關聯關系的計算模型，以完成文化遺產視覺檢索的匹配過程。

目前，圖論能夠較好地表示對象之間多元關系，圖包括頂點和邊兩個元素，每個數據對象為一個頂點，邊連接具有相似性的兩個頂點，因此可以表示對象之間的二元關系。超圖是圖論的擴展和延伸，由Berge于1970年第一次提出和闡述[17]，經過眾多學者的研究和努力，超圖已在計算機科學獲得了長足的發展。超圖的邊稱為超邊，可以連接N(N≥2)個頂點，這使得超圖能夠直觀地、完整地描述多個數據對象之間復雜的多元關系，此外，超圖還可以表示多個頂點之間的局部聚合信息、像素或分塊在局部領域與多個像素或分塊間的多重相關關系，保留了多種特征信息，從而能夠確保算法在數據描述上的完整性和準確性[18-19]。因此，本文引入Cai等人[20]提出的超圖模型來表示和計算文化遺產視覺對象之間的關聯關系。基于超圖的視覺檢索流程如圖2所示。

圖2 基于超圖的移動視覺檢索流程

(1)特征提取。色彩：從每個像素中密集地提取顏色描述符作為3種通道的色彩模型(LAB)值，然后對128個簇進行K-means聚類，并將每個圖像的顏色描述符量化為128-bin的直方圖。紋理：通過文本濾波器組計算每個像素48維描述符，并將每個圖像的紋理描述符量化為256-bin的直方圖。邊：使用標準的邊緣檢測器發現邊緣，這些邊的方向被量化為8個無符號的bin，這為每個圖像產生一個8-bin的邊緣直方圖。灰度：從每個像素的8×8相鄰像素塊中提取4像素步長的描述符，然后將描述符量化為1000維的特征詞包。語義：因語義屬性通常出現在圖像中的一個或多個特定區域，因此將每個圖像分割為2×3的網格，并分別從每個網格中提取以上四種特征。

(2)特征表示：將以上五種描述符量化為特征詞包并進行綜合，這樣就為每個圖像獲得了一個9744維特征詞包。

(3)基于超圖模型的特征匹配。將每個視覺對象看作一個頂點，超邊連接具有相似屬性特征的視覺對象，在此基礎上用鄰接關系表描繪待檢索視覺對象與候選視覺對象間同類屬性的關聯關系，并以此為依據構建超圖模型的關聯矩陣。然后通過超圖拉普拉斯函數計算得到視覺對象的關聯分數，并進行排序得到初步的檢索結果。

(4)結果優化。將獲取的讀者數據，包括網絡服務數據和實時情境數據，通過邏輯推理和分析得到的包含讀者檢索目的和需求等信息的知識模型融合到視覺檢索過程中，降低讀者與底層檢索間的語義鴻溝，幫助視覺搜索引擎優化檢索結果，將優化后的結果返回給讀者。

3.2 基于Hadoop平臺的云存儲

任務的順利運行。基于Hadoop平臺的云存儲框架如圖3所示。

圖3 基于Hadoop平臺的云存儲模型

由于文化遺產視覺資源來自多個不同的組織和機構，每個機構或組織在采集文化遺產視覺資源的過程中使用不同的設備、技術和載體，導致視覺資源的數據類型復雜格式多樣，此外，由于視覺資源本身包含大量的視覺信息導致數據量十分龐大，因而有組織地存儲和有效地管理文化遺產視覺資源成為一項艱巨且重要的任務。本文利用Hadoop開源云計算平臺在數據存儲和計算方面的優勢，采用HDFS分布式文件系統實現對文化遺產視覺資源原始數據的存儲和管理，基于MapReduce分布式計算框架實現MVS的并行計算和分布式存儲，實現面向文化遺產領域的移動視覺檢索服務的實時性要求，并利用其智慧化管理平臺對系統和設備進行協同組織，保障各項

首先，將文化遺產視覺對象資源切割成若干個分片，將分片上的數據進行預處理后以標準形式存儲到文件系統中，并由主節點(NameNode)進行協同和管理。主節點中的元數據存儲了視覺對象分片的關鍵信息，包括文件名稱、存儲的物理位置及文件中的信息摘要等，服務器可根據元數據實現視覺對象的快速定位和語義關聯，為后續的計算過程提供技術支持。其次，啟動MapReduce程序：Map階段通過設定一些函數和映射分別對視覺對象的分片進行計算得到特征向量；Reduce階段將分片的特征向量進行整合得到視覺對象完整的特征向量，并將其存儲到HBase分布式數據庫中，為后續匹配過程奠定基礎。

該云存儲模型利用Hadoop平臺為面向文化遺產領域的移動視覺搜索提供各種管理系統和管理機制，實現平臺的正常運轉。如，集成服務系統使讀者可以直接通過該平臺訪問各個分館的知識資源，極大地減輕了讀者的操作負擔；協同管理平臺通過對文化遺產數字資源進行知識挖掘和語義關聯，實現知識資源的充分利用和共享；負載均衡系統根據各個系統和設備的性能指標分配任務，并對其運行負載狀態進行實時監控和管理；安全預警機制通過制定一系列的規則和策略預防可能發生的風險和災難，并在其發生后采取及時有效的應對措施，以降低災難造成的損失。

4 結語

針對文化遺產領域檢索方式單一、知識服務缺乏靈活性和個性化等不足，本文提出面向文化遺產領域的移動視覺搜索模型，以讀者為中心，將一站式文化遺產MVS知識服務無縫嵌入到讀者情境活動中，針對讀者的具體情境提供個性化、智慧化的文化遺產知識服務，并針對實現該模型的技術框架進行了探討，對文化遺產領域知識服務的發展具有重要的意義。未來的研究工作將集中在文化遺產領域視覺搜索過程中涉及的技術的改進和優化，包括底層視覺特征和語義特征的提取、特征向量表示、相似度計算等，尤其是超圖技術在圖像相似度計算和排序方面的應用，通過研究改進超圖算法并應用到視覺檢索過程中，以提高視覺檢索的精確度，為面向文化遺產領域的MVS服務提供技術支持。