基于生物啟發(fā)信息技術的智慧圖書館移動視覺搜索研究

李 默（山東科技大學圖書館）

1 引言

隨著大數據時代的到來，智慧圖書館的數據信息資源不僅數量越來越龐大，而且載體類型也日益繁多，既有傳統(tǒng)的文本式數據，也越來越多地增加了圖像、視頻、3D 模型等多種類型的視覺信息資源，傳統(tǒng)的文本搜索方式已經不適用于視覺資源的檢索利用。移動視覺搜索（Mobile Visual Search, MVS）技術的出現滿足了讀者快速準確地獲取視覺信息資源的需求，它是以移動智能終端獲取的視覺資源作為檢索對象，通過移動互聯網檢索視覺資源知識庫，最終得到讀者感興趣的關聯知識信息［1］?？梢灶A見，信息技術的不斷發(fā)展將使MVS 的信息分析、提取和檢索方法更具優(yōu)勢，更能契合讀者對多種類型信息資源的檢索需求。

然而，移動智能終端設備的快速擴大以及萬物智聯時代所帶來的海量數據處理需求，致使MVS 的進一步發(fā)展需要更可靠、更強大、更迅捷的數據存儲及智能處理能力。自第三次技術革命開始以來，信息技術一直是各行業(yè)、各領域不斷進步的推進器，但經過幾十年的高速發(fā)展，電子器件結構并沒有出現重大變革，只是提高和改善了電子器件的加工精度和材料特性。信息技術的長期發(fā)展需要尋找新的技術突破口，而生物體經過幾十億年的進化及演化，形成了紛繁復雜又完美高效的組織結構，為人類的科技創(chuàng)新提供了取之不盡用之不竭的知識源泉［2］。以控制論為基礎，仿生學應運而生，它是一門有效應用生物功能并在工程上實現的學科，是連接生物與技術的橋梁。仿生學的研究范圍很廣，主要包括力學仿生、化學仿生和神經仿生等，其中化學仿生主要研究與模仿生物體中化合物合成以及能量轉換過程，神經仿生則研究與模擬生物體中的信息處理過程。近年來，仿生學的研究得到迅速發(fā)展，在信息、控制、醫(yī)學、建筑、機械等多個領域取得了大量成果，也為MVS 的研究帶來了新的機遇和解決方案。綜上所述，為了滿足MVS 海量數據存儲以及數據智能處理的需求，本文將基于生物啟發(fā)的信息技術應用于智慧圖書館MVS 中，構建一個以化學仿生（DNA 數據存儲技術）和神經仿生（神經形態(tài)計算技術）為核心的MVS 服務體系框架，以促進智慧圖書館MVS 的實現和發(fā)展。

2 相關研究

2.1 智慧圖書館MVS

智慧圖書館是圖書館發(fā)展的高級階段，它利用智能信息技術來實現圖書館的智慧化管理，能夠為讀者提供全天候、泛在化、多形式及個性化的服務。綠色節(jié)能、便利高效、全面感知、立體互聯、以人為本是智慧圖書館的主要特征，而智慧圖書館MVS 則以滿足讀者日益增長的多種類型信息資源檢索需求為主要目標。自David 等在2009 年舉辦的首屆MVS 研討會上提出MVS 概念以來［3］，國內外學者從不同視角開展了MVS 的相關研究，內容包括MVS 的內涵、研究方法、相關技術、應用實踐等，其中MVS 在圖書館中的應用研究吸引了許多學者的關注，并取得了一些研究成果。

Zhu 等研究了MVS 在數字圖書館中的作用機制和應用模式，設計了包括資源構建、資源組織、人機交互、服務模式及實際應用5 個組成部分的數字圖書館MVS 體系結構［4］。張興旺等對數字圖書館MVS 的基本流程、服務模式、服務框架進行了研究［5］，提出了一種領域導向的、自適應的、可演化的數字圖書館MVS 引擎［6］。齊云飛、劉木林、韓璽等研究了關聯數據在數字圖書館MVS 系統(tǒng)中的應用［7］，構建了基于關聯數據的數字圖書館MVS 框架和基于語義關聯的數字圖書館MVS 資源多維度聚合模型［8-9］，并利用眾包的理念和方法來獲取數字圖書館MVS 資源［10］，還對基于MVS 的圖書館、檔案館、博物館資源融合服務模式進行了研究［11］。曾子明等則對智慧圖書館MVS 相關技術與方法開展了一系列研究，構建了智慧圖書館MVS 服務模型及其技術框架［12］，提出了基于SoLoMo 的智慧圖書館MVS服務模式［13］，并將情境計算應用于MVS 服務中，設計了融合情境的智慧圖書館MVS 服務模型［14］，搭建了基于用戶畫像的智慧圖書館個性化 MVS 及推薦服務模型［15］。上述研究拓展了MVS 技術在圖書館的應用實踐，但研究內容主要集中于視覺資源組織管理和圖書館MVS 服務模型創(chuàng)新，較少涉及如何更好地存儲視覺信息資源和提高視覺資源檢索效率問題。

2.2 DNA 數據存儲技術

云計算、大數據、物聯網以及人工智能等信息技術的不斷發(fā)展，使得信息數據存儲量正在無限制地擴展和增加，國際數據公司IDC 預計到2025 年全球數據量將達到163ZB（1ZB=10244GB），數據量的快速增長將很快超過現有存儲器件容量的承受能力。另一方面，當前廣泛使用的硬盤、藍光、閃存等傳統(tǒng)數據存儲介質在使用過程中會產生巨大的生產維護能耗，而且還存在存儲期限短、占用空間大、數據易丟失等缺點，因此亟須尋找一種新的數據存儲介質。脫氧核糖核酸（DNA）作為一種天然的優(yōu)良存儲介質，具有高存儲密度、低能耗、易復制以及安全穩(wěn)定等優(yōu)點［16］，以DNA 分子為存儲介質的研究及其應用得到了越來越多科學家的關注，DNA 數據存儲技術逐漸成為全球的研究熱點，它是生物技術和信息技術共同發(fā)展的結果。

DNA 數據存儲技術利用人工合成的DNA 生物大分子作為介質，由A、T、C、G 四種核酸堿基對應二進制數據進行編碼，將文檔、圖片、聲音和視頻等信息轉化為相應的DNA 序列進行存儲和讀取，其流程主要包括編碼、合成、存儲、檢索、測序、解碼6 個步驟［17］。使用DNA進行數據存儲的理念最早可追溯到1964 年Wiener［18］和 Neiman［19］提出的基因記憶概念。1988 年Davis 首次將一幅35bit 的黑白圖像成功編碼至DNA 中，實驗性地證明了DNA 數據存儲概念的可行性［20］。1999 年 Clelland 等成功恢復了隱藏在DNA 序列中的字符信息［21］。2012 年Church 等利用DNA 分子實現了650KB 的數據存儲［22］，使得DNA 數據存儲真正成為可能；隨后Erlich 等提出可在1g 的DNA 分子內存儲215PB（1PB=10243GB）的信息［23］。陳為剛等合成了數據量為3MB 的音視頻文件，并實現了面向DNA介質的高密度存儲［24］。而隨著DNA 合成技術和DNA 測序技術的進步和完善，DNA 數據存儲正逐步推出商業(yè)服務，微軟公司在2016 年將200MB存入DNA 后［25］，已計劃建立DNA 數據存儲系統(tǒng)，實現云數據在DNA 中的存儲。另外，還有許多學者對DNA 數據庫的設計及構建技術進行了研究，2002 年Reif 等提出了一種基于數據塊的DNA 存儲結構，并構建了一個規(guī)模為127 的DNA數據庫［26］；Yamamoto 等則提出了一種基于嵌套PCR 的存儲方式，建立了一個存儲容量為16.8MB的數據庫［27］；2018 年Stewart 等設計了一種基于關聯搜索的圖像DNA 存儲數據庫［28］。

DNA 數據存儲技術主要適用于存儲期限較長、數據量增長較快、存儲環(huán)境比較穩(wěn)定的場景，可廣泛應用于圖書館、檔案館、博物館、影視公司等多類型信息長期存儲機構，也適用于MVS中海量數據的存儲與傳遞，因此在智慧圖書館中MVS 有巨大的應用前景。

2.3 神經形態(tài)計算技術

未來信息技術的發(fā)展需要實時訪問和利用大量的數據和信息，當前主要是依靠計算機的信息處理能力來完成的，但隨著需求的急劇增長，計算機的功率、速度和規(guī)模正在成為信息技術進步的障礙。而生物神經科學的發(fā)展促使人們對人腦的認識逐步加深，越來越多的科學家認為人腦的信息處理能力遠超標準計算機，使得神經形態(tài)計算技術逐漸成為人們關注的焦點，其設計思想就是模擬人腦的組織結構和信息處理方式，使計算機能像大腦一樣具有感知、適應和學習能力，并在降低計算功耗的同時加快響應速度。

生物神經科學研究發(fā)現大腦的所有活動都是由神經元之間的脈沖信號驅動的，而現有計算機的計算都是時鐘驅動的，神經形態(tài)計算與現有的馮·諾依曼計算機體系結構完全不同，從而引發(fā)了包括脈沖神經網絡、突觸器件、存算一體、類腦芯片等多個方面的研究。1997 年，Maass 提出了基于脈沖神經元的第三代神經網絡——脈沖神經網絡 （Spiking Neural Network, SNN）［29］。SNN把脈沖神經元作為神經網絡的基本計算單元，并以計算效率高、編碼機制多樣、事件驅動、具有時空領域神經元動力學特性等優(yōu)勢引起了學者關注［30］，其主要由神經元模型、突觸脈沖時間依賴可塑性（STDP）理論［31］、神經元脈沖編碼方式以及神經網絡拓撲結構等要素組成。而在生物神經系統(tǒng)中突觸連接了不同神經元，人工突觸的研究主要是將納米材料加工為納米器件，使得納米器件在光電作用下表現出類似于突觸的生物行為［32］，再將多個上述突觸模擬器件組網形成神經網絡，從而實現神經形態(tài)計算。存算一體是模仿人腦存儲和計算在同一位置完成的特點將存儲和計算合為一體，納米憶阻器的出現使存算一體成為可能［33］。納米憶阻器是一種有記憶功能的非線性電阻，它能保持過去的歷史電導狀態(tài)，并在新輸入電流的作用下逐漸被調制到新的狀態(tài)，其被廣泛應用于神經元構建、非易失性存儲等方面，是硬件實現神經網絡突觸的最好方式。類腦芯片是神經形態(tài)計算在硬件層面的嘗試，它既保留了成熟的數字設計技術，又具有神經形態(tài)計算的特征，近年來已經有多款類腦芯片出現，比較著名的有 IBM 的 TrueNorth［34］、Intel 的 Loihi［35］、高通的Zeroth 和清華大學的天機芯［36］等芯片。類腦芯片雖然本質上還是數字設計電路，但由于包含了神經計算核，從而在邏輯層面上能夠實現神經形態(tài)計算。

神經形態(tài)計算是一種更加高效、快速的計算架構，基于神經形態(tài)計算技術的圖像傳感器能夠同時獲取并分析圖像，達到感測與計算相結合，在MVS 領域能夠大大降低圖像識別、分類、檢索的計算時間和功耗需求，實現極其快速的MVS 圖像處理，為MVS 圖像判讀開辟了一個全新的方向。

3 生物啟發(fā)信息技術在智慧圖書館MVS 中的應用可行性及優(yōu)勢分析

當前智慧圖書館MVS 實踐應用中主要面臨兩大問題：一是要應對海量、多源異構MVS 資源的數字化存儲需求，為提供全面優(yōu)質的MVS 服務打下數據基礎；二是要對MVS 海量數據進行實時處理和高效分析，降低MVS 響應時延和數據計算功耗，為智慧圖書館MVS 奠定計算基礎。為此，將DNA 數據存儲和神經形態(tài)計算融合進智慧圖書館MVS 服務中，可以促進未來MVS 研究和實踐的良性發(fā)展。

3.1 滿足MVS 數據存儲需求

在智慧圖書館MVS 數據采集過程中，視覺資源數據的增長速度極快，導致數據存儲空間需求不斷增大，存儲復雜度不斷提高。而DNA 數字信息存儲密度極高，DNA 分子單位質量的數字信息存儲潛力是傳統(tǒng)基于半導體和電磁存儲手段存儲潛力的4,200 億倍，理論上1000gDNA 分子就能夠滿足2,040 年時的全球信息存儲需求。另一方面，DNA 數字信息存儲壽命極長，作為自然界最穩(wěn)定的生物分子之一，DNA 分子在自然狀態(tài)下的信息降解速度極慢，在適宜環(huán)境下的數據存儲壽命可達幾百到幾千年，大大優(yōu)于傳統(tǒng)存儲介質幾十年的存儲壽命。此外，DNA 分子還具有易于復制的優(yōu)勢，使用聚合酶鏈式反應（PCR）技術可實現短時間內低成本地復制大量數據，能大大提高MVS 海量數據的更新維護效率，而且DNA 雜交及反應過程還可用于對MVS 視覺信息資源執(zhí)行相似性搜索。綜上所述，DNA 數據存儲以其信息存儲密度極高、存儲壽命極長、安全可靠、數據易復制等特點為MVS 海量視覺信息資源提供了新的存儲方式，很好地滿足了MVS 應用平臺和實踐空間快速發(fā)展的數字保存需求。

3.2 提升MVS 服務計算能力

智慧圖書館MVS 服務具有基礎數據量大、實時性要求高、本地化需求強的特征，對底層設備的計算能力提出了極高的要求，雖然過去幾十年中計算機的性能得到了極大的提高，但隨著時間的推移，MVS 平臺數據量和計算需求呈指數增長，現有設備的計算能力將無法滿足日益增長的MVS 計算需求。神經形態(tài)計算作為新型的計算方式，可以解決MVS 平臺面臨的困境，為MVS 用戶提供更加先進的智能服務。如，基于神經網絡的圖像分類算法在MVS 視覺資源分類任務上表現優(yōu)異，但傳統(tǒng)神經網絡存在特征學習能力不強、過擬合和高功耗等缺點，而基于脈沖神經網絡的圖像分類算法可以實現MVS 在低功耗環(huán)境下的視覺資源分類。另外，神經形態(tài)計算還為MVS 探索不同的訓練和學習算法提供了計算支撐，類似于GPU 對于深度神經網絡的影響，類腦芯片對提高脈沖神經網絡的性能也會產生積極的影響，實現MVS 訓練和學習方法的快速模擬，提高MVS 服務應用的開發(fā)速度。而神經形態(tài)計算的存算一體特性能將計算嵌入存儲單元中，在存儲和讀取數據的同時完成計算，減少了MVS 數據計算過程中的時間和帶寬耗費，可以大大提升MVS 服務請求的響應速度，滿足MVS 用戶快速高效獲取視覺資源的需求。

3.3 緩解MVS 平臺異構問題

從資源、服務、網絡、計算等多個方面來看，智慧圖書館MVS 平臺存在著數據異構、服務異構、網絡異構、計算異構等多種類型的異構問題，如何消除或緩解MVS 平臺異構問題是智慧圖書館能否有效推進MVS 服務的關鍵。首先，MVS 視覺資源具有多類型和非結構化的特點，包括大量的圖像、文本、視頻、3D 模型等異構數據，數據異構是MVS 進行數據整理、存儲、分析、管理、檢索的難點和重點，而基于DNA 存儲技術建立的MVS 數據庫可對異構數據進行重構，實現視覺資源數據的歸一化。其次，隨著MVS 服務多樣化和用戶個性化的發(fā)展趨勢，MVS 平臺需要具備并行處理多個復雜檢索請求的能力，并將檢索結果在移動終端、PC 機、物聯網等多種設備上以多維度方式進行展示。另外，網絡技術的飛速發(fā)展產生了異構網絡，它由多種網絡接入技術組成，可提供多種接入方式并支持MVS 終端無縫移動，而隨著MVS 用戶數的不斷增加，必然會帶來MVS 異構網絡接入環(huán)境的高動態(tài)性，需要建立多模自適應的MVS 網絡接入選擇機制，保證MVS 用戶終端始終接入到最適合的網絡進行視覺資源檢索。因此，針對上述MVS 不同計算任務之間存在的并行性需求，可以構建基于神經形態(tài)計算的異構計算架構，兼顧計算任務兼容性和強大并行計算能力，使MVS 并行計算任務類型與計算芯片類型相匹配，為緩解MVS 平臺異構問題提供解決方案。

4 基于生物啟發(fā)信息技術的智慧圖書館MVS 體系架構

針對智慧圖書館MVS 的特點和需求，本文將DNA 數據存儲和神經形態(tài)計算融入MVS 服務體系中，構建了基于生物啟發(fā)信息技術的智慧圖書館MVS 體系架構（見圖1），該體系架構主要由資源采集層、數據處理層、MVS 業(yè)務層、用戶交互層四個層次組成。

圖1 基于生物啟發(fā)信息技術的智慧圖書館MVS 體系架構

4.1 資源采集層

資源采集層通過不同渠道和途徑獲取多源異構視覺資源數據，數據獲取方法主要采用網絡開放存取、數據庫接口和用戶行為分析三種方式。在智慧圖書館MVS 系統(tǒng)中，網絡開放存取方式采集的數據不僅包括網絡免費學術文獻資料，還包括使用網絡爬蟲技術或與其他機構合作得到的視覺資源數據，如流媒體數據、電子圖書、在線書評等。數據庫接口是指以API 數據接口形式從第三方平臺數據庫得到的數據，主要通過授權許可或購買的方式收割到本系統(tǒng)數據庫中，包括館藏數據、書目數據、流通數據、讀者數據、網站數據等。用戶行為分析主要是獲得MVS 用戶的活動軌跡數據以及與系統(tǒng)交互產生的數據，活動軌跡數據包括用戶無線網絡訪問數據、空間移動數據、定位導航數據、活動參與數據等，交互數據則是用戶在與MVS 系統(tǒng)交互過程中產生的各種過程和結果數據，如視覺資源訪問數據、MVS 檢索日志、用戶社區(qū)交流數據等。以上幾種資源采集方式獲得的數據包括圖片、視頻、音頻、3D 模型、文本等多種類型，而根據不同數據類型的特點，視覺資源采集方式也應有所不同，其中網絡開放存取可根據需要定期采集所需數據，數據庫接口和用戶行為分析則應盡量采用實時采集的方法，為后續(xù)的數據分析打下基礎。

4.2 數據處理層

采集大規(guī)模的視覺資源數據后，首先需要對所采集的異構視覺資源數據進行預處理，包括數據清洗、數據轉換、數據集成和數據規(guī)約等步驟方法。數據清洗主要是處理視覺數據的各種異常情況，通過填充遺漏數據、識別清除異常數據、光滑噪聲數據等操作實現數據格式的標準化，清洗掉錯誤數據和重復數據。在數據轉換階段，通過平滑聚集、數據規(guī)范化、數據概化等方式實現視覺數據歸一化。數據集成則是將多個數據源中的數據結合起來，增大樣本數據量，建立視覺資源數據倉庫。數據歸約可以得到視覺數據集的歸約表示，目的是減少數據量、刪除冗余信息、降低數據維度，最終降低視覺數據分析所需的計算時間。異構數據預處理是數據存儲的重要前提，因此需要制定統(tǒng)一的數據預處理標準，為后續(xù)的DNA 數據存儲和數據分析做準備。

視覺數據經過預處理后，需要借助DNA 數據存儲技術存儲視覺資源大數據。DNA 數據存儲流程主要包括數據編碼寫入、數據保存和數據解碼讀取三個部分。其中，數據編碼寫入又分為DNA編碼和DNA 合成兩個步驟，DNA 編碼是利用計算機算法將需要存儲的視覺資源信息映射成DNA堿基序列，對于不同的視覺資源類型應采用不同的DNA 編碼算法，在加入一些冗余信息后，將DNA 編碼序列轉化為DNA 堿基序列，然后通過DNA 合成將DNA 堿基序列逐個連接形成DNA鏈，由于視覺資源信息量非常龐大，需要合成大量的DNA 堿基序列，可以采用基于陣列的合成方法并行合成大量DNA 序列。數據保存則是選擇合適的載體將合成的DNA 序列進行存儲并形成DNA 樣本庫，然后基于這些DNA 樣本庫構建一個大型的視覺資源數據存儲系統(tǒng)。數據解碼讀取的關鍵技術是解碼技術，它是DNA 編碼的逆過程，當接收到數據讀取請求后，首先對相應的DNA 樣本庫進行物理檢索和采樣，而為了實現DNA 數據存儲中的隨機存取，解碼前需要先進行PCR 復制，擴增得到多個DNA 片段副本，然后對DNA 副本進行測序，產生一組DNA 堿基序列，再經過糾錯、去冗余、解碼，最終這些DNA 堿基序列被翻譯成真實的視覺資源數據。

在DNA 數據存儲的基礎上，采用多種數據挖掘和分析技術對視覺數據進行分析建模，以支持MVS 業(yè)務層檢索服務的開展。如可通過數據挖掘、機器學習、自然語言處理等大數據和人工智能技術對視覺數據間的語義關系進行標注，建立各種類型視覺數據間的語義聯系，并構建基于視覺大數據的數據分析模型和基于用戶畫像的用戶模型。數據分析與建模是實現精確化MVS 服務的數據基礎，并為圖書館用戶提供個性化的MVS 服務提供支持。

4.3 MVS 業(yè)務層

MVS 業(yè)務層基于數據處理層提供的視覺數據信息，采用相應的MVS 技術為用戶提供與其查詢意圖相符的檢索結果，它是智慧圖書館MVS系統(tǒng)的關鍵和核心。根據MVS 業(yè)務邏輯，將MVS 業(yè)務層劃分為MVS 需求處理、MVS 任務執(zhí)行與MVS 服務組合三個模塊。MVS 需求處理模塊主要負責為MVS 檢索系統(tǒng)做好數據準備工作，包括檢索視覺對象ROI 檢測、視覺資源特征提取、文本資源語義分析以及用戶當前情景信息計算。其中，ROI 檢測是檢索視覺對象處理的重要環(huán)節(jié)，其主要包括三個功能步驟：首先是檢索視覺對象預處理功能，通過濾波器增強檢索視覺對象對比度，提高檢索視覺對象中目標像素的顯著性；然后是ROI 提取功能，利用特征修訂算法使提取的ROI 與背景干擾物有效分離，并采用增量計算提高ROI 提取效率；最后對ROI 進行下游處理，基于目標空間對稱特性和時序變化特性設計過濾器，濾除掉虛假ROI。特征提取則采用基于脈沖神經網絡的分類算法來處理視覺資源數據，而且對于不同類型的視覺資源數據需要采用不同的特征提取方式。語義分析主要是對視覺資源數據中的文本信息進行處理，利用神經形態(tài)計算算法得到文本信息的語義向量表示，并且通過采用不同的學習算法捕捉到更加全面的文本語義信息。情境計算用于計算識別用戶的情境語義信息，通過融合隱情境表示和清晰情境信息構建用戶情境模型，基于情境模型可以計算得到用戶情境特征向量。

MVS 任務執(zhí)行模塊則根據MVS 需求處理模塊提供的信息，采用神經形態(tài)計算算法和技術來提高MVS 計算的響應速度，生成符合用戶查詢意圖的檢索結果，其主要由關聯分析、一致性檢驗、相似度計算、資源匹配幾個功能組成。關聯分析是在視覺數據資源特征提取和語義分析的基礎上，對視覺資源和文本資源進行語義關聯，實現MVS的資源信息快速定位。從MVS 需求處理模塊會得到用戶情境信息的分布式特征向量表示和基于用戶ROI 加權處理的檢索視覺對象特征向量表示，而用戶情境特征向量和視覺資源特征向量都要先進行幾何一致性檢驗，然后才能作為視覺資源檢索的數據依據。視覺資源相似度則通過計算檢索視覺對象與在庫視覺資源特征之間的距離得到，先將用戶情境特征向量和檢索視覺對象特征向量合為一個定長向量，再計算此定長向量與在庫視覺資源特征向量之間的余弦距離，得到的值即為視覺資源相似度。資源匹配根據相似度計算結果得到相似視覺資源，首先設定一個視覺資源相似匹配度閾值，其次對超過匹配度閾值的在庫視覺資源進行語義關聯匹配，最后得到包含多種數據類型的關聯視覺資源。

MVS 服務組合模塊是在MVS 任務執(zhí)行基礎之上確立相應的服務組合，完成最終的視覺檢索功能，并為用戶交互層提供服務與應用接口，主要實現檢索優(yōu)化、結果排序、多模態(tài)輸出等功能。檢索優(yōu)化采用神經形態(tài)計算算法來提升MVS 效率，先為每個MVS 請求分別建立對應的多個線程，然后各個線程將該MVS 請求下的視覺數據寫入到對應的存儲文件中，再利用神經形態(tài)計算存算一體的特性在讀取存儲信息的同時執(zhí)行MVS 操作，利用多線程并行執(zhí)行和多存儲信息并行讀取的方式提高檢索效率。結果排序是在完成基于神經形態(tài)計算的視覺資源相似度計算之后，對檢索得到的目標視覺資源按照相似度進行降序排列，將相似度較高的視覺資源作為檢索結果推送給用戶。多模態(tài)輸出將檢索結果表示成不同形態(tài)的數據格式，利用文本、圖像、音頻、視頻等多種數據格式描述檢索結果，在MVS 系統(tǒng)中采用基于脈沖神經網絡的機器學習算法對多模態(tài)視覺數據進行綜合處理，生成一段對多模態(tài)視覺數據綜合之后的文本摘要。

4.4 用戶服務層

在MVS 業(yè)務層完成檢索任務后，用戶服務層就可以調用相應的功能模塊，為用戶提供智慧化和個性化的服務。智慧圖書館MVS 系統(tǒng)主要提供移動服務和應用，因此用戶需要通過無線網絡環(huán)境與MVS 系統(tǒng)進行交互，而隨著無線網絡（5G、6G、Wi-Fi、RFID、藍牙等） 的飛速發(fā)展，MVS系統(tǒng)面向用戶密集終端，需要具有大吞吐量、廣連接和實時處理海量視覺數據的網絡通信能力。異構無線網絡環(huán)境優(yōu)化模塊主要功能是使用戶設備能夠選擇正確的網絡，并對多種頻譜接入、多種接入網絡和多種新興技術構成的異構無線網絡通信效率進行優(yōu)化，將神經形態(tài)計算技術應用于異構無線網絡優(yōu)化模塊，可以實現通信計算一體化，構建感知、通信與計算三位一體的新型無線網絡環(huán)境，解決MVS 系統(tǒng)無線通信的信道估計、資源分配、信號處理和收發(fā)器設計等問題，大大降低異構無線網絡選擇復雜度。

用戶MVS 服務模塊使用戶可以在移動終端實現MVS 管理、服務、利用等個性化功能的切換，建立用戶與MVS 系統(tǒng)之間聯系的橋梁，其主要包括個性化界面、社區(qū)交流、評價反饋等功能。個性化界面使用戶可以按個人需求定制MVS 界面風格和布局，并根據用戶情境特征推送檢索結果展示界面，另外還提供個人信息管理、視覺資源標注、主題導航、自定義檢索推理規(guī)則等功能。社區(qū)交流是用戶在MVS 系統(tǒng)中的知識交流平臺，特別是當用戶沒有檢索到需要的視覺資源時，可以在線求助其他用戶，也可以和社區(qū)中的領域專家進行溝通，實現社區(qū)內視覺資源的共用共享。評價反饋用于收集用戶評價信息，根據用戶反饋信息得到用戶特征的隱表示，然后結合用戶的個人信息和情境信息，不斷完善用戶個性化需求模型，為MVS 個性化推薦提供數據支持。

MVS 系統(tǒng)服務模塊的功能是將檢索到的視覺資源提供給用戶瀏覽，使用戶能實時獲取感興趣的視覺資源，主要包括可視化展示、智能推薦、沉浸式導覽等功能?？梢暬故臼菍z索結果多模態(tài)輸出后進行的多方面立體展示，并建立各模態(tài)視覺資源之間的關聯關系，用戶還可以通過與MVS 系統(tǒng)交互的方式瀏覽各種視覺資源信息。智能推薦是在檢索結果排序的基礎上，結合用戶檢索行為信息和情境信息向用戶推送個性化視覺資源，并能根據用戶的評價反饋和社區(qū)交流信息分析用戶需求偏好，主動推薦用戶可能感興趣但沒有瀏覽過的不同類型視覺資源信息。沉浸式導覽利用專門設備（頭盔、眼鏡、曲面屏、投影儀等）為用戶提供虛擬環(huán)境體驗，通過檢測用戶情境信息的變化為用戶展示當前視覺關注物體的關聯信息，如3D 模型、相關視頻和音頻、文本描述等，達到用戶身臨其境了解MVS 目標信息的目的。

5 基于生物啟發(fā)信息技術的智慧圖書館MVS 研究展望

大數據和信息技術的發(fā)展使得MVS 用戶的需求不斷提升，而基于生物啟發(fā)信息技術的出現為MVS 研究和應用開辟了新的道路。其中，DNA 數據存儲技術為MVS 存儲空間和存儲時間問題提供了新的解決方案，神經形態(tài)計算技術則在降低MVS 計算能耗的同時提升了MVS 計算能力。雖然當前國內外學者在相關技術領域已經取得了一些研究成果，但DNA 數據存儲和神經形態(tài)計算在智慧圖書館MVS 系統(tǒng)中的應用仍處于初始階段，還需要解決以下幾個方面的問題。

5.1 DNA 數據存儲在MVS 應用中面臨的挑戰(zhàn)及發(fā)展趨勢

從DNA 數據存儲過程來看，編碼技術是DNA 數據存儲的核心問題，研究高效魯棒的編碼理論和方案將有望提高現有DNA 存儲技術的存儲密度，減少DNA 存儲合成、PCR 擴增及測序過程中的信息冗余及誤差。另外，目前DNA 合成及測序技術成本還太高，用DNA 存儲1TB 數據的成本比磁盤高7—8 個數量級，但在智慧圖書館MVS 系統(tǒng)中，海量視覺資源數據可通過使用更大的合成基質和更大的DNA 批次來消減成本，同時研究新的合成和測序技術可以為DNA 數據存儲在MVS 中的應用奠定更堅實的技術基礎。最后，數據存入DNA 以及從DNA 中讀取數據都需要花費時間，并且堿基序列越長則耗費時間越多，而在MVS 系統(tǒng)中DNA 數據存儲技術需要具有數據隨機訪問和內容重寫功能，當前使用PCR 擴增技術能夠加快DNA 數據讀取速度，但與磁介質存儲讀取速度相比仍有差距，因此對基于DNA 層次上的信息檢索和數據隨機訪問技術需要進一步的研究。

5.2 神經形態(tài)計算在MVS 應用中面臨的挑戰(zhàn)及發(fā)展趨勢

以神經形態(tài)計算為主導的類腦芯片計算能力仍有待提高，需要進一步研究與類腦芯片相適配的模型、架構和算法，通過發(fā)展脈沖神經網絡計算模型，增強類腦芯片神經形態(tài)計算模塊的任務處理能力，提升它在MVS 系統(tǒng)中的計算通用性。另一方面，目前使用的神經形態(tài)器件性能大多不太穩(wěn)定，其工藝成本也過高，需要尋找高性價比的、低壓低功耗的并與生物神經類似的神經元器件替代材料，近來有學者提出采用納米尺度的低功耗神經形態(tài)器件［37］，在降低能耗的同時能夠實現存算一體的神經形態(tài)計算數據處理過程。再者，生物神經信息處理過程中的復雜作用機制（如目標識別、記憶存取、動作控制等）還未融入神經形態(tài)計算體系的研究中，需要設計出更加靈活有效的神經網絡結構，提高神經形態(tài)計算體系中不同計算單元之間的信息協(xié)同處理能力，實現MVS 系統(tǒng)的自適應決策執(zhí)行。

5.3 智慧圖書館MVS 系統(tǒng)中異構無線網絡發(fā)展趨勢

為了提供高質量的MVS 無線接入服務，需要開發(fā)新的網絡架構以適應各種情境下用戶的MVS服務需求，空天地一體化網絡可以把路基網絡、空基網絡和天基網絡連接成一個立體化的無線網絡全覆蓋空間，為MVS 中大規(guī)模密集連接用戶提供全天候、無縫式網絡服務，但如何組建有效協(xié)同的空天地協(xié)同傳輸機制還需重點研究。MVS 服務和應用的發(fā)展，必然會產生海量的視覺資源數據，而獨立地為每個用戶設備分配無線資源會大大增加無線網絡負擔以及消耗過多通信資源，因此有必要利用通信與計算融合技術來提高無線網絡效率，已有研究表明人工智能技術可以優(yōu)化無線網絡通信，但關于MVS 系統(tǒng)中異構無線網絡的智能化通信與計算融合框架的研究還有待深入。

6 結束語

隨著MVS 的快速發(fā)展和用戶需求的不斷提升，智慧圖書館MVS 系統(tǒng)面臨著視覺資源大數據存儲與用戶快速獲取感興趣視覺資源數據的技術難題，而基于生物啟發(fā)的信息技術為MVS 的發(fā)展開辟了新的道路，是未來MVS 研究不斷深入的重要驅動力。其中，DNA 數據存儲技術可以解決困擾MVS 海量視覺資源存儲的存儲空間與存儲時間問題，神經形態(tài)計算則大幅提高了MVS 在海量視覺數據處理上的計算能力與反應速度，降低了網絡通信和計算能耗。當前，雖然國內外學者和研究機構已經取得了一些研究成果，但是關于DNA數據存儲和神經形態(tài)計算的研究在總體上還處于初始階段，它在MVS 領域的應用研究還有大量的技術問題需要突破。