圖書情報領域多媒體信息檢索研究態勢分析

摘要：通過揭示圖書情報領域多媒體信息檢索的研究態勢，能幫助確定圖書情報領域對多媒體信息檢索的關注點與貢獻，為研究人員提供智力支持。研究基于主題結構發現研究方法，挖掘研究的主題社區，并梳理其發展演進歷程。研究發現，圖書情報領域多媒體信息檢索研究可分為特征抽取與表示、圖像檢索、元數據、檢索模型與框架、用戶體驗五個主題社區，圖像檢索是當前研究的核心，檢索模型與框架、用戶體驗研究正快速發展，內部統一的理論框架有可完善的空間。

關鍵詞：圖書情報；多媒體信息檢索；主題結構發現；研究態勢

中圖分類號：G354.2；TP391.3??????? ????????????中圖分類號：U24

0引言

多媒體信息檢索指根據特定的需求，運用某種檢索工具，基于特定的檢索策略和方法，從存儲信息的集合中對圖形、圖像、音頻、視頻等多媒體信息進行檢索的過程[1]。自互聯網興起并普及以來，網絡上多媒體信息數量激增，這激發了用戶對于多媒體信息的需求，使得多媒體信息檢索成為包括圖書情報領域在內的多個學科領域的研究熱點。

信息檢索的概念是美國計算機學家Mooers于1950年首次正式提出的[2]。計算機的發明推動了信息檢索領域的迅速發展，使以前局限于紙質文獻的情報檢索技術與計算機相結合，發展成為了現代認知中的信息檢索。信息檢索的原理是通過計算查詢項與信息集合中實例間的相似度，從信息集合中選擇相似度最高的實例作為檢索結果。文本信息可以通過簡單的轉換，在不丟失語義信息的前提下存入計算機，因此這種計算對于文本信息而言，是較易實現的；而對于多媒體信息，其存儲與檢索主要基于文本注釋標簽與索引、特征信息等實現[3]，因此如何克服信息的非文本型描述與其對外表達的概念的語義差距，對其進行結構化表示，成為多媒體信息檢索攻克的主要難題。1965年，Hagen[4]提出了一種錄音信息檢索系統，開創了多媒體信息檢索研究的先河。20世紀90年代，QBIC、WebSeek圖像檢索系統和 Via Voice 音頻檢索系統等多媒體信息檢索系統出現在互聯網上，多媒體信息檢索研究開始蓬勃發展。而圖書情報領域作為信息檢索研究的起源與發展的搖籃，在推動多媒體信息檢索研究上起著不可或缺的作用，在相關的諸學科領域中占據著重要的地位。

在分析多媒體信息檢索研究態勢的研究中，一方面，大部分學者使用定性分析方法，對多媒體信息檢索及其相近領域進行綜述，如孫吉紅等[5]分析了多媒體信息檢索領域的研究成果，總結了研究現狀，指出未來研究的發展方向為以用戶為中心的多媒體信息檢索、基于神經科學的學習模式、多媒體協作和分眾分類法等；薛向陽[6]對多媒體信息的檢索、推薦和生成技術進行了綜述，并指出深度學習技術和神經網絡對多媒體信息檢索領域的進步有突出貢獻。另一方面，少數學者使用文獻計量等定量研究方法進行分析，如陳珊[7]對2000年以來國內多媒體信息檢索研究進行了文獻計量分析，指出研究主要集中在基于文本的、基于內容的、基于 XML 的多媒體信息檢索和數字圖書館多媒體信息檢索3個方面。

上述研究梳理了多媒體信息檢索的研究態勢，但仍有兩方面不足：（1）缺乏圖書情報領域的視角，未能呈現圖書情報領域對多媒體信息檢索的關注點和貢獻；（2）沒有揭示各子主題的發展態勢，同時缺少對研究發展演進歷程的梳理。綜上所述，文章以圖書情報領域多媒體信息檢索研究的科技文獻作為研究對象，基于主題結構發現的研究方法，挖掘研究中的主題社區，并梳理研究的發展演進歷程，從而揭示圖書情報領域多媒體信息檢索的研究態勢，在確定圖書情報領域對多媒體信息檢索的關注點與貢獻的同時，幫助研究人員加深對領域的理解并提供參考。

1主題結構發現分析方法

1.1數據收集與處理

研究以 Web of Science 核心合集為數據源，具體檢索策略如下：

TS=（（non- text* OR? nontext* OR? multimedia? OR multi-media OR imag* OR graph* OR figure* OR video* OR? sound* OR? audio*） information （search* OR? re? triev*））

對于檢索得到的文獻結果，研究將其“出版年”字段限定為2013～2022年，“Web of Science 類別”限定為 Information Science Library Science，“文獻類型”限定為論文、會議錄論文、綜述論文和在線發表。最終獲得690篇文獻。

研究將題錄數據導入VOSviewer[8]以計算文獻關鍵詞的詞頻和詞共現關系，發現詞頻最高值為66，結合普賴斯公式[9]，選擇詞頻大于等于6的關鍵詞作為圖書情報領域多媒體信息檢索研究的重點主題。為確保研究的準確性與規范性，研究首先刪除與研究主題相重合的關鍵詞（information retrieval、information search 等）和對研究沒有實際指導意義的關鍵詞（science、technology 等），并對同義詞（如bibliometrics 和bibliometric analysis）和單復數詞（如model 和models）進行合并。最終得到由78個高頻關鍵詞構成的主題網絡，以支撐后續研究。

1.2研究方法

首先，使用 Louvain 算法[10]劃分網絡的主題社區，使用VOSviewer[8]對主題社區及其關聯關系進行可視化；其次，將主題社區映射至二維戰略圖[11]以分析研究的發展態勢；最后，基于題錄數據，根據主題社區間相互關系，使用Cortext[12]繪制桑基圖，對主題演進歷程進行時序可視化，以全面系統地揭示多媒體信息檢索的研究態勢。

2研究態勢分析

2.1時間分布

圖1展示了2013～2022年圖書情報領域多媒體信息檢索研究的歷年文獻量及總關鍵詞數量。歷年文獻量總體上相對平穩，2016年文獻量最少，為42篇；2020年最多，為101篇；自2017年起文獻量呈逐年上升趨勢，并于2020年達到頂峰，結合研究實際，文獻量增長的可能原因是近年來深度學習技術取得了突破性進展，并在多媒體信息檢索領域廣泛應用，從文本信息到非文本信息的跨模態檢索得以實現，推動了多媒體信息檢索研究進一步發展。

2.2主題結構

圖2展示了主題網絡劃分而成的主題社區，通過內容審查，發現研究可以分為5個主題社區。

（1）特征抽取與表示。該主題社區的高頻關鍵詞有 knowledge、bibliometrics、network、linked data 等。改進多媒體信息特征的抽取與表示方法，可以優化多媒體信息檢索中的語義差距問題[13]，獲得更好地檢索性能。該主題社區主要關注科技文獻、學術會議視頻等學術型載體中多媒體信息的特征抽取與表示方法，同時知識組織技術對研究作出了重要貢獻，其可以在詞匯控制、算法參數調整等方面優化特征抽取與表示過程，從而提高檢索的準確率。代表性研究如 Dias 等[14]分析了 NASA 的知識組織系統在圖像特征表示中的貢獻，發現其能對由分眾分類法描述的非受控術語進行有效的控制與規范，從而克服圖像特征表示中存在的術語問題。

（2）圖像檢索。該主題社區的高頻關鍵詞有 image? retrieval、classification、ontology、system 等。圖像檢索是多媒體信息檢索的重要分支領域，該主題社區主要關注對圖像檢索的各環節提出優化方案，或提出檢索性能更好地檢索框架和檢索系統。本體論是該社區研究中的主要指導方法，也有許多研究從圖像色彩、語義網、關聯開放數據、相似度和標簽等角度開展。在環節優化方面，代表性研究如 Choi[15]調研了用戶在進行圖像檢索時執行的查詢修改模式和語義屬性，發現查詢修改模式與信息源類型顯著相關，與圖像格式、對象、位置和類型相關的術語是檢索中最常見的語義屬性，并基于此提出了改進圖像索引的語義注釋的意見；在系統設計方面，代表性研究如 Seco 等[16]提出了醫學圖像檢索系統 Shangri-La，其設計重點是與文本相關的視覺信息的集成，通過集成圖像模態信息，檢索與視覺特征相似度較高的醫學圖像。

（3）元數據。該主題社區的高頻關鍵詞有metada? ta、library、indexing、digitization 等。作為非文本信息的文本化表達，元數據是多媒體信息檢索的重要工具。該主題社區主要關注多媒體信息元數據的標準制定、生成與質量評估、描述水平與資源可檢索性和可發現性、應用案例介紹等領域，也關注將元數據用于為多媒體信息編制索引。研究依托的背景主要是圖書館信息資源建設和多媒體信息（如歷史檔案、博物館藏品）的數字化過程。代表性研究如 Rezende 等[17]介紹了巴西利亞大學醫學院解剖博物館館藏的圖像信息的索引編制過程，分享了元數據的定義，其涉及自然歷史類型學、區域形態科學、專業人體解剖學三個領域的知識。

（4）檢索模型與框架。該主題社區的高頻關鍵詞有 web、model、framework、deep learning 等。該主題社區主要關注多媒體信息檢索模型與框架的構建，從建立基礎設施的角度出發，將信息特征抽取與表示、數據存儲、相關度計算等檢索全流程合并到統一的模型或框架中，并驗證其在檢索性能上的先進性。同時，這些研究提出的模型與框架普遍融合了深度學習和機器學習技術。代表性研究如 Wang 等[18]提出了一個文化遺產圖像綜合深度語義注釋框架，其通過將領域術語、本體、同義詞、分類法和自然語言集成到多級結構中來描述圖像，驗證結果表明該框架可以在細粒度上滿足文化遺產圖像語義豐富和檢索的需求。

（5）用戶體驗。該主題社區的高頻關鍵詞有behav? ior、digital libraries、users、design 等。用戶作為檢索的需求者與使用者，其檢索體驗是衡量檢索性能的重要標準，其檢索行為對檢索系統的改進有重要指導意義。該主題社區主要關注以用戶為中心，圍繞用戶開展的多媒體信息檢索研究，其目的是提升用戶的檢索體驗。這些研究的研究對象主要包括用戶檢索行為和檢索系統設計，其中檢索系統設計又分為交互設計和用戶界面設計兩方面。許多研究都以數字圖書館作為背景開展。代表性研究如 Albertson[19]提出了一個以用戶為中心的數字圖書館交互與界面設計框架，該框架概括了用戶在不同情況下檢索數字資源時的交互方式，并能指導和支持數字圖書館的資源設計決策。

2.3發展演進

2.3.1? 主題演進歷程

圖3展示了2013～2022年圖書情報領域多媒體信息檢索研究的主題演進歷程。總體而言，2013～2017年研究主題的持續性較弱，2017～2022年研究主題的持續性較好；在主題演進歷程中，新冠疫情、數字人文、主題檢索、交互性、深度學習等新興研究主題不斷涌現，這也印證了2.1節中對文獻量自2017年起呈逐年上升趨勢原因的推斷。

演進歷程中形成了“FRBRoo&本體論”“搜索引擎&評估”和“深度學習&機器學習”3個持續性較好的主題演進脈絡，且演進中發生了主題分化：“搜索引擎&評估”研究于2017年分化為“信息搜尋&社會網絡”研究和“文獻計量&信息科學”研究，表明了搜索引擎作為研究用戶檢索行為的重要工具的地位。此外，“深度學習&機器學習”演進脈絡于2021年演化為深度學習和大數據相關的研究，在與時興信息技術接軌的同時，其演進強度為0.4，為各演進脈絡中最高，具備持續演進的潛力。

最后，演進歷程中也存在若干中斷脈絡和孤立主題，如2013年出現的“數字圖書館&多媒體信息檢索”脈絡演進至2015年則終止；“動畫&查詢分析”主題的規模較大，但之后并未受到關注，這是由于其中包含的主題不再是領域中的熱點問題，或該主題的研究點被外界因素干擾而分散。

2.3.2 發展態勢

表征主題社區發展態勢的二維戰略圖如圖4所示，可以發現圖書情報領域多媒體信息檢索研究的各主題社區發展態勢對比鮮明：C2-圖像檢索位于第一象限，說明社區內部各主題的研究熱度很高，社區研究框架亦發展至一定程度。圖像檢索作為多媒體信息檢索的重要分支，是研究中的核心分支，且發展前景很好。 C3-元數據位于第二象限，且密度最高，發展最為成熟，但在多媒體信息檢索研究中受到的關注有限，說明元數據研究具有獨立的體系，與總體研究關聯較弱。C1-特征抽取與表示位于第三象限，平均中心度和密度都最低，說明研究處于邊緣化和體系松散的狀態，可能的原因是隨著多媒體信息檢索理論的發展和技術的進步，其包含的主題已經不再是研究熱點。C4-檢索模型與框架和 C5-用戶體驗位于第四象限，說明研究正在快速發展，內涵在不斷擴張，但主題社區內統一的理論框架仍有進一步完善的空間。

3結論與討論

研究基于主題結構發現的研究方法，利用復雜網絡計算、文本內容分析、科學知識圖譜和時序可視化等研究方法，分析圖書情報領域多媒體信息檢索的研究態勢，得到結論如下：

總體而言，2013～2022年圖書情報領域多媒體信息檢索的研究內涵逐步擴張，新冠疫情、數字人文、主題檢索、交互性、深度學習等新興的研究主題不斷涌現。

在主題結構上，整體研究的向心性較強，主題間具有顯著的聚合性與差異性，研究內涵范圍較大，體系有待完善。研究可分為五個主題社區：特征抽取與表示、圖像檢索、元數據、檢索模型與框架、用戶體驗。這些社區中的許多主題都涉及信息組織的原理與方法，表明了信息組織與信息檢索間緊密的繼承關系，信息的有序、規范化組織是進行高效檢索的前提。

在發展演進上，“深度學習&機器學習”演進脈絡與時興信息技術接軌，演進強度在各演進脈絡中最高，具備持續演進的潛力。圖像檢索是當前研究的核心，具有良好的發展前景。檢索模型與框架、用戶體驗研究正快速發展，內部統一的理論框架有可完善的空間。

基于不同領域的視角開展研究，有助于深入分析更復雜的問題和信息流。本研究幫助確定了圖書情報領域對多媒體信息檢索研究的關注點與貢獻，為研究人員理解圖書情報領域多媒體信息檢索的研究態勢，尤其是其主題結構和發展演進，提供了客觀且可靠的證據。

參考文獻：

[1] 馬費成，宋恩梅，趙一鳴.信息管理學基礎[M ].武漢：武漢大學出版社，2018：212-256.

[2]? Mooers C N. The theory of digital handling of non- numericalinformation and its implications to machine economics [ M ].Boston：Zator Company，1950.

[3]? Rusi?ol M，de las Heras L P，Terrades O R. Flowchart recogni?tion for non- textual information retrieval in patent search[J]. Information retrieval，2014，17（5）：545-562.

[4]? Hagen? C? B. A? Proposed? Information- retrieval? System? forSound Recordings[J].Special Libraries，1965，56（4）：223-228.

[5] 孫吉紅，劉偉成，焦玉英.多媒體信息檢索研究與展望[J].計算機應用研究，2008，25（3）：646-649.

[6] 薛向陽.多媒體信息檢索研究進展：從檢索到推薦再到生成[J].世界科學，2021，44（6）：29-31.

[7] 陳珊.國內多媒體信息檢索研究進展[J].清遠職業技術學院學報，2013，6（1）：69-73.

[8]? Eck N J V，Waltman L. Software Survey：VOSviewer，a Com?puter Program for Bibliometric Mapping[J]. Scientometrics，2010，84（2）：523-538.

[9]? Price D J. Citation measures of hard science，soft science，technology，and nonscience[J]. Communication among scien? tists and engineers，1970，1（1）：3-22.

[10] 田沛霖，趙蓉英，常茹茹，等.信息計量學研究的知識結構與發展態勢[J].情報科學，2022，40（7）：186-193.

[11]? Stegmann J，GrohmannG.Hypothesis generation guided byco-word clustering[J]. Scientometrics，2003，56（1）：111-135.

[12]? RosvallM，Bergstrom CT.Mappingchangeinlargenetworks[J].PloS one，2010，5（1）：e8694.

[13]? MacFarlane A，Missaoui S，Frankowska-Takhari S. On ma?chine learning and knowledge organisation in Multimedia In? formation Retrieval[C]//Proceedings of ISKO UK Sixth Bi? ennial Conference ：The Human Position in an ArtificialWorld：Creativity，Ethics and AI in Knowledge Organiza? tion. Nomos Verlagsgesellschaft，2020，47（1）：45-55.

[14]? Dias D C，Moreira W，Alves R C V. The thematic represen?tation of NASA digital images on Flickr the contributions of knowledge organization systems [J]. Rdbci- revista Digital de Biblioteconomia e Ciencia da Informacao，2020，18（1）： e020011.

[15]? Choi Y. Analysis of image search queries on the web：Querymodification patterns and semantic attributes[J]. Journal of the American Society for Information Science and Technolo ? gy，2013，64（7）：1423-1441.

[16]? Seco de Herrera A G，Schaer R，Müller H. Shangri –La：Amedical case –based retrieval tool[J]. Journal of the Associa? tion for Information Science and Technology，2017，68（11）：2587-2601.

[17]? Rezende L C，Ferreira J R，Manini M P. Index of digital im?ages anatomical：incorporation of a written for imagery[J]. Biblios：Journal of Librarianship and Information Science，2019，24（2）：27-37.

[18]? Wang X，Song N，Liu X，et al. Data modeling and evaluationof deep semantic annotation for cultural heritage images[J]. Journal of Documentation，2021，77（4）：906-925.

[19]? Albertson D. An interaction and interface design frameworkfor video digital libraries [J]. Journal of documentation，2013，69（5）：667-692.