視覺語言模型在數字圖像檔案智能檢索中的應用研究

摘 要：隨著數字圖像檔案數量的急劇增長，如何高效、準確地檢索這些檔案成為研究熱點。人工智能技術迅猛發展，其在檔案領域的模型應用日益受到關注。文章聚焦于視覺語言模型Florence-2，探討其在數字圖像檔案智能檢索中的應用。詳細闡述了模型架構、特點及優勢，分析了其在數字圖像檔案智能檢索中的關鍵應用方式，為檔案信息的深層加工和利用提供了新的技術路徑。本研究旨在為數字圖像檔案智能檢索提供新的思路和方法，深化和集成應用業務環節，探索人工智能與檔案信息管理的深度融合。

關鍵詞：數字圖像檔案；視覺語言模型；Florence-2；智能檢索

中圖分類號：G270.7 文獻標識碼：A

數字檔案作為檔案事業在數字化時代的重要發展形勢，涵蓋了各種類型的信息，其中數字圖像檔案作為重要的信息資源，如何高效地管理和利用這些檔案成為一個亟待解決的問題。在數字檔案館乃至智慧檔案館的建設背景下，需要不斷融入人工智能技術，以追求更加智能化的檔案管理與服務。

視覺語言模型作為人工智能領域極具發展潛力的一個重要分支，有機融合了計算機視覺和自然語言處理兩項關鍵技術。其核心目標在于賦予計算機理解圖像與語言之間內在關系的能力，進而使其能夠根據圖像生成與之對應的準確描述、針對相關問題給出合理回答或者執行其他一系列相關任務。視覺語言模型的發展為數字圖像檔案管理領域帶來了前所未有的新機遇。在此背景下，深入探究如何充分利用視覺語言模型的強大功能，實現對數字圖像檔案內容的深度理解，進而為信息資源管理注入新的活力、提供強大的技術支撐，已成為檔案學領域一個亟待深入研究的重要課題。

一、數字圖像檔案存儲與檢索的研究現狀

在當今時代，圖像采集設備愈發廣泛地融入人們的生活，圖像生成技術持續推陳出新，數字圖像檔案信息的數量呈現爆發式增長的態勢。在當前數字圖像檔案管理的實際情況中，面對如此龐大且不斷增加的非文本信息，如何對其系統、有序地組織，進而實現靈活且高效的管理，最終能夠快速、精準地根據用戶的需求完成信息的檢索和輸出，已然成為現代檔案管理工作中備受關注的焦點問題之一。

在探索解決這一問題的過程中，我們注意到近年來數據存儲技術的發展。其中，非結構化數據庫在應對海量且多樣化的數據存儲方面展現了顯著的優勢。它能夠根據實際的存儲需求，動態地擴展自身的存儲容量，這一特性恰好滿足了大型文化機構和檔案館對不斷增長的數據存儲要求。更重要的是，與傳統的結構化數據庫相比，非結構化數據庫在處理復雜、多樣化的數據時，無須耗費大量精力實行數據轉換以及模式匹配等工作，從而有效地降低了數據管理過程中的成本。

在檢索方法方面，傳統方式存在諸多難以克服的局限。首先是手工特征提取方式，該方式高度依賴人工操作，工作人員需逐個對圖像執行特征標注與提取工作。這一過程不僅工作量龐大，還極易受人為因素干擾，致使準確性與效率均處于較低水平。面對大規模圖像檢索需求時，手工特征提取方式往往顯得捉襟見肘，難以迅速、精準地提供所需信息。其次，基于文本標注的檢索方式雖在一定程度上提升了檢索效率，但也暴露出嚴重問題。鑒于文本標注主觀性較強，不同標注人員對同一圖像可能給出不同標注結果，致使標注不一致的現象頻繁發生。此外，該方式無法對未進行文本標注的圖像實施檢索，這極大地限制了檢索的范圍與效果。在傳統圖像檢索方式面臨諸多挑戰的背景下，基于內容的圖像檢索（CBIR）技術應運而生。它主要通過提取圖像顏色、紋理、形狀等底層視覺特征，并借助相似性度量算法來實現圖像檢索。隨著深度學習技術迅猛發展，基于卷積神經網絡（CNN）的特征提取方法在CBIR領域成績斐然。CNN能夠自動學習圖像高級特征，大幅提升了檢索的準確性與效率。然而，即便取得這些進展，在實際應用場景中，單一模態的圖像檢索依然暴露出諸多局限。例如，信息獲取不全面、語義理解不準確以及檢索方式不靈活等問題。鑒于此，跨模態檢索作為一個關鍵研究方向逐漸成為焦點。跨模態檢索致力于實現不同模態數據（如圖像與文本）間的有效關聯與檢索。不過，當前這一領域面臨著諸多棘手難題。以語義鴻溝問題為例，圖像和文本所承載的語義之間存在較大差異，這使得在跨模態檢索時，精準匹配變得極為困難。再如模態差異問題，不同模態數據在特征表示和處理方式上大相徑庭，像圖像以像素矩陣表示，而文本以詞向量表示，這種差異極大地增加了跨模態檢索的復雜度。現階段，新模型與新算法持續大量涌現，技術融合以及領域融合逐漸成為顯著的發展趨勢。人工智能領域的研究正朝著更大規模和更多模態的方向不斷邁進。在此背景下，微軟開源了通用視覺語言模型Florence-2，該多模態模型能夠執行超過6種不同的視覺任務，不僅提供圖像描述生成、目標檢測、圖像分割和光學字符識別等細分任務，還能夠根據用戶文本輸入實現視覺問答。本文將利用Florence-2模型構建數字圖像檔案檢索架構，利用其強大的看懂圖像的能力，積極探索人工智能應用于數字圖像檢索的任務。

二、 Florence-2視覺語言模型概述

1.模型架構

如圖1所示，Florence-2采用序列到序列（Seq2Seq）的架構，能夠以圖像和文本作為輸入，并輸出不同任務的文本結果。其結構包括DaViT（數據高效視覺轉換器）視覺編碼器和BERT文本編碼器，其中DaViT視覺編碼器負責提取圖像的特征，將圖像信息轉化為適合模型處理的向量表示。BERT文本編碼器則對輸入的文本信息進行編碼，捕捉文本的語義信息。將兩者的輸出連接后通過標準編碼器-解碼器Transformer同時處理視覺和語言標記嵌入，通過其自注意力機制實現多模態信息的融合。這種融合使得模型能夠更好地理解和生成與視覺內容相關的文本。

2. 模型特點

（1）多模態融合。Florence-2能夠有效融合圖像和文本兩種模態的信息，實現對圖像內容的更深入理解。例如，在數字圖像檔案中，不僅可以利用圖像語義，還可以關聯OCR任務提取的文字信息，形成更為豐富、準確的描述，進而提高檢索的準確性。

（2）靈活性高。該模型采用基于提示的方法，用戶可以通過簡單的文本提示來引導模型完成不同的任務，無編寫復雜的代碼，使得Florence-2的使用變得非常友好，降低了上手門檻。在數字圖像檔案智能檢索中，可以根據用戶的查詢需求設計相應的提示，使模型能夠更精準地定位和檢索相關的數字圖像檔案。

（3）廣泛的知識基礎和強大的泛化能力。Florence-2利用龐大的FLD-5B數據集開展訓練，該數據集包含1.26億張圖像和54億個文本標注。豐富的數據資源使模型能夠學習到更廣泛的圖像和文本知識，增強了模型的泛化能力和對各種任務的適應能力，對于既想使用模型能力，又欠缺訓練模型所需資源的使用者來說尤其具有吸引力。

3. 模型優勢

（1）強大的多任務處理和組合能力。Florence-2能夠處理復雜的視覺和視覺語言任務，無須針對每個任務單獨訓練模型，并且不同任務可以組合使用，在數字圖像檔案智能檢索中，這些多任務能力的結合可以幫助模型更好地理解圖像內容，提取關鍵信息，從而提高檢索的效率和準確性。

（2）模型性能指標出色。在多種任務測試中表現卓越，以Florence-2-large版本模型為例，在COCO圖像描述任務中，其CIDEr得分達135.6。CIDEr能反映模型圖像理解與語言生成能力，高分表明該模型理解圖像深刻，語言描述質量高。在COCO目標檢測任務中，mAP得分為37.5。mAP綜合考量檢測準確性和召回率，此得分體現模型在目標檢測方面精準度高、全面性強，能準確識別定位圖像中各類目標，展現出在圖像理解、目標檢測等方面的強大實力。

（3）零樣本和微調性能出色。模型在零樣本和微調場景中表現出色。在零樣本情況下，模型可以直接根據已有的知識和訓練經驗對新的任務展開處理；在微調場景中，通過對少量數據實行微調，可以快速適應特定的任務需求，進一步提升性能。

（4）使用便捷且適應性強。Florence-2模型通過提供詳細的文檔和示例代碼、封裝預處理和后處理步驟以及支持float16精度等特性，展現了良好的易用性、高效性和對不同硬件環境的適應性，為用戶在實際應用中帶來了便利，具有較高的應用價值。

三、基于Florence-2的檢索模式設計

1.檢索模式的整體架構規劃

基于Florence-2的檢索模式設計旨在構建一個高效、準確且靈活的圖像檢索系統，以滿足用戶在大規模圖像數據中快速獲取相關信息的需求。為實現這一目標，設計過程遵循了以下原則：

（1）模塊化原則。將檢索模式劃分為多個相互獨立又緊密協作的模塊，每個模塊負責特定的功能，如用戶交互、數據處理、模型推理和數據存儲等。這種模塊化設計有助于提升系統的可維護性和可擴展性，方便后續對單個模塊優化和升級，不會影響整個系統的運行。

（2）高效性原則。注重系統的檢索效率，通過優化數據處理流程、采用高效的算法和數據結構以及合理分配系統資源，確保在處理大量圖像數據時能夠快速響應用戶的檢索請求，提供實時的檢索結果。

（3）可拓展性原則。考慮到未來圖像數據量的增長和系統功能的擴展需求，架構設計應具備良好的可擴展性。例如，能方便添加新的圖像數據源、支持更多類型的檢索方式以及在不影響現有系統性能的前提下實現系統升級和擴展。

2.檢索應用架構詳細設計

基于上述設計目標和原則，如圖2所示，檢索模式整體架構采用分層設計思想，主要分為用戶交互層、應用服務層、模型推理層和數據存儲層。各層之間通過清晰定義的接口開展通信和數據交互，形成一個有機的整體。

（1）模型推理層。該層在整個檢索系統中扮演著至關重要的角色，宛如系統的“眼睛”與“大腦”。當外部的增量圖像傳入后，便會進入Florence-2模型處理流程。Florence-2模型具備卓越的目標檢測能力，能夠精準識別圖像中的各類物體，并清晰標注出它們所在的位置。值得一提的是，對于那些包含文字的圖片，其中的文字往往蘊含著檢索所需的關鍵信息。此時，可借助模型先進的光學字符識別能力，將圖片內的文字準確提取出來。然后，結合先前的目標檢測結果，生成關于該圖片詳盡細致的描述。在此基礎上，進一步深入挖掘提取其中的關鍵詞，生成標簽數據，并精確計算出各個標簽的權重。通過這一系列操作，成功建立圖像與標簽之間緊密的對應關系。最終，將這些經過精心處理的結果數據插入Redis數據庫中，以便后續高效調用。

（2）數據存儲層。數據存儲層選用Redis作為核心存儲工具，主要用于存儲圖像與標簽之間的對應關系信息，從而為高效檢索提供有力支持。Redis作為一款優秀的非結構化數據庫，具有諸多顯著優勢。它不僅具備高性能的數據處理能力，能快速響應用戶請求，還擁有豐富多樣的數據結構，可靈活地適應各種存儲需求。此外，Redis 支持持久化功能，確保數據在系統意外中斷時也能得到妥善保存。同時，它還能作為緩存使用，有效提升系統的整體運行效率。并且，Redis 對分布式架構的良好支持，使其能夠輕松應對大規模數據存儲和高并發訪問的場景。

（3）應用服務層。接收用戶交互層的查詢請求并展開相應處理，如將用戶輸入的查詢指令分解，提取關鍵詞或者語義糾正。對數據存儲層返回的查詢結果也需要處理，如數據格式轉換、數據關聯和組合等，并將最終結果返回給用戶交互層。

（4）用戶交互層。用戶通過該層提交圖像檢索請求，接收應用服務層返回的查詢結果，并排序和展示給用戶。

四、總結

本文提出了一種使用視覺語言模型賦能數字圖像檔案檢索的新模式，充分利用視覺語言模型的多模態融合能力，深入挖掘檔案信息的潛在價值，有助于檔案信息的深層加工和利用。我們正置身于人工智能迅猛發展的浪潮之中，新模型在圖像理解、識別以及描述等方面已經取得了令人矚目的豐碩成果，如果與之有效結合，一方面，數字圖像檔案檢索的查全率與查準率將得到顯著提升，使得用戶能夠更加全面和準確地獲取所需的圖像檔案；另一方面，這也為檔案資源的智慧化管理與利用帶來了前所未有的新契機，有力地推動檔案事業朝著創新、高效的方向蓬勃發展。

參考文獻：

[1]祁天嬌，曹 宇，傅曉丹，等.“十四五”時期檔案資源智慧化轉型研究[J].檔案學通訊，2021（06）：96-98.

[2]潘未梅，馬林青.國際檔案領域人工智能研究進展分析及啟示[J].浙江檔案，2024（04）：21-27.

[3]贠疆鵬，加小雙，王 妍.人工智能在我國檔案管理中的應用現狀與對策分析[J].檔案與建設，2023（02）：62-65.

[4]Bin Xiao， Haiping Wu， Weijian Xu， Xiyang Dai， Houdong Hu， Yumao Lu， Michael Zeng， Ce Liu， Lu Yuan. Florence-2： Advancing a Unified Representation for a Variety of Vision Tasks[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， June 2024， pp. 4818-4829.

[5]張 力，陳 康，孫光輝.實值無標簽圖文跨模態檢索研究綜述 [J].哈爾濱工業大學學報，2024，56（09）：1-16.

作者單位：中國人民大學