面向數字人文的圖像數據基礎設施建設研究
——以我國圖博檔領域為視角*

顏 佳 楊 敏 彭 梅

（上海圖書館 上海 200031）

1 引言

1.1 背景

數字圖像和文本一樣，是人類文化記憶的重要資源載體和表現形式。圖書館、博物館、檔案館（簡稱圖博檔）作為相似的公共文化機構，具有相似的使命責任，例如保護文化遺產、保存與提供信息資源等[1]。在圖博檔領域，數字圖像往往以數字化的歷史文獻、檔案、手稿、文物照片等形式出現，是對人文歷史事件的真實記錄。但是和文本相比，當前對數字圖像的研究還比較少。雖然過去十多年的數字典藏與數字圖書館計劃，將大量的圖像資源數字化并建成數據庫，但是由于數字圖像受限于其語義內容難以揭示、跨機構之間的資源難以互通等困難，圖博檔對圖像資源的發現、比較、引用、再利用、交換等均存在障礙。

我國圖博檔領域對數字圖像的研究，從上世紀90年代便逐漸開展，之后隨著館藏數字化建設、文化遺產數字化、大數據、機器學習等研究的興起，圖博檔對數字圖像的研究也在不斷推進。尤其是近年來數字人文研究的發展，革新了人文社科領域的研究范式，使數據成為一種支持研究、創新、服務大眾的新型資源，也由此引發了圖博檔等文化機構建設數據基礎設施的需求。圖像數據建設作為數字人文基礎建設的重要組成部分，更是得到業界空前的重視。為了厘清我國圖博檔領域數字圖像發展脈絡，找出其研究進展與趨勢，筆者擬對我國圖博檔領域圖像數據基礎設施建設的學術文獻進行分析，借助CiteSpace、VOSviewer等科學計量與可視化分析工具[2]，探討未來圖像數據基礎設施建設的發展方向，為我國圖博檔領域的圖像內容揭示、文化遺產建設、數字人文基礎設施建設提供參考和借鑒。

1.2 數字人文基礎設施與圖像數據基礎設施

在我國圖博檔領域，數字人文基礎設施建設實際開展較早，如上世紀末各大圖書館就已經著手建設的數字圖書館項目可以算作數字人文基礎設施的一部分，其他如中國高等教育文獻保障系統（CALIS）、大學數字圖書館國際合作計劃（CADAL）等跨機構的文獻資源合作建設項目也可以納入數字人文基礎設施建設的范圍。而國內完整闡述數字人文基礎設施建設這一概念的，當屬劉煒在2016年發表的《面向人文研究的國家數據基礎設施建設》[3]。該文將數字人文的基礎設施定義成為人文研究提供資源、工具、網絡空間的研究基礎設施（research infrastructure），具體指在數字環境下為開展人文研究而必須具備的基本條件，包括全球范圍內與研究主題相關的所有文獻、數據、相關軟件工具、學術交流和出版的公用設施及相關服務等。與一般性的公共基礎設施相似，數字人文基礎設施同樣具有公共性、開放性、可持續性等特點，這使得圖博檔這類伴隨人類文明進步的公共文化機構參與數字人文基礎設施建設有著天然的可能性。

圖像數據基礎設施作為數字人文基礎設施的一部分，一般情況下，我們可以認為其特指數字人文基礎設施中的圖像數據的建設及相關服務。圖像數據基礎設施中提到的數據并不特指單一的圖像數據庫，而是一種數據規模大、覆蓋時間長、地域范圍廣、描述粒度小、維度多的介于信息基礎設施后臺和特定領域研究前臺之間的數據中臺[4]。它不僅包含帶有圖像檢索服務的文獻知識庫，還包含基于資源對象和數據單元層面的基礎知識庫，同時這些圖像數據可以支持跨機構的共建共享與跨網域的開放互聯。因此討論我國圖博檔領域對圖像數據基礎設施的研究關系到圖像數字化技術、圖像文本化技術、數字圖像的知識表示、數字圖像互聯與共享、圖像知識庫構建等多個環節。

2 數據來源與研究方法

文章的數據來源于中國知網（CNKI）數據庫，該數據庫為我國最大的、連續更新的綜合性文獻數據庫，能夠較為全面地反映我國關于數字圖像的研究情況。筆者以篇名=“圖像”or篇名=“數字人文”為條件進行檢索，共得到圖書情報與數字圖書館、檔案及博物館類目下的所有核心文獻814篇，其中以“圖像”為題的文章440篇，以“數字人文”為題的388篇，而同時包含“圖像”和“數字人文”文章僅12篇（表1）。考慮到本文研究的對象為圖像數據的基礎設施建設，包含圖像數字化、文本化、結構化、語義化建設等多個環節，因此盡管很多圖像研究的文章主題中并無數字人文，但仍可作為圖像基礎設施建設的一部分，而檢索詞為“數字人文”的文章得出的結論多是關于數字人文的相關分析，范圍更為寬泛。因此，為了對我國圖博檔領域圖像數據基礎設施建設進行系統的梳理，對其未來發展趨勢和方向提供針對性的指導建議，本文最終選取“圖像”為檢索詞的440篇核心文獻，采集數據的時間為2020年9月12日。

表1 檢索詞及相關文獻數量

文章采用信息計量學的方法，以定量分析為主，并借助科學文本挖掘及可視化軟件形象地展示圖像數據基礎設施建設進展及前沿。文章采用的具體分析方法為：定量統計分析，以期獲得圖像數據基礎設施建設的進展情況；詞頻分析，通過在文獻信息中提取能夠表達核心內容的關鍵詞頻次的高低分布來研究該領域發展動向和研究熱點；可視化網絡及自動生成的結果解讀，通過分析重要的可視化網絡節點、時間、主題內容等來確定主要學者、機構、研究前沿、熱點等，為今后在該領域進行學術資源引進、開展合作提供支撐。

3 研究時間與科研合作網絡分析

3.1 圖像數據基礎設施建設研究的時間分布

通過統計某學科的文獻數量及其變化情況，來分析研究該學科的發展及其趨勢是文獻計量學的基本方法之一[5]。圖1中的曲線展示了發表的文獻數量隨時間變化的情況。我國圖博檔領域關于數字圖像的研究最早可以追溯到1993年，為韓建新發表的關于圖像數據庫和圖像檢索的研究論文[6]。在1993到2001年，相關文獻數量每年不超過10篇，說明我國圖博檔領域對數字圖像的研究剛剛起步，研究內容也主要集中在圖像的數字化采集加工、圖像數據庫的建設與檢索等方面。2001年以后，關于數字圖像研究的文獻數量有了較大提升，每年的發文量保持在20篇左右，探究其背后的原因與當時互聯網尤其是語義網的快速發展有關。20世紀末，萬維網之父蒂姆·伯納斯·李提出了語義網（semantic web）的概念[7]，在此背景下，關于數字圖像語義標注和知識本體等的研究也逐漸增多，我國圖博檔領域圖像數據基礎設施建設的熱點逐漸由數字化技術向圖像內容的深度標注、圖像語義本體的建設等方向轉換。

圖1 圖像數據基礎設施建設文獻時間分布

3.2 圖像數據基礎設施建設的科研合作網絡分布

筆者對所獲取的文獻機構進行統計，440篇文章共有機構192家。按照普萊斯定律[8]，核心機構的數量等于全部機構總數的平方根，因此192家機構中核心機構約14家，文章取其中位列前10的機構進行考察（表2）。通過表2可以看出圖博檔領域有關數字圖像的研究機構主要以各個大學及科研院所為主。其中武漢大學占有較大優勢，其次為南京大學、中國科學院、華中師范大學等。值得一提的是，上海圖書館非高校或研究機構，同樣占有一席之地，這與上海圖書館數字人文團隊近年來發表了大量的研究成果有較大關系。同時筆者關注到，作為擁有大量數字圖像資源的博物館、檔案館等文化記憶機構，在整個研究成果中占比較低。

表2 圖像數據基礎設施建設研究前十高產作者及機構

同樣，我們對文獻的作者進行了統計，440篇文獻共有作者791名，根據普萊斯定律，核心作者為28名，合作完成文章268篇，合作度為1.79，合作率為61%。為了方便讀者直觀地了解相關合作情況，文章借助CiteSpace來對作者合作網絡進行展示。筆者將440篇文章導入CiteSpace（版本CiteSpace5.6R5）中，時間跨度為1993—2020年，時間切片為1，各時間切片閾值為TOP50，此時的Nodes Types選擇Author，網絡連線強度計算用Cosine算法，網絡不使用裁剪方法，得到作者合作網絡圖譜（圖2）。該圖譜共獲得節點499個，連線352條，網絡密度為0.0028，可見作者合作相對較為分散，以小團體居多。通過繪制作者合作圖譜，我們找出了主要的合作團隊，其中最大的來自武漢大學數字人文研究中心王曉光帶領的團隊，成員有李綱、徐雷、侯西龍等21名，研究成果從2013年延續至今，研究內容為數字人文視域下的“數字敦煌”項目。該項目建立了壁畫主題詞表及關聯數據服務平臺、文化遺產圖像交互式數字系統等，是我國圖博檔領域數字圖像研究的成功案例，具有很強的示范作用[9-10]。其次為來自武漢大學圖書情報與數字圖書館的陸偉、陸泉等所在的團隊，共有成員12名，成果發布時間為2009年到2017年，研究內容主要為圖像的語義標注。第三為來自南京大學計算機軟件學院的朱學芳團隊，共有成員12名，成果發布時間為2002年到2013年，研究內容主要為圖像數字化、檔案數字化、圖像特征提取、基于內容的圖像檢索等。值得一提的是由上海圖書館陳濤、上海大學張永娟等組成的團隊，共有成員9名，主要研究成果集中在近兩年，其研究內容包括數字人文圖像資源語義化建設的框架、國際圖像互操作框架（International Image Interoperability Framework，IIIF)等，代表了我國圖博檔領域圖像研究在未來的發展趨勢。

圖2 圖像數據基礎設施建設研究高產作者合作網絡

4 圖像數據基礎設施建設研究進展分析

詞頻分析是指對一組文章中的關鍵詞出現的次數進行統計分析，一般情況下，關鍵詞出現的次數越多，越能反映文章所表達的主要觀點。筆者對我國圖博檔領域圖像數據基礎設施建設的關鍵詞詞頻進行統計分析，并結合詞匯的中介中心性（測度節點重要性的指標，中介中心性越高，節點重要性越大），得到高頻關鍵詞列表（表3），并通過CiteSpace構建關鍵詞共現網絡。由于CiteSpace的可視化視圖效果較為有限，因此文章借助可視化知識圖譜軟件VOSviewer繪制關鍵詞共現網絡（圖3），得出了當前圖像數據基礎設施建設研究的主要進展。

表3 圖像數據基礎設施建設研究高頻關鍵詞列表（前25位）

通過高頻關鍵詞表和關鍵詞共現網絡，我們可以看到我國圖博檔領域關于圖像數據基礎設施建設研究的核心詞匯包括基于內容的圖像檢索、數字圖書館、語義標注、圖像數字化、元數據等，然后以圖像數字化、元數據與語義標注、數字人文與知識圖譜為核心分成了4塊核心區域，同時還包含光學字符識別、照片檔案數字化等外圍概念。文章將基于以上4塊核心區域分別介紹相關的研究進展。

圖3 圖像數據基礎設施建設研究關鍵詞共現網絡

4.1 從實體到數字圖像的技術性探討

如何利用信息技術將實體轉化為數字圖像，其中涉及諸多技術問題，在這一領域也有很多探討，包括實體修復、圖像采集、圖像識別、圖像處理、圖像標準化加工等等，最終實現保護性利用與開發。如李升所撰寫的《敦煌壁畫的數字化保護與傳播研究》一文討論了敦煌壁畫的數字化輔助修復技術、智能化交互的壁畫臨摹輔助技術以及壁畫色彩虛擬復原技術等在敦煌壁畫數字化過程中的應用[11]；彭韻華在《平面圖像數位化之品質控制因素分析》中對影響平面圖像質量的諸多因素進行了分析和探討[12]；錢錚等在《民國期刊數字化建設中圖像傾斜度問題研究》中對近代報刊圖像在數字圖像采集中的掃描及處理技術進行了探討，為業內進行近代報刊圖像的數字化掃描與加工提供了實踐案例[13]。

4.2 關于圖像數字資源的描述、分類及元數據等問題的研究

對圖像數字資源的特征進行提取、描述、分類進而實現多層次的標引是滿足用戶多維度檢索需求和實現圖像知識檢索的重要前提，因此對這一問題的研究是整個圖像數字資源服務提升的關鍵所在。

在圖像分類方法的研究上，基于卷積神經網絡圖像分類算法 、RGB-D圖像分類方法 、圖像語義分類等的研究是非常豐富的。國外比較通行的圖像主題詞表“ICONCLASS”則是專為藝術和圖像設計的分類主題詞表，它是在描述和檢索圖像（藝術作品、書籍插圖、復制品、照片等）主題方面最廣為人知的科學工具，被世界各地的博物館和藝術機構所使用[14]。由張弘星團隊參考“ICONCLASS”主題詞表的構建形式，設計出的符合中文圖像的“中國圖像志索引典”（Chinese Iconography Thesaurus，CIT）項目，構建了一套索引典系統，收錄詞匯約有11 000個，分為7個大類[15]。

在圖像元數據標準方面，國外有IPTC 、VRA Core、MOA2、CDL、NISO/CLIR/RLG 等，我國則結合特定資源并在通用元數據標準上進行修改和完善，如鄭巧英等編著的《國家圖書館圖像資源元數據規范和著錄規則》[16]，肖瓏等編著的《國家圖書館輿圖元數據規范與著錄規則》[17]等。

從2011年開始，圖像的語義標注開始逐漸興起，學者陳金菊等對數字圖像語義模型進行了比較與分析，歸納出Eakins模型、Jaimes&Chang模型、Kong模型及Panofsky模型，并比較其在語義層次、可擴展性及應用場景方面的特點[18]；李旭暉等提出了基于角色關聯的敘事型文化遺產知識表示方法，提出了多粒度、多角度的語義數據模型[19]。在實證研究方面，王曉光等基于Eakins模型提出了一個敦煌壁畫數字圖像語義描述層次模型[9]52-56；徐雷等對敘述性圖像語義標注模型進行了研究，結合開放標注協同框架（OAC）實現了基于本體的語義標注模型，并通過敦煌壁畫的案例實踐提出其模型的應用前景[20]；曾子明等提出一種面向數字人文的圖像語義描述模式，并基于國家圖書館老照片數據進行實驗論證[21]。

4.3 圖像檢索研究

我國圖博檔領域對圖像檢索的研究主要包括圖像內容特征提取的各類算法、圖像匹配查找技術、圖像檢索結果優化技術等。目前常用的圖像檢索技術多利用計算機算法提取視覺特征來對數字圖像進行描述，這些做法較難滿足圖博檔機構對數字圖像檢索的要求，主要問題在于圖博檔機構的數字圖像語義信息較多，利用通用的數字圖像學方法提取語義信息容易導致明顯的錯誤，因此圖博檔機構對圖像檢索的研究主要是為了解決特定領域內圖像的語義特征提取及檢索問題。田學東等利用卷積神經網絡技術構建了適用于古籍漢字圖像的CNN模型，以提高圖像檢索的準確率[22]；針對醫學圖像基于內容檢索的深度要求而語義描述框架又僅僅是對象層面描述的難題，丁恒等利用語義標注模型實現醫學圖像領域的語義描述與自動標注[23]；鄧三鴻等利用在圖像語義描述框架中增加社會標簽的機制，滿足了博物館圖像檢索中對深層次語義表達的檢索需求，繼而提高了圖像檢索的效率[24]。

4.4 數字圖像與數字人文

數字人文的研究中，圖像可作為一種重要的研究資料，不僅僅包括人文研究的歷史原照還包括各種數字化后的圖像文獻、文物照片、繪畫掃描件等。圖像基礎設施的建設將改變并逐步形成新的人文研究范式，實現人文研究范式的全面改革，為新文科建設提供有力的支撐。我國圖博檔領域將數字人文研究中的新興、熱門技術應用于圖像數據基礎設施建設中，如關聯數據、深度學習、眾包、自然語言處理、知識圖譜、國際圖像互操作框架等。徐芳等基于關聯數據對文化遺產的數字化保護進行了研究綜述，發現基于關聯數據的對象化的知識標識手段是下一步文化遺產內容揭示的有利途徑[25]；楊冠燦等分析了人文研究的深度需求，對京劇臉譜圖案的數字化保護提出具體的方案，并利用“北京記憶-京劇臉譜”網站案例進行了實證研究[26]；陳濤等討論了數字人文中圖像資源的語義化標注研究和語義化建設框架，提出了一套圖像資源語義化框架設計的方案，將關聯數據、IIIF與語義標注相結合，推動圖博檔資源在信息化、數字化、語義化方面的創新轉型[27-28]。

5 下一步的發展趨勢

在CiteSpace中，某個領域所包含的突發節點越多，那么該領域就越活躍或是研究的新興趨勢。共現時區視圖（Time View）是將相同時間內的節點集合在了相同的時區中，清晰地展示時間維度上知識領域的演進過程[29]。因此，我國圖博檔領域圖像數據基礎設施建設的新興趨勢，可以通過繪制關鍵詞突變表和關鍵詞共現時區視圖來（圖4—5）揭示。結合這兩張圖表，我們可以發現隨著時間的演進，語義標注、移動視覺搜索、大數據、關聯數據、國際圖像互操作框架和數字人文逐漸成為當前領域的活躍關鍵詞，因此我們從以下4個方向對下一階段圖博檔領域圖像語義標注的趨勢進行梳理。

5.1 解決語義鴻溝依舊是核心關鍵——圖像語義標注的再發展

圖4 圖像數據基礎設施建設研究關鍵詞突變表

圖5 圖像數據基礎設施建設研究關鍵詞共現時區視圖

我們通過圖4中數字圖像領域的關鍵詞突變表可以看出，語義標注的突變強度高達11.1276，表明圖像的語義標注仍然為當前研究的新興趨勢，具備很高的活躍度。曾蕾等在《圖檔博領域的智慧數據及其在數字人文研究中的角色》中指出，語義化表示的標注信息與圖像本身一同構成了圖像智慧數據資源，對語義檢索、細粒度內容資源集成、知識發現、跨模態認知計算、深度學習等計算機處理形成了資源支撐[30]。

未來，圖像的語義標注將呈現如下三個特征：第一，結合受控術語或本體，建立適合特定領域的語義標注模型。如敦煌壁畫的語義描述模型、“中研院”的佛教石窟圖像分類標注系統、民國報紙廣告圖像資源標注模型[31]等，這些都是對特定領域圖像資源特點進行描述。第二，語義標注與IIIF、關聯數據、眾包等其他數字人文技術、圖像標準相結合。由于IIIF并不包括語義標注標準模型，因此將圖像的語義標注與國際圖像互操作框架相結合，可以實現通用的圖像資源語義化建設。如陳濤等在其著作《數字人文中圖像資源的語義化標注研究》[27]7-8中就以IIIF為框架，以關聯數據、語義網技術為支撐，建立了語義知識（本體）管理平臺。第三，利用深度學習技術、卷積神經網絡推動自動圖像標注技術的發展。如王仁武等在《圖片情感分析研究綜述》中指出，隨著圖片情感分析粒度的細化,下一步的研究方向是深度學習算法和標注方式的優化;同時,加快帶有情感標簽圖片數據集的開放進程,可以更好地推動該領域研究的不斷深入[32]。李志義等在《基于深度學習CNN模型的圖像情感特征抽取研究》中提出了一種基于深度學習的圖像情感特征抽取的算法，將圖像底層特征融合到圖像的高層情感語義當中，應用改進的卷積神經網絡模型，實現了對圖像情感特征的提取[33]。

5.2 數字圖像語義化建設的關鍵技術——IIIF

IIIF在2015年由美國斯坦福大學的研究人員首先提出，核心是一組API解決數字化圖像尤其是高精度數字化圖像的查看、比較、標注、開放、共享等問題。由于針對的是高精度圖像，因此迅速在國外的文化記憶機構中得到了廣泛的應用。歐洲文化圖書館（Europeana）是歐洲的數字文化遺產平臺，鼓勵其合作伙伴網絡（包括圖書館、檔案館、博物館）提供高質量的內容，并為此調整了基礎設施，以便能夠處理IIIF資源。目前，遵循第一個IIIF標準的數據集可以在歐洲文化圖書館數據集（Europeana Collections）門戶網站上訪問。法國數字人文中心的圣經文獻（Biblissima）項目，重點是展示中世紀和文藝復興時期的書面文化遺產，目前支持同時顯示在多個機構托管的內容，并將越來越多地提供對法語內容的訪問。在這樣的背景下，我國也有多個機構利用IIIF中的圖像API和呈現API來進行大量全文圖像資源的展示，如上海圖書館的家譜、古籍、紅色文獻等文獻知識庫，華東師范大學的地方志數據庫等。

5.3 數字圖像與人文研究的互動與實踐——圖像智慧數據建設

數字人文基礎設施被視為一種支持數字人文研究活動的“研究基礎設施（research infrastructure）”，包括數字化的文獻資源、數據庫、工具平臺、支持知識生產和信息交流的網絡空間等。數字人文基礎設施建設的公共性、開放性與持續性等特點，決定了圖博檔等公共文化機構將成為其主要責任主體，致力于資源保存、文化傳承與知識整序。

數字圖像作為數字人文數據基礎設施中文獻資源與數據庫的主要部分，有待圖書館、博物館、檔案館等文化記憶機構打破原有的壁壘，將所藏資源與已建平臺等聯合起來，遵循統一的技術規范，依托關聯數據的優勢，利用HTTPURI來作為唯一表示和定位的統一資源標識符，最終實現資源跨機構的共建共享。利用數字圖像語義描述框架、知識本體、知識圖譜、語義網等概念加強知識的表示與知識建模，以支持對圖像內容細粒度的揭示。

在新型數字化技術以及語義網、人工智能等現代信息技術的推動下，圖像庫的建設在內容上結合領域主題詞表進行語義描述，在技術上與關聯數據技術、數字人文、知識圖譜技術相結合，并由此催生了一批圖檔博機構主導的、優質的數據庫。比如英國瓦爾堡研究院（Warburg Institute）的“圖像文獻庫”、普林斯頓大學（Princeton University）的“中世紀藝術索引”（Index of Medieval Art）以及荷蘭的“文化史圖像數據庫（ARKYVES）”等[34-36]。在此背景下，我國圖博檔領域在圖像庫的建設上也有一定的成果，國家圖書館出版社的《民國圖片資源庫》實現了圖片分類、標簽、專題、事件等語義層次的描述，但是數據庫數量較少，沒有實現大規模的數據標注；中國故宮博物院的數字文物庫文物照片數量超過5萬張，涵蓋繪畫、法書、碑帖等25個類目，其描述的元數據條目篇名達到186萬條；上海圖書館《全國報刊索引》將館藏近代報刊中的圖片進行挖掘，輔以照片、繪畫、漫畫、手稿等16個類目，建立了圖片數量多達百萬級的數據庫；“數字敦煌”是我國進行數字圖像語義描述的典范，不僅詳細描述了對象元數據的屬性特征，同時對其對象的關聯關系也進行了詳盡的揭示。

6 結語

本文運用CiteSpace、VOSviewer等可視化工具，對我國圖博檔領域圖像數據基礎設施建設研究的發文量、合作網絡、研究進展和下一階段的研究趨勢進行了可視化的分析與知識圖譜的展示。研究得出如下四點結論：首先，我國圖博檔領域圖像數據基礎設施建設研究的發文量近幾年呈現逐年遞增的趨勢，說明圖像數據基礎設施建設將成為下一步研究的熱點；其次，圖像數據基礎設施建設研究已經形成了一批具有影響力的機構與作者，但無論是機構還是作者之間合作都比較少，因此應加強機構之間、作者之間的交流，尤其是博物館、檔案館作為擁有大量數字圖像資源的責任主體更應該加強與高校、科研機構、圖書館的交流合作；再次，對圖像內容的語義化描述與知識建模將是圖像數據基礎設施建設領域的重點，目前已經形成了一批示范性的、面向具體應用領域的語義描述框架與知識挖掘，但是相關研究尚比較粗淺，比如怎樣在實現標準規范性的前提下更好地展現特定領域圖像的特性是值得深入探討的問題；最后，數字人文方興未艾，數字人文對人文研究的影響已經非常顯著，有關圖像與數字人文的研究探討眾多，利用關聯數據、國際圖像互操作框架等數字人文相關技術進行的研究已經取得了一定進展，但數字圖像資源在人文研究領域的深化運用，對知識生產與知識傳播的影響的探討還有待深入和細化。