圖像隱喻知識描述框架與理解策略研究

摘 要：［目的/意義］隱喻理解依賴特定的上下文和語境。而機器在理解圖像時無法結合上下文和語境進行推理，難以把握圖像背后的隱喻意義。構建圖像隱喻知識描述框架并提出圖像隱喻理解策略，有助于促進圖像隱喻理解。［方法/過程］通過梳理圖像隱喻理解相關研究，以心理健康這一類復雜抽象圖像為例，本研究構建了圖像隱喻知識描述框架。基于該框架對351幅心理健康圖像進行標注，進而依據圖像的上下文關聯特性和抽象程度分類提出4種圖像隱喻理解策略。［結果/結論］圖像隱喻知識描述框架由圖像語義、圖像上下文、隱喻映射關系、隱喻類型與隱喻意義5個部分組成。“直接—具體”類型圖像隱喻理解策略為基于圖文匹配的關聯理解，“直接—抽象”類型為基于關鍵詞的直接解析，“非直接—具體”類型為基于語義關聯的間接推斷，“非直接—抽象”類型為基于感知相似性的綜合理解。本研究有助于為機器理解圖像提供理論參考。

關鍵詞：圖像隱喻理解；心理健康圖像；知識描述框架；理解策略；知識組織

DOI：10.3969/j.issn.1008-0821.2025.08.001

〔中圖分類號〕G203 〔文獻標識碼〕A 〔文章編號〕1008-0821（2025）08-0003-15

A Knowledge Description Framework and

Understanding Strategies of Image Metaphor

——Taking Psychological Health Images as an Example

Lu Quan Tan Yingying Peng Xueying*

（School of Information Management，Wuhan University，Wuhan 430072，China）

Abstract：［Purpose/Significance］Metaphor understanding depends on specific contexts.However，machines are unable to make inferences based on context when understanding images，making it difficult to grasp the metaphorical meaning behind the images.Constructing a knowledge description framework of image metaphor and proposing strategies for understanding image metaphors will promote understanding of image metaphors.［Method/Process］By reviewing the research of image metaphor understanding，taking complex and abstract psychological health images as an example，the study constructed a knowledge description framework of image metaphor.Based on the framework，the study annotated 351 psychological health images，and proposed four image metaphor understanding strategies based on the contextual relevance and abstraction level.［Result/Conclusion］The results shows that the knowledge description framework of image metaphor consists of five parts：image semantics，image context，metaphorical mapping relationship，metaphor type，and metaphorical meaning.The strategy of understanding metaphors in“direct-concrete”images is association understanding based on image-text matching，the strategy in“direct-abstract”images is direct parsing based on keywords，the strategy in“non direct-concrete”images is indirectly inferring based on semantic association，and the strategy in“non direct-abstract”image is comprehensively understanding based on perceptual similarity.This work provides references for research on machine understanding images.

Key words：image metaphor understanding;psychological health image;knowledge description framework;understanding strategy;knowledge organization

隨著人工智能從感知走向認知，機器理解圖像也逐漸從簡單的圖像分類與識別轉向復雜的圖像內容分析與推理［1］。然而，機器在對圖像內容進行分析與推理時仍然存在缺陷。一是，在理解圖像表層含義時會出現“幻覺”。即使先進的大語言模型也會在理解圖像對象、空間關系、行為等淺層含義時存在系統性缺陷［2］，如錯誤識別圖像中的對象并進一步導致對象行為識別出錯［3］。二是，機器對圖像深層含義的理解準確性不足。已有研究發現，即使是表現最佳的模型在理解圖像中的“幽默”時，其準確率也比人類要低30%［4］。隱喻理解對于揭示認知機制具有重要意義，然而由于隱喻語言的獨特性，機器可能很難準確把握隱喻的映射關系［5］。研究指出，機器在執行復雜推理任務時未能考慮人類的認知框架，使其解決復雜推理問題的能力與人類之間仍然存在著顯著的差距，而人類在面對復雜推理難題時，通常會使用各種認知能力，并且與工具、知識和外部環境信息的各個方面進行交互［6］。

隱喻是一種人類用于抽象概念理解、進行抽象推理的認知手段，隱喻理解體現了理解、推理的認知過程。圖像隱喻理解是通過圖像媒介中的隱喻性內容推理解讀抽象內容的過程。具體而言，圖像隱喻理解是人類在觀看隱喻圖像時，解讀其中的象征意義，從而在認知上將圖像內容與抽象概念聯系起來的過程。在該過程中，除了觀察圖像本身外，人類通常利用圖像上下文的提示作用以提高圖像隱喻理解的準確性。因此，將圖像本身與上下文結合起來去推理圖像所表達的內容及其隱喻意義是一種圖像推理任務，將人的圖像隱喻理解過程作為依據將提升機器的圖像隱喻理解效果。

心理健康圖像指那些用于表達、描述或象征心理健康狀態以及情感和心理過程的圖像，反映了創作者的內心沖突、感受與價值觀［7］，往往具有強烈的隱喻性，使用圖像隱喻是心理治療過程中有效溝通復雜健康話題的關鍵策略［8］。心理健康圖像創作者根據自己與心理健康相關的創傷經歷創作圖像，通過圖像來回應和重建創傷記憶，然而這些創傷經歷以模糊的情感和生動的畫面呈現，缺乏情節和語言背景［7］，使得心理健康圖像呈現出復雜抽象的特點，增加了理解難度。已有研究探究了心理健康圖像特征與心理健康疾病之間的聯系，使用統計分析與機器學習發現了圖像大小、位置、顏色以及圖像中特定對象的行為特征與抑郁、焦慮癥狀存在顯著相關性［9-12］。心理健康圖像作為復雜的隱喻圖像，其隱喻理解卻被忽略。

提高機器理解圖像隱喻的效果將提升機器在圖像理解任務上的表現并提升人機交互深度。例如，當用戶使用隱喻表達時，機器能夠準確把握用戶情緒與意圖，從而提供更個性化的服務。因此，本研究以圖像隱喻理解為線索，構建圖像隱喻知識描述框架，并基于該框架對心理健康圖像進行標注，進而歸納圖像隱喻理解策略，以期為機器理解圖像隱喻提供理論參考，從而助力圖像知識組織、圖像信息服務等。

1 文獻綜述

1.1 圖像隱喻理解

隱喻是一種認知視角下的思維方式和認知手段，是從一個概念域到另一個概念域的映射［13］。當用一個概念域來描述和理解另一個概念域時，前者被稱為源域，后者是目標域。簡而言之，隱喻是從源域到目標域的映射，本質上可以作為一種思想應用于文本、圖像、聲音、手勢等各種媒介。圖像隱喻是隱喻對圖像媒介的操作，通過圖像視覺元素的暗示、象征等傳遞更復雜的信息，使得圖像不僅具有表面含義，而且包含了更深的內涵。

圖像理解包括對圖像表層含義以及深層含義的理解，前者的理解集中在對圖像對象、場景及其視覺關系等直接可見內容的識別［14］，后者的理解則包括對圖像表達的觀點［15］、情感［16］等非直接可見內容的分析。圖像隱喻理解是在理解圖像表層含義的基礎上進一步挖掘深層的隱含義［17］。目前，圖像隱喻理解研究主要集中在商業廣告、政治漫畫兩類圖像上。商業廣告中的隱喻旨在促進消費者對產品的了解并刺激購買欲望，本質上是基于相似性的跨域映射，解讀依賴于源域和目標域之間的相似性［18］。研究者主要分析商業廣告中的隱喻類型，并強調了文本信息對于隱喻識別與解釋的提示和引導作用［19］；政治漫畫中的隱喻旨在表達政治立場、塑造公眾認識，具有批判性。研究者主要分析政治漫畫隱喻背后的政治觀點［20-21］，并發現政治漫畫常常通過形體大小隱喻權力、力量、社會地位的差別［22］。由于商業廣告和政治漫畫面向的讀者是普通人群，這兩類圖像相對簡單，并包含明顯的暗示，使讀者容易理解其中的隱喻。然而心理健康圖像通常是創作者基于自己的創傷經歷而創作，這些創傷經歷以模糊的情感和生動的畫面呈現，缺乏情節和語言背景，具有復雜和抽象的特點，導致了心理健康圖像隱喻理解研究存在困難。

在圖像隱喻理解的基礎上，已有研究從人類與機器兩個認知主體的角度探索了圖像隱喻理解的方法。以人類為認知主體的圖像隱喻理解方法一般為定性研究，符合人類理解圖像隱喻的過程，但主要依靠人工識別、解釋圖像隱喻。Forceville C［23］分析了不同類型的圖像隱喻特點，為圖像隱喻理解提供切入點。程瑾濤［15］認為，理解圖像隱喻的步驟包括確定隱喻的源域和目標域、依據兩域之間的關系確定隱喻類型、基于隱喻結構的分析重現漫畫觀點。Joost S等［21］則提出了理解圖像隱喻意義的策略，指出圖像隱喻意義的解釋包括圖式源域解讀和分類源域解讀。以機器為認知主體的圖像隱喻理解方法主要包括引入外部知識增強理解、基于深度學習的多模態處理方法。針對引入外部知識增強理解方法，Fu C P等［17］通過檢測隱喻圖像中的對象并引入與對象相關的外部知識來識別圖像隱喻。然而圖像隱喻往往以非常規方式使用語言和視覺元素，外部知識輔助可能導致在特定隱喻情境中產生誤解，并且容易限制隱喻識別的范圍。針對基于深度學習的多模態處理方法，研究者嘗試將視覺信息與文本信息相結合，使用多模態預訓練模型如CLIP（Contrastive Language-Image Pre-training）聯合訓練圖像和文本數據，使機器在視覺和語言的聯合空間中捕捉圖像與文本間的語義聯系，從而提升機器理解圖像隱喻的能力［5］。然而在隱喻情境中，圖像隱喻的文字意義與圖像間的關聯是間接的、象征性的，準確匹配二者的隱含意義存在困難。此外，現有多模態模型在處理復雜圖像時，往往難以捕捉到圖像和文本之間的深層次關聯。圖像隱喻理解不僅僅依賴于感知，還需要模型進行抽象推理，在認知上實現圖像的深層含義理解。

1.2 基于圖像隱喻知識描述框架的圖像隱喻理解策略

知識描述是知識表示的體現［24］，知識表示是一種用來描述和組織知識的形式化方法，一般采用邏輯表示、框架表示、語義網絡及本體等形式化工具來表示知識［25］，旨在將特定領域知識的知識因子和知識關聯表示出來，揭示知識內部的語義關聯，從而便于識別和理解［26-27］。圖像隱喻知識描述框架旨在以系統化的框架將圖像中的隱喻知識進行顯性表示，揭示圖像隱喻知識包含的內容及內容間的關聯，從而促進圖像隱喻的理解。

圖像隱喻知識描述框架是圖像隱喻理解的基本工具。根據不同圖像隱喻理解方法，圖像隱喻理解的目的是通過識別圖像中的隱喻映射關系及隱喻類型，最終得到圖像傳遞的隱喻意義。進而，圖像隱喻理解需要從圖像本身出發，且離不開上下文的輔助。因此，圖像隱喻理解過程可以看作從圖像和上下文出發識別圖像中隱喻的映射關系與隱喻類型并最終解讀圖像隱喻意義的過程。但是，已有研究關注圖像隱喻理解的最終結果，即圖像中包含哪些隱喻及隱喻意義是什么［21，23］，未能將該過程歸納為系統性的框架。本研究將構建圖像隱喻知識描述的系統性框架，明確圖像本身、上下文、隱喻映射關系、隱喻類型、隱喻意義各部分間的關聯，為圖像隱喻理解提供可遵循的步驟。

圖像隱喻理解策略是圖像隱喻知識描述框架的深入運用。圖像隱喻知識描述框架為圖像隱喻理解提供了系統性的可遵循的步驟，但不同類型的圖像在具體運用時會有所差別，即圖像隱喻理解策略存在差異。考慮到圖像本身與圖像上下文是圖像隱喻理解的基礎要素，本研究依據圖像的抽象程度與上下文關聯特性兩個維度對圖像進行分類。

從圖像本身而言，圖像存在著具體與抽象的區別。具體圖像的題材可以明確被識別為人、地點或物體等，而抽象圖像的題材并不能夠很好地被識別出來［28］。抽象圖像的內容與自然物象極少或完全沒有相近之處，其一般通過形狀、顏色等來表達主觀體驗，無特定能夠識別的物體［29］。圖像在具體與抽象程度上的差別導致了其在語義描述尤其是對象、空間關系、場景、行為語義上的差別，具體圖像通常有著明確的對象及空間關系，存在著清晰的場景和行為，而抽象圖像的上述語義通常不能進行明確識別和表達。這種圖像語義的差異導致人在理解具體和抽象圖像中的隱喻時存在差別。對于具體圖像，讀者能夠較清晰地對圖像中的對象、場景等進行詳細描述，從而基于已有的相關經驗或認識進行聯想、映射并推測圖像中蘊含的隱喻以及隱喻意義，即具體圖像隱喻的建構依賴人對不同事物間認知上的關聯性［30］；對于抽象圖像，圖像所描述的對象或場景則難以確定，人們更偏向于從圖像的視覺特征去映射有著相似特征的對象，然后分析圖像隱喻及其隱喻意義。Yamamura N等［31］利用人工標注結果，構建了抽象圖像的隱喻數據集，發現形狀特征在抽象圖像的隱喻生成中起著重要作用，側面印證了人會基于感知上的相似性去理解抽象圖形中的隱喻。因此，這種差別意味著讀者在理解圖像隱喻時，會根據圖像的具體與抽象程度去采取不同的理解策略。已有研究主要基于檢索需要對圖像進行分類，形成了以圖像元數據與圖像語義為主要構成的分類框架［32-33］，用戶對圖像的認知程度也被納入分類維度以提高檢索效率［34］。然而心理健康圖像隱喻理解是讀者在已獲取圖像的情況下對圖片進行認知的過程，同時心理健康圖像具有復雜性，讀者有時無法準確描述圖像語義，只能依據自身的認知對圖像進行具體或是抽象的判斷從而選擇不同的理解策略。因此，本文從具體或抽象圖像的角度對心理健康圖像進行分類。

從圖像上下文而言，已有研究利用圖像標題、標簽等輔助隱喻理解，卻忽略了不同類型的圖像上下文與圖像關聯程度不一、對理解圖像隱喻作用的不同。一般來說，圖像上下文包括圖像標題、圖像標簽和圖像文本描述［35］。圖像標題是圖像內容的簡練表達，關聯程度較高，對理解圖像隱喻起著關鍵提示作用［36］。圖像標簽是對圖像中特定內容的簡短描述（如情感、對象等）［37］，但部分圖像標簽對于圖像內容的描述是不相關和不完整的［38］。因此，圖像標簽與圖像的關聯程度較低，對于理解圖像隱喻起著信息補充作用。圖像文本描述傳遞著創作背景、創作意圖及解釋等信息，信息豐富且密度大，通過對圖像文本描述的仔細分析和解讀，可以更深入地理解圖像的內涵，為推測圖像中的隱喻及隱喻意義提供最重要的理解基礎。然而，圖像文本描述并不總是包含創作意圖、解釋等內容，由于創作者的主觀性，圖像文本描述可能非常嘈雜［35］，其有時也并不與圖像內容直接相關。因此，基于圖像上下文對于理解圖像隱喻的不同作用，在圖像標題與圖像文本為理解圖像隱喻提供的信息有限時，需要考慮標簽的補充作用。

1.3 研究現狀總結

對于人類認知主體，已有研究分析了商業廣告、政治漫畫等類型圖像的隱喻理解，以識別圖像中的隱喻映射關系及其隱喻意義為重點，忽略了圖像隱喻理解的系統性框架。具體表現為：首先，對圖像語義分析不足。由于商業廣告和政治漫畫旨在說服面向的群體，隱喻容易識別，從而忽略了完整地解析圖像語義。然而心理健康圖像通常表達創作者的經歷，具有復雜抽象性，難以快速識別出圖像中具有隱喻意義的對象，需要深入分析圖像語義并結合上下文去推測圖像中的隱喻。其次，未能考慮不同類型上下文與圖像的關聯程度以及對理解圖像隱喻的不同作用。圖像標題與圖像文本描述能夠提供更關鍵的信息，圖像標簽作用則較小，區分上下文類型及其作用可使圖像隱喻理解過程更加清晰。最后，圖像隱喻類型的分類僅從單一的視覺聯系出發。隱喻類型是理解圖像隱喻的重要切入點，體現出隱喻認知主體的認知角度。然而，已有研究更多從源域與目標域間的表層視覺聯系對隱喻進行歸類，而忽略了從源域與目標域兩個域之間的深層內容聯系去劃分隱喻類型，導致了圖像隱喻理解具有片面性。對于機器認知主體，已有研究側重在感知層面引入外部知識或學習圖像與文本間的關聯，從而實現自動理解圖像隱喻，忽略了在認知層面的抽象推理過程，使得機器在圖像隱喻理解方面仍然存在缺陷。

綜上所述，本文在已有圖像隱喻理解研究的基礎上構建圖像隱喻知識描述的系統性框架，該框架以人類理解圖像隱喻的一般過程為指導，同時，突出將圖像隱喻理解作為圖像抽象推理任務的特性。在該框架內，本文將對圖像語義進行解析，區分不同上下文類型，將圖像語義和上下文二者結合起來識別圖像中的隱喻，從視覺聯系與內容聯系雙重角度劃分圖像隱喻類型，最終獲得隱喻意義。

2 心理健康圖像隱喻知識描述框架

通過對相關研究的梳理，本研究構建了心理健康圖像隱喻知識描述框架，如圖1所示。雙重編碼理論認為，人類對信息的儲存與加工主要通過語言和視覺兩種獨立但互補的編碼系統實現［39］。隱喻映射關系的識別是對圖像本身與上下文進行“雙重編碼”來獲得關于圖像更深層次理解的過程。圖像中的對象語義通過視覺符號表明隱喻的源域，而圖像上下文則幫助進一步確定隱喻的目標域，二者協同實現對圖像隱喻的理解；隱喻類型是對隱喻映射關系的分類，展現了源域和目標域之間的關系結構和映射方式，不同的隱喻類型反映了不同的認知模式。例如，整合隱喻反映了以原型為基礎進行認知的模式，原型指一類成員集合中承載著這個集合中最顯著特性的實例，原型理論認為，人類在認知過程中通常依賴典型實例即原型來理解抽象概念［40］；基于隱喻映射關系形成對圖像隱喻意義的理解，隱喻意義是圖像創作者想要傳遞的感受或觀點。

圖1 圖像隱喻知識描述框架Fig.1 The Knowledge Description Framework of Image Metaphor

2.1 圖像語義

圖像本身是理解圖像隱喻的必備要素，而圖像語義是理解圖像的基礎［41］。圖像語義被劃分為6個層次，包括特征語義、對象語義、空間關系語義、場景語義、行為語義、情感語義。特征語義是圖像的底層視覺特征，其余5種語義為圖像的高層語義［42］。對象語義、空間關系語義、場景語義和行為語義構成了圖像的內容語義，是圖像內容的主要表達。直觀的視覺特征語義反映了圖像的風格和給人的整體印象，情感語義暗示了隱喻意義的基調。通過對圖像語義描述，圖像蘊含的信息以一種系統化的形式表達出來，識別圖像語義是理解圖像隱喻的第一步。

2.2 圖像上下文

圖像上下文提供了圖像的相關信息，可以輔助圖像語義的識別并確定圖像中哪些對象具有象征意義及其象征的事物。在本研究采集到的數據中，圖像上下文包括圖像標題、圖像標簽以及圖像文本描述。圖像標題是圖像內容的簡練表達，提示了圖像理解的基本方向（如圖像中的對象、場景、情感等）。圖像標簽是圖像中的特定內容的關鍵詞，通常與圖像情感或者圖像創作者的經歷直接相關。圖像文本描述是創作者對圖像的相關陳述，通常包括創作背景、創作意圖和創作者對圖像的解釋。

2.3 隱喻映射關系

隱喻是源域到目標域的映射，這種映射關系體現了圖像蘊含的隱喻，通常表現為“A即B”“A是B”等形式［43］。然而在圖像中這種映射關系并不是清晰的，需要讀者從圖像上下文中識別與圖像內容語義相關的關鍵詞和句子，將其與圖像內容語義“匹配”，從而解析映射關系，即區分隱喻的源域與目標域，識別圖像中的隱喻是什么，并用“A是B”的形式表達出來。由于圖像對象通常擔任了隱喻源域的角色，因此，包含較多對象語義的圖像可能隱含多個隱喻。

2.4 隱喻類型

識別圖像中隱喻的映射關系后，需要確定隱喻的類型，以便于分析該隱喻的特點，從而更好地理解圖像隱喻。圖像隱喻類型可以基于源域和目標域間的視覺聯系以及內容聯系進行分類。在視覺聯系上，Forceville C［19］將圖像隱喻分為整合隱喻、情境隱喻、文字—圖像隱喻、混合隱喻。在內容聯系上，Gentner D等［44］通過對心理健康文本語料的分析，將隱喻分為系統隱喻、擬人隱喻、空間隱喻以及神經隱喻。然而依據標注實踐，本研究發現在心理健康圖像中還存在著狀態隱喻和概念隱喻。在概念隱喻中，一個概念通常用于代表另一個抽象概念（如花朵代表希望）。而狀態隱喻指隱喻的源域不屬于上述任何隱喻類型中的一種，難以用某種概念表達，目標域通常是某種狀態，如抑郁和焦慮。

2.5 隱喻意義

隱喻意義是圖像創作者想要傳遞的感受或觀點，一般來說，隱喻意義被用來描述隱喻的意圖。Joost S等［21］認為，隱喻意義包括說明情形與發表觀點，這與一般的認知過程相符。對于說明情形，圖像內容是關注點。由于圖像中的對象通常是隱喻的源域，圖像對象間的互動關系構成了源域間的互動，并通過源域與目標域間的映射進一步形成了目標域間的互動關系，最終構成了圖像想要說明的情形。對于發表觀點，源域的獨特屬性是關注點。源域作為一種對象通常具有其他對象沒有的獨有屬性（如不同動物擁有的不同屬性），創作者會利用這種獨特屬性來表達自己的觀點。此外，圖像底層視覺特征有時也會傳遞觀點［22］。

3 數據收集與標注

3.1 數據來源

本研究的數據來源于Perspective Project網站（https：//www.theperspectiveproject.co.uk/）。該網站上展示了患有心理健康疾病的人創作的作品，包括詩歌、繪畫、文章、照片和視頻，作品瀏覽量超過200萬次。本研究采集了截至2023年4月25日上傳到該網站上的圖像數據，包括圖像、圖像標題、圖像標簽、圖像文本描述及圖像所在頁面的網址。經過數據清洗，去掉了重復和不屬于圖像類型的數據，最后共獲得351幅心理健康圖像。

3.2 數據標注

兩位標注者依據前述構建的圖像隱喻知識描述框架對351幅心理健康圖像進行了獨立標注。標注內容包括圖像語義、隱喻映射關系、隱喻類型以及隱喻意義，對于標注不一致的地方，標注者進行了討論，并最終達成一致。在獨立標注結束后，使用Cohens Kappa系數檢驗標注一致性，整個數據集的Cohen Kappa系數為0.84，標注一致性較好，也表明了研究提出的圖像隱喻知識描述框架對于理解圖像隱喻具有較好效果。

4 心理健康圖像分類結果及其理解策略

4.1 心理健康圖像分類

隱喻理解策略，而圖像上下文與圖像的關聯程度對于理解圖像隱喻的作用也不相同。因此，在結合上下文理解心理健康圖像隱喻時，需要在圖像隱喻知識描述框架的基礎上細化不同類型圖像的隱喻理解策略。考慮到文本描述對于圖像隱喻理解的重要作用，本研究在對圖像進行分類時排除了缺失文本描述的8幅圖像，并依據圖像的上下文關聯特性與抽象程度對剩余的343幅心理健康圖像進行了分類，同時，根據標注實踐總結了每一類圖像的特點。

根據標注結果，每類圖像的數量如表1所示。從單個分類維度看，具體圖像的數量（279幅）要多于抽象圖像（64幅），上下文與圖像直接相關的圖像數量（200幅）要多于非直接相關的圖像（143幅）。從兩個分類維度綜合來看，文本描述直接相關的具體圖像數量最多，為174幅；文本描述非直接相關的具體圖像數量次之，共105幅；上下文非直接相關的抽象圖像占38幅，上下文直接相關的抽象圖像僅有26幅，數量最少。

圖3展示了四類圖像的示例，每類圖像的具體特征如下：

相關的抽象圖像。抽象圖像的內容很難被識別為具體的對象、場景或行為等。然而上下文與圖像直接相關，因此結合上下文（圖像標題、標簽以及文本描述），讀者能夠判斷出圖像所描繪的對象及其行為或場景等，即使其描述的對象和現實生活中的自然物象難以對應起來。這也是該類圖像的突出特點。

第二類，“非直接—抽象”圖像：即上下文非直接相關的抽象圖像。由于上下文與圖像并非直接相關，該類圖像的特點表現為：即使通過圖像上下文也無法得知圖像的對象、場景、行為以及空間關系，只能對圖像的形狀、顏色等進行整體概括。

第三類，“直接—具體”圖像：即文本描述直接相關的具體圖像。該類型圖像的特點表現為：文本描述中具有創作者對于圖像隱喻的解釋或說明，包含與圖像語義、隱喻映射關系、隱喻意義等直接相關內容，通常含有“this painting presents…”“the work ”“This mixed media drawing aims to…”等表述。

第四類，“非直接—具體”圖像：即文本描述非直接相關的具體圖像。圖像的文本描述通常包含創作者的創作背景或者自身經歷，而不包含創作者對圖像的直接解釋或說明。因此，無法在文本描述中找到與圖像語義、隱喻映射關系、隱喻意義直接對應的內容。

4.2 基于描述框架的不同類型圖像的隱喻理解策略

本研究依據四類圖像的特征提出了每類圖像的理解策略，并通過案例展示了圖像隱喻理解過程。為驗證策略的有效性，本研究依據理解策略設計了提示文本，比較在有無提示下ChatGPT對給定圖像的隱喻理解效果。

4.2.1 “直接—具體”圖像：基于圖文匹配的關聯理解

該類圖像的特點為能夠在圖像文本描述中找到與圖像語義（如對象、場景等）、隱喻映射關系、隱喻意義直接對應的內容，將圖像語義與文本描述進行匹配，直接得出圖像中隱喻的映射關系。在文本描述提供的信息有限的情況下，考慮標題的提示以及標簽的補充作用。對象通常擔任了隱喻的源域，因此，圖像中對象間的互動即為隱喻目標域間的互動，隱喻目標域間的互動構成了圖像的隱喻意義。

圖4展示了該類型圖像的隱喻理解過程。首先，由于圖像是具體的，可直接對圖像語義進行分析，其內容語義為“一根手指推了骨牌，骨牌接連倒下并最終壓倒了人像”。其次，獲取圖像的上下文。第三，基于圖像匹配識別隱喻。將圖像語義與文本描述中的“follows the domino effect”“One aspect of life affects other”“the aspects that triggered my mental health breakdown”等匹配起來，可得知這幅圖像描述了生活中的多米諾骨牌效應，圖像中的人像是作者，帶有“lack of sleep”等文字的骨牌是生活的各個方面，人像是心理崩潰的人。隨后判斷隱喻類型，其結果如圖4所示。最后推斷隱喻意義，依據隱喻識別結果，其隱喻意義為“只要一點小的推動力，生活的一方面就會影響另一方面，形成多米諾骨牌效應并最終壓倒我們導致心理崩潰”。

根據標注結果，該類型的隱喻數量通常在1～3個之間，有少量圖像含有4～6個隱喻；隱喻類型則不固定。在隱喻意義上，通常表現為通過刻畫具體的圖像內容來說明自己的經歷。

的理解。通過比較發現，在只給出相關定義的情況下，ChatGPT能夠識別圖像中的一些隱喻，但可能忽略其他隱喻；然而給出圖像隱喻理解流程后，ChatGPT能夠較為完整地識別圖像中的隱喻，隱喻意義表述更加準確。

4.2.2 “直接—抽象”圖像：基于關鍵詞的直接解析

該類圖像的特點為結合上下文能夠判斷圖像所描繪的對象、行為及場景等語義，上下文中通常包含與隱喻源域、目標域相關的關鍵詞。通過對隱喻關鍵詞的直接解析，識別抽象圖像中隱喻的映射關系及其隱喻意義。

該類圖像隱喻理解策略的案例如圖6所示。依據圖像隱喻知識描述框架，分析圖像語義。由于該幅圖像屬于抽象圖像，需要發揮上下文輔助識別圖像語義的作用。依據標題“Scratch”與文本描述中的“there is an army of ants marching around under my skin”“scratch them out”可知圖像描述的對象語義是“一大群皮膚下的螞蟻”，并依據“experiencing bad days with anxiety”“feel as there…”直接解析圖像中隱喻的映射關系為“焦慮的感覺就像是皮膚下的一大群螞蟻”。隱喻類型為情境隱喻和狀態隱喻，圖像的隱喻意義如圖6所示。

根據標注結果，該類型圖像的隱喻通常為1～2個。在隱喻類型上，以情境隱喻為主，即創作者依據自己獨特的創作環境，將某種事物映射成另一種事物，如果不知道作者預設的情境，讀者將無法得知源域所映射的目標域。從內容聯系來看，隱喻類型則不固定，創作者可能將目標域隱喻為某種狀態、概念、空間、系統或者人物。隱喻意義為通過抽象畫面的刻畫表達創作者在心理健康方面的經歷或看法。

圖7展示了ChatGPT在有無提示下對給定圖像的理解。結果顯示，在無提示的情況下，ChatGPT未能識別出圖像隱喻的源域以及對應的目標域，但能夠較為準確地理解圖像隱喻意義；在給出圖像隱喻理解流程作為提示后，ChatGPT能夠準確識別圖像隱喻，表述更為精準，理解效果更接近人類。

4.2.3 “非直接—具體”圖像：基于語義關聯的間接推斷

在該類圖像的文本描述中無法直接找到與圖像語義、隱喻映射關系、隱喻意義直接對應的內容，因此，圖像隱喻的理解依靠圖像內容與上下文具有語義聯系的間接推斷。具體而言，讀者獲取圖像上下文中與圖像語義中有語義關聯（如血跡與自我傷害、自殺的關聯）的部分，依據該關聯進行間接推斷，識別隱喻并分析其隱喻意義。

首先識別該具體圖像的語義，其對象語義為人、長著觸手的人，其余語義如圖8的標注結果。其次獲取上下文，找到與圖像語義具有語義關聯的部分。發現觸手與文本描述中的“manipulated（意為操縱、控制）”具有語義上的關聯，結合“I was in an abuse relationship…my partner manipulated everyone…torturing me”可以推斷出蜷坐的人代表作者，長著觸手的人代表其伴侶，即為圖像中包含的兩個隱喻。結合上下文與推斷出的隱喻，分析該圖像想說明的情形是作者的伴侶折磨作者的身體和精神，并操縱其周圍的人和事。同時，依據圖像的底層視覺特征，發現圖像中的對象大小對比強烈，可能暗含力量大小的強弱，可以依據該特征推斷圖像發表的觀點為：在這段虐待關系中，作者伴侶控制欲強烈，而作者力量小，難以反抗。

依據標注實踐，該類型的圖像的隱喻數量通常為1～2個，少量圖像有3～4個；隱喻類型不固定，隱喻意義多為表達創作者的心理健康經歷并傳遞一定觀點。

圖9展示了ChatGPT在有無提示下對給定圖像的理解。結果顯示，在無提示的情況下，ChatGPT未能準確識別隱喻的源域和目標域，對隱喻意義的理解表述模糊，整體理解效果較差；然而在有提示的情況下，ChatGPT能夠較為準確地識別圖像隱喻，并能關注到圖像對象的視覺差異（“大”與“小”），隱喻意義理解效果更好。

4.2.4 “非直接—抽象”圖像：基于感知相似性的綜合理解

由于上下文與圖像非直接相關，無法通過上下文來判斷抽象圖像是否描繪了某種具體的對象、場景等，需采取基于感知相似性的綜合理解策略。具體而言，描述抽象圖像內容的整體感受，抽取并概括上下文中創作者提到的具有感知上相似的內容（如“由不同顏色和形狀的色塊組成的抽象畫面”與創作者“混亂的情緒”間的感知上的相似性），然后將二者進行關聯，通過以上操作綜合理解圖像隱喻。

圖10展示了一個“非直接—抽象”圖像案例。首先確定圖像語義。由于圖像是上下文非直接相關的抽象圖像，圖像對象語義是對整幅圖像的形狀、顏色等的概括，案例中圖像的對象語義是“綴有割裂圖案的一個盤子”，其給人的整體感受是“割裂”。其次獲取上下文，抽取概括相關內容。文本描述中的“the struggle between staying motivated…”尤其是“struggle”與“割裂”具有感知上的相似性，因此，可以推斷圖像包含的隱喻為：綴有割裂圖像的盤子代表了保持積極熱情和進行自我批評之間的斗爭。源域和目標域間具有相似性，屬于整合隱喻，整合隱喻特點為一個對象或原型只要和某一個其他的對象或原型相似就能代表其全部特性。依據隱喻識別結果進一步分析隱喻意義，如圖10所示。

依據標注結果，這類圖像的對象語義是對整幅圖像畫面的概括，所以通常只有一個隱喻，隱喻的源域通過直觀的感受去描述，而目標域多為作者特定的體驗或感受。在隱喻類型上，主要為“情境隱喻+狀態隱喻”的組合，即創作者通過對特定抽象畫面的刻畫來表達自身內心難以言喻、混亂的感受，這也是該類圖像傳遞的隱喻意義。

圖11展示了ChatGPT在有無提示下對圖像隱喻的理解。對比發現，在沒有提示的情況下，ChatGPT識別出的隱喻較多但準確性不足，且隱喻意義分析結果較為復雜，整體上未能精準描述圖像想要表達的內容；在給出圖像隱喻理解流程作為參考后，ChatGPT較為準確地理解了圖像隱喻及其隱喻意義。

5 討 論

本研究的貢獻在于構建了圖像隱喻知識描述框架，并在描述框架的基礎上，從認知層面總結了不同類型心理健康圖像的隱喻理解策略，有助于為大語言模型提高圖像理解能力提供理論參考。

本研究構建了圖像隱喻的知識描述框架，為心理健康圖像隱喻的揭示提供了有效支撐。該框架包含圖像語義、圖像上下文、隱喻映射關系、隱喻類型和隱喻意義5個部分。通過圖像語義與圖像上下文的匹配識別隱喻的映射關系，并進一步確定隱喻類型與推斷隱喻意義。已有研究忽略了圖像，尤其是復雜的心理健康圖像中隱喻知識的揭示，本研究構建的圖像隱喻知識描述框架從解析表層的圖像語義到分析深層隱喻意義，將與圖像隱喻相關的各部分進行關聯，為理解圖像隱喻提供了可遵循的系統性步驟，能夠實現對復雜圖像隱喻知識的有效揭示。

本研究總結了不同類型圖像的隱喻理解策略，揭示了各類圖像在隱喻理解這個認知過程上的差異。在圖像隱喻知識描述框架的基礎上，本研究通過對心理健康圖像標注結果的分析歸納，依據抽象與具體、圖像與上下文關聯程度兩個維度將心理健康圖像分為四類，總結了四類圖像的隱喻理解策略，包括基于圖文匹配的關聯理解、基于關鍵詞的直接解析、基于語義關聯的間接推測、基于感知相似性的綜合理解4種策略。在策略的選擇上，需要判斷圖像抽象或具體，并在該基礎上判斷圖像與上下文是否直接相關，進而，依據上述判斷結果采用對應的策略理解圖像隱喻。已有關于圖像隱喻理解研究集中在較為簡單的商業廣告［19］與政治漫畫［20］上，提出了這些圖像的統一理解方法，缺乏對復雜心理健康圖像隱喻理解差異的研究。本研究對復雜圖像進行了分類并揭示了不同類型在隱喻理解策略上的差異，有助于為圖像隱喻理解，尤其是機器理解圖像隱喻提供認知層面的理論參考。目前，關于機器理解圖像的研究僅從客觀的圖像出發，而忽略了人的認知框架，導致其理解效果低于人類。本研究總結了基于圖像隱喻知識描述框架的不同類型圖像隱喻理解策略，能夠為機器理解圖像隱喻時提供參考的步驟，幫助機器基于圖像隱喻知識描述框架設計理解方案；同時，不同類型圖像的隱喻理解策略為機器理解圖像隱喻時考慮人的認知框架提供了理論參考。

6 結 語

心理健康圖像是典型的復雜隱喻圖像，但已有研究較少關注心理健康圖像隱喻理解。本研究構建了圖像隱喻知識描述框架，并基于該框架對心理健康圖像進行標注，總結了四類心理健康圖像隱喻理解策略。本研究為機器理解圖像以及圖像隱喻理解研究提供了理論參考，但仍有一定的局限性，研究提出的框架以心理健康圖像為主要研究對象，未能探索該框架在其他類型圖像上的適用性；此外，由于標注的案例數量有限，提取和歸納出的圖像隱喻理解策略可能并不充分。未來，將進一步探索圖像隱喻知識描述框架的適用性及理解策略，并研究其應用于機器理解圖像的效果。

參考文獻

［1］張言，李強，申化文，等.以文字為中心的圖像理解技術綜述［J］.中國圖象圖形學報，2023，28（8）：2253-2275.

［2］Tong S B，Liu Z，Zhai Y X，et al.Eyes Wide Shut？Exploring the Visual Shortcomings of Multimodal LLMs［EB/OL］.［2024-12-19］.https：//arxiv.org/pdf/2401.06209.

［3］Wang X Y，Zhou Y H，Liu X Y，et al.Mementos：A Comprehensive Benchmark for Multimodal Large Language Model Reasoning Over Image Sequences［EB/OL］.［2024-12-19］.https：//arxiv.org/pdf/2401.10529.

［4］Hessel J，Marasovic A，Hwang J D，et al.Do Androids Laugh at Electric Sheep？Humor“Understanding”Benchmarks from the New Yorker Caption Contest［C］//Rogers A，Boyd-Graber J，Okazaki N.In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics（Volume 1：Long Papers）.Toronto：Association for Computational Linguistics，2023：688-714.

［5］Su C，Wang X Y，Liu S P，et al.Efficient Visual Metaphor Image Generation Based on Metaphor Understanding［J］.Neural Processing Letters，2024，56（3）：150.

［6］Xie Y Z，Xie T，Lin M X，et al.OlaGPT：Empowering LLMs With Human-Like Problem-Solving Abilities［EB/OL］.［2024-12-19］.https：//arxiv.org/pdf/2305.16334.

［7］段姍姍，李昭昭，吳汶珊，等.心理創傷中繪畫治療實踐的系統回顧［J］.健康研究，2021，41（6）：652-657.

［8］Lazard A J，Bamgbade B A，Sontag J M，et al.Using Visual Metaphors in Health Messages：A Strategy to Increase Effectiveness for Mental Illness Communication［J］.Journal of Health Communication，2016，21（12）：1260-1268.

［9］陳侃，徐光興.抑郁傾向的繪畫診斷研究［J］.心理科學，2008（3）：722-724.

［10］王漢林，劉璐璐，高敏，等.繪畫藝術測驗對大學生心理健康的預測效果分析［J］.華北理工大學學報（醫學版），2019，21（3）：236-241.

［11］Pan T，Zhao X M，Liu B D，et al.Automated Drawing Psychoanalysis via House-Tree-Person Test［C］//Reformat M，Zhang D，Bourbakis N.In Proceedings of 2022 IEEE 34th International Conference on Tools with Artificial Intelligence.Online：Institute of Electrical and Electronics Engineers，2022：1120-1125.

［12］Sarah B，Raphael P，Jennifer S，et al.Identifying Psychological Trauma among Syrian Refugee Children for Early Intervention：Analyzing Digitized Drawings Using Machine Learning［J］.Journal of Development Economics，2022（156）：102822.

［13］Lakoff G，Johnson M.Metaphors We Live by［M］.Chicago：University of Chicago Press，2003.

［14］Chang X J，Ren P Z，Xu P F，et al.A Comprehensive Survey of Scene Graphs：Generation and Application［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2023，45（1）：1-26.

［15］程瑾濤.社論漫畫中的圖像隱喻解讀［J］.外語學刊，2014（5）：37-41.

［16］楊瀚森，樊養余，呂國云，等.基于語義概念的圖像情感分析［J］.西北工業大學學報，2023，41（4）：784-793.

［17］Fu C P，Wang J Q，Sang J T，et al.Beyond Literal Visual Modeling：Understanding Image Metaphor Based on Literal-Implied Concept Mapping［C］//Bertino E，Gao W，Steffen B，et al.In Proceedings of 26th International Conference on MultiMedia Modeling.Berlin：Springer-Verlag，2020：111-123.

［18］趙秀鳳.概念隱喻研究的新發展——多模態隱喻研究——兼評Forceville amp; Urios-Aparisi《多模態隱喻》［J］.外語研究，2011（1）：1-10，112.

［19］Forceville C.Pictorial Metaphor in Advertising［M］.London：Routledge，1996.

［20］Silaki N，-Durovic＇ T.The Journey Metaphor in Brexit-Related Political Cartoons［J］.Discourse Context amp; Media，2019，31：100318.

［21］Joost S，Alfons M.Visual Metaphoric Conceptualization in Editorial Cartoons［M］//Forceville C，Urios-Aparisi E.Multimodal Metaphor.Berlin，New York：De Gruyter Mouton，2009：213-242.

［22］Refaie E.Metaphors in Political Cartoons：Exploring Audience Responses［M］//Forceville C，Urios-Aparisi E.Multimodal Metaphor.Berlin，New York：De Gruyter Mouton，2009：173-196.

［23］Forceville C.Metaphors in Pictures and Multimodal Representations［M］//Gibbs R W.The Cambridge Handbook of Metaphor and Thought.Cambridge：Cambridge University Press，2008：462-482.

［24］周知，曾子明.數字人文視覺資源語義知識層次化聚合服務研究［J］.情報資料工作，2018（6）：13-20.

［25］孫紹丹，張莉曼，朱祥.文化大數據背景下線性文化遺產資源知識表示及語義增強框架構建［J］.現代情報，2023，43（11）：96-111.

［26］周樹斌，張佳明，陳紅麗.四川清音知識表示及語義關聯構建研究［J］.圖書館學研究，2024（2）：63-74.

［27］王曉光，翁夢娟，侯西龍，等.古籍注疏的知識表示與語義化建模研究［J］.中國圖書館學報，2023，49（3）：75-91.

［28］Zhou Z M，Zheng L，Li X L.Abstract or Concrete？The Influence of Image Type on Consumer Attitudes［J］.International Journal of Consumer Studies，2021，45（5）：1132-1146.

［29］李博，郭琛，任慧.基于加權K近鄰算法的抽象畫圖像情感分布預測［J］.中國傳媒大學學報（自然科學版），2018，25（1）：36-40.

［30］孫毅.擴展概念隱喻理論限閾中的視覺隱喻研究［J］.山西大學學報（哲學社會科學版），2021，44（5）：39-46.

［31］Yamamura N，Chikazoe J，Yoshimoto T，et al.Perceptual Features of Abstract Images for Metaphor Generation［J］.Journal of Advanced Computational Intelligence and Intelligent Informatics，2024，28（1）：94-102.