胸部X線影像和診斷報告的雙塔跨模態(tài)檢索

摘 要：針對現(xiàn)有胸部X線影像和診斷報告跨模態(tài)方法重點聚焦于全局信息對齊，忽視了影像和診斷報告間的細粒度語義關聯(lián)，導致檢索精度低、匹配度差的問題，提出全局和局部聯(lián)合對齊的胸部X線影像和診斷報告雙塔跨模態(tài)檢索方法（CDTCR）。具體來說，針對細粒度語義表征，提出由殘差網絡組成的影像編碼器學習影像的細粒度特征和由Transformer構成的BERT模型學習診斷報告的細粒度語義特征；針對細粒度語義關聯(lián)問題，設計影像對句子和區(qū)域對詞組兩個不同粒度的模態(tài)間信息對齊策略，解決了不同模態(tài)間細粒度語義關聯(lián)不足的問題。大型醫(yī)學數據集MIMIC-CXR上的實驗結果表明，CDTCR比現(xiàn)有的跨模態(tài)檢索方法，檢索精度更高、可解釋性更強。

關鍵詞：胸部X線影像；雙塔跨模態(tài)檢索；細粒度；Transformer；BERT

中圖分類號：TP301.6文獻標志碼：A

文章編號：1001-3695（2023）08-048-2543-06

doi：10.19734/j.issn.1001-3695.2022.12.0786

Chest X-ray images and diagnostic reports for

twin-towers cross-modal retrieval

Zhang Jiacheng Ou Weihua Chen Yingjie Zhang Wenchuan Xiong Jiahao

（a.School of Mathematical Sciences，b.School of Big Data amp; Computer Science，Guizhou Normal University，Guiyang 550025，China）

Abstract：In order to solve the problem that the existing cross-modal methods of chest X-ray images and diagnostic reports focus on global information alignment，which ignore the fine-grained semantic association between chest X-ray images and diagnostic reports，resulting in low retrieval accuracy and poor matching degree，this paper proposed a method named CDTCR（chest X-ray images and diagnostic reports for twin-towers cross-modal retrieval）.Specifically，for fine-grained semantic representation，it proposed an image encoder composed of residual network to learn the fine-grained features of the image and a BERT model composed of Transformer to learn the fine-grained semantic features of the diagnostic report.In order to solve the problem of fine-grained semantic association，it also designed an information alignment strategy of two different granularity modes for the global image to sentence and local region to phrase，which solved the problem of insufficient fine-grained semantic association between different modes.The experimental results on a large-scale medical dataset MIMIC-CXR show that CDTCR has higher retrieval accuracy and better interpretation than the existing cross-modal retrieval methods.

Key words：chest X-ray image；twin-towers cross-modal retrieval；fine-grained；Transformer；BERT

0 引言

隨著醫(yī)療信息化的快速發(fā)展，醫(yī)院產生并堆積了大量的醫(yī)療數據，具體來說包括各種影像數據和電子病歷，如X線影像、CT影像、MRI影像、B超影像和對應的診斷報告等。它們以不同的模態(tài)形式呈現(xiàn)，卻又相互語義關聯(lián)，例如同一病例的不同影像和對應的診斷報告。如何實現(xiàn)醫(yī)學影像和對應診斷報告的跨模態(tài)檢索是醫(yī)學跨媒體智能的重要研究課題。胸部X線影像和診斷報告的跨模態(tài)檢索是指以胸部X線影像（診斷報告）檢索對應的診斷報告（胸部X線影像），為醫(yī)生診斷提供參考，從而極大地減輕放射科醫(yī)生的工作量，提高診斷效率。但是，與自然場景下跨模態(tài)檢索不同，胸部X線影像清晰度差、重疊影嚴重、整體結構相似、局部差異細微；同時診斷報告呈現(xiàn)整體結構相似、主題語義差異小、語義表征學習難度大，現(xiàn)有的自然領域的跨模態(tài)檢索不能直接被使用。如圖1所示，現(xiàn)有的胸部X線影像和診斷報告跨模態(tài)檢索的主要是利用注意力機制去學習不同模態(tài)下表征，并將其映射到一個公共空間里進行特征的交互對齊。如Yang等人［1］提出了基于貝葉斯的深度哈希算法，將多模態(tài)數據映射到一個共享的漢明空間來實現(xiàn)跨模態(tài)檢索；Zhang等人［2］利用注意力機制學習不同模態(tài)下相同實例在公共空間里的特征對齊，但是由于缺乏局部細粒度語義信息之間的交互對齊，這些方法的檢索性能仍有待提升。因此，解決跨模態(tài)細粒度語義對齊是實現(xiàn)胸部X線影像和診斷報告跨模態(tài)檢索關鍵。

針對上述問題，本文提出了一種全局和局部聯(lián)合對齊的胸部X線影像和診斷報告的雙塔跨模態(tài)檢索方法（CDTCR）。如圖2所示，該方法主要由影像編碼器、文本編碼器、特征交互對齊塊三部分組成。影像編碼器由一個殘差網絡構成，捕獲胸部X線影像的全局實例級特征和局部的細粒度語義特征。文本編碼器由一個BERT模型構成，提取診斷報告的句子和詞組的細粒度語義特征。針對不同多層次語義對齊，交互對齊模塊設計了影像對句子和區(qū)域對詞組兩個不同粒度的模態(tài)間信息對齊策略，有效解決不同模態(tài)間細粒度語義關聯(lián)不足的問題，從而實現(xiàn)不同模態(tài)間的檢索。主要貢獻如下：

a）提出了一種新的醫(yī)學雙塔跨模態(tài)檢索方法，該方法同時考慮了全局實例語義對齊和局部細粒度語義對齊的雙塔網絡模型；b）設計了雙塔網絡學習不同模態(tài)下不同層次的細粒度特征，并在不同層次級別上實現(xiàn)不同模態(tài)下相同語義之間的特征對齊；c）MIMIC-CXR數據集上的實驗結果表明，其性能優(yōu)于現(xiàn)有的跨模態(tài)檢索方法。

1 相關工作

不同模態(tài)下的數據呈現(xiàn)底層特征異構，高層語義相關的特點［3］?？缒B(tài)檢索的實質是將不同模態(tài)不同維度的數據進行關聯(lián)匹配，其方法是學習一個映射，將不同模態(tài)的數據映射到 一個共同的表征空間，根據測量不同樣本在此空間中的相似度判別相同樣本在不同模態(tài)下的一致性，由此實現(xiàn)跨模態(tài)檢索。公共空間特征學習方法是將圖像和文本映射到一個公共空間中，得到多模態(tài)表示即最后一層的表示，從而直接使用余弦距離計算其相似度，圖像和文本相互獨立缺乏交互［4］，因此這類方法不適于醫(yī)學領域的跨模態(tài)檢索。現(xiàn)有的醫(yī)學跨模態(tài)檢索大都是利用注意力機制學習胸部X影像和診斷報告之間的全局表征，將其映射到一個公共空間中，在此空間構建不同模態(tài)下全局信息的對齊關系。趙曉樂［5］在數據預處理時根據已標注好的肺結節(jié)位置進行相應尺寸的切割，將提取到的肺結節(jié)影像特征信息與對應文本的特征信息映射到漢明空間中，并通過基于數據樣本類別標注的相似度矩陣，對得到的哈希編碼進行約束，實現(xiàn)兩種模態(tài)數據的相互關聯(lián)。Zhang等人［2］通過加入注意力機制，利用平均池化和局部重復注意力提取全局特征，遞歸地從影像的粗粒度移動至細粒度，完成影像中更具鑒別力區(qū)域特征的提取。Zhang等人［6］提出了一種基于類別監(jiān)督的胸片和放射報告的跨模態(tài)哈希檢索方法。該方法設計了一個類別監(jiān)督哈希網絡來學習每個類別的哈希碼，將學習到的類別哈希碼作為監(jiān)督信息來指導影像模態(tài)哈希、文本模態(tài)哈希的學習，通過聯(lián)合哈希網絡將特征映射到一個漢明空間中學習跨模態(tài)相似性。不難發(fā)現(xiàn)這些現(xiàn)有的醫(yī)學跨模態(tài)檢索方法都只考慮全局信息的對齊，缺乏對影像和診斷報告之間的局部細粒度語義對齊，而這是實現(xiàn)醫(yī)學跨模態(tài)檢索的關鍵。

根據有無使用標簽，目前跨模態(tài)檢索的主流方法分為有監(jiān)督跨模態(tài)檢索方法［7，8］、半監(jiān)督跨模態(tài)檢索方法［9，10］和無監(jiān)督跨模態(tài)檢索［11，12］方法三類。有監(jiān)督跨模態(tài)檢索哈希方法通過不同的方式將標簽的語義信息嵌入到哈希碼中［13］，利用標簽學習不同模態(tài)下相同對象在相同空間中的不同表征，例如：Lin等人［14］提出了語義保留哈希（SePH），通過最小化語義標簽和哈希碼分布之間的Kullback-Leibler（KL）差異約束哈希函數對實例生成的哈希碼，從而保持哈希碼與原始數據之間語義的一致性；Li等人［15］利用對抗學習的方法，設計了一個半監(jiān)督對抗哈希網絡（SSAH），利用標簽信息構建不同模態(tài)之間的語義關聯(lián)；Jiang等人［16］利用深度學習的思想，提出了一種具有神經網絡的端到端哈希學習框架——深度跨模態(tài)哈希（DCMH），它可以同時學習深度特征和哈希碼。但是這些方法都忽視了小尺度影像包含的細粒度語義信息，檢索結果的準確性不高。由于監(jiān)督學習極其依賴不同模態(tài)中數據對應的標簽，現(xiàn)實生活中給目標對象進行標簽標注需要耗費大量的人力物力財力，且不是所有數據都能被標簽標注，故而有監(jiān)督檢索的方法具有一定的局限性。

無監(jiān)督跨模態(tài)檢索主要是挖掘利用不同模態(tài)下底層數據之間潛在的、深層次的信息，以此構建不同模態(tài)間相同語義關聯(lián)?，F(xiàn)有的無監(jiān)督跨模態(tài)哈希方法可以分為基于圖嵌入的方法和基于矩陣分解的方法［17］兩類。Su等人［18］提出的深度聯(lián)合語義重構哈希（DJSRH）構造了聯(lián)合語義親和矩陣，它從不同模態(tài)下的原始鄰域信息中捕獲對應實例簽字的語義信息，重構了聯(lián)合語義關系的二進制代碼。Yu等人［19］依據圖模型提出了深度圖領域一致性網絡 （DGCPN），挖掘原始數據和其相鄰節(jié)點間的語義關聯(lián)，構建對應的圖網絡結構，利用圖中數據建立不同模態(tài)間的交互。此外，DGCPN還設計了一個半實數半二進制優(yōu)化策略減少哈希過程中的相似度丟失的問題。Ji等人［20］提出的HMGR檢索方法利用模態(tài)獨立特征圖推理提取局部特征生成上下文感知的全局表征，以此挖掘實例內的相關性，引入一個聯(lián)合異構記憶網絡來實現(xiàn)視覺和文本實例級信息關聯(lián)匹配，從而減輕不同模態(tài)之間的異構問題。雖然上述方法在一定程度上構建出了不同模態(tài)下的相同實例的語義關聯(lián)，但由于無監(jiān)督方法在進行特征映射時，相應的語義并沒有在映射過程中完整保存下來，所以無監(jiān)督跨模態(tài)檢索不是最優(yōu)解。

有監(jiān)督跨模態(tài)中標簽標注成本過高，無監(jiān)督跨模態(tài)檢索由于缺乏標簽信息，不能很好地捕捉到多模態(tài)數據中語義相關性，因此半監(jiān)督跨模態(tài)檢索主要利用少部分標簽學習檢索模型，受到了重點關注。宣瑞晟等人［21］提出了一種圖約束的半監(jiān)督對抗跨模態(tài)檢索方法（SS-ACMR），通過對無標簽樣本建立圖作為約束條件學習公共子空間表示；Zhang等人［22］提出了一種基于生成對抗網絡的半監(jiān)督跨模態(tài)哈希算法（SCH-GAN），模型從未標記的數據中選擇一種模態(tài)的空白示例，當給出另一種模態(tài)的查詢時，判別模型區(qū)分所選示例和查詢的真正示例。這兩種模型進行極大極小博弈，使生成模型能夠提高判別模型的哈希性能。但是這些模型都只考慮了全局信息，缺乏對局部細粒度語義信息進行利用，不能很好地反映出不同模態(tài)下相同對象的語義相似性。Ji等人［23］提出的SMAN有監(jiān)督跨模態(tài)檢索方法，利用堆疊的多模態(tài)注意機制挖掘出句子中有語義意義的視覺區(qū)域或單詞，根據圖像和文本之間的細粒度相互依賴關系來提升不同模態(tài)間相似度測量精確度，解決了跨模態(tài)檢索任務中全局表征對齊無法實現(xiàn)精確定位和局部表征對齊計算量大的問題。這種方法只用于了自然場景下的跨模態(tài)檢索，由于醫(yī)學報告的特殊性，如：某些病灶區(qū)域的描述會有多個單詞組成等問題，所以該方法不適合直接應用與醫(yī)學場景下。

現(xiàn)有的跨模態(tài)檢索的方法大多針對自然圖像和文本，這些方法全都是依賴實例級特征進行檢索，且這些方法都只是考慮全局表征，并沒有針對局部語義表征進行細粒度語義的關聯(lián)匹配。由于醫(yī)學影像的特殊性，影像與影像之間具有較高的視覺一致性，這些檢索方法不完全適用于醫(yī)學跨模態(tài)檢索。所以，如何更好地挖掘深層次的細粒度語義信息，是實現(xiàn)醫(yī)學影像和診斷報告跨模態(tài)檢索問題的關鍵。

2 雙塔跨模態(tài)檢索

2.1 問題定義

2.2 整體目標函數

2.3 影像模態(tài)特征提取

2.4 文本模態(tài)特征提取

2.5 實例級特征交互對齊

2.6 語義級特征交互對齊

2.7 實例語義級特征交互對齊

3 實驗及結果分析

3.1 數據集

3.2 模型評價指標

3.3 實驗設置

3.4 實驗結果與分析

圖3顯示了在MIMIC-CXR數據集上SePH、DCMH和本文方法的top-10檢索結果，紅色虛線框內表示的是檢索錯誤的結果，藍色線框內表示檢索匹配的結果，無框標注的圖像表示與查詢相關的結果，其被檢索為正確的概率低于藍色線框內圖片結果。在影像檢索文本的任務中，SePH返回2個錯誤的結果，相關的文本排在第4。DCMH檢索到了3個錯誤的結果。本文CDTCR在第3個位置返回匹配的文本，存在一種檢索錯誤的情況。對于文本檢索影像的任務，從圖中也很容易觀察到本文方法具有最好的實驗性能。由于醫(yī)學影像及診斷報告存在類內差異大，類間差異小等問題，如：胸部X線影像清晰度差、重疊影嚴重、整體結構相似、局部差異細微；診斷報告結構相似，語義差異小，語義表示學習難度大等問題，故而自然場景下的跨模態(tài)檢索不適用于醫(yī)學影像跨模態(tài)檢索。如圖3左側胸片影像及診斷報告中心臟肥大為例，不難發(fā)現(xiàn)醫(yī)學領域中的影像比自然場景下的事物更加難以檢索，診斷報告語義學習難度大，非專業(yè)醫(yī)護人員很難發(fā)現(xiàn)胸部影像中存在的問題。在胸部影像特征提取過程中，為了從中捕獲有價值的影像信息以及具有細粒度的特征信息，本文設計的影像編碼器從全局和局部兩個尺度下分別學習影像特征，從而進一步提升模型的檢索性能。由于患者間的診斷報告整體結構相似，包括影像所見（findings）和影像結論（impression）兩個部分，其中影像所見部分主要描述觀察到的病灶區(qū)域及病理變化，診斷結論部分主要包括醫(yī)生的診斷結果，語義信息局限于相關醫(yī)學術語，不同診斷報告語義差異小，語義表示學習難度大，且這些描述術語由多個單詞構成，而非一個單詞概括，例如診斷報告提及中度心臟肥大（moderate cardiomegaly）、胸腔積液（pleural effusion），因此在診斷文本特征提取過程中，為了學習到診斷報告的全局和局部表征信息，本文設計了一個文本編碼器去學習對應尺度的特征，捕獲多個語義相關的單詞構成的詞組以此作為文本的局部信息，而非像自然場景下的跨模態(tài)檢索只利用單個單詞作為文本的局部信息，從而加深了影像與報告兩種模態(tài)間的信息交互。診斷報告通常是對病灶區(qū)域進行描述，病灶區(qū)域通常占整個影像中的小部分，存在嚴重的模態(tài)間信息不平衡問題。因此，在檢索過程中，本文模型捕獲到了影像和報告之間的細粒度特征，這些細粒度特征包含了對應模態(tài)下一些隱式的信息，依據這些細粒度來進行不同尺度級別的關聯(lián)匹配，加深了不同模態(tài)間相同語義實例間的信息交互，因此本文模型才會有更好的檢索性能。

表2展示了召回率在MIMIC-CXR數據集上的檢索結果。image to text表示使用影像形式作為查詢，text to image表示使用文本形式作為查詢。從圖標中的結果不難發(fā)現(xiàn)，由于DCMH只考慮對應影像的全局特征，忽略了實例之間的語義信息，檢索性能不好。相比之下，SePH通過最小化語義標簽和哈希碼分布之間的Kullbeck-Leibler（KL）散度差異約束哈希函數對實例生成的哈希碼，從而保持哈希碼與原始數據之間語義的一致性，比DCMH方法獲得了更大的性能改進。而本文CDTCR考慮了局部細粒度語義特征交互和實例級語義特征交互，因此本文CDTCR具有最好的檢索性能。對比DCMH和SePH，本文CDTCR在所有情況下都獲得了更好的性能，在影像檢索文本的任務上召回率有了顯著提高。

表3表示不同模型在MIMIC-CXR數據集上的mAP值，從中不難發(fā)現(xiàn)，在影像檢索文本任務上CDTCR比現(xiàn)有醫(yī)學跨模態(tài)哈希的方法的mAP值提升了2.95%，在文本檢索影像的任務上的mAP值提升了2.95%和1.42%。因此，由表2和3結果可知，本文方法CDTCR是優(yōu)于現(xiàn)有的醫(yī)學跨模態(tài)檢索的方法。

4 結束語

本文提出了一種新的基于胸部X線影像圖和診斷報告的雙塔跨模態(tài)檢索算法，學習胸部X線影像圖和診斷報告全局和局部特征對齊交互，利用醫(yī)學影像和診斷報告中局部語義級信息交互、實例級交互以及實例語義特征交互這三個層次的跨模態(tài)交互進行跨模態(tài)檢索，該算法能夠有效地利用醫(yī)學影像和報告的全局和局部細粒度語義信息指導胸部X線影圖和診斷報告進行跨模態(tài)檢索。大量的實驗驗證了本文CDTCR在醫(yī)學影像檢索中的有效性和高效率。另一方面，本文所設計的雙流跨模態(tài)檢索網絡對于兩種不同模式下的關聯(lián)匹配學習也是有效的。在未來的工作中，將進一步關注影像文本對的全局和局部之間的特征交互對齊方式。

參考文獻：

［1］Yang Erkun，Liu Mingxia，Yao Dongren，et al.Deep Bayesian hashing with center prior for multi-modal neuroimage retrieval［J］.IEEE Trans on Medical Imaging，2021，40（2）：503-513.

［2］Zhang Yong，Ou Weihua，Shi Yufeng，et al.Deep medical cross-modal attention hashing［J］.World Wide Web，2022，25（4）：1519-1536.

［3］歐衛(wèi)華，劉彬，周永輝，等.跨模態(tài)檢索研究綜述［J］.貴州師范大學學報：自然科學版，2018，36（2）：114-120.（Ou Weihua，Liu Bin，Zhou Yonghui，et al.Survey on the cross-modal retrieval research［J］.Journal of Guizhou Normal University：Natural Sciences，2018，36（2）：114-120.）

［4］楊曉宇，李超，陳舜堯，等.基于Transformer的圖文跨模態(tài)檢索算法［J］.計算機科學，2023，50（4）：141-148.（Yang Xiaoyu，Li Chao，Chen Shunyao，et al.Text-image cross-modal retrieval based on Transformer［J］.Computer Science，50（4）：141-148.）

［5］趙曉樂.面向胸部CT圖像—文本的跨模態(tài)哈希檢索技術研究［D］.昆明：昆明理工大學，2019.（Zhao Xiaole.Cross-modal retrieval method for chest CT image and text［D］.Kunming：Kunming University of Science and Technology，2019.）

［6］Zhang Yong，Ou Weihua，Zhang Jiacheng，et al.Category supervised cross-modal hashing retrieval for chest X-ray and radiology reports［J］.Computers amp; Electrical Engineering，2022，98：107673.

［7］Peng Yuxin，Qi Jinwei，Huang Xin，et al.CCL：cross-modal correlation learning with multi-grained fusion by hierarchical network［J］.IEEE Trans on Multimedia，2018，20（2）：405-420.

［8］Hu Di，Nie Feiping，Li Xuelong.Deep binary reconstruction for cross-modal hashing［J］.IEEE Trans on Multimedia，2019，21（4）：973-985.

［9］Zhang Jian，Peng Yuxin，Yuan Mingkuan.SCH-GAN：semi-supervised cross-modal hashing by generative adversarial network［J］.IEEE Trans on Cybernetics，2020，50（2）：489-502.

［10］Li Dan，Du Changde，He Huiguang.Semi-supervised cross-modal image generation with generative adversarial networks［J］.Pattern Recognition，2020，100：107085.

［11］Zhang Lei，Zhang Yongdong，Hong Richang，et al.Full-space local topology extraction for cross-modal retrieval［J］.IEEE Trans on Image Processing，2015，24（7）：2212-2224.

［12］Cheng Miaomiao，Jing Liping，Ng Michael K.Robust unsupervised cross-modal hashing for multimedia retrieval［J］.ACM Trans on Information Systems，2020，38（3）：1-25.

［13］許炫淦，房小兆，孫為軍，等.語義嵌入重構的跨模態(tài)哈希檢索［J］.計算機應用研究，2022，39（6）：1645-1650，1672.（Xu Xuangan，F(xiàn)ang Xiaozhao，Sun Weijun，et al.Semantics embedding and reconstructing for cross-modal hashing retrieval［J］.Application Research of Computers，2022，39（6）：1645-1650，1672.）

［14］Lin Zijia，Ding Guiguang，Hu Mingqing，et al.Semantics-preserving hashing for cross-view retrieval［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2015：3864-3872.

［15］Li Chao，Deng Cheng，Li Ning，et al.Self-supervised adversarial hashing networks for cross-modal retrieval［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：4242-4251.

［16］Jiang Qingyuan，Li Wujun.Deep cross-modal hashing［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2017：3232-3240.

［17］丁淑艷，余恒，李倫波，等.基于圖卷積網絡的無監(jiān)督跨模態(tài)哈希檢索算法［J］.計算機應用研究，2023，40（3）：789-793.（Ding Shuyan，Yu Hen，Li Lunbo，et al.Graph convolutional network based unsupervised cross-modal hashing retrieval［J］.Application Research of Computers，2023，40（3）：789-793.）

［18］Su Shupeng，Zhong Zhisheng，Zhang Chao.Deep joint-semantics reconstructing hashing for large-scale unsupervised cross-modal retrieval［C］//Proc of IEEE/CVF International Conference on Computer Vision.2019：3027-3035.

［19］Yu Jun，Zhou Hao，Zhan Yibing，et al.Deep graph-neighbor coherence preserving network for unsupervised cross-modal hashing［C］//Proc of AAAI Conference on Artificial Intelligence.2021：4626-4634.

［20］Ji Zhong，Wang Haoran，Han Jungong，et al.SMAN：stacked multimodal attention network for cross-modal image-text retrieval［J］.IEEE Trans on Cybernetics，2020，52（2）：1086-1097.

［21］宣瑞晟，歐衛(wèi)華，宋浩強，等.圖約束的半監(jiān)督對抗跨模態(tài)檢索方法研究［J］.貴州師范大學學報：自然科學版，2019，37（4）：86-94.（Xuan Ruisheng，Ou Weihua，Song Haoqiang，et al.Research on semi-supervised adversarial cross-modal retrieval method with graph constraints［J］.Journal of Guizhou Normal University：Natural Sciences，2019，37（4）：86-94.）

［22］Zhang Jian，Peng Yuxin，Yuan Mingkuan.Sch-GAN：semi-supervised cross-modal hashing by generative adversarial network［J］.IEEE Trans on Cybernetics，2018，50（2）：489-502.

［23］Ji Zhong，Chen Kexin，He Yuqing，et al.Heterogeneous memory enhanced graph reasoning network for cross-modal retrieval［J］.Science China Information Sciences，2022，65：article No.172104.

［24］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Deep residual learning for image recognition［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：770-778.

［25］Lin Min，Chen Qiang，Yan Shuicheng.Network in network［EB/OL］.（2013）.https：//arxiv.org/abs/1312.4400.

［26］Vaswani A，Shazeer N，Parmar N，et al.Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems.2017：6000-6010.

［27］Chen Ting，Simon K，Mohammad N，et al.A simple framework for contrastive learning of visual representations［C］//Proc of International Conference on Machine Learning.2020：1597-1607.

［28］Wang Zifeng，Wu Zhenbang，Agarwal D，et al.MedCLIP：contrastive learning from unpaired medical images and text［EB/OL］.（2022）.https：//arxiv.org/abs/2210.10163.

［29］Oord A，Li Yazhe，Vinyals O.Representation learning with contrastive predictive coding［EB/OL］.（2018）.https：//arxiv.org/abs/1807.03748.

［30］Xu Tao，Zhang Pengchuan，Huang Qiuyuan，et al.AttnGAN：fine-grained text to image generation with attentional generative adversarial networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：1316-1324.

［31］Johnson Alistair E W，Pollard T J，Greenbaum N R，et al.MIMIC-CXR-JPG，a large publicly available database of labeled chest radiographs［J］.（2019）.https：//arxiv.org/abs/1901.07042.

［32］Ji Zhanghexuan，Shaikh M A，Moukheiber D，et al.Improving joint learning of chest X-Ray and radiology report by word region alignment［C］//Proc of International Workshop on Machine Learning in Medical Imaging.Cham：Springer，2021：110-119.

［33］Dina D，Marc D K，Marc B R，et al.Preparing a collection of radiology examinations for distribution and retrieval［J］.Journal of the American Medical Informatics Association，2016，23（2）：304-310.

［34］Paszke A，Gross S，Massa F，et al.PyTorch：an imperative style，high-performance deep learning library［C］//Proc of the 31rd International Conference on Neural Information Processing Systems.2019：8026-8037.

［35］尹奇躍，黃巖，張俊格，等.基于深度學習的跨模態(tài)檢索綜述［J］.中國圖象圖形學報，2021，26（6）：1368-1388.（Yin Qiyue，Huang Yan，Zhang Junge，et al.Survey on deep learning based cross-modal retrieval［J］.Journal of Image and Graphics，2021，26（6）：1368-1388.）