基于雙模態深度學習模型診斷及鑒別診斷nAMD和PVC的研究

崔英杰，袁立飛，王艷輝，張勝娟，宋美娜，胡天翼，周庚顯，王莉菲★

（1.華北理工大學，河北 唐山 063210；2.河北省眼科醫院，河北 邢臺 054001 ；3.北京郵電大學計算機學院，國家示范性軟件學院，北京 100876）

年齡相關性黃斑變性（AMD）是黃斑的獲得性疾病，其特征在于光感受器- 視網膜色素上皮復合物出現遲發性神經變性，進而引起進行性視覺損傷[1]。AMD 是一種不可逆的、嚴重的致盲性眼病，是目前我國第三大致盲性眼病，也是導致老年人群失明的主要原因，主要影響中心視力。此病患者的年齡多在50歲以上，雙眼可先后或同時發病，視力呈進行性損害。預計到2040 年，全球AMD 病例數量將達到2.88億例[2]。AMD 主要分為“干性”和“濕性”兩個類型，而濕性AMD（wAMD）又可進一步分為新生血管性AMD（nAMD）和息肉狀脈絡膜血管病變（PCV）。wAMD 的早期監測和干預已被證明可以改善視力，因此早期診斷和治療能最大限度地挽救患者的視力。光學相干斷層掃描（OCT）檢查作為近年來應用于臨床眼科的新型檢查技術，具有非侵入性、非接觸性以及成像結果能夠清晰、定量、直觀顯示病變的部位和層次等優點[3]。眼底照相（CFP）技術在眼科檢查中應用廣泛，并取得了一定效果。近年來隨著人工智能（AI）技術的興起和發展，利用機器學習對圖像進行自動識別與分析在眼底圖像自動分析等醫學領域的研究中取得了重要進展。現階段，眼科醫生的數量與眼底病患者的數量不成正比，且根據CFP 和OCT 圖像對wAMD 進行診斷會受到不同程度的干擾，增加了閱片難度。為緩解臨床眼科醫生工作量與患者需求量之間的矛盾，我們將AI 分析引入wAMD 輔助診斷領域，實現了對眼底圖像中異常成分的自動實時識別，為臨床醫生提供疾病診斷參考并輔助醫生進行快速診斷。目前，針對wAMD 進一步分類的研究較少，但由于nAMD 和PCV 的診療方案存在一定的差異，因此需要對wAMD 進行亞型分類，以利于臨床輔助診斷工作的有效進行。本研究旨在利用AI 學習模型輔助識別和診斷PCV 和nAMD，以提高臨床醫師的工作效率和效能，具有重要的臨床意義和公共衛生實踐價值。

1 對象與方法

1.1 研究對象

選擇2020 年1 月至2021 年12 月就診于河北省眼科醫院，經熒光素血管造影（FFA）和吲哚菁綠血管造影（ICGA）檢查確診的wAMD 及PCV 患者共56例作為研究對象，所有患者均行CFP 和OCT 檢查，篩選體征典型、圖像分辨率高的123 張CFP 影像和545 張OCT 影像（共4218 張）進行分析。

1.2 方法

1.2.1 圖片預處理 對圖片進行裁剪，隱藏所有患者影像資料中的個人信息及圖片信息，且在訓練數據上進行隨機旋轉、隨機水平翻轉、隨機對比度增強等增強操作。

1.2.2 圖片標注 進行標注系統搭建，首先由4 位臨床眼科醫生對該數據集進行標注，其中包括1 位主任醫師，2 位副主任醫師，1 位主治醫師。標注共分為兩輪，第一輪標注時，影像以患者為最小分發單位隨機分發給4 位臨床醫生，該過程與臨床診斷類似；第二輪標注時，由4 位醫生共同對該批數據集進行閱片和標注。確保標注結果的準確性和一致性。標注內容包括視網膜內出血、滲出，視網膜層間積液，視網膜下積液，視網膜下高反射病灶、視網膜色素上皮（RPE）脫離，玻璃膜疣等眼底病變。

1.2.3 圖片篩選 由4 名臨床經驗豐富的眼科醫生進行獨立觀察、分析和篩選每幅圖像，并完成診斷。若遇到診斷結論不一致的情況，則由另一名眼底病專家進行最后的判斷。在將數據用于深度學習前，除去質量較差的影像后，將同一患者同一只眼的CFP 影像和OCT 影像匹配為一組雙模態影像，如圖1 所示。

圖1 匹配為一組雙模態影像示例

1.3 智能系統開發

針對目前輔助診斷領域普遍存在的只使用單一醫學影像、未對wAMD 進一步分類等問題，我們提出了雙模態wAMD 輔助診斷模型Wet-AMD-Net，該模型包括兩個部分：1）不同特征提取模型應用于不同模態數據特征的提取；2）對特征表示進行融合。

1.3.1 特征提取 用于處理CFP 影像的特征提取模型記作F 模型，處理OCT 影像的特征提取模型記作O 模型。VGGNet 和ResNet 系列在主流的圖像特征提取方法中是最具有代表性的。本研究先將VGG16、ResNet18 和ResNet34 三種模型分別作為同構特征提取模型，采用基于特征的連接策略進行測試，實驗結果表明，使用VGG16 作為特征提取模型的Wet-AMD-Net 在F1 值、kappa 值、ROC 曲 線 下 面積（AUROC）、召回率、精確度上都比ResNet18 和ResNet34 模型的數據要好。第二步將VGG16 特征提取模型作為其中的一個固定模型，并分析不同特征提取模型組合效果的差異。實驗的特征融合依然采取基于特征的連接策略，結果表明，當CFP 影像和OCT影像的特征提取模型都為VGG16 時，模型的性能達到最優。

1.3.2 特征融合 本研究分析了三種特征融合的方式，分別為基于特征的連接策略、基于特征的權重分配策略和基于分類結果的權重分配策略。我們將VGG16作為CFP 影像和OCT 影像的特征提取模型，采用三種不同的特征融合策略分別進行實驗對比。實驗結果表明，當兩種模態影像的特征提取模型均為VGG16時，基于特征的連接策略為最優的融合策略。

1.4 AI 與專科醫師比較

為了科學評價AI 模型的臨床應用性和效能，我們將其與專業的醫師進行比對分析，將4 位臨床醫生的第一次標注結果作為實際臨床診療中的篩查結果，第二次標注結果作為數據的真實標簽，可以得到4 位臨床醫生的標注F1 值等評價指標。

1.5 統計學方法

采用SPSS 22.0 統計學軟件進行統計分析。應用ROC 曲線分析AI 的診斷性能，采用F1 值、Kappa 值、AUROC、召回率、精確度等作為系統評價效能指標。

2 結果

本次研究納入明確診斷為wAMD 的56 例患者的123 張CFP 影像和545 張OCT 影像，其中68 張影像診斷為nAMD，132 張影像診斷為PCV，269 張影像診斷為其他。利用VGG16 的深度學習方法成功建立了兩種特征提取模型。圖像質量控制后，共得到469組影像，選擇其中366 組影像進行訓練，數據標簽分布如表1 所示。對其中51 組影像進行驗證及52 組影像進行測試，從而對構建的模型進行評估，其中標簽為nAMD 的影像資料有57 組用于訓練集，5 組用于驗證集，6 組用于測試集；標簽為PCV 的影像資料有103 組用于訓練集，18 組用于驗證集，11 組用于測試集；標簽為其他的影像資料有206 組用于訓練集，28 組用于驗證集，35 組用于測試集。使用訓練數據集測試了三種CNN 特征提取模型，結果表明VGG16表現最好。確定特征提取模型后，測試了三種不同的特征融合策略，結果VGG16 作為兩種模態影像的特征提取模型為最優的融合策略。

為了展示我們提出算法的有效性，與臨床經驗豐富的醫生進行了對比。AI 模型的性能由F1 值、Kappa 值、AUROC、召回率、精確度五個主要結果來表示。該模型在F1 值、召回率、精確度上分別達到了0.9798、0.9792、0.9821，表明該模型可以較為準確地識別及鑒別nAMD 和PCV ；該模型的Kappa 值、AUROC 分別達到了0.9550、0.9881，Kappa 值達到0.9550 表明該模型的一致性很高；AUROC 通常被用來評估AI 模型的性能，AUROC 達到0.9881 表明該模型的性能優異。而臨床醫生的平均水平在F1 值、Kappa 值、AUROC、召回率、精確度上分別為0.9110、0.7949、0.9557、0.9010、0.9522。可以得出該模型的水平均超過了4 位眼科臨床醫生，并且該模型能夠準確且高特異性地診斷及鑒別nAMD 和PCV。詳見表2。

表1 數據標簽分布

表2 模型與臨床醫生對比實驗

3 討論

早期診斷wAMD 是一項非常重要且具有挑戰性的任務，雖然OCT 和CFP 技術作為一種實時的非侵入性影像學檢查在臨床上應用已十分廣泛，但因患者的早期篩查意識不到位，且眼科醫生相對患者來說數量較少，導致閱片效率低下，因此對wAMD 的早期篩查仍存在巨大的挑戰。在本研究中，我們利用深度學習方法構建了一個新智能模型來識別CFP 圖像和OCT 圖像中的特征并將其提取出來，進而輔助醫生診斷和區分nAMD 與PCV。此次研究模型的嘗試實現了AI 的雙級跳，預示了巨大的臨床轉化應用前景。該系統無需使用ICGA 有創檢查，僅利用無創的CFP和OCT 圖像即可達到專業眼科醫師的診斷水平，其安全性和高效性為以后在臨床實際的廣泛應用夯實了基礎。本課題的主要目的是：第一，運用深度卷積神經網絡模型，實現nAMD 和PCV 的分類診斷；第二，對比不同特征提取模型和特征融合策略的診斷效能差異；第三，評估對比深度學習模型和醫生判讀結果的診斷效能差異。

3.1 國內外相關研究的進展

AI 技術與wAMD 診斷相結合現已成為許多學者的研究熱點。Burlina 等[4]人是最早研究基于深度學習網絡實現AMD 智能輔助診斷的，他們利用預先訓練好的深度神經網絡分析眼底影像從而進行診斷，實現了利用AI 技術完成對正常、早期、中期和晚期AMD 的分型診斷。Venhuizen 等[5]人建立了一個基于深度學習實現通過OCT 影像進行分級診斷的AI 系統，可將無、早期、中期、伴有地圖樣萎縮的晚期AMD、伴有新生血管（CNV）的晚期AMD 5 個不同的級別進行診斷。該系統的AUROC 為0.980，靈敏度為98.2%，特異度為91.2%，醫師的靈敏度分別為97.0% 和99.4%，特異度分別為89.7% 和87.2%，這與醫師的表現形成了鮮明對比。

雖然單一維度的眼底AI 診斷系統可以獲得較高的準確率，但是在真實的臨床醫學場景中，單一模態的AI 檢測系統不足以對wAMD 進行確診，不能滿足當今的臨床實際需求，而CFP 影像和OCT 影像可分別從平面、橫斷面的角度展示不同的體征信息，醫師將CFP 與OCT 影像資料結合分析，從而可作出相應的臨床診斷。Yoo 等[6]人通過將OCT 影像和眼底圖像相結合提高了深度學習對AMD 診斷的準確性，建立了基于預先訓練好的深度卷積神經網絡和隨機森林的多模態深度學習模型的基本結構，將眼底圖像與OCT 圖像聯合應用的模型可提高診斷的準確率，AUC值為0.969，準確率為90.5%。這表明聯合使用OCT和眼底圖像優于單獨使用OCT 影像或單獨使用眼底圖像的深度學習技術。在這項初步研究中，一種基于OCT 圖像和眼底圖像相結合的多模式深度學習算法與單獨使用該數據相比提高了診斷準確率。

3.2 該模型的局限性

本研究仍有一定的局限性，例如為了保證納入的數據均符合診斷標準，我們的數據來源均來自于一個中心，這就導致了數據量的不足。另外一個局限性則是各分類數據量的不均等，nAMD 組的數據量較其他2 組較少。但是最終模型效果并沒有受很大的影響，我們的模型即使在較小的數據量訓練的情況下，最終體現的效果也很好。雖然該模型的性能已達到了很好的水平，但目前仍有一定的缺陷，例如當前模型并不能作為一種診斷方式，而只能作為一種輔助診斷的手段，只能為診斷及治療提供一定的參考，模型的可解釋性較差，給出的輔助診斷結果可信度不高，不利于模型的臨床落地。另外，該系統只能區分nAMD 和PCV，不能進一步識別wAMD 的其他亞型及評估病變的進展程度。為了有效解決可解釋性問題，我們將進一步在wAMD 病變體征檢測、分割領域展開研究，在為臨床醫生提供診斷結果的同時，給出CFP 影像和OCT 影像上相關病變體征的檢測結果，為輔助診斷結果提供可解釋性依據。在繼續研究的同時，也要收集新的數據，繼續對模型進行外部驗證，對參數進行不斷的調整，以達到最優化模型算法參數，從而提高模型的準確性，拓寬系統的適用性。如果將遠程醫療與我們的模型相結合，可以確保我們的AI 系統得到廣泛應用，并且可以幫助基層醫療衛生系統改善及提高診斷水平，降低醫療成本，為無法得到醫療幫助的人們提供醫療服務。

綜上所述，我們開發了一種雙模態深度學習方法用以輔助診斷wAMD，經過多次對比實驗證明了該模型具有良好的性能，可以輔助臨床醫生進行診斷，提高工作效率，為更多患者提供醫療幫助。隨著深度學習網絡等技術的進一步發展，AI 有望在更多領域發揮輔助作用，改變現有的疾病診斷模式，為人類醫療水平的提升提供巨大的幫助。