基于MRI深度學習在膝關節(jié)前交叉韌帶損傷的研究進展

王梅，徐宏剛，張曉東

作者單位：1.廣州市第一人民醫(yī)院南沙醫(yī)院放射科，廣州 511458；2.南方醫(yī)科大學第三附屬醫(yī)院(廣東省骨科研究院)影像科，廣州 510630

前交叉韌帶(anterior cruciate ligament，ACL)是連接股骨和脛骨的重要膝關節(jié)穩(wěn)定韌帶[1]，在運動時提供穩(wěn)定性，ACL 損傷是膝關節(jié)最常見的損傷[2]，ACL 損傷增加了創(chuàng)傷后發(fā)生膝關節(jié)骨關節(jié)炎和全膝置換術的風險[3-4]。因此，及時、準確評估ACL 損傷在臨床診斷和后續(xù)治療中起著重要作用。磁共振成像(magnetic resonance imaging，MRI)以其良好的軟組織分辨力、無電離輻射、多參數(shù)成像等特點成為評估膝關節(jié)ACL 損傷的首選檢查技術。近年來，隨著醫(yī)療設備和影像技術的不斷發(fā)展，患者檢查量逐年遞增，日漸增多的圖像成為放射科醫(yī)生工作中面臨的巨大挑戰(zhàn)。深度學習(deep learning，DL)作為機器學習的一個重要的新興分支，在醫(yī)學領域得到廣泛應用[5]。DL 可以通過表征學習方法快速準確識別圖像[6]，國內(nèi)外學者基于MRI 圖像對ACL 損傷也進行了DL 方面的探究。

本文以“深度學習”“分割”“卷積神經(jīng)網(wǎng)絡”“前交叉韌帶”“關節(jié)鏡”“deep learning”“segmentation”“CNN”“anterior cruciate ligament”“arthroscopy”等為關鍵詞，在中國知網(wǎng)、萬方、Pubmed、Web of Science 等數(shù)據(jù)庫中組合查詢進行搜索，結果共搜索到相關文獻39 篇，納入標準包括DL 在ACL的分割、損傷診斷和疾病預測中的應用，排除標準包括會議摘要、重復性研究和Meta 分析，最終納入35 篇。本文旨在通過對國內(nèi)外文獻的分析、總結，對DL 在膝關節(jié)前交叉韌帶損傷中的應用進行綜述。

1 DL的相關概念

1.1 DL

DL 是一種具有多個表示層級的學習方法，通過組合簡單非線性模塊，將原始表示層次轉(zhuǎn)換為更高、更抽象的表示層次[7]。正是有了足夠多的轉(zhuǎn)換組合，DL 模型可以學習非常復雜的函數(shù)。DL模型突出特點在于可以憑借算法本身確定圖像最佳特征，進而輸出針對圖像的各種分類[8]。有監(jiān)督學習和無監(jiān)督學習是DL 的兩種基本學習模式。有監(jiān)督學習是指計算機被賦予已預先標記好的數(shù)據(jù)集，利用算法尋找區(qū)分每個分類中對象的特征。而在無監(jiān)督學習中，模型在未被標記的數(shù)據(jù)上自行尋找規(guī)律進行學習和分類。無監(jiān)督DL 算法的任務既要確定不同類別對象的標簽，又要將這些對象分成合適的類別[9]。目前的醫(yī)學研究中主要以有監(jiān)督學習為主，利用神經(jīng)網(wǎng)絡來訓練圖像的分類、分割及檢測，但從長遠來看，無監(jiān)督學習將變得更加重要[10]，因為無監(jiān)督學習可以顯著降低人工標記數(shù)據(jù)的時間和人力成本。

1.2 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡(convolutional neural networks，CNN)是在醫(yī)學圖像領域應用最成熟的算法模型，該模型是一個前饋系統(tǒng)，可以用來提取低級特征和高級特征[11]，因此在圖像識別與分類中大放異彩[12-13]。CNN 一般由輸入層、卷積層、池化層、全連接層以及輸出層5層組成[14]，其中，卷積層是CNN所特有的結構，主要用于提取輸入的特殊信息，由若干卷積單元組成，在CNN 中起關鍵作用。池化層的作用為壓縮特征圖，簡化網(wǎng)絡計算的復雜度。卷積層與池化層交替連接，構成了CNN的核心模塊。全連接層用來輸出最后的分類結果。各層之間相互聯(lián)系，相互影響，共同構成CNN 的基本結構。與傳統(tǒng)的模式識別算法相比，CNN 具有局部連接、權值共享和池化操作等結構特點，使其因運算難度減小而更易于訓練。目前，CNN 在醫(yī)學影像處理的基本流程是預處理、分割、特征提取、訓練及驗證[15]。

2 DL在前交叉韌帶MRI圖像分割中的應用

膝關節(jié)解剖結構復雜，準確分割對于損傷的診斷、治療和手術決策具有重要意義。人工分割雖然能取得理想的分割效果，但效率不高。隨著計算機技術的不斷發(fā)展，一些半自動和全自動分割技術也應運而生。但迄今為止，相關研究文獻主要集中在骨的分割[16]、半月板分割[17]及軟骨的分割[18]，對于ACL 的分割方法研究較少且準確度不高，DL 模型擅長在施加最小限制的情況下從大量數(shù)據(jù)中推斷復雜關系，已經(jīng)被成功應用到ACL全自動分割領域。

2021 年，F(xiàn)lannery 等[19]利用2D U-Net 在246 例圖像上完成了ACL 分割并對模型解剖學性能和定量指標進行了評估，發(fā)現(xiàn)Dice相似系數(shù)(Dice similariy coefficient，DSC)為84%、精確度為82%、敏感度為85%，信號強度差異為0.3%，體積差異為2.3%，模型表現(xiàn)相當出色。在初始分割后平均兩年零三個月內(nèi)，模型和經(jīng)驗豐富的醫(yī)師對隨機挑選的10 張圖像進行再次分割并比較，得出DSC 為84%，精確度為82%，敏感度為85%，兩者一致性很高，說明模型的可重復性很好。此外，該模型在測試集上，平均在0.33 s 內(nèi)快速完成了分割任務，克服了目前MRI 數(shù)據(jù)預處理過程中的難題。該團隊[20]在隨后的研究中又應用遷移學習的方法訓練之前的模型，并用來分割重建術后ACL和修復術后ACL。分割重建ACL的DSC為80%，精確度為79%，敏感度為82%，強度差異為0.82%，體積差異為1.7%，解剖學性能較分割完整ACL 略有下降，猜測是由于重建后的韌帶中存在偽影；分割修復術后ACL的結果是DSC為78%，精確度為78%，敏感度為80%，強度差異為2.7%，體積差異為2.7%，解剖學性能略有下降，原因可能是該組數(shù)據(jù)樣本量較小。兩組定量指標均不存在顯著性差異，說明模型分割性能表現(xiàn)優(yōu)秀。這一發(fā)現(xiàn)為解決CISS 序列定量測量中人工分割速度慢的難題提供了可行方案，并加速推進qMRI 序列的臨床應用進程。2022 年，Awan 等[21]應用CNN 架構U-Net 的語義分割技術，在克羅地亞里耶卡臨床醫(yī)學院中心數(shù)據(jù)庫自動分割撕裂的ACL。該分割框架由三部分組成：首先將原始數(shù)據(jù)集中MR 圖像格式由pickle格式轉(zhuǎn)化為jpeg格式以方便調(diào)閱，其次利用Mask圖提取感興趣區(qū)并根據(jù)原始圖像的標簽進行標記并調(diào)整超參數(shù)，最后使用開發(fā)出的U-Net 網(wǎng)絡在感興趣區(qū)內(nèi)分割撕裂ACL，并在訓練集和測試集上進行廣泛地評估和測試。該團隊提出的分割方法在11 451 張訓練集圖像上的準確度、DSC、精確度、召回率和平衡F 分數(shù)分別為98.4%、99.4%、99.6%、99.6%和99.6%，而在3817 張驗證集圖像上分別為97.7%、96.8%、96.5%、97.3% 和96.9%。實驗結果表明：用該U-Net 網(wǎng)絡進行ACL 分割，準確度超過了醫(yī)師手動分割，但該方法的局限性在于分割方式和訓練模型耗時耗力，且模型分割任務單一，只能識別出撕裂ACL。

ACL的準確分割對于后續(xù)損傷的分類評估有重要意義，但目前基于DL 的ACL MRI 圖像分割研究也面臨一些挑戰(zhàn)。首先，大多研究集中在對完整韌帶的分割方面，在對損傷韌帶的分割研究較少。推測原因可能是當ACL 完全撕裂時，會出現(xiàn)水腫攣縮繼而表現(xiàn)為異常形態(tài)，此時想要準確勾畫其輪廓非常困難，因其撕裂范圍邊緣分割不準確，最終影響模型性能。其次，研究所針對的圖像都是單一序列，模型的普適性有待進一步提高，這也制約了模型在臨床上大力推廣的可能性。最后，由于國內(nèi)外缺乏公認的、統(tǒng)一的有分割標簽的數(shù)據(jù)集，故各個模型的分割性能無法橫向比較優(yōu)劣。未來只有在大量有精準標注的數(shù)據(jù)集上做出更成熟的研究，才能最終提升分割模型的成熟度和泛化性，加速模型走向臨床。ACL的分割文獻匯總見表1。

表1 深度學習分割前交叉韌帶MRI圖像文獻匯總Tab.1 Literature summary of deep learning on segmentation of anterior cruciate ligament MRI images

3 DL在前交叉韌帶損傷診斷分類中的應用

3.1 ACL損傷診斷二分類

2018年，Bien等[22]利用MRNet來識別ACL損傷。以三方位圖像作為輸入，模型診斷的敏感度為76%，特異度為97%，受試者工作特性(receiver operating characteristic，ROC)曲線下面積(area under the curve，AUC)為97%，放射科醫(yī)生診斷的敏感度為91%，特異度為93%。該研究還比較了在有無模型輔助的情況下醫(yī)生的工作表現(xiàn)，發(fā)現(xiàn)在DL 支持下放射科醫(yī)生診斷的敏感度提高了5%，而特異度保持不變。在使用?tajduhar等[23]公開的外部數(shù)據(jù)集驗證時發(fā)現(xiàn)，直接使用該模型時AUC下降到82%，再訓練后，AUC提高到91%，表明了外部數(shù)據(jù)集再訓練對DL模型泛化性具有重要作用。2019年Liu等[24]提出的全自動化診斷模型由LeNet-5、YOLO 網(wǎng)絡、DenseNet 三部分構成。該團隊對350 名受試者進行回顧性研究，以關節(jié)鏡檢查結果為參考標準，發(fā)現(xiàn)模型的敏感度為96%，特異度為96%，AUC 為98%。相比之下，放射科醫(yī)生的敏感度為96%～98%，特異度為96%～98%，AUC 為98%。CNN 診斷效能與放射科醫(yī)師的表現(xiàn)相媲美。同時，該研究還比較了三種不同類型CNN的敏感度、特異度和AUC，分別是DenseNet (96%、96%、98%)、VGG16 (92%、92%、95%) 和AlexNet (89%、88%、90%)，發(fā) 現(xiàn)DenseNet表現(xiàn)出了最好的診斷效能。同年，Chang等[25]使用了三種不同方法對260 名受試者的MR 圖像進行評估，發(fā)現(xiàn)隨著輸入視野的減小和輸入信息的增加，模型性能表現(xiàn)更加優(yōu)越。先前的研究工作主要集中在提高診斷準確性上，而對可解釋性和體積等方面關注較少。Jeon等[26]提出了一種可解釋性的輕量級3D CNN 模型，該模型引入注意模塊取代CAM 或Grad-CAM，同時使用壓縮模塊和較少的卷積濾波器來最小化模型尺寸，該模型分別比MRNet 和VGGNet 小367 倍和91 倍。此輕量級模型在千葉和斯坦福數(shù)據(jù)集上都得到了很好的驗證。2021年，Li等[27]提出了一種基于DL的多模態(tài)特征融合模型用于ACL 損傷診斷的前瞻性研究，將30 例患者分為MRI 診斷組和關節(jié)鏡檢查組，得出敏感度、特異度和準確度分別為96.78%、90.62%和92.17%。其中，矢狀位相較于其他兩個方位在ACL撕裂診斷任務中具有很大優(yōu)勢，準確度高達96.28%。

2020 年，Zhang 等[28]開發(fā)了一種基于3D DenseNet 的分類CNN，使用408例MR圖像來診斷ACL撕裂，并和VGG16和ResNet的診斷效能進行比較，發(fā)現(xiàn)其敏感度為98%，特異度為94%，準確度為96%，結果均高于其他兩個模型。同年，Germann等[29]在一項數(shù)據(jù)量龐大的研究中，以關節(jié)鏡手術報告為參考標準，DCNN在512 名受試者的內(nèi)部數(shù)據(jù)集上實現(xiàn)了99%的敏感度、94%的特異度和97%的AUC。但在外部驗證時，診斷效能明顯降低，說明隨著MRI 檢查異質(zhì)性的增加，其性能可能會下降。該研究還發(fā)現(xiàn)了不同場強(1.5 T、3 T)不會對模型診斷準確性產(chǎn)生影響。基于DL 對MRI 圖像ACL 損傷二分類的文獻匯總?cè)绫?。

表2 深度學習對MR圖像前交叉韌帶損傷二分類的文獻匯總Tab.2 Literature summary of deep learning on ACL tears classification of MRI images

3.2 損傷診斷多分類

此前，大多數(shù)CNN 對ACL 損傷分類為完整和撕裂兩分類，隨著DL技術的不斷發(fā)展，CNN對ACL損傷的多分類研究也取得了一些成果。2020 年，Namiri 等[30]結合WORMS 評分設計了兩種CNN (2D CNN、3D CNN)輸出了ACL 四分類，即完整、部分撕裂、完全撕裂和重建術后ACL。該研究回顧性分析了1243 例MR 圖像，發(fā)現(xiàn)2D CNN 和3D CNN 識別ACL 損傷的總體準確度高達92%和89%。Awan等[31]的研究旨在解決數(shù)據(jù)集不平衡的問題，首次基于混合類平衡和實時數(shù)據(jù)增強的方法，開發(fā)出一種三分類改進模型—ResNet-14 CNN。模型在917 例克羅地亞里耶卡臨床醫(yī)學院中心公開數(shù)據(jù)集上得到健康、部分撕裂和完全撕裂的平均AUC 分別為98%、97%和99%，說明在沒有放射科醫(yī)生參與的情況下，模型能夠高效、全面地自動檢測ACL 損傷。Astuto等[32]提出了一種基于完整膝關節(jié)多組織分區(qū)和多分類的全自動復合模型，回顧性地利用1252 例3D 高分辨FSE序列圖像進行ACL 四分類診斷。該復合模型檢測ACL 病變二分類(有無撕裂)的敏感度為88%，AUC 為90%，多分類(完整、全部撕裂、部分撕裂、重建手術)敏感度為89%～97%，研究還比較了有無DL模型幫助的受訓人員與經(jīng)驗豐富的醫(yī)師診斷ACL損傷一致性的差異。結果顯示模型的輔助大大提高了經(jīng)驗不足醫(yī)生的診斷效能。2021 年，Awan等[33]應用LeNet-5 CNN 和定制CNN 在克羅地亞里耶卡臨床醫(yī)學院中心的917 張膝關節(jié)磁共振圖像對ACL損傷進行自動分類。該DL框架主要包括三個階段：首先裁剪出膝關節(jié)MR 圖像感興趣區(qū)域；其次訓練標準CNN模型和定制的CNN模型，并手動設置了自適應矩估計優(yōu)化器(ADAM)、均方根傳遞優(yōu)化器(RMSprop)和兩個學習率0.001和0.0001；最后通過訓練集和測試集來比較不同模型性能。標準CNN和定制CNN模型準確度、精確度、敏感度、特異度、平衡F分數(shù)分別為96.3%、95%、96%、96.9%、95.6%和98.6%、98%、98%、98.5%、98%，定制CNN 模型在ACL 損傷前瞻性分類方面取得了較高的性能。該研究的不足之處在于：(1)數(shù)據(jù)集不平衡(健康圖像的比例遠高于部分和完全撕裂圖像的比例)；(2)沒有考慮前交叉韌帶撕裂患者的年齡和外傷史或骨關節(jié)炎史；(3)沒有通過交叉驗證進行評估；(4)缺少外部數(shù)據(jù)集驗證。基于DL對MRI圖像ACL損傷多分類分級的文獻匯總?cè)绫?。

表3 深度學習對MRI圖像前交叉韌帶損傷多分類的文獻匯總Tab.3 Literature summary of deep learning for multi?classification of ACL tears in MRI images

目前基于DL 對ACL 損傷分類的研究較多，并呈現(xiàn)出可喜的成果，但是也看到了研究存在的一些問題：(1)之前的研究主要以回顧性研究為主，缺乏前瞻性實驗設計，導致實驗結果易受設計者主觀偏倚的影響；(2) ACL 損傷存在與否的二分類研究較為成熟，但有關損傷嚴重性的多分類診斷準確度仍有待提高；(3)算法模型與現(xiàn)實的臨床環(huán)境整合度不高，多分類大多只區(qū)分健康、部分撕裂、全部撕裂，沒有對損傷嚴重程度更細化的分級，因此對臨床手術決策及診斷伴隨的膝關節(jié)損傷指導意義有限；(4)研究納入損傷病例數(shù)所占比例較小，這就容易造成模型的過擬合(偏向健康)；(5)許多研究只將模型結果與放射醫(yī)生的診斷結果相比較，而關于放射科醫(yī)生在是否有DL 模型支持的情況下診斷損傷的準確度和速度卻鮮少對比分析；(6)模型在外部數(shù)據(jù)集的驗證結果不理想，說明模型的通用性和可遷移性仍需進一步探討。

4 總結與展望

現(xiàn)階段有關DL 在ACL 上的研究焦點大多集中于對ACL 損傷的分類，對于ACL的分割以及基于ACL對膝關節(jié)其他疾病的預測卻鮮少關注。同時DL 算法的實用性可能會隨著醫(yī)師經(jīng)驗水平的提高而降低，專業(yè)知識較少、經(jīng)驗不足的醫(yī)師受益更多，而具有豐富經(jīng)驗的放射科醫(yī)師受益較少。而且雖然經(jīng)實驗研究已經(jīng)證實DL 的準確度已經(jīng)達到或者超過專業(yè)醫(yī)生，但受臨床實際情況復雜性的影響，實際應用于臨床的并不多[34]，其原因可能一是由于現(xiàn)有模型的魯棒性和有效性有待于更加客觀的檢驗。二是用于訓練各個模型的數(shù)據(jù)集質(zhì)量參差不齊，導致性能不穩(wěn)定，有研究試圖通過包括不同場強、脈沖序列協(xié)議、機型和外部測試集來評估真實場景，發(fā)現(xiàn)模型診斷效能有所下降，這說明模型的大范圍的推廣受到一定制約，需進一步提高模型普適性[35]。目前基于ACL 預測骨關節(jié)炎的發(fā)生和進展的研究仍是空白，如何通過ACL 來預測膝骨關節(jié)炎，準確預測有前交叉韌帶損傷或再損傷風險的個體，術中識別復雜的解剖標志，以及術后疼痛控制和康復方案的優(yōu)化，這將是未來的一個研究方向。同時，將DL 整合到臨床實踐中需要放射科醫(yī)生的參與，他們提出臨床工作中需要解決的問題，將工科和醫(yī)學相結合，這是加速DL 臨床應用不可或缺的重要一環(huán)。

綜上所述，雖然DL關于ACL損傷的研究仍處于起步階段，但隨著人工智能的迅猛發(fā)展與精準醫(yī)學理念的不斷深入，更多模型會被不斷開發(fā)出來，DL技術也將取得長足進步，并使相關醫(yī)療數(shù)據(jù)的分析更加精確。雖然短期來看，人工智能和DL預計不會取代放射科醫(yī)生，但這些技術可以極大地簡化工作流程，提高放射科醫(yī)生的工作效率，減少診斷出錯幾率，切實提高患者的滿意度。在可預見的未來，DL 在臨床應用的前景將更加廣泛，將會成為放射科醫(yī)生的得力助手。

作者利益沖突聲明：全體作者均聲明無利益沖突。