卷積神經網絡基于MRI在半月板損傷診斷中的研究進展

袁典，杜昱崢，魏德健，張俊忠，曹慧*

0 引言

膝關節是人體結構和功能最復雜的關節之一，半月板是位于膝關節脛骨面內外兩側的半月形緩沖結構，對于潤滑膝關節軟骨和維持膝關節穩固性起著關鍵作用[1]。但同時膝關節也是易受傷的關節之一，不同程度的半月板損傷幾率都高于膝關節其他部位，人體半月板一旦發生損傷，輕則使患者局部關節腫脹疼痛，影響正常的日常生活，重則會導致患者早期關節炎的形成和發展[2]。根據目前醫學技術得知，嚴重的半月板損傷給患者所帶來的傷害是不可逆轉的，半月板損傷的早期診斷與治療對于預防關節炎具有非常重要的意義[3-4]。

醫學圖像技術是骨關節疾病預防和診斷方式之一，其研究和發展為醫生進行臨床診斷提供了更多的參考方案，近年來在很多領域得到了廣泛應用并取得了一定的成果，例如骨質疏松[5-7]、骨腫瘤[8-9]、軟骨及關節病變[10-11]等骨關節疾病的診斷治療。超過70%的骨關節疾病的診斷都依賴于醫學圖像技術，MRI 因具有非侵入、無輻射、無創傷以及準確度高等優勢，成為公認的診斷半月板損傷的最佳醫學圖像技術[12-14]。但是在整張人體膝關節MRI圖像中，半月板所占面積小于1%，因此臨床醫師判斷的準確性受限，給他們的專業能力帶來了挑戰。使用計算機技術來輔助臨床醫生診斷醫學圖像的想法已經被科學界所采用[15]。卷積神經網絡具有強大的特征提取能力，對輸入的膝關節MRI圖像反復訓練學習，可以解決煩瑣的人工分割半月板MRI圖像和半月板損傷檢測等問題，進而提高半月板MRI圖像分割、損傷檢測和分類的效率和準確率。因此，深度學習中的卷積神經網絡在半月板損傷的早期診斷中極具潛力。卷積神經網絡在半月板損傷智能診斷中已經取得了初步的研究和應用，但是目前鮮有文章同時對半月板MRI 圖像分割、圖像檢測和圖像分類進行全面總結。本文將對卷積神經網絡基于MRI 在半月板圖像分割、損傷檢測和損傷分類三個方面的最新研究進展進行綜述，旨在總結半月板損傷輔助診斷中提出的卷積神經網絡模型以及應用效果，并提出該研究領域目前存在的局限性和未來的發展方向，為相關領域的臨床應用研究提供參考。

1 深度學習與卷積神經網絡

人工智能（artificial intelligence, AI）為醫學圖像領域帶來了巨大變革，近年來，AI的快速發展提高了醫學圖像的實用性[16]，兩者結合被認為是最具發展前景的方向之一[17]，在臨床診斷和治療中具有較高的應用價值。AI 的發展突飛猛進，其各類以深度學習和卷積神經網絡為代表的算法和工具應運而生。

1.1 深度學習

以神經網絡為代表的機器學習算法，旨在使計算機具有學習新知識的能力，進而改善并提高模型性能。在近幾十年的發展過程中，機器學習的一個重要子領域誕生——深度學習，深度學習能夠自動學習特征層，可以高通量、自動化提取高維度的特征信息，是目前最接近AI的算法[18]，其創新和應用推動著AI快速發展，醫學智能化研究由此進入新的階段。深度學習技術在2017 年開始廣泛應用于醫學領域[19]，該技術優于傳統的圖像分析方法，被稱為計算機視覺領域最為先進的圖像分析技術，深度學習基于分層人工神經網絡，適合用于解釋醫學圖像之間的復雜關系，在輔助醫學圖像診斷分析中的大量應用取得了重大進展，其中研究熱點有肺結節分類檢測[20]、糖尿病視網膜病變檢測[21]、阿爾茨海默病分類診斷[22]等。

1.2 卷積神經網絡

卷積神經網絡是深度學習技術在醫學圖像分析領域中最流行的深度神經網絡類型之一[23]，繼深度學習提出后，以卷積神經網絡為內核的深度學習技術得到了快速發展，算法與硬件技術的發展也推動著深度學習和卷積神經網絡飛速發展。卷積神經網絡具有強大的特征提取能力，是一種具有卷積計算和深度結構的多層感知器，在醫學分析上比其他傳統的神經網絡更加優越。卷積神經網絡已被廣泛應用在醫學圖像輔助診斷領域，它能夠有效地提取輸入的醫學圖像信息，在醫學圖像的圖像分割[24]、目標檢測[25]和病理分類[26]方面取得了一定成果。

卷積神經網絡是一種在有監督訓練下進行的深度學習算法，在醫學病理圖像分析與處理上具有優越的能力，可以自動檢測并提取重要的圖像特征信息[27]。在卷積神經網絡中，輸入層作為第一層用于將圖像傳送至網絡模型中；卷積層作為核心特征提取器，主要利用滑動固定尺寸的卷積核在膝關節MRI圖像上進行運算，提取有效特征，并生成特征圖；池化層通常位于兩個卷積層之間，對特征圖進行下采樣，保留特征圖中的有效信息；激活層旨在加速模型的訓練過程和提高模型的穩定性，從而提高半月板的信息表達能力；全連接層位于卷積神經網絡結構的末端，是特征空間到標記空間的映射，主要用來得出網絡模型的檢測、分類和分割結果。

2 卷積神經網絡在半月板MRI圖像分割中的應用

由于膝關節解剖結構復雜，預先對MRI 圖像進行分割能夠減少圖像中無用的信息，精確分割半月板對于了解半月板形態結構、確定半月板病灶位置、診斷半月板損傷以及損傷等級的判斷具有重大應用價值，作為圖像處理的前期工作的基礎和后續工作的基石，其性能影響著整個研究的完整性和準確性。雖然放射科醫師的人工分割可以取得理想的分割效果，但是他們在MRI 圖像上分割半月板大約需要20 分鐘[28]。隨著計算機技術的不斷發展，基于深度學習的圖像分割技術也應運而生，卷積神經網絡結構因具有良好的提取圖像深層特征的能力，成為現階段醫學圖像分割領域中的主流方法。

在圖像分割中主要采用Dice 相似系數（Dice similariy coefficient, DSC）作為分割結果準確性的評價指標，DSC 越大代表分割結果越準確。2018 年TACK 等[29]率先使用2D U-Net 和3D U-Net 結合統計形狀模型（statistical shape models, SSMs）提出一種自動分割膝關節半月板MRI 矢狀面圖像的方法，其中SSMs 用于去除小區域，重建半月板。該方法分割每對內外側半月板約花費1.5 分鐘，分割DSC 分別為83.8%和88.9%，獲得了顯著的分割效果，但是該方法只分割了一個MRI序列。為了評估半月板松弛和形態，同年NORMAN 等[30]基于2D U-Net對膝關節半月板進行自動分割，并與放射科醫生手動分割進行比較，該模型平均每5 秒產生自動分割，外側半月板和內側半月板的DSC 分別為80.9%和75.3%，其縱向分割結果與傳統的人工手動分割效果基本一致，雖然此網絡模型具有良好的性能優勢，但在精度方面還有提高的空間。

2019 年PEDOIA 等[31]首先通過隨機旋轉和平移圖像增強的方法將數據集中的訓練集擴大十倍，解決組間不平衡導致的過擬合問題，隨后采用2D U-Net在1 478 名受試者的矢狀面圖像上自動分割膝關節半月板，完整的分割過程總共需要9 秒，但是研究中使用的數據集有限，并不能代表準確的臨床常規情況。2020年?LMEZ等[32]首先使用區域卷積神經網絡（region convolutional neural networks, R-CNN）定位半月板區域，然后在卷積神經網絡上利用膝關節兩種不同MRI圖像序列的對比度特征區分半月板與周圍組織，實現形態學圖像分割和分析，分割整個半月板的DSC為88.8%，但是將半月板進行整體分割對于進一步診斷其損傷的意義較小。

圖像分割主要是通過識別圖像的感興趣區域（region of interest, ROI）來確定病灶位置、形狀和輪廓等形態學信息。2020 年BYRA 等[33]將遷移學習應用于2D U-Net，分別對兩個放射科醫生提供的膝關節MRI圖像進行半月板分割的DSC 分別為86.0%和83.3%，而放射科醫生手動分割半月板的DSC 為82.0%，表明所提出的深度學習模型與放射科醫生的人工手動分割差異無統計學意義，可以用于半月板自動分割，但是該方法并不能完全區分半月板與膝關節其他結構。

為解決這一問題，2020 年GAJ 等[34]提出了一種基于條件生成對抗性網絡（conditional generative adversarial nets, CGAN）的新方法，該方法只分割膝關節MRI 圖像局部ROI，并且對分割結果反復改進，內外側半月板的DSC 分別為87.0%和89.0%，結果優于先前發表的基于卷積神經網絡模型分割半月板的方法，證明基于CGAN 模型自動分割半月板具有更高精度。2021 年JENO 等[35]提出了一種集成多類半月板分割網絡的自動分割方法，將2D U-Net 和目標感知映射的CGAN 相結合，2D U-Net 用于在膝關節MRI 圖像中定位內外側半月板，CGAN 用于在膝關節MRI 圖像中感知目標，并只分割出半月板局部ROI，以此解決類的不平衡以及過分割等問題，試驗結果再次證實利用目標感知映射的對抗性學習可以提高卷積神經網絡的分割性能。

卷積神經網絡可以成功地在醫學圖像上進行訓練，并應用于膝關節半月板MRI圖像的分割任務中，它的引入有助于縮短MRI圖像分割時間、提高MRI圖像分割的效率、減少放射科醫師的主觀偏差。現階段基于卷積神經網絡的半月板MRI圖像分割研究成果取得了令人滿意的結果，這一研究領域在臨床和科學研究都有很大的前景，但是相關研究有限，仍處在發展階段，且算法的性能依然存在提升的空間[36]，因此未來需要發掘更多的深度學習模型去分割膝關節半月板，提高半月板MRI圖像分割的精度。卷積神經網絡分割半月板MRI圖像的方法匯總如表1。

表1 卷積神經網絡分割半月板MRI圖像方法匯總Tab.1 Summary of convolutional neural network segmentation methods for MRI images of meniscus

3 卷積神經網絡在半月板損傷檢測中的應用

病灶檢測是指在醫學圖像中定位和識別檢測病變區域，對于為患者選擇合適的治療方案至關重要。深度學習的發展使得通過卷積神經網絡進行圖像檢測成為主流，基于卷積神經網絡的不同網絡結構在醫學圖像檢測方面具有較好的效果，且部分網絡結構的診斷性能可與臨床醫師相媲美，有利于幫助醫師提高病灶檢測的效率與準確率。

3.1 卷積神經網絡檢測半月板損傷

卷積神經網絡可以通過其強大的特征提取、反復訓練學習的能力，對直接輸入的膝關節MRI 圖像進行檢測，避免煩瑣的人工分割半月板流程。2018 年BIEN 等[37]基于卷積神經網絡提出了一種用于檢測膝關節MRI圖像中半月板損傷的MRNet模型，并發表了MRNet數據集。MRNet模型可以快速準確地檢測膝關節MRI圖像，從而實現全自動識別正常和損傷的半月板。該研究受臨床專家小組規模的限制，AUC、準確度、敏感度和特異度分別為0.847、72.5%、71.0%和74.1%，結果顯示其性能低于參與研究的普通放射科醫生（平均準確度、敏感度和特異度分別為84.9%、82.0%和88.2%），試驗結果有待改善，可以在此基礎上改進卷積神經網絡體系結構來提高卷積神經網絡模型的性能和通用性。

為了提高模型的性能，2020 年TSAI 等[38]將卷積神經網絡中的高效分層網絡架構用于檢測膝關節MRI 圖像中半月板的損傷，研究中沒有使用遷移學習，而是從零開始訓練高效分層網絡，該模型采用一種新的切片特征提取網絡，結合多層切片歸一化和模糊降采樣，在兩個不同的數據集中檢測半月板損傷的AUC 分別為90.4%和91.3%，表明該模型具有一定的診斷價值。同年FRITZ 等[39]將一種基于深度卷積神經網絡的模型用于全自動檢測半月板損傷，內側半月板的敏感度、特異度和準確性分別為84.0%、88.0%和86.0%，外側半月板的敏感度、特異度和準確性分別為58.0%、92.0%和84.0%，在檢測內外側和整體半月板損傷時的AUC分別為88.2%、78.1%和96.1%，但是與肌肉骨骼放射科醫師相比，其敏感度較低。

2021 年RIZK 等[40]開發了一種基于3D 卷積神經網絡架構的深度學習模型，分別用于檢測內外側半月板的損傷，并使用放射科醫生標記的子集進行內部驗證，該方法得到內外側半月板的AUC 分別為0.93 和0.84。同年QIU 等[41]將淺層網絡CNN1 和深層網絡CNN2 進行聯合，提出了新的深度學習模型CNNf 用于膝關節半月板檢測。淺層網絡CNN1 主要獲取半月板簡單的低層特征，深層網絡CNN2主要獲取半月板復雜的高層特征，最終由CNNf結合高低層特征來檢測膝關節MRI 圖像中半月板的損傷，該模型的AUC、準確度、敏感度和特異度分別為0.968、93.9%、91.4%和94.7%。因此，改進卷積神經網絡體系結構可以有效提高半月板損傷診斷的準確性，降低誤診率，但是研究中所使用的數據集有限，需要使用更多的數據來獲得更好的泛化性能，減少模型的過擬合現象。

3.2 R-CNN檢測半月板損傷

R-CNN 具有強大的特征提取能力，是第一個成功將深度學習應用到目標檢測上的算法[42]。R-CNN采用選擇性搜索算法提取大量目標候選區域來完成對輸入圖像的目標檢測任務，它的提出推動了圖像目標檢測的快速發展[43]。2020 年?LMEZ 等[32]基于R-CNN設計了一個用于自動診斷MRI圖像中半月板損傷的模型，將卷積神經網絡的特征與ROI 特征進行結合，并使用遷移學習來訓練R-CNN模型。

R-CNN顯著提高了目標檢測的準確率，但是訓練過程過于煩瑣，檢測速度較慢，而且占用的存儲空間較大。為了改進R-CNN的網絡效率，快速區域卷積神經網絡（fast region convolutional neural networks, Fast R-CNN）引入了感興趣區域池化（region of interest pooling, ROI Pooling）層，將Softmax分類任務和邊框回歸任務進行同時訓練，在網絡訓練時共享相同的卷積層，進一步提升了目標檢測的性能。更快速區域卷積神經網絡（faster region convolutional neural networks, Faster R-CNN）在Fast R-CNN 的基礎上設計了一個區域候選網絡，區域候選網絡采用共享卷積層特性，實現了端到端的訓練，降低了計算復雜度，從而可以更快速的確定目標的精確位置，極大地提高了網絡的實時性。為了提升目標檢測的速度和精 度，2019 年ROBLOT 等[44]基 于Fast R-CNN 和Faster R-CNN，提出了一種用于自動檢測半月板損傷的分類算法，他們在700張膝關節MRI圖像數據集上實現了半月板損傷的檢測，且AUC為94.0%。

為擴展R-CNN技術，更加精準地定位每個目標，有學者提出了基于掩模區域的卷積神經網絡（mask region-based convolutional neural network, Mask R-CNN）。Mask R-CNN是對Faster R-CNN的直觀擴展，它使用感興趣區域對齊（region of interest align,ROI Align）代替原始的ROI Pooling 層，ROI Align 作為一個簡單、無量化的層，保留了精確的空間位置，可以精準對齊圖像像素點，將掩模精度提高了10%～50%[45]，從而提高了目標檢測的準確性。Mask R-CNN 不僅可以有效地檢測識別圖像中的目標對象，同時還可以對每個目標生成一個高質量的二進制掩碼[46]。

2019 年COUTEAUX 等[47]基 于Mask R-CNN 模型自動定位MRI圖像上半月板的位置并檢測半月板的損傷，其中采用一種基于掩模區域的2D 卷積神經網絡來定位內側半月板和外側半月板，該研究將經驗豐富的放射科醫生的診斷結果作為參考標準，對半月板損傷檢測的AUC 達90.6%，位列AI 膝關節半月板撕裂挑戰賽第一，該模型在整體聚合時更具魯棒性，進一步提高了對半月板損傷的檢測。2022 年LI等[48]基于3D Mask R-CNN在膝關節MRI圖像全自動檢測半月板損傷，將檢測性能與兩名經驗豐富的放射科醫師的評估進行比較，并通過關節鏡手術證實，在檢測半月板損傷方面的性能優于放射學評估，AUC 值達90.6%。因此，3D Mask R-CNN 可以用于全自動半月板損傷檢測，這能夠減少患者不必要的關節鏡檢查。

卷積神經網絡在半月板病灶檢測對于輔助醫師臨床診斷半月板損傷具有一定的價值，在提高半月板損傷檢測正確率的同時，極大程度上減輕了臨床醫師的工作量。以上卷積神經網絡模型的診斷性能大多可與臨床醫師相媲美，可以作為臨床診療的輔助手段，有助于醫師快速且準確地檢測出半月板的損傷，為下一步半月板的損傷程度分級分期和個性化治療方案的選擇奠定了良好的基礎。卷積神經網絡檢測半月板損傷的方法匯總如表2。

表2 卷積神經網絡檢測半月板損傷的方法匯總Tab.2 Summary of methods for detecting meniscus damage using convolutional neural networks

4 卷積神經網絡在半月板損傷分類中的應用

大多數深度學習模型對膝關節半月板MRI圖像的分割和半月板損傷檢測診斷性能均接近于人類。近年來，深度學習在半月板損傷方向和程度方面的研究也相繼提出，正確區分半月板損傷方向和程度可以為放射科醫師臨床診斷半月板損傷提供可靠的參考依據，對醫師為患者合理選擇個性化治療方案具有十分重要的臨床意義。現階段卷積神經網絡在半月板損傷分類中的應用主要有損傷方向二分類和損傷程度多分類。

4.1 半月板損傷方向診斷二分類

根據半月板損傷形態可將半月板損傷方向分為水平損傷和垂直損傷，準確區分半月板損傷方向是臨床干預和術前診斷的重要前提，有助于節省醫師的臨床診斷時間以及制訂科學的靶向治療方案。

2019 年，ROBLOT 等[44]基 于Fast R-CNN 和Faster R-CNN的任務分類算法，在一組膝關節矢狀面2D MRI圖像中判斷半月板損傷方向（垂直或水平），檢測損傷方向的AUC 為83.0%。與ROBLOT 等[44]的研究類似，同年COUTEAUX 等[47]將Mask R-CNN 級聯為淺層卷積神經網絡，利用集成聚合對膝關節矢狀面2D MRI圖像進行魯棒性增強，來確定半月板損傷的方向為垂直還是水平，該任務的AUC為0.906。

以上兩項研究雖然都對半月板損傷方向做了分類（垂直或水平），但是都只使用了一組膝關節矢狀面的2D MRI圖像，而膝關節MRI檢查通常包含矢狀面、冠狀面和軸狀面三個方向的多個序列的上百張圖像，所以該兩項研究存在一定的局限性，擴展數據庫或使用3D 數據可能有助于進一步提高模型的性能。

4.2 半月板損傷程度診斷多分類

半月板損傷的治療方法因損傷程度而異，半月板損傷程度一般分為三級，對于半月板Ⅰ級和Ⅱ級損傷往往采取保守治療，而對于半月板Ⅲ級損傷則需要進一步確診是否進行手術治療，正確區分半月板不同程度的損傷有助于為患者選擇恰當的治療方案。

2019 年，PEDOIA 等[31]使用3D 卷積神經網絡檢測半月板損傷和評估量化半月板損傷的嚴重程度等級，并納入年齡和性別等人口統計學信息，結合WORMS評分將半月板損傷分為正常半月板、輕中度損傷和嚴重損傷三種等級，相對應的準確率分別達到了80.7%、78.0%和75.0%，最終獲得了半月板病變嚴重程度分期的良好性能。2021 年，ASTUTO 等[49]驗證AI技術可以幫助識別和評估膝關節半月板病變嚴重程度的假設，基于3D 卷積神經網絡模型檢測膝關節MRI 圖像中的ROI，并對半月板損傷嚴重程度進行分級，3D 卷積神經網絡模型對膝關節半月板損傷嚴重程度評分具有較高的敏感度、特異度和準確度，敏感度為85.0%，特異度為89.0%，AUC為93.0%，對正常半月板、半月板部分損傷和半月板完全損傷三個等級的敏感度分別為85.0%、74.0%和85.0%。

2022 年張卿源[50]基于三層級連接殘差網絡提出了一種自動檢測半月板損傷程度的分類方法，他依據患者病情的嚴重程度以及半月板損傷信號的形態分為正常、輕度損傷、中度損傷以及重度損傷四類，最終試驗得到的分類正確的概率分別為91.0%，79.0%，85.0%和99.0%，表明提出的三層級連接殘差網絡方法對半月板損傷程度的分類有精準的預測效果。同年，LI等[51]基于Mask R-CNN 構建深度學習網絡結構，采用50層的殘差網絡開發骨干網絡，能夠有效地區別正常的半月板和損傷的半月板，并能區分半月板的損傷是撕裂還是退變，研究結果由經驗豐富的醫生結合關節鏡手術進行評估，對正常半月板、撕裂半月板和退變半月板的診斷準確率分別為87.5%、87.0%和84.8%，可以作為臨床中輔助診斷半月板損傷的有效工具。

準確區分半月板損傷方向和損傷程度對于患者的治療和預后具有極其重要的臨床意義，以上研究證明基于深度學習模型的分類方式符合臨床需求，可以實現半月板損傷方向和損傷程度的自動分級，驅動AI 方法幫助放射科醫師讀取和分析醫學圖像，節省放射科醫師臨床診斷半月板損傷的時間。但是目前相關方面的研究較少，研究成果尚有提升空間，多數研究都缺乏一個實際的金標準作為參考，使用關節鏡作為模型結果的參考標準可能是未來的研究方向。

5 總結與展望

本文總結了基于MRI的卷積神經網絡在半月板損傷輔助診斷中的研究進展，探討了現有研究存在的局限性，并指出了未來的研究方向。眾多卷積神經網絡模型在MRI 圖像分割、檢測和分類中的應用逐漸深入，在半月板損傷輔助診斷方面也取得了較大的進展，這對于半月板損傷診斷具有較高的臨床應用價值。但是目前相關研究仍存在一定局限性：（1）膝關節MRI 圖像數據集缺乏且存在局限性。由于保護患者隱私和數據安全等原因，公開的膝關節MRI醫學圖像數據集較為缺乏。基于MRI診斷半月板損傷時會一次性獲取人體膝關節矢狀位、冠狀位和軸狀位三個序列的圖像，但是大多數研究只分析MRI 圖像的其中一個序列，模型的適用范圍較小，因此在保證膝關節MRI 公開數據集質量的同時，提高數據集的規模，并對MRI 的多個序列同時進行研究可能是未來努力的方向。（2）研究缺乏可信的參考標準。目前大多數研究都只以富有經驗的放射科醫生的診斷結果作為參考標準，缺少一個實際的金標準進行對比參考，限制了相關研究的臨床適用性。未來可以嘗試使用膝關節鏡手術結果作為模型結果的參考標準，從而提高研究的可信度和權威性，對膝關節半月板損傷的研究也會起到巨大的推動作用。（3）診斷程度受限。嚴重的半月板損傷可能會導致患者早期膝關節關節炎的形成和發展，目前卷積神經網絡模型在半月板損傷診斷的大部分研究都只針對是否有損傷，較少的研究可以進一步對半月板損傷進行方向分類和程度分級，并且還沒有基于半月板損傷預測膝關節骨關節炎發生的研究，通過半月板損傷程度的情況準確預測膝關節骨關節炎的形成和發展將是未來的一個研究方向。

總之，盡管卷積神經網絡基于MRI在半月板損傷輔助診斷領域的應用和研究較少且正處于發展階段，但是該領域在未來的研究和發展中有廣闊的應用前景，能夠輔助醫師臨床診斷半月板損傷，并提高診療的效率與準確率，以期更好地實現精準診療，卷積神經網絡有望逐步發展成為臨床醫師的得力助手。

作者利益沖突聲明：全體作者均聲明無利益沖突。

作者貢獻聲明：袁典構思和設計本綜述的框架，起草和撰寫稿件，獲取、分析和解釋本綜述的文獻；曹慧、魏德健、張俊忠構思和設計本綜述的框架，對稿件重要內容進行了修改，獲得國家自然科學基金項目基金資助；杜昱崢構思和設計本綜述的框架，對稿件重要內容進行了修改；全體作者都同意發表最后的修改稿，同意對本研究的所有方面負責，確保本研究的準確性和誠信。