卷積神經網絡在骨骼肌肉放射學中的研究進展

王春杰，袁慧書

(北京大學第三醫院放射科，北京 100191)

卷積神經網絡(convolutional neural network, CNN)是人工智能(artificial intelligence, AI)的一個快速發展的子集，為放射學領域的最新技術之一，適用于解決圖像識別和分類問題[1-2]，目前在分析某些醫學圖像方面已達到媲美放射科醫師的水平[3]，如檢出肺結節[4]、對膠質瘤進行級別分類[5]和診斷骨折[6]等，對放射學的未來發展產生了深遠影響。本文就CNN在骨骼肌肉放射學中的研究進展進行綜述。

1 CNN相關概念及發展

AI是計算機科學的子領域，是為計算機編程，便于其學習和執行復雜任務的學科。機器學習(machine learning, ML)是AI的一個子集，通過計算機模擬人類的學習過程，使計算機能夠在數據中學習。傳統ML算法雖可隨著執行任務積累經驗而逐步改善，但對于圖像問題通常仍需人類專家手動進行特征選擇，進而確定哪些圖像特征更為重要。深度學習(deep learning, DL)是ML新發展的子集[7]，其最大優點在于計算機不再需要人類專家手動進行特征選擇，算法本身可以確定最佳圖像特征，進而回答針對圖像的各種問題。

CNN是實現圖像DL最常用的算法模型，由輸入層、卷積層、池化層、全連接層及輸出層組成[8]，經輸入層輸入數據，由卷積層和池化層對輸入數據進行特征提取，全連接層將提取的特征進行組合分類，最后由輸出層輸出分類結果。

對CNN的研究可追溯至20世紀90年代。1989年LECUN在論述中首次使用“卷積”一詞對算法結構進行解釋，其構建的LeNet-5模型定義了CNN的基本結構，成功用于解決識別手寫數字的問題。2012年KRIZHEVSKY等[9]使用CNN模型獲得了ImageNet大規模視覺識別挑戰賽的勝利。此后，快速發展的圖形處理器和多個開源庫[10]的建立使得CNN取得了突破性進展,涌現出一些CNN經典模型，如VGG16/VGG19[11]、GoogLeNet[12]、ResNet[13]和U-Net[14]等。伴隨硬件設備更新和數據樣本不斷擴增，CNN模型的圖像識別與分類精度不斷提高。時至今日，CNN圖像分析結果代表圖像分析的最高水平[15]。

2 CNN在骨骼肌肉放射學中的應用

目前CNN在骨骼肌肉放射學中的應用主要包括骨骼肌肉病變的檢出、分級和分割解剖結構三個方面。

2.1 檢出病變 2017年RAJPURKAR等[16]在包含36 808幅圖像的骨骼肌肉影像(musculoskeletal radiographs, MURA)數據集上訓練CNN模型DenseNet，以檢測包括肩部、肱骨、肘部、前臂、腕、手掌和手指在內的上肢骨折。針對556幅圖像的測試集，DenseNet模型的AUC為0.92，其檢測腕部骨折的能力與放射科醫師相當，二者檢測結果與診斷金標準之間的一致性較高(Kappa系數均為0.93)；而對于上肢骨折，該模型的總體表現比放射科醫師略差，二者與診斷金標準之間的Kappa系數分別為0.71與0.78。該研究將大型數據集MURA公開發布，以推動骨折自動檢測領域的發展。截至2019年12月，排名前8的CNN模型Kappa系數介于0.80～0.84，均優于原始研究中放射科醫師的表現(Kappa系數0.78)。同樣，在檢測脊柱和下肢骨折方面，CNN模型也展現出可以比擬放射科醫師的診斷能力。

TOMITA等[17]應用CNN模型檢測椎體壓縮性骨折，其準確率為89%。PRANATA等[18]以基于CNN的ResNet模型在CT圖像中自動檢測跟骨骨折，診斷準確率高達98%。CNN亦可用于髖部骨折[19-20]。 2019年CHENG等[20]在25 505幅四肢X線片上對CNN模型進行預訓練，而后在3 605幅骨盆正位X線片上進一步訓練，最后對100例髖部骨折患者進行測試，結果顯示其在X線片上檢測髖部骨折的準確率為91%，AUC為0.98。BIEN等[21]在包含1 130幅圖像的訓練數據集上訓練基于CNN的MRNet模型，以檢測半月板撕裂，并在120幅圖像上進行測試，得到該模型的AUC為0.85。2019年ROBLOT等[22]及LSSAUA等[23]應用CNN模型檢測半月板撕裂，其AUC分別為0.90、0.91。LIU等[24]報道了基于CNN的軟骨損傷自動檢測模型，使用660幅圖像組成的訓練集和1 320幅圖像組成的測試集，該模型檢測軟骨損傷的AUC高達0.92。2019年PEDOIA等[25]建立了基于CNN的DenseNet模型，用以檢測軟骨異常并診斷骨關節炎，其AUC為0.83。

CNN用于脊柱退行性病變領域包括自動檢測椎間隙狹窄、椎管狹窄及椎體滑脫，準確率分別達75%、94%及95%[26]。此外，基于CNN的骨齡自動檢測在DL領域已有較多研究[27-31]。北美放射學會兒童骨齡ML挑戰賽共收入105種競賽模型，根據骨齡估計值與真實參考值之間的絕對差值的平均值對提交模型進行排序，其中BILBILY和CICERO開發的CNN模型最終以平均絕對差值為4.27個月取得挑戰賽冠軍[29]。YUNE等[32]報道了一種基于CNN的VGG16模型，可通過手掌和手腕部X線片評估性別，準確率可達96%；類激活圖顯示，該模型主要通過集中于橈骨遠端、第二和第三掌骨基底部及第三掌指關節的特征實現性別區分。

2.2 病變分級 ANTONY等[33]利用CNN模型創建了膝關節骨關節炎自動量化系統，將膝關節骨關節炎分為輕度、中度和重度。2018年TIULPIN等[34]使用Siamese CNN模型在多中心骨關節炎研究(multicenter osteoarthritis study, MOST)數據集共18 376幅圖像上進行訓練，并在骨關節炎創始(osteoarthritis initiative, OAI)數據集5 960幅圖像上進行測試，結果顯示，根據骨關節炎凱爾格倫-勞倫斯(Kellgren-Lawrence, K-L)分級，CNN模型的AUC為0.93，提示該模型具有學習相關骨關節炎特征的能力。上述報道中同樣包括了類激活圖，可顯示模型做出決策的依據主要來自于哪些區域，使得模型的自動決策過程具有一定透明性。

JAMALUDIN等[35]開發了用于退變椎間盤自動分級的CNN模型，模型使用包含12 018幅圖像的數據集，根據Pfirrmann分級標準，準確率可達70%。LU等[36]報道了一種用于椎間孔狹窄和椎管狹窄自動分級的ResNeXt-50模型，使用22 796幅圖片作為訓練集，對椎間孔狹窄分級的平均準確率達78%，對椎管狹窄分級的平均準確率可達80%。

2.3 分割解剖結構 在2018年國際醫學圖像計算和計算機輔助干預協會(medical image computing and computer assisted intervention society, MICCAI)椎間盤分割挑戰賽中，GEORGIEV等[37]使用二維集成算法的CNN分割模型以戴斯相似系數(Dice similarity coefficient, DSC)0.91獲得挑戰賽冠軍。在此基礎之上，2019年DOLZ等[38]使用MICCAI提供的公開數據集開發并訓練了CNN模型IVD-Net，利用多模態圖像信息進行椎間盤分割，最佳DSC可達0.92。

2018年LIU等[39]開發了一種基于CNN模型SegNet的膝關節骨與軟骨自動分割方法，利用膝關節影像分割2010(segmentation of knee images 2010, SKI10)數據集進行訓練和驗證，獲得的標準化SKI10評分為64.1分，表明其性能優于U-Net分割模型(SKI10評分為53.0分)。

3 小結與展望

CNN是一種具有優秀圖像分析能力的AI算法[40]，在骨骼肌肉放射學中主要用于檢測病變、進行分級和分割解剖結構。目前CNN應用研究尚僅限于部分器官和組織，未能用于全身影像學檢查，但過去數年中的多項研究結果表明，CNN在評估醫學圖像某些方面已具有專家級表現。隨著研究的不斷深入，相信在不久的未來，CNN將變革放射科現行工作模式，對放射學發展產生劃時代的影響。