楊兆凱 王龍 陳金棟
摘要:隨著信息技術的不斷發展,人工智能技術日臻完善,在醫學影像診斷中應用人工智能技術,以提高醫學影像診斷的工作效率和正確率,成為近幾年研究的熱點問題。深度學習技術在圖像處理領域取得了巨大成功,在醫學影像輔助診斷中的應用也更加普遍。該文首先分析了深度學習技術在醫學影像輔助診斷中的應用現狀,然后從分類、檢測、分割三個項目應用領域介紹了深度學習在醫學影像的具體應用,最后具體分析了深度學習技術對于不同成像方式的不同應用。
關鍵詞:深度學習;人工智能;醫學影像;卷積神經網絡
中圖分類號:R42;TP311 ? ? ?文獻標識碼:A
文章編號:1009-3044(2021)35-0091-03
醫學影像是輔助臨床診斷最有效的方式,可以輔助醫生快速分析病情,做出診斷。在過去,分析醫學影像主要依靠醫生肉眼觀察,憑借醫生積累的知識和經驗,存在很多的主觀因素。隨著醫療水平的不斷發展,患者越來越多,需要分析的醫學影像也越來越多,極大地增加了醫生的工作量。所以在醫學影像診斷過程中應用人工智能,深度學習技術成為發展趨勢。
1深度學習在醫學影像領域的研究現狀
在過去,傳統的醫學影像信息系統已經發展比較成熟,從醫學影像生成,傳輸,處理,到最終得到醫學影像檢查結果有一套標準化的流程。經過多年發展,在醫學影像信息系統中,積累了大量的醫學影像數據,這些醫學影像數據是醫院一筆寶貴的財富。通過這些醫學影像數據,對深度學習構建的卷積神經網絡進行訓練,從而得到理想的醫學影像分析模型。
想要獲得高質量醫學影像智能診斷模型,需要大量的訓練樣本對模型進行訓練。現階段,這些醫學影像信息系統,相對每個醫院相互之間都是相對獨立的,這就導致醫學影像數據的數據量及普遍性不夠。構建區域醫學影像數據中心,可以對不同醫學影像信息系統的數據進行整合,增加醫學影像數據的多樣性。在構建區域醫學影像中心的過程中,應用醫學影像降噪,醫學影像超分辨率重建,醫學影像去偽影等技術,以獲得大量的,高質量的醫學影像圖像。通過這種方式,可以更好地訓練神經網絡模型,提高醫學影像智能診斷的準確率,從而構建醫學影像智能分析平臺[1]。
深度學習技術在醫學影像領域有諸多應用,包括醫學影像的分類,檢測,分割等。這些技術的應用,在醫學影像的智能診斷方面取得了較好的效果。醫學影像同時又有多種分類,包括x光檢查、CT檢查、磁共振檢查、超聲類檢查以及核醫學檢查[2]。由于這些醫學影像的成像方式不同,每種醫學影像都有自己的特點,所以沒有一種統一的深度學習方法能夠解決所有問題。并且針對不同病種,不同疾病的不同醫學影像在醫學影像的智能診斷中采用不同的深度學習方法和卷積神經網絡模型[3]。
2 深度學習在醫學影像項目應用
目前,基于深度學習的圖像分析技術在醫學影像的應用主要在三個方面:分類、檢測和分割。本章對目前醫學影像智能分析技術的實際應用進行介紹,并且總結這些應用領域的應用案例。
2.1醫學影像分類
利用深度學習技術對醫學影像進行分類是當下研究的熱點之一,最常見的應用場景,就是利用深度學習技術判斷醫學影像有沒有某種疾病。比如通過磁共振醫學影像可以診斷是否腹腔內腫塊是否發生病變。
Gao X等[4]提出一種通過深度學習技術自動學習的特征,對裂隙燈圖核性白內障的嚴重程度進行等級分類。Payan A等[5]通過稀疏自編碼網絡和三維卷積神經網絡,基于大腦磁共振醫學影像,構建的智能網絡模型,可以識別診斷患者阿爾茨海默的疾病狀態。Shen W等[6]提出一種多尺度卷積神經網絡,這種多尺度卷積神經網絡可以通過交替堆疊層捕捉肺結節的異質性,對肺結節的良性和惡性有很多好的分類效果。Dong N等[7]提出一種深度學習框架,可以通過自動學習來提取高級別膠質瘤患者的腦磁共振圖像,可以判斷患者的生存時間。
2.2醫學影像檢測
醫學影像檢測就是根據得到的醫學影像,利用智能技術,判斷疾病病變的位置,例如甲狀腺結節檢測,即為找到甲狀腺結那個位置有結節。在醫學影像檢測中,需要用到醫學影像重建及后處理、醫學影像標注、醫學影像配準、圖像超分辨率等技術。
Schlemper J等[8]提出一種框架,在此框架內,利用深層卷積神經網絡來重建欠采樣的2D心臟磁共振醫學影像的動態序列數據,從而實現加速采用。對于訓練數據,只有經驗豐富的醫師才有資格對其進行有效標準,但是由于工作量巨大,Mardani M等[9]提出一深度學習框架,這種框架結合全卷機網絡和主動學習,可以大大地減輕標注工作量。在醫學影像圖像智能診斷中,對齊兩個或者更多圖像的三維配準是極其重要的,Qin C等[10]提出了一種使用深度卷積神經網絡進行建模,以原始數據作為模型輸入,以最優動作作為輸出的網絡模型,從而大大提高了其準確性和魯棒性。提高醫學影像的分辨率,有助于更好地診斷病情,Lee D等[11],提出一種卷積神經網絡,將3T磁共振醫學影像重建為7T磁共振醫學影像,在對15位受試患者的實驗結果上都優于傳統方法。
2.3醫學影像分割
基于深度學習技術的醫學影像分割,目前最多的應用場景,就是體現在器官的分割上。這包括心臟分割、肝臟分割、大腦分割等。對于醫學影像分割,主要是基于CT和磁共振醫學影像。
Dou Q等[12]提出一種基于3D深度監督卷積神經網絡的網絡模型,利用全卷積網絡結構,實現自動肝臟分割,這種方法可以使得智能網絡模型擁有更快的收斂速度。Zhu W等[13]提出了一種端到端的卷積神經網絡,這種網絡采用全卷積構建模型,使用CRF進行特征學習,通過這種方式可以消除乳房X線影像數據集的過擬合問題,從而實現對乳腺醫學影像的分割。Christ P F等[14]提出一種新的技術框架,在新的框架里,首先使用級聯全卷積神經網絡對HCC腫瘤病灶進行自動分割,然后,利用3D神經網絡,對第一步中分割的病灶的惡性程度進行預測,通過這種方式構建的全自動腫瘤智能分析系統與專家標注的評估基本一致。
3醫學影像智能分析
本文根據醫學影像成像方式的不同,對不同成像方式下應用不同深度學習技術進行整理,分析了不同醫療場景中不同技術的實際應用。將不同深度學習的網絡模型與實際醫學影像相結合的醫學影像智能分析技術是未來醫學影像輔助診斷的發展趨勢。
3.1基于深度學習的X射線醫學影像智能分析
X射線成像方式的醫學影像,對于人體中密度較大的組織有很好的成像效果。但是由于X射線醫學影像得到的結果,人體組織重疊,導致醫生很難做出精確判斷。深度學習技術在X射線醫學影像的大規模應用,促進了其智能分析的快速發展。
利用深度學習技術,構建不同的卷積神經網絡框架,針對不同病種的X射線醫學影像,進行智能分析。其中包括乳腺癌的高風險和低風險區分,預測和分析胸部X射線醫學影像是否肺結核等。
3.2基于深度學習的CT檢查醫學影像智能分析
在所有醫學影像智能分析中,CT應用深度學習技術的時間最久,發展最為成熟。利用深度學習能智能算法,對CT醫學影像進行分類、檢測、分割等,能為臨床提供很多有價值的參考信息。在三大類應用中,對人體器官CT檢查的醫學影像的分割應用最為廣泛,通過對醫學影像的分割,可以得到組織不同方向,不公切面的信息數據,這些數據為診斷病情,判斷病灶嚴重程度,都有很大的臨床治療意義。
CT醫學影像的智能分析,不僅可以對肺結節進行分類,而且通過基于深度學習的智能算法,能夠得到比較精確的病灶輪廓,從而對病灶進行精準分割。在對不同病灶進行精準分割,由于器官組織位置不同,所以用到的醫學影像分割技術也不盡相同,其中包括肺結節分割、胰腺病灶分割、肝臟病灶分割、盆腔器官病灶分割、膀胱腫瘤分割等。
3.3基于深度學習的磁共振醫學影像智能分析
磁共振成像技術是利用原子核在強磁場內發生共振,共振產生的信號經過空間編碼,最終重建出人體圖像。磁共振成像技術在醫學影像技術中提供的信息量最多,可以得到人體各個方向,各個斷層的圖像,并且這種成像技術沒有電離輻射,對人體不產生不良影響。
趨勢:隨著深度學習技術的不斷發展,基于深度學習的自動化圖像處理技術越來越多地應用到磁共振醫學影像診斷分析之中。
深度學習技術應用在磁共振醫學影像主要分為三大類:基于小塊圖像組的Patch-Wise CNN模型,基于語義的Semantic-Wise CNN模型和基于級聯網絡的Cascade CNN模型。利用這些技術對磁共振醫學影像分析,包括對磁共振醫學影像的重建,磁共振醫學影像的分割及磁共振醫學影像的質量評估。對于磁共振醫學影像的智能分析,主要集中在大腦磁共振影像的分割方面。通過對輸入和卷積神經網絡模型的不斷改進和發展,不斷提高該領域影像分割的準確性。
3.4基于深度學習的超聲醫學影像智能分析
超聲檢查在醫學影像檢查中成本最低,通過超聲醫學影像,臨床醫生可以判斷病灶狀態,對超聲醫學影像的智能分析研究也已經有很多成熟的應用案例。超聲檢查的重要性不言而喻,正是由于諸多基于深度學習智能算法的應用,幫助臨床醫師快速準確地判斷病情,這種智能分析技術,為臨床診療節約了大量寶貴時間,提高了超聲檢查的整體工作效率。
利用超聲醫學影像智能分析技術,可以分析并預測甲狀腺結節惡性風險的大小。同時,深度學習技術在超聲醫學影像領域的應用,還包括識別新生兒的心臟病研究,肝臟超聲醫學影像的特征分析,前列腺超聲醫學影像幫助診斷前列腺癌,在闌尾超聲診斷可以為闌尾炎精確診斷提供依據等。
4總結與展望
本文通過分析深度學習技術在不同成像方式下醫學影像中的應用,以及深度學習技術在醫學影像不同項目中的應用,建設智能醫學影像臨床輔助診斷平臺,從而提高醫學影像的分析精度,為臨床醫療診斷提供診斷依據,是未來醫學影像發展的重要方向。醫學影像智能分析技術不僅能夠減少醫生的工作量,提高工作效率,而且能夠減少醫學影像分析診斷方面的誤診率。
雖然人工智能為醫學影像領域帶來諸多益處,但是還是存在很多挑戰。首先,目前大多醫學影像智能分析平臺,只能針對單種疾病,因此將多種疾病的醫學影像智能分析平臺進行整合是未來發展方向之一。其次,醫學影像智能分析平臺對臨床治療的指導意義不夠,如何通過醫學影像智能分析平臺,結合可視化技術為患者提供更好的治療方案,是未來需要努力解決的問題。最后,醫學影像智能分析平臺與傳統的醫學影像檢查工作流相融合,實現醫生高效工作,也是未來亟須解決的問題。
隨著人工智能的不斷發展,未來基于深度學習的醫學影像智能分析技術,必將發揮更大的作用,惠及更多人民群眾。
參考文獻:
[1] 王飛,汪鵬,周琳,等.基于深度學習的影像智能診斷平臺建設與應用[J].中國數字醫學,2020,15(1):11-13.
[2] 蔣西然,蔣韜,孫嘉瑤,等.深度學習人工智能技術在醫學影像輔助分析中的應用[J].中國醫療設備,2021,36(6):164-171.
[3] 陸浥塵,胡屹玲.醫學影像人工智能的研發應用現狀與挑戰[J].人工智能,2021,8(3):11-19.
[4] Gao X T,Lin S,Wong T Y.Automaticfeature learning to grade nuclear cataracts based on deep learning[J].IEEE transactions on bio-medical engineering,2015,62(11):2693-2701.
[5] Payan A,Montana G.Predicting Alzheimer's disease:aneuroimaging study with 3D convolutional neural networks[J].Computer Science,2015.
[6] Shen W,Zhou M,Yang F,et al.Multi-scale convolutional neural networks for lung nodule classification[C]//InformationProcessinginMedicalImaging,2015.
[7] Nie D,Zhang H,Adeli E,et al.3D Deep Learning for Multi-modal Imaging-Guided Survival Time Prediction of Brain Tumor Patients[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention.Springer,Cham,2016.
[8] Schlemper J,Caballero J,Hajnal J V,et al.Adeep cascade of convolutional neural networks for MR image reconstruction[J].IEEE Transactions on Medical Imaging,2017.
[9] Mardani M,Gong E H,Cheng J Y,et al.Deepgenerative adversarial networks for compressed sensing automates MRI[EB/OL].[2021-03-20].https://arxiv.org/abs/1706.00051.
[10] Qin C,Schlemper J,Caballero J,et al.Convolutionalrecurrent neural networks for dynamic MR image reconstruction[J].IEEE Transactions on Medical Imaging,2019,38(1):280-290.
[11] Lee D,Yoo J,Ye J C.Deep residual learning for compressed sensing MRI[C]//2017 IEEE 14th International Symposium on Biomedical Imaging (ISBI 2017).Melbourne,VIC,Australia.IEEE,2017:15-18.
[12] Dou Q,Chen H,Jin Y M,et al.3D deeply supervised network for automatic liver segmentation from CT volumes[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention.Springer,Cham,2016.
[13] Zhu W T,Xiang X,Tran T D,et al.Adversarial deep structured nets for mass segmentation from mammograms[C]//2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018).Washington,DC,USA.IEEE,2018:847-850.
[14] Christ P F,Ettlinger F,Kaissis G,et al.SurvivalNet:Predicting patient survival from diffusion weighted magnetic resonance images using cascaded fully convolutional and 3D Convolutional Neural Networks[J].2017 IEEE 14th International Symposium on Biomedical Imaging (ISBI2017),2017:839-843.
【通聯編輯:謝媛媛】