機器學習在超聲圖像中的應用綜述

徐可文，許 波，吳 英，徐浩然

1.廣東財經大學 信息學院，廣州 510320

2.暨南大學附屬第一醫院 超聲科，廣州 510630

隨著醫療成像設備的發展研制，醫學影像成為人類篩查與診斷疾病的重要手段[1]。超聲圖像[2]采用脈沖式的發射法，以其無創、實時、無放射性損害及低價等特點，已經成為臨床疾病診斷的重要方法。超聲圖像還可以作為最常用的治療規劃及監測治療反應和提供腫瘤關鍵信息的方法，有效克服了傳統臨床病理取樣、觸摸判斷和分析的難題。

超聲圖像往往會受到噪聲污染[3]，使得圖像質量降低，且灰度不均勻，對比度低，給病灶分割及疾病診斷帶來了很大的挑戰。傳統超聲圖像分析方法依賴醫生主觀判斷，對臨床經驗要求極高，已不能滿足現代醫療模式向智能醫療快速發展的要求。因此對于超聲圖像來說，很有必要設計高效準確的自動化超聲圖像分析系統來輔助醫生進行疾病診斷，一方面可以減輕醫生的負擔，另一方面可以降低診斷的主觀性，從而使得診斷更加客觀與準確。

隨著醫學影像數據快速增長以及計算機性能的提升，機器學習[4]作為人工智能的一個重要分支，以其快速、客觀等優勢，在醫學影像領域取得了突破性進展。它在減輕醫生負擔的同時，可提高疾病診斷的正確率，有望為臨床實踐帶來新變革[5-6]。

1 超聲圖像的研究現狀

超聲檢查是利用超聲波的物理特性與人體器官和組織聲阻抗和衰減特性的差異，以發射脈沖波和連續波的方式，產生不同的反射與衰減，從而形成超聲圖像，再由影像診斷醫生根據臨床經驗對異常部位進行評估，結合患者癥狀、體征、過往病史等給出最終的判斷。

超聲圖像是臨床醫生對疾病進行判斷并做出治療方案和決策的重要依據。由于成像原理的限制，超聲圖像容易產生大量斑點與噪聲，導致圖像質量直線下降。然而圖像質量是進行圖像分析的關鍵因素，因此抑制斑點噪聲具有重大意義，許多研究者在此問題上付出了大量的努力。張聚等[7]提出了一種新型的基于小波和雙邊濾波的去噪算法。首先改進了小波閾值函數，然后利用貝葉斯最大后驗估計方法得到小波收縮算法，最后對小波域內的高頻信號分量進行去噪。實驗證明該方法可以有效抑制斑點噪聲，并在此基礎上保留圖像病灶邊緣信息。但該算法對于顆粒較大的斑點噪聲去噪效果較弱。胡蝶[8]基于視網膜中垂直信息通路機制，通過模擬雙極、神經節細胞感受野的自適應機理，實現在去除醫學超聲圖像中斑點噪聲的同時保持圖像細節不被模糊，有效地提升醫生的診斷準確率。肖磊等[9]提出了一種基于Canny算子的邊緣切線擴散醫學超聲圖像去噪算法，將超聲圖像分為邊緣區和非邊緣區，并改進了現有的擴散方法，使擴散方向只沿圖像邊緣方向進行，使圖像濾波和圖像細節保護這一矛盾問題達到一個很好的平衡。與其他算法相比，該算法在運行效率上也得到很大的提升，但它是針對超聲圖像提出的，適用范圍有一定的局限性，且沒有達到完全的自適應。

超聲圖像分割是超聲圖像分析的關鍵[10]。超聲圖像一般由感興趣區域（Region of Interest，ROI）和背景區域構成。ROI區域通常包含有價值的診斷信息，可以為臨床醫生診斷或進行病理學研究提供依據，所以將ROI 區域從超聲圖像中分離出來是圖像分割的重點。常見的傳統分割方法[11]有基于閾值的分割方法、基于邊緣的分割方法和基于區域的分割方法等。傳統的分割方法大都方法簡單，效率高，并且能很好地適應某些數據，但是當邊界灰度及紋理特征不明顯時，傳統方法就很難達到理想效果。近十多年來，研究人員針對臨床需求，結合各個時期的圖像處理技術進行了持續研究，從不同的方面提出了解決方案。夏平等[12]針對存在大量斑點噪聲、目標邊緣弱化的超聲圖像，提出了一種復小波域中混合概率圖模型的超聲醫學圖像分割算法，采用雙數復小波變換提取高頻特征信息，通過構建混合概率圖模型建立了當前節點的標號與其祖先節點及同層鄰域節點之間的聯系，有效地獲取超聲影像中的有用信息，實現了超聲影像的有效分割，但該方法沒能得到最優解。葉紅梅等[13]針對血管內超聲（Intravscular Ultrasound，IVUS）圖像動脈壁邊界分割進行了研究，對單幀IVUS圖像提取極值區域，經面積篩選后得到候選區域，并將區域的局部二值模式特征、灰度差異和邊緣周長的乘積作為篩選矢量在候選區域中提取代表管腔和介質的兩個極值區域，并進行輪廓的橢圓擬合化，完成分割。實驗表明該算法提取內外膜的性能和精度都有所提高，并具有很強的魯棒性，但極值區域篩選標準矢量還有待改進。Zhuang 等[14]提出了一種基于分數布朗運動（Fractional Brownain Motion，FBM）模型的超聲圖像分割技術。首先使用基于模糊的技術增強超聲圖像，然后使用FBM模型獲得用于分割的分形特征。在頸動脈超聲圖像上的實驗結果表明，從分形長度獲得的分割輸出是優越的，該方法可與其他最新分割技術相媲美，尤其適合容易出現斑點噪聲和偽影的超聲圖像。

超聲圖像的異常檢測與分類[15]是疾病診斷的核心任務。傳統方法是依靠影像科醫生進行人工檢測，但醫療數據日益增加，且人工檢測容易受主觀因素影響而造成誤診，因此開發自動化異常檢測系統是時代所需。研究者們給出了多種用于超聲圖像的自動檢測方法。Li 等[16]提出了一種專為醫學影像設計的目標檢測自適應方法，它無須特定的自適應訓練，在小型數據集上表現良好，當源域和目標域之間數據分布不一致時，目標檢測自適應方法能夠獲得較高的定位準確度和較快的速度。鄒致超[17]在少樣本的情況下，利用共享權值的方式進行多任務學習，實現乳腺超聲圖像語義分割及良惡性判斷，進而更好地輔助醫師進行乳腺癌的診斷。該方法在數據集較小的情況下能夠充分挖掘樣本包含的特征信息，提高模型分類和語義分割的效果。姜怡孜[18]在傳統基于稀疏表示的分類器（Sparse Representation based Classifier，SRC）字典的基礎上進行擴展，實現對肝臟超聲圖像進行病變判斷。該方法不僅能保證字典的冗余性，而且使得字典具有緊湊的內部結構，分類準確率達98.76%，特異性達98.15%，實現了很高的分類準確率，但該實驗提取的特征不夠完善，還有許多典型的病理特征沒有被量化為數字特征。

2 機器學習在超聲圖像中的應用

2.1 傳統的機器學習算法在超聲圖像中的應用

傳統的機器學習算法對于小數據量的超聲圖像數據集效果較為明顯，常用的傳統機器學習算法有支持向量機（Support Vector Machine，SVM）[19]、聚類算法[20]等。許多研究者采用傳統的機器學習算法在有限樣本下對超聲圖像進行了研究與探討。

張昕[21]利用支持向量機的方法對乳腺圖像樣本特征進行分類，然后采用交叉檢驗方式對核函數的參數進行選擇，達到了理想的效果。但不足的是該實驗是在小樣本基礎上進行的，難以將它應用到海量數據集上。付燕等[22]提出基于SVM 的肝臟B 超圖像紋理分類方法，首先提取肝臟B超圖像的空域和頻域的紋理特征，運用SVM分類，尋找最佳特征組合。該方法精度高，性能穩定，平均準確率達96.67%，對于肝炎、肝血管瘤等彌漫性肝臟疾病具有一定的應用價值，而對其他非彌漫性的疾病有一定的局限性。王萌[23]提出一種基于改進SVM算法的超聲圖像分割算法，采用分區域特征匹配方法進行超聲圖像的分塊融合性檢測和特征塊匹配，根據超聲紋理的規則性特征分量進行病理邊緣特征提取，利用提取的精度作為約束條件，優化SVM分割過程，進行超聲圖像分割過程的自適應分類，實現對超聲圖像的快速分割。

黃志標等[24]提出了一種基于像素聚類的超聲圖像分割算法，有效解決了超聲圖像低分辨率影響分割精度及基于模型的分割算法需要大樣本訓練集的問題。其適應于分割任意形狀的超聲圖像，有利于更準確地計算各種心臟功能參數。由于超聲圖像各個區域有差異，將圖像分為各個子區域，但對子區域進行聚類分析還有待研究。

表1 給出了傳統的機器學習算法在超聲圖像應用中的算法及模型對比。

2.2 深度學習在超聲圖像中的應用

深度學習[28]是機器學習的一個分支，它能夠直接處理原始數據，揭示樣本數據的內在規律和表示層次，被廣泛應用于計算機視覺[29]、數據挖掘[30]、自然語言處理[31]等領域。在贏得2012年ImageNet大規模視覺識別挑戰賽（ILSVRC）之后，深度學習脫穎而出，在計算機視覺領域的應用也引起廣泛關注。很多研究者逐漸把目光投向于醫學圖像處理領域。當前醫學超聲圖像應用最廣泛的模型有卷積神經網絡（Convolutional Neural Network，CNN）、循環神經網絡、深度置信網絡等，它們常用于超聲圖像的分割、檢測、分類、配準等任務。

Ying 等[32]提出了基于級聯卷積神經網絡的超聲圖像甲狀腺結節分割方法，從分割過程和模型結構兩方面對甲狀腺結節的分割進行了研究，并通過實驗驗證，準確率大約為96%，在邊緣分割的精細度方面還有一定的探索空間。Zeimarani 等[33]提出了一種基于深度卷積神經網絡新型乳腺超聲圖像分類方法，進行圖像增強和正則化后，準確性和AUC 分別提高到92.01%和0.971 6。獲得的結果超過了其他基于手動特征選擇的機器學習方法，證明了所提方法在US 成像中對腫瘤進行分類的有效性。付貴山[34]針對乳腺超聲圖像，設計了基于CNN的分類器，對于正負樣本不均衡的問題，使用兩種方式對損失函數進行優化，準確率分別達82.22%、86.00%，都有效地提高了準確率和靈敏度。陳思文等[35]將分別經過線性、非線性對比度拉伸、直方圖均衡化、直方圖閾值化以及自適應對比度增強算法處理后的數據用于AlexNet模型，分別對5種算法進行測試與比較，最終得到準確率與AUC值較高的自適應對比度增強（Adaptive Contrast Enhancement，ACE）算法，但如何將實驗與臨床診斷結合，還需進一步探討。

深度學習在血管檢測方面也得到很好的應用，Smistad 等[36]提出了一種使用深度卷積神經網絡檢測B型超聲圖像中血管的新方法，使用GPU 對圖中的每個像素進行橢圓擬合，從而識別圖片中血管的大小和位置，對于血管的旋轉與變形，也具有很強的魯棒性，對麻醉和導管放置有一定的指導意義，但該方法更適用于動脈血管的檢測，對于靜脈血管的檢測具有一定的局限性。李巖等[37]提出了一種基于全卷積網絡的超聲血管分割方法。通過對全卷積網絡使用對稱網絡連接，深度提取圖像特征，優化數據增強方式，并引入遷移學習，緩解數據量過少的問題。實驗表明該方法能夠精確地分割出血管區域，尤其適用于小型數據集。

表1 傳統機器學習算法及模型對比

深度學習在超聲圖像領域還有很多應用，表2對已有的相關研究的數學模型及結果等進行了比較。

2.3 遷移學習在超聲圖像中的應用

深度學習能取得的主要性能改善，在很大程度上依賴于大樣本訓練數據集。然而，與其他領域的大規模與公開可用的數據集（如ImageNet 數據集有超過百萬的標注圖像）相比，當前醫學超聲領域內公開可用的數據集仍然很有限。有限的數據集已成為深度學習方法在醫學超聲圖像分析中進一步應用的瓶頸。為解決小樣本數據集的問題，目前研究人員最常用的方法之一是進行跨數據集（模態內或模態間）學習，即遷移學習[40]。

吳英等[44]使用主動遷移學習的算法對同一個病灶的多個乳腺腫瘤超聲圖像進行標記，實現了在多個相似圖像之間進行數據共享和遷移，分類準確率高達97.67%。李巖等[37]提出了一種全卷積深度遷移網絡的聯合分割算法，通過添加遷移學習模型等方法有效地利用已有數據進行數據拓展，緩解醫學圖像數據過少的影響。結果表明該研究方法能在超聲血管圖像上取得較好的分割性能，能準確地分割出血管區域，使小型數據集很好地適應了深度神經網絡。肖婷[45]針對乳腺超聲圖像樣本較少的現狀，基于深度特征的遷移學習方法，運用基于大規模自然圖像數據集預訓練的深度卷積神經網絡模型對其進行微調，以提取乳腺腫瘤超聲圖像的多種特征并輸出分類結果。Banzato等[46]利用深層神經網絡進行遷移學習，從狗的超聲圖像中檢測彌漫性變性肝病，獲得100%的靈敏度和82.8%的特異性。Phillip等[47]基于兩種卷積神經網絡的遷移學習方法對腹部超聲圖像進行分類，其中基于CaffeNet網絡的遷移學習方法準確率達到77.3%，基于VGGNet 網絡的遷移學習方法準確率達到了77.9%，都比放射科醫生的準確率要高。但此次實驗數據不均衡，對結果會有一定的影響。

表3 給出了遷移學習算法在超聲圖像應用中的算法及模型對比。

3 未來研究展望

機器學習在醫學影像領域具有至關重要的作用，在多種疾病的影像輔助診斷中展現出優勢，如精度高、速度快、穩定性強、可重用性高等[47]。但機器學習在醫學影像領域還存在著一些挑戰，如缺少標準統一的標注數據、適用性不強等。針對以上問題，機器學習在醫學影像中的應用未來可能會有以下研究方向。

3.1 設計輕量型網絡模型

目前各類輕量級網絡方法很多，但機器學習在超聲圖像中的應用仍面臨運算復雜度及成本偏高的問題，會導致模型訓練和預測耗費大量的時間，無法快速驗證想法和改善模型。空間復雜度決定了模型的參數數量。由于維度的限制，模型的參數越多，訓練模型所需的數據量就越大，而現實生活中的數據集通常不會太大，這會導致模型的訓練更容易過擬合。

表2 深度學習算法及模型對比

為解決此類問題，采用的降低復雜度的主流方法有：（1）卷積降維，如在InceptionV1 模型中通常會通過添加1×1的卷積，將輸入通道數先降低到一個較低的范圍，再進行真正的卷積，時間復雜度降低至原來的1/3以下，而參數量僅增加了5%；（2）在全連接層進行最大池化，使全連接層的復雜度不再與輸入圖像尺寸有關，運算量和參數量都得以大規模削減；（3）在保證感受野大小不變的情況下，使用兩個低維的卷積核區代替高維的卷積核。

因此可以針對超聲圖像提出一個新的輕量級的網絡模型，降低運算復雜度與運算成本，給更多的超聲圖像識別帶來新的突破，也為更多的患者帶來新的希望。

3.2 深度遷移學習

深度學習常被運用于醫學影像分析領域，數據依賴性高是它面臨的嚴峻問題之一[48]。與其他領域的大規模公共可用的數據集（如ImageNet 數據集有超過百萬的標注圖像[49]）相比，超聲圖像數據集中圖像數量有限，各個醫院數據難以集中，導致超聲圖像數據難以實現大規模統一。有限且不統一的醫學超聲圖像成為機器學習在超聲圖像領域應用的一大障礙。

而遷移學習放寬了訓練數據必須與測試數據獨立同分布的假設，可借助現有數據集對網絡進行源域訓練，再將源域訓練好的網絡模型遷移到目標域中[50]。因此可以將深度學習與遷移學習結合，通過遷移對所傳輸的子網絡進行微調以適應新的數據，再利用深度學習深度挖掘特征。圖1 所示的基于深度遷移學習的超聲圖像分析模型是作者的初步設想。

從圖1中可以看出，利用深度遷移學習將在其他類型圖像中所學得的知識運用于超聲圖像的分析與處理領域，能夠有效地解決超聲圖像小規模數據集問題。相信在不久的將來，該方法將會被廣泛運用。

圖1 基于深度遷移學習的超聲圖像分析模型

3.3 生成對抗網絡

在醫學圖像領域，主要存在兩個問題：標簽的稀缺和數據的缺乏。一般情況下，標簽手動標記過程過于復雜且難以獲得海量統一的超聲圖像數據。基于監督學習的深度神經網絡對于這些問題具有挑戰性。生成對抗網絡[51]（Generative Adversarial Networks，GAN）是一種無監督的學習方式，可理解圖像數據基礎結構，生成具有生物學變化的醫學圖像。

生成對抗網絡的生成器與判別器仍然是基于深度神經網絡結構，且訓練的數值不穩定，還是依靠傳統的評估指標來評估GAN的重建質量。因此生成對抗網絡仍存在生成的圖像可信度低、不穩定培訓、缺乏可靠評估指標等特點。

針對以上問題，可以研究更好的網絡模型機制，加強超聲圖像數據之間的關聯與映射，通過嚴格的實驗來解決GAN的穩定性問題，構建標準化的GAN超聲圖像評估體系。相信在未來，通過改善GAN 存在的這些問題，GAN 一定能為超聲圖像的識別、分割、判別做出巨大的貢獻。

3.4 影像組學

文字、圖像、視頻等不同模態的數據可以表達不同層次的信息。患者的基本信息如身體狀況、遺傳病史等文字信息、二維超聲圖像信息、三維超聲動態視頻等影像數據都具有各自的醫療診斷優點。影像組學就是將不同模態的信息進行融合，實現特征提取以及模型的建立，對海量數據信息進行進一步的挖掘、運用、預測和分析來輔助醫學診斷。更直觀地理解為將數據影像信息轉化為深層次的特征來進行量化研究。它將超聲圖像、基因、患者信息和臨床大數據信息等有效信息進行融合，并對這些數據進行建模，使數據進行快速流轉，利用大數據挖掘技術定量腫瘤異質性，并使用深度學習等算法，對超聲圖像進行判斷及預測，實現精準診療決策，提高患者的生存期。

影像組學在醫學圖像方面已經取得了不錯的進展，但在臨床實踐方面仍存在一定的困難，主要原因是其缺乏權威的標準，使影像組學的可重復性得不到認可，使用不同儀器、不同掃描參數以及患者的不同狀態都可能會造成干擾。因此，可以通過國際合作建立統一標準的影像組學工作流和公開、透明的數據共享平臺，以實現影像組學的可重復性。結合現有的深度學習技術及大數據存儲技術，相信在未來，影像組學可為醫學影像提供更加安全便捷的服務。

4 總結

本文首先分析了傳統醫學影像分析領域的不足，從超聲圖像的去噪、分割、檢測、分類等方面介紹了超聲圖像的研究現狀。然后綜述了近年來機器學習在超聲圖像領域的研究和應用進展。最后指出了基于機器學習在醫學影像領域開展研究所面臨的困難與挑戰，并對未來研究方向進行了展望，以期為機器學習在醫學影像領域的進一步研究與應用提供參考和研究思路。