陳菲 涂春 周琪 蘇秦 王亞乾 唐鴻俊

摘?要:圖像分割是將圖像劃分為若干個具有獨特性質區域的過程,分割結果直接影響著后續任務的有效性。研究分析、信息收集等都需要圖像分割。DICOM是目前醫學圖像最常見的圖像格式,對DICOM圖像的分割與處理是診斷和治療的關鍵技術,能夠提供準確可靠的診斷依據。本文對GACV人機交互模型、區域生長、基于深度學習的U-Net和FCN算法以及模糊C均值的圖像分割方法進行綜述。最后進行總結和展望圖像分割技術在醫學圖像處理上的應用價值。
關鍵詞:圖像分割技術;醫學圖像;DICOM
圖像分割是指將圖像中在某種標準下的不同區域區分開來。分割所得到的不同區域是互不交叉的,每個區域都滿足特定區域的一致性[2]。醫學圖像分割是醫學建模的主要組成部分,由于圖像的復雜性與多樣性,醫學圖像分割較一般的圖像分割有著更大的難度[3]。本文主要介紹目前半自動分割和自動分割方法在醫學圖像上的應用。
1 半自動分割
半自動分割是一種結合手工和計算機的交互方式,允許人工交互式操作提供一些有用的信息,然后由計算機進行分割處理。
1.1 交互式GACV模型
選擇需要處理圖像的ROI區域,利用高斯函數進行去噪平滑,采用結合了CV模型(對平滑區域進行全局分割)和GAV模型(利用梯度和曲率進行邊緣檢測)的GACV模型在ROI區域上進行分割,得到感興趣區域的粗分割結果。為精確地得到感興趣區域的輪廓[4],選取了一種無損邊緣的膨脹搜索算法,既精確地提取了輪廓信息,又使圖像的其他重要數據信息盡可能保留。
算法步驟包括人機交互、粗分割和利用無損邊緣的膨脹搜索算法的后處理。
首先在圖像中選取ROI區域,利用計算機人工選取包含了初始曲線中心點、初始曲線半徑、ROI區域中平均灰度相近的任意數據點。該算法分割圖像的計算量和分割時間與人工數據信息量的選取和待分割圖像的大小有關。因此所選的曲線中心點、半徑等大小和位置的信息量對減少計算量有較大的幫助。人工選取的ROI區域將作為下一步精確分割的初始對象。
粗分割的結果圖像顯示輪廓較為粗糙,包括了較多的不相關組織區域。對粗分割的結果進一步后處理,移除不相關組織區域并盡可能保留感興趣區域的輪廓。在教學過程中,經實驗模擬,這種模型算法能較為精確的分割出不同磁共振圖像序列或CT圖像序列的感興趣區域輪廓[5],能較好地應用在醫用圖像的分割處理中。
1.2 區域生長
區域生長是根據預先給定的生長準則,把像素或子區域合并成較大區域的處理方法。基本的處理方法是以一組“種子”點開始來形成生長區域,按照一定的準則逐步加入鄰近像素,當滿足終止條件時,區域生長終止。區域生長基本的處理方法是以一組“種子”點開始來形成生長區域,按照一定的準則逐步加入鄰近像素,當滿足終止條件時,區域生長終止[6]。
在某個序列層面切片上勾畫出ROI,依據病灶與周圍正常組織圖像灰度值具有對比度明顯的知識,運用大津閾值算法對整個層面進行分割;對其相鄰的切片也進行同樣的ROI內大津閾值分割,依據閾值判斷本張切片是否存在與正常組織明顯不同的灰度值區域;依據已經準確分割的切片和進行連通域檢測的層面切片確定種子點,選取閾值在種子的8鄰域內進行判斷,與種子的差值小于閾值的點劃分為和種子一類;重復上面的過程直到區域不能再擴張為止,利用其區域生長算法來分割相鄰切片,分割完成后重新更改感興趣區方便下一次分割層面切片[7]。
2 全自動分割
全自動分割脫離人工交互,完全依靠計算機對圖像進行分割。計算機可以承擔大量計算工作,分割速度快,效率高。實現全自動分割,是未來重要的研究方向。
2.1 卷積神經網絡
卷積神經網絡(CNN)最早用作分類器,用于圖像的識別[8]。基本結構主要由輸入層、卷積層、池化層(下取樣層)、全連接層及輸出層組成,亦可將CNN劃分為兩部分,分別為特征提取器(輸入層、卷積層、池化層)和分類器(全連接層和輸出層)[9]。在CNN結構中,輸入層經過多次卷積層和池化層的特征提取后,卷積層輸出高級特征的神經元與其輸入層進行局部連接,然后對相應的連接權值和局部輸入進行加權求,再加上偏置值得到該神經元的輸入值,即為卷積過程[10]。
Stefano Trebeschi等人提出了基于MRI序列圖像通過CNN來實現感興趣區域的自動分割。CNN接受了多參數核磁共振成像的訓練,將每個單元分類為ROI或非ROI。Trebesch等人的研究中采用CNN的架構:提取固定大小的體素V;通過CNN訓練每個V并進行分類;收集由此產生的結果概率;將結果概率分配給V。對每個圖像的每個體素V重復以上操作后可以生成一個概率圖,其中P(v)是體素V所代表感興趣組織的概率,通過概率圖的閾值劃分(P(v)≥0.5為“ROI組織”否則為“非ROI組織”)。
相較于傳統手動分割,CNN分割結果能與手動分割相媲美,能正確分類感興趣區域與非感興趣區域,分割速度快,耗時短。
2.2 全卷積神經網絡
近年來深度學習技術愈來愈成熟,計算機視覺的應用范圍逐漸擴大。它在許多領域都取得了較好的成績,并為圖像檢測技術的發展提供了更加多樣化的研究方向計算機視覺的應用范圍逐漸擴大。它在許多領域都取得了較好的成績,并為圖像檢測技術的發展提供了更加多樣化的研究方向。基于深度學習技術的智能處理大量圖像數據的技術,也成為計算機視覺領域的研究熱點之一[13]。全卷積神經網絡(FCN)基本架構為:輸入、卷積、池化和輸出[14]。FCN網絡模型在Faster RCNN網絡基礎上加入預測目標掩飾的并行分支,提高了檢測精度,實現了實例分割,具有高速、高準確率、簡單易用等特點。但是該算法分割的結果不夠精確,缺乏有效的空間信息。
2.3 U-Net
最初的U-Net結構由卷積層、最大池化層(下采樣)、反卷積層(上采樣)以及Re LU函數(線性整流函數)組成。U-Net網絡框架結構圖如下圖所示。
由左圖看出該U-Net網絡由28個卷積層包含4次卷積、4次上采樣和4次下采樣,每個卷積層后使用修正線性單元確保特征圖的穩定輸出。首先,利用卷積使輸出的特征通道數量增加1倍,經最大值運算向下采樣。為使特征圖增大,采取了上采樣;為使特征通道數目減半采取下采樣,最終使特征圖恢復到輸入圖像的大小。因卷積會使得特征圖像丟失部分信息,需將卷積過程中所提取的特征信息傳遞給采樣過程中提取的圖像部分,盡可能使圖像信息的丟失量減少。
在葉遠伊等人的研究中,采用U-Net模型在直腸CT檢查的圖像中分割感興趣區域前,需對圖像進行預處理,包括將CT值轉化為標準的HU值、窗口化操作、直方圖均衡化、圖像歸一化、裁剪CT圖像。構建的U-net中,每個卷積層采用步長為1的3*3的卷積核,上采樣采用步長為2的3*3的卷積核,下采樣采用步長為2的2*2的卷積核。卷積后,輸出圖像尺寸減小到8*8,使用一個1*1的卷積層將特征數量縮減為1,經sigmoid函數處理后輸出圖像。采用Dice系數,作相似度分析,使利用該算法結構分割的準確率達到93.61%,分割效果較為理想。U-net算法能實現自動化準確分割出目標圖像,相比FCN有所需樣本少、分割速度快的優勢。但在采用U-net時,若目標特征圖像占圖像范圍區域小,提取的特征數太多易導致過擬合。
3 模糊C均值聚類
聚類的圖像分割在日常的分割有兩種區分:硬聚類例如K-means聚類圖像分割算法;模糊聚類例如模糊C均值聚類算法或者均值漂移算法等。
硬聚類的圖像分割是指所要處理的數據是屬于其中的一個分組,在硬聚類圖像處理中每個要處理的數據的隸屬度是0和1兩個數值。而模糊類圖像分割的隸屬度是在[0,1]這個區間內的數,一個樣本是同時屬于所有的類,根據隸屬度的不同來區分它們的差異。
模糊C均值(FCM)聚類方法相對于其他同類型算法更加簡明、靈活,在日常的運用中更為廣泛,相對于其他算法也更加完善。在大多數的圖像處理中,所需要處理的對象絕大部分不可以歸類于很明顯分離的簇,同理去指派一個對象對應到一個特定的簇也是很容易出現錯誤的,對所有的對象以及所有的簇賦予一個權值,來指明各個對象所對應簇的程度。即便非常便捷的FCM算法,在圖像分割的過程中依舊存在著一些缺點:圖像中相接的像素沒有涉及;聚類的中心是不確定的,會影響到算法的時長以及分割結果相差比較大;噪聲對FCM算法的影響特別大。
對于醫學圖像來說,運用FCM聚類算法首先對圖像進行聚類的粗分割,分割出感興趣區以及附近的組織,然后再運用形態學算法對分割出來的組織圖像進行邊緣細化,空洞填充等操作,使需要處理的圖像變得連續,更加平滑。再采用區域增長算法對已分割出來的圖像組織進行提取,使組織周圍的區域清除,最后根據對比法,從提取出來的組織中獲得感興趣區域。根據由大到小,由粗到細的原則,使得感興趣區的干擾不斷減小,將目標所在的范圍鎖定,在感興趣區域內的圖像同時也是比較光滑,對目標進行精準的定位。
結語
本文從半自動分割和自動分割定義出發,詳細介紹了GACV人機交互模型、區域生長、基于深度學習的U-Net和FCN算法以及模糊C均值。利用圖像分割技術處理醫學圖像病灶或者病變組織提取方面的問題已經取得了較大進步,但在以下方面還有待進一步研究。
(1)如何進一步簡化對圖像的預處理、提升檢測精度和速率、降低訓練誤差、如何改進U-Net網絡模型使得提取的特征數量不會導致過度擬合。
(2)如何實現用小樣本完成訓練獲得分割精確的圖像、如何將不同算法合并,有便于將特定結論推廣到不同患者群體上。
(3)對于圖像分割,目前還沒有研究出一種通用的并且有效的自動分割方法,很多方法只是針對某種特殊的圖像,具有局部性。
參考文獻:
[1]時賀,趙于前,王小芳.交互式GACV模型的腫瘤圖像分割[J].中國醫學物理學雜志,2011,28(03):2624-2627+2667.
[2]Gonzalez,R.C.“Image Enhancement and Restoration.”In Handbook of Pattern Recognition and Image Processing,Young,T.Y.,andFu,K.S.(eds.),Academic Press,New York,1979(6):177-248.
[3]李旭冬,葉茂,李濤.基于卷積神經網絡的目標檢測研究綜述[J].計算機應用研究,2017,34(10):2881-2886+2891.
[4]李炳臻,劉克,顧佼佼,姜文志.卷積神經網絡研究綜述[J].計算機時代,2021(04):8-12+17.
[5]周飛燕,金林鵬,董軍.卷積神經網絡研究綜述[J].計算機學報,2017,40(06):1229-1251.
[6]王顥.深度學習在圖像識別中的研究與應用[J].科技視界,2020(24):37-38.
[7]郭亞男.基于全卷積神經網絡的圖像語義分割技術的發展及應用綜述[J].數碼世界,2019(07):10.
[8]曾文獻,張淑青,馬月,李偉光.基于卷積神經網絡的圖像檢測識別算法綜述[J].河北省科學院學報,2020,37(04):1-8+28.
[9]袁兵.基于全卷積神經網絡的圖像分割算法的研究及應用[D].電子科技大學,2018.
[10]李亞軍.基于U-Net的結直腸癌CT圖像分割方法的研究[D].華南理工大學,2020.
[11]程立英,高宣爽,申海,黃丹陽,覃文軍.基于U-Net網絡的肺部組織分割[J].沈陽師范大學學報(自然科學版),2020,38(03):278-282.
[12]葉遠伊,林仁波,李東,黎柱,許應軍,王龍鑫.基于U-net的直腸癌腫瘤的智能分割[J].電子制作,2019(22):45-47.
[13]周魯科,朱信忠.基于U-net網絡的肺部腫瘤圖像分割算法研究[J].信息與電腦(理論版),2018(05):41-44.
[14]何穎,何曉菊,張鋼.基于小波變換與FCM的甲骨文字圖像分割[J].天津科技大學學報,2018,33(06):62-66.
基金項目:中山大學新華學院2020年度大學生創新創業訓練計劃項目(S202013902022)
*通訊作者:陳菲(1985—?),女,漢族,湖北人,碩士,研究方向:圖像處理、醫用電子儀器設計等。