








摘 要:肝臟腫瘤是一種發病率高且惡化概率高的疾病,為了快速地診斷肝臟疾病,需要從計算機斷層掃描(CT)中準確地分割出肝臟及腫瘤。為了分析肝臟及腫瘤圖像分割領域的現狀及發展趨勢,針對肝臟及腫瘤圖像的分割方法進行了研究,總結了近些年肝臟及腫瘤圖像的分割方法。肝臟及腫瘤圖像分割方法包括傳統方法以及深度學習方法。傳統方法需要較多的人工參與,不能實現完全自動化。深度學習方法從分割網絡的維度可分為2D、2.5D以及3D方法,這些方法分割精度高,硬件需求高。在考慮深度學習與傳統方法優缺點的同時,它們的結合也被不斷探索,圖割法和條件隨機場等傳統方法經常被用于細化深度學習方法的分割結果。
關鍵詞:肝臟分割;腫瘤分割;傳統方法;深度學習方法
中圖分類號:TP391 文獻標志碼:A
文章編號:1001-3695(2022)03-001-0641-10
doi:10.19734/j.issn.1001-3695.2021.08.0320
基金項目:江西省自然科學基金資助項目(20202BABL202029);國家自然科學基金資助項目(61762067)
作者簡介:陳英(1981-),男,江西撫州人,副教授,碩導,博士,主要研究方向為生物特征識別和醫學圖像處理與模式識別、機器學習和深度學習及其在醫學診斷中的應用;鄭鋮(1998-),男(通信作者),江西撫州人,碩士研究生,主要研究方向為醫學圖像處理與模式識別、機器學習和深度學習及其在醫學診斷中的應用(ZasonCheng@163.com);易珍(1986-),女,江西宜春人,中級,學士,主要研究方向為影像學檢查;胡菲(1997-),女,安徽安慶人,碩士研究生,主要研究方向為醫學圖像處理與模式識別、機器學習和深度學習及其在醫學診斷中的應用;徐國輝(1979-),男,江西撫州人,副高,學士,主要研究方向為原發性肝癌、膽管癌的外科治療.
Review of liver and tumor image segmentation methods
Chen Ying1,Zheng Cheng1?,Yi Zhen2a,Hu Fei1,Xu Guohui2b
(1.School of Software,Nanchang Hangkong University,Nanchang 330063,China;2.a.Radiology,b.Hepatobiliary Surgery,Jiangxi Provincial Cancer Hospital,Nanchang 330029,China)
Abstract:The liver tumor is a disease with a high incidence and probability of deterioration,and the rapid diagnosis of liver disease requires accurate segmentation of liver and tumor from computed tomography(CT) scan.To analyze the status and the trend of the liver and tumor image segmentation field,this paper investigated the segmentation methods for liver and tumor images and summarized the segmentation methods for liver and tumor images in recent years.Liver and tumor image segmentation methods included conventional methods and deep learning methods.The conventional methods required more manual involvement and could not be fully automated.Deep learning methods could be divided into 2D,2.5D and 3D methods from the dimension of segmentation network.These methods had high segmentation accuracy and high hardware requirements.While considering the advantages and disadvantages of deep learning and conventional methods,their combination was constantly explored,and conventional methods such as graph cuts and conditional random fields often used to refine the segmentation results of deep learning methods.
Key words:liver segmentation;tumor segmentation;conventional methods;deep learning methods
0 引言
肝癌是世界上最常見的癌癥之一,是全球癌癥死亡的主要病因之一,據2015年世界衛生組織統計[1],肝癌已成為全球癌癥死亡的第二大疾病。當前臨床對于肝癌的診斷準確率較高的是肝臟穿刺活檢術,但是該檢測方案在實施難度、患者體驗以及術后恢復等方面均存在明顯的不足。隨著計算機斷層掃描(computed tomography,CT)技術的日益成熟,醫學圖像分析已被廣泛應用于醫療診斷、術前計劃和術后監測等臨床醫學的各個環節。傳統肝臟臨床診斷中是靠醫生根據病人的醫學影像來發現病變,隨著CT精度的提高,每次掃描所得到的CT圖像數量也大大增加,使得醫生的工作量大大增加;同時CT圖像的分析和診斷十分依賴醫生的主觀判斷,這些因素都加大了誤診或者漏診的可能性。而對肝臟病變分析的前提是從CT圖像中快速、準確地定位肝臟區域,因此,設計一種快速、準確分割肝臟的計算機輔助診斷(computer-aided diagnosis,CAD)系統在臨床應用中具有重要意義。
如圖1所示,由于肝臟周圍存在的肌肉以及其他器官(例如心臟和腎臟等)與肝臟在灰度對比上的差異小,導致肝臟邊緣模糊,給肝臟的分割帶來了麻煩。同時,不同個體的肝臟大小和位置存在一定的差異,且肝臟貫穿于CT圖像的多個切片中,不同切片之間也存在著細微的變化,這些都給肝臟分割任務帶來了巨大的挑戰。
與人工分割相比,早期提出的傳統分割方法,例如模糊均值聚類[2]、區域增長[3,4]和可變形模型[5,6]等,對人的依賴性相對較小,但是仍然依賴于手工制作的特征,而且特征表示能力有限。最近,深度學習[7]方法被應用于醫學圖像處理等眾多領域,其中基于卷積神經網絡(convolutional neural network,CNN)的方法應用最為廣泛,例如全卷積神經網絡(fully convolutional neural network,FCN)[8]、DeepLab[9]和U-Net[10]等。CNN不需要人工對特征進行標注,通過端到端的方法學習特征,不斷地調整參數來實現分割任務,并且大多可以達到超越傳統分割算法的性能。
1 基于傳統方法的肝臟腫瘤分割
傳統的肝臟分割方法是通過手動設置特征來對肝臟及腫瘤進行分割的,這就意味著肝臟的分割結果極大程度上受到手動設置特征的影響。傳統方法大致可分為基于灰度以及基于結構等分割方法。
1.1 基于灰度的分割方法
灰度是圖像最明顯的特征,基于灰度分割方法的好處是:a)無須使用特殊算法即可提取特征;b)功能穩定可靠,可輕松用于類似情況;c)通常可以得到高精度的結果。缺點則是:a)大多數是半自動方法,需要用戶操作;b)當目標與背景之間的灰度差異較小時,方法將失去有效性。基于灰度的方法包括區域生長法、圖割法、活動輪廓法以及基于閾值的方法等。Yang等人[11]分別提出了兩種基于水平集算法(level set method,LSM)的肝臟和腫瘤分割方法,通過在預處理后的二元圖像上設置種子點進行區域生長獲得粗糙肝臟區域,并使用LSM細化得到肝臟分割結果;同時采用局部強度聚類的LSM與隱藏馬爾可夫隨機場和期望最大化(hidden Markov random field and expectation-maximization,HMRF-EM)算法相結合的方法用于提取肝臟腫瘤。郭穎[12]提出一種改進的區域生長算法用于CT圖像的肝臟腫瘤分割,分別對種子點的選擇和生長準則進行改進,以最大連通區域的內切圓圓心作為種子點,并優化了生長準則的停止條件。Kumar等人[13]使用濾波對CT圖像去噪處理,通過基于統計學的均值閾值法提取腫瘤,最后使用平均濾波和中值濾波等濾波技術進行形態學操作以去除干擾。為了更好地利用CT圖像的空間信息,Liao等人[14]提出利用強度、局部環境和相鄰切片的空間相關性來分割肝臟,通過強度模型與基于主成分分析(principal component analysis,PCA)的外觀模型突出肝臟區域,并采用基于瓶頸檢測的邊界細化方法來提高分割的準確性。Sethi等人[15]提出了基于邊緣相位一致的區域增強方法,使用新的停止函數來檢測低對比度的邊界。Yuan等人[16]提出了一種快速準確的肝臟分割框架,結合了基于知識的逐片隨機游走分割算法和對比度增強型壓縮分水嶺方法的超像素算法,以減少計算時間和內存。Anter等人[17]將CT圖像轉換為NS域,通過自適應閾值和形態學運算符增強獲得的NS圖像,并用連接分量算法提取,利用分水嶺算法對圖像進行肝臟分割,最后用快速模糊C均值法分割出肝臟腫瘤。Das等人[18]提出了分水嶺高斯深度學習(watershed Gaussian based deep learning,WGDL)技術,首先使用分水嶺來分割肝臟,接著使用高斯混合模型來分割病變,最后從分割區域提取各種紋理特征并傳到深度神經網絡(deep neural network,DNN)分類器以自動分類三種類型的肝癌。廖苗等人[19]為了分割肝臟腫瘤,對肝臟區域使用非線性增強以及迭代卷積操作,利用肝臟區域的灰度分布特征來提高肝臟與腫瘤的對比度,并通過圖割法對增強對比度后的肝臟圖像進行分割。
1.2 基于結構的分割方法
基于結構的方法已被證明是一種有效而又強大的分割方法,已應用于諸多醫學領域。其中心假設是感興趣的對象結構具有重復的幾何形式,在該方法中,創建一個概率模型來表示器官形狀的變化,并使用此模型作為基礎,在圖像中施加約束以進行分割。Guo等人[20]提出了一種基于新框架的自動肝分割方法,將完全卷積網絡集成到活動輪廓框架中,生成的集成主動輪廓模型可以在增加輪廓平滑度的同時合并高級和低級圖像信息。Baazaoui等人[21]提出了一種半自動分割方法,包括基于熵的處理,用于從CT圖像中分割單個和多個肝臟病變。該方法引入了基于熵的模糊區域生長(entropy-based fuzzy region growing,EFRG)技術來分割肝臟腫瘤并減小少分割的可能,特別是在包括若干病變的CT圖像中。Mohagheghi等人[22]提出一種將空間肝臟形狀全局信息與損失函數結合的方法,用以改善3D肝臟圖像分割效果,有效提高了DSC以及魯棒性。
1.3 聚類和分類法
聚類和分類法也被廣泛用于肝臟分割任務中,Das等人[23]將自適應閾值、形態學處理和內核模糊C均值(kernel fuzzy C-means,KFCM)聚類算法用于肝臟腫瘤分割,并引入了一個核函數用于提高聚類能力。范智浩等人[24]將基于K-means聚類算法的分割方法與區域生長法進行比較,同時對兩種方法得到的分割結果進行形態學處理以填充空洞,最終發現K-means聚類算法的分割精度要高于區域生長法,但區域生長法的耗時較短。王琴琴[25]使用模糊C均值(fuzzy C-means,FCM)算法對采用中值濾波器預處理后的圖像進行目標和背景的劃分,再使用隨機漫步算法進一步分割腫瘤。傳統FCM易受噪聲的干擾,為了降低噪聲的影響,金凱成[26]提出了一種基于局部信息C均值模糊(fuzzy local information C-means,FLICM)聚類的方法,并結合B樣條水平集方法共同用于肝臟腫瘤分割。為了增強和優化聚類的結果,Anter等人[27]提出了一種基于中性粒細胞集、粒子群優化和快速模糊均值算法的腹部CT肝腫瘤分割方法,使用粒子群優化將圖像傳遞給優化的快速模糊均值。Cai等人[28]提出了一種快速魯棒的核空間模糊聚類分割算法。在對聚類元素進行模糊聚類后通過拉格朗日乘數獲得核空間中快速魯棒模糊聚類的迭代表達式。為了解決醫學圖像對比度低和視覺感知能力差的問題,Sreeja等人[29]提出了一套基于圖像融合的增強方案以增強CT圖像中的肝臟和病灶,使用模糊C均值以及支持向量機對像素級特征進行聚類和分類,將分類器的輸出轉換為圖像并在三個維度上將像素級特征融合形成一個新的圖像,通過腹部放射影像增強肝臟和病變。
上述方法的部分肝臟和腫瘤分割結果如表1所示,表中所有數據均來自方法對應的文獻。 以上傳統方法基于肝臟的灰度、紋理、形狀以及結構特征對肝臟腫瘤進行分割,其中概率圖譜、可變模型、圖割法、水平集、區域生長、統計形狀模型以及聚類和分類法等被廣泛地用于肝臟腫瘤分割領域,并且有著不錯的分割表現。簡單的類似于基于閾值的方法具有較好的泛用性,可以用來分割具有類似屬性的形狀;而類似于可變模型等復雜的方法通常具有較強的針對性,需要單獨針對肝臟進行優化,只適用于特定優化的分割場景。半自動的傳統分割方法需要人工的干預,因此在一些不規則肝臟的情況下表現優于自動分割方法,但人工的干預同時也是傳統方法的不足之處,由于對人工的依賴,最終的分割結果會因為操作者專業能力的不同而產生偏差,例如傳統的區域生長法,如圖2所示,其中種子點必須落在正確的區域內才能得到相對準確的分割結果,因此種子點的選取往往需要有經驗的醫生或專家進行操作。腹部CT圖像的各器官對比度低、病變組織和個體間的器官差異,這些都給肝臟腫瘤的分割帶來困難。雖然肝臟及腫瘤圖像分割的傳統方法很多,肝臟分割準確度得到很大提高,但是這些方法還是難以滿足臨床實際應用的需求。
2 基于深度學習方法的肝臟腫瘤分割
近年來,深度學習算法被廣泛應用于醫學圖像處理領域,其中卷積神經網絡(convolutional neural network,CNN)是最受歡迎的方法之一。相較于傳統算法,深度學習算法不需要人工標記特征,節省了更多的工作和時間,同時還獲得了較高的精度。基于深度學習的分割方法大多為端到端的分割方法,其分割流程如圖3所示,整個分割過程分為訓練和測試兩部分,通常只需要對原始CT圖像進行簡單的預處理并輸入深度學習網絡中進行訓練得到網絡模型,再將待分割的CT圖像輸入網絡模型即可得到最終分割結果。根據肝臟腫瘤圖像的特點,基于深度學習方法的肝臟腫瘤分割網絡通常分為2D、2.5D和3D網絡,其中2D網絡對設備性能的要求較低,實現的代價較低,但分割精度通常不如3D網絡;2.5D網絡在性能需求不高的同時較為充分地利用了圖像的3D信息,但對多張切片分割結果的整合方式不夠成熟;3D網絡能夠很好地利用CT圖像的3D信息,從而得到較好的分割精度,但資源的消耗量過大,實施難度更高。本文將以網絡結構的維數作為依據介紹深度學習方法在肝臟腫瘤分割任務中的應用。
2.1 2D網絡分割方法
CNN起源于ImageNet大規模視覺識別挑戰賽,傳統的CNN由卷積、池化以及激活操作組成。基于傳統CNN,Anil等人[30]提出了一種為圖像像素分配概率的多級深度卷積神經網絡(multi-level deep convolutional network,MDCN),并結合分型殘差網絡(fractal residual network,FRN)識別腫瘤區域,最后使用主動輪廓模型完善腫瘤分割。Li等人[31]提出了一個由骨干網絡、局部分割和加權網絡組成的深度卷積神經網絡模型DCSegNet,其中骨干網絡用于特征提取,局部分割網絡根據骨干網絡提取的特征以及加權網絡來分割目標區域,該網絡在三個數據集上驗證了其有效性。
傳統CNN通常是在最后接上幾個全連接層,將卷積層產生的特征圖映射成為一個固定長度的特征向量,因而存在許多問題,即不能適應任意尺寸的輸入,同時全連接層太過耗費資源與計算時間。因此,Long等人[8]于2015年提出了FCN,該網絡試圖從抽象特征中恢復出每個像素的類別,能適應任意尺寸的輸入,解決了語義級別的圖像分割問題,也為后面多種語義分割的方法奠定了基礎。FCN與CNN的主要區別在于將CNN最后的全連接層轉換成卷積層,輸出的是一張帶有標簽的圖片,而這個圖片就可以用做語義分割;FCN的最大創新點在于使用了跳級結構,將高低層語義信息進行融合,以實現對圖像的精準分割。段杰等人[32]提出了一種卷積型多尺度融合FCN,對FCN的上采樣操作進行改進,在部分池化層后加入卷積操作,以增強網絡模型的局部判斷能力。Yuan等人[33]提出了基于深度全卷積—反卷積神經網絡(convolutional-deconvolutional neural network,CDNN),第一個CDNN用于粗略地分割肝臟,第二個CDNN在粗略分割肝臟的基礎上進行精細分割,并通過直方圖均衡化對分割好的肝臟區域進行細化,最后再使用一個CDNN在分割好的肝臟區域內分割腫瘤。網絡深度的加深能夠更好地提取特征,但是過深的網絡訓練時會有梯度消失等問題,使得網絡的深度受到了較大的限制,而ResNet[34]引入了殘差路徑,讓較深的網絡的訓練成為可能。Bi等人[35]以ResNet為基礎結構,使用新穎的級聯ResNet架構與多尺度融合逐步精確地定位肝臟和肝臟病變的邊界。DenseNet[36]在每一個卷積層后面都加入了一條到達后續每一層的路徑,Kaluva等人[37]基于DenseNet提出了一種全自動的兩階段級聯方法,第一階段進行肝臟分割,第二階段使用第一階段的分割結果進行肝臟定位,并在定位到的肝臟區域內進行腫瘤分割。Mourya等人[38]提出了擴張的深度殘差網絡(dilated deep residual network,DDRN),同時用到了并行的網絡結構和級聯的網絡結構,將三個并行的DDRN與一個DDRN進行級聯來獲得分割結果。高飛等人[39]提出了殘差密集連接塊(res-dense-block,RDB)以及樹型聚合結構空洞卷積模塊(tree aggregation structure dilated convolution,TASD),并將其用于編碼器—解碼器網絡,很好地解決了普通空洞卷積對分割目標邊緣部分的分割效果不佳的問題。CT圖像通常會在平掃期、動脈期、門脈期以及延遲期四個時期獲得,為了學習到CT圖像不同階段的特征,Sun等人[40]提出了一種使用多通道全卷積網絡(multi-channel fully convolutional network,MC-FCNs)從CT圖像中自動分割肝臟腫瘤的方法,MC-FCNs有三個通道,可以分別獨立地訓練不同階段的CT圖像,并在網絡的高層進行特征融合。
由于肝臟腫瘤圖像邊界模糊并且梯度復雜,需要較多高分辨信息用于精準分割;同時人體內器官分布相對固定,分割目標的分布有一定的規律,語義簡單明確,所以需要低分辨率信息用于目標物體的識別。U-Net在編碼器和解碼器之間引入了跳躍連接,能夠很好地結合低分辨率信息和高分辨率信息,完美適用于肝臟和腫瘤分割。跳躍連接雖然結合了高分辨率信息和低分辨率信息,但沒有對低分辨率信息進行篩選,導致低分辨率信息過多使得邊界模糊。為了解決這一問題,Seo等人[41]提出了mU-Net,即在U-Net的跳躍連接部分引入了一個剩余路徑,包含反卷積操作和激活操作,有效地加強了高分辨率邊緣特征和全局特征的提取能力。Fan等人[42]改進了傳統U-Net的卷積層和跳躍連接,提出了多尺度嵌套U-Net(multi-scale nested U-Net,MSN-Net),將U-Net的卷積層用帶有瓶頸層的殘差塊代替,在加深了網絡的同時又通過殘差路徑避免了梯度消失的問題,并且在跳躍連接中加入了由多尺度融合路徑以及不同層次的并聯路徑組成的MSCF塊和密集連接塊,解決了傳統跳躍連接傳遞過多低分辨率信息的問題。類似于MSN-Net對U-Net進行修改的思路,Liu等人[43]針對小目標區域難以分割的問題改進了U-Net,提出了密集特征選擇U-Net(dense feature selection U-Net,DFS U-Net),將U-Net編碼器部分的卷積塊替換成密集塊,并在跳躍連接部分加入了特征選擇塊,在肝臟CT圖像中的小目標分割取得了不錯的結果。不同于通常情況下對U-Net的卷積結構和跳躍連接的改進,Tran等人[44]提出了一種n倍U-Net的Un-Net結構,結合空洞卷積和密集塊,有效地利用了網絡節點中卷積層的輸出特征。由于上采樣過程會損失較多的語義信息,黃泳嘉等人[45]提出改進的U-Net,在上采樣階段添加池化層,直接獲取下采樣中池化層的特征圖,同時在改進的U-Net之后使用殘差優化模塊,以細化分割結果。為了更好地提取上下文特征,Gu等人[46]提出了一個上下文編碼器網絡CE-Net來捕捉更多的高層信息,同時保留空間信息,CE-Net主要包括特征編碼器、上下文提取器以及特征解碼器。Li等人[47]提出了一個包含編碼U-Net和分割U-Net的瓶頸監督U-Net(bottleneck supervised U-Net,BS U-Net),BS U-Net在原始U-Net的編碼器中加入了密集模塊、inception模塊和空洞卷積,首先訓練編碼U-Net獲得包含形狀和位置的標簽圖的編碼,然后用這些編碼與瓶頸特征向量的MSE損失和Dice損失的加權平均值作為分割U-Net的損失函數。Liu等人[48]提出了一種結合改進的U-Net和圖割法的GIU-Net:首先使用改進的U-Net對CT圖像進行分割,并獲得肝臟區域的概率分布圖;其次,選擇分割的起始片利用肝臟序列圖像的上下文信息和肝臟概率分布圖來構建圖切割能量函數;最后,通過最小化圖切能量函數來完成分割。由于醫學圖像特有的空間相關性和非局部依賴性,Carvalho等人[49]提出了空間依賴網絡(spatial dependency network,SDN),并將其與U-Net結合,得到兩種新型網絡結構SDU-Net和SDNU-Net,并在包括肝臟圖像在內的三種不同的醫學圖像上證明了該網絡結構的有效性。受U-Net跳躍連接的啟發,Zhou等人[50]在U-Net的基礎上進行改進,對網絡的所有層都進行重復跳躍連接,形成了密集的跳躍連接路徑,得到了用于醫學圖像分割的U-Net++,并在胸部結節分割、細胞核分割、肝臟分割以及息肉分割等多項任務中驗證了網絡結構的有效性。Xu等人[51]對U-Net++進行改進,在卷積層之間引入了殘差結構,避免了梯度消失的問題,同時網絡在邊緣部分的提取也得到了一定的提升。Li等人[52]在U-Net++的基礎上提出了attention U-Net++,在U-Net++的卷積塊之間引入注意力機制,讓網絡提取的特征更有針對性,注意力機制的加入大大加快了網絡的訓練速度。王巖等人[53]基于U-Net提出了結合雙注意力機制的CDA-Net,該網絡為一個級聯網絡結構,由兩個DA-Net依次進行肝臟分割和腫瘤分割,并使用條件隨機場優化分割結果。為了減少網絡訓練的時間,Ayalew等人[54]改進卷積操作的過濾器大小,并在編碼器部分每個卷積操作之后加入批歸一化處理和隨機丟棄操作,同時為了避免腫瘤特征較少導致的訓練不佳的問題,在訓練時舍棄了不包含腫瘤的切片,加大了腫瘤相對背景的總占比。同樣為了解決腫瘤特征占比較小導致分割數據不平衡的問題,于群等人[55]提出了級聯可分離空洞殘差U-Net(cascaded separable and dilated residual U-Net,CSDResU-Net)用于肝臟腫瘤分割,首先使用空洞殘差U-Net(DResU-Net)進行肝臟分割,然后在分割肝臟的DResU-Net中引入深度可分離卷積進而得到CSDResU-Net用來分割腫瘤,通過深度可分離卷積實現了圖像區域與通道的分離,有效地減少了訓練參數。
上述方法的部分肝臟和腫瘤分割結果如表2所示,表中所有數據均來自方法對應的文獻。以上基于CNN、FCN以及U-Net進行改進的2D網絡分割方法,在肝臟腫瘤分割領域取得了不錯的成就。CNN最早用于物體的分類,隨著CNN的不斷發展,其在圖像輪廓檢測方面的能力也得到了體現,而輪廓檢測在醫學圖像分割任務中發揮著重要作用,這就奠定了CNN適用于肝臟腫瘤分割領域的基礎。基于CNN的肝臟腫瘤分割網絡對于CNN的改進通常體現在網絡深度以及與其他傳統方法的結合方面,能達到超過傳統方法的分割精度,但也存在不足之處:CNN用于語義分割的原理是采用滑窗的方式遍歷像素點提取預測語義標簽,但這種方法計算量大、速度慢且缺少上下文信息,同時全連接層限制了輸入圖像的尺寸。FCN將CNN的全連接層換成卷積層,使得網絡可以一次性對圖片進行像素級別的分類,同時可以處理任意尺寸的輸入,在分割效率和分割精度上相對于CNN都有一定的提高。FCN的思想讓端到端肝臟腫瘤分割得以實現,基于FCN改進的網絡也不斷被用于肝臟腫瘤分割領域,包括級聯FCN、ResNet以及DenseNet等方法,都取得了較高的分割精度。
U-Net結構與FCN類似,同樣是由多個卷積層和多個反卷積層組成,并且都有高層特征和低層特征融合的操作,而融合高低層特征的跳躍連接有效地將肝臟腫瘤圖像分割所需的高分辨率信息和低分辨率信息相結合,讓U-Net在肝臟腫瘤分割領域有著先天優勢。為了解決U-Net的跳躍連接過多結合低分辨率信息的問題,通常將反卷積、特征選擇塊和注意力機制等模塊運用于跳躍連接以達到特征篩選的效果;同時對U-Net的編碼器部分的改進也是提升分割性能的有效方式,例如使用殘差塊和密集塊等更先進的模塊代替編碼器部分原本的卷積塊。由于2D網絡結構本身的不足,導致無法充分利用3D CT圖像的三維信息,對2D網絡結構的各種改動也僅限于提高單張切片分割的準確率,讓肝臟腫瘤的整體分割性能的提升受到限制。
2.2 2.5D網絡分割方法
2.5D網絡即為使用多張切片進行聯合分割的網絡,包括在某張切片分割過程中同時使用多張與其相關的切片作為輔助和使用3D圖像三個方向(橫斷面、冠狀面以及矢狀面)的切片分別進行分割并整合分割結果兩種情形。由于醫學CT圖像為3D圖像,使用2D網絡結構只能對單張2D切片進行分割,無法有效地利用CT圖像的三維信息,影響了分割效果的準確性;而采用3D網絡結構則對實驗設備的要求較高。為了能在較小的資源占用情況下很好地利用CT圖像的三維信息,出現了一些使用多個相關切片或多個平面切片的2.5D方法用于醫學圖像的分割。
為了最大程度地減少性能的需求,Zhang等人[56]提出了一種上下文感知的PolyUNet,使用多個相關切片豐富特征表達和空間信息,同時利用放大/縮小和兩階段細化策略來排除周圍背景,讓網絡能更專注特定區域的分割。Ben-Cohen等人[57]結合FCN與生成對抗網絡(GAN),將網絡的輸入改成三通道,分別將相關切片和上下兩個切片輸入網絡,充分利用了CT圖像的三維信息。通常的2D網絡是將3D圖像橫斷面的切片輸入網絡用于分割,而3D圖像可以有三個方向的切片,于是Wang等人[58]提出了一個基于FCN的Triplanar FCN,將CT圖像的橫斷面、冠狀面以及矢狀面切片分別用于肝臟腫瘤分割,并將三個分割結果整合得到最終的分割結果。該方法最大程度地利用了CT圖像的3D信息,并有效地避免了3D網絡結構所需要的硬件資源。Wang等人[59]提出了一個多平面集成的全卷積神經網絡來分割CT圖像中的肝臟,使用多層空洞卷積濾波器來代替傳統的濾波器,同時還采用了殘差連接和多尺度預測來提高分割性能。Chen等人[60]提出了一個密集連接的對抗網絡(adversarial densely connected network,ADCN)用于CT圖像的自動肝腫瘤分割,首先使用多平面集成網絡(MPNet)[58]從異常的CT圖像中分割出肝臟,然后,設計了一個深度全卷積神經網絡(DC-FCN)作為生成器從肝臟區域中預測肝臟腫瘤。Chlebus等人[61]提出了采用三個正交的2D CNN模型Liver-Net,每一個CNN模型都是類似U-Net的結構,用橫斷面、矢狀面和冠狀面的切片進行訓練。
上述方法的部分肝臟和腫瘤分割結果如表3所示,表中所有數據均來自方法對應的文獻。2.5D網絡解決了2D網絡無法利用3D圖像的三維信息的問題,在與2D網絡結構所需性能相近的情況下更加充分地利用了圖像的三維信息,找到了性能和功耗的平衡。2.5D網絡的網絡結構是2D的,在對上下文信息的使用上是接近3D的。2.5D網絡每一次使用的切片數量超過一張,通常有兩種情形:a)在對一張肝臟CT切片進行分割時同時使用相鄰的兩張相關切片提供上下文信息;b)分別使用CT圖像的橫斷面、矢狀面以及冠狀面切片訓練三個肝臟腫瘤分割網絡,再結合三個網絡的分割結果得到最終結果,分割流程如圖4所示。多切片的方法豐富了特征表達和空間信息,分割精度也保持在一個較高的水平。對于使用三平面(橫斷面、矢狀面和冠狀面)的2.5D網絡,三個方向的平面最大程度地還原了CT圖像的三維信息,但因為矢狀面和冠狀面的像素大小并不固定,給訓練帶來了困難,同時整合三個方向切片的分割結果的方法依然不夠成熟。
2.3 3D網絡分割方法
醫學CT圖像多為3D圖像,所以使用3D網絡結構對醫學CT圖像進行分割任務能夠很好地利用CT圖像的三維信息,對分割準確率的提高有先天優勢。基于3D網絡的分割方法可以分為單網絡分割方法和多網絡分割方法。單網絡分割即指用一個網絡模型完成所有的分割任務;多網絡分割則指使用多個網絡結構進行分割任務。后者通常包括幾種情形:a)使用一個網絡進行粗分割或者定位,另一個網絡進行精細分割;b)使用一個網絡進行肝臟分割,另一個網絡在肝臟RoI中分割腫瘤;c)兩個網絡并行分割,一個提取全局特征,一個提取局部特征。
2.3.1 單網絡分割方法
Milletari等人[62]提出了用于醫學圖像分割的全卷積神經網絡V-Net,與U-Net類似,V-Net的編碼器部分提取醫學圖像的全局信息,解碼器部分產生全分辨率的輸出,該方法提高了分割精度,但對于高分辨率特征的提取不佳。孫明建等人[63]提出新型深度全卷積網絡3DUnet-C2,并提出新的網絡訓練方式,首先手動選取質量較高的肝臟圖像并截取肝臟部分,將截取的部分用于網絡的初步訓練得到模型權重,將得到的模型權重用做初始化網絡訓練參數并訓練模型,最后對分割結果使用3D CRF進行優化。Reza等人[64]為了證明卷積神經網絡的有效性,將特征金字塔網絡(feature pyramid network,FPN)、U-Net和V-Net用于肝臟進行分割并比較結果,其中FPN的分割表現優于U-Net和V-Net。為了解決三維全卷積神經網絡參數多且內存占用量高的問題,Lei等人[65]提出了一個輕量級的V-Net(LV-Net)用于肝臟分割,設計了一個倒置的殘差瓶頸塊(inverted residual bottleneck block,IRB block)并將其用于LV-Net。3D條件隨機場(conditional radom fields,CRF)和圖割法等傳統方法常被用于優化深度學習分割結果,Dou等人[66]使用3D深度監督網絡(3D deeply supervised nets,3D DSN)[67]分割肝臟,利用全卷積結構的優勢,進行有效的端到端的學習,同時引入深度監督機制對模型進行優化,最后使用條件隨機場優化分割結果。為了同時學習到低層次特征和高層次特征,Lu等人[68]將深度學習與傳統方法結合,首先使用3D CNN學習肝臟概率圖并定位和分割肝臟,然后根據學習到的肝臟概率圖使用圖割法對分割結果進行細化。Chen等人[69]提出了一個基于特征融合的編碼器—解碼器網絡(feature-fusion encoder-decoder network,FED-Net),FED-Net使用了基于注意力機制的特征融合方法,將包含語義信息的高分辨率特征和具有圖像細節的低分辨率特征融合,并提出密集上采樣和殘差結構來減少上采樣過程中的信息損失。Zhang等人[70]提出了一種輕量級混合卷積網絡(light-weight hybrid convolutional network,LW-HCN)用于分割肝臟腫瘤,LW-HCN采用了編碼器—解碼器的結構,在編碼器底層部分采用二維卷積以降低復雜度,在編碼器的最后使用結合了DSTS的三維卷積已獲得多尺度的特征,有效地提高了分割精度。Tan等人[71]設計了三個損失函數,分別是更加關注錯誤分類像素的自適應加權的交叉熵損失、保證標簽相同/不同的相鄰像素有相似/不同的輸出的平滑度損失以及模擬高水平結構差異的形狀約束損失,并將其聯合用于基于3D CNN的分割框架。Kaur等人[72]提出了分別用于2D和3D圖像分割的GA-UNet,為了提高輸出圖像的分辨率,3D GA-UNet通過連續的層來消除網絡的收縮路徑對分辨率的影響,同時用上采樣操作代替池化操作。Jin等人[73]提出了用于肝臟腫瘤分割的RA-UNet,將傳統U-Net的卷積塊替換為殘差塊,同時提出了注意力剩余機制并用于跳躍連接部分,該網絡將低層次的特征圖與高層次的特征圖結合起來提取上下文信息。Jeong等人[74]提出了一個用于肝臟分割的深度三維注意力U-Net(deep 3D attention U-Net),其中提出的注意力機制有效地學習了不同形狀大小的肝臟結構。Mitta等人[75]基于W-Net[76]提出了新的3D attention W-Net,在W-Net的基礎上將其中的U-Net結構換成改進的3D attention U-Net,并在最后使用CRF對分割結果進行細化。上述方法的部分肝臟和腫瘤分割結果如表4所示,表中所有數據均來自方法對應的文獻。
2.3.2 多網絡分割方法
多網絡分割方法按照多個網絡的聯合方式,又可以分為級聯網絡和多路徑網絡。級聯網絡指多個網絡按照順序完成任務,通常后一個網絡的輸入為前一個網絡的輸出;雙路徑網絡指多個并行的網絡,同一個輸入進入多個網絡結構得到分割結果。
級聯網絡在肝臟腫瘤中一般有兩種情形:a)前一個網絡分割肝臟,后一個網絡分割腫瘤;b)前一個網絡粗分割,后一個網絡精細分割。Budak等人[77]提出了深度編碼—解碼卷積神經網絡(deep encoder-decoder convolutional neural networks,EDCNN),其中第一個EDCNN分割肝臟,第二個在分割出的肝臟區域內分割腫瘤。Christ等人[78]提出了一種級聯全卷積神經網絡(cascaded fully convolutional neural networks,CFCN)用于在CT和MRI中分割肝臟,前一個FCN分割肝臟,后一個FCN在肝臟RoI區域內分割腫瘤,并使用3D CRF來細化分割結果。李淵強等人[79]基于卷積神經網絡提出了一個級聯式分割方法,由兩個分割網絡組成,前一個網絡進行肝臟的粗分割,后一個網絡進行腫瘤的精細分割。Roth等人[80]提出了一種由粗到細的兩階段分割方法,首先使用3D FCN粗略地定位RoI,然后將第一個3D FCN的輸出作為第二個3D FCN的輸入,使得第二個3D FCN需要分類的范圍減少到10%,讓第二個3D FCN更關注邊緣和細節的分割。Rafiei等人[81]提出一個從3D到2D的全卷積神經網絡用于肝臟分割,首先使用一個3D FCN來獲取CT圖像的肝臟三維表面,再使用2D FCN對單個切片進行分割,最后利用3D CRF模型優化分割結果。Tang等人[82]提出了一種兩階段肝臟分割模型DSL,首先使用Faster R-CNN確定肝臟大致區域,然后使用DeepLab進一步分割肝臟。Jiang等人[83]提出了一個結合軟和硬注意力機制以及長短跳躍連接的注意力混合連接網絡(attention hybrid connection network,AHCNet),第一次將注意力機制用于肝臟腫瘤分割,證明了注意力機制醫學圖像分割的有效性,同時提出了一個基于肝臟定位網絡、肝臟分割網絡和腫瘤分割網絡的級聯網絡。劉一鳴等人[84]提出了一種基于特征融合的分割方法,其中網絡結構基于U-Net,在跳躍連接部分加入空間注意力機制和通道注意力機制,并將兩個注意力機制的輸出進行特征融合。Zhang等人[85]提出了SequentialSegNet用于多器官分割,該網絡充分結合了CT圖像片內和片間特征,有效地提高了大尺寸和小尺寸器官的分割性能。Drozdzal等人[86]提出了一個結合FCN和全卷積殘差網絡(fully convolutional residual networks,FC-ResNet)的結構,該網絡將FCN用做預處理來規范輸入數據,然后使用FC-ResNet來完善分割。
多路徑網絡是將多個網絡并行執行。Li等人[87]提出了一種新穎的H-DenseUNet雙路徑網絡,包括一個用于提取片內特征的2D DenseUNet和一個提取上下文信息的3D DenseUNet。Abdalla等人[88]利用深度學習混合網絡,融合從2D和3D DenseUNet中提取的特征來提高算法的整體性能,通過對RoI進行操作,分別提取片內和片間特征,實現了較為精準的分割。Vorontsov等人[89]使用兩個并行的基于U-Net的網絡,一起進行端到端的訓練,通過使用跳躍連接達到競爭的效果。Isola等人[90]設計了一種可以適應數據集的框架,該框架由一個2D U-Net、一個3D U-Net以及兩個級聯的3D U-Net組成,整體過程是由粗分割到細分割的過程。Xi等人[91]提出了一個同時分割肝臟和病變的雙路徑網絡U-ResNet,并通過該網絡研究了加權交叉熵(WCE)、Dice損失(DL)、加權Dice損失(WDL)、Teversky損失(TL)以及加權Teversky損失(WTL)五個損失函數的性能。Meng等人[92]提出了一個三維雙路徑卷積神經網絡(three-dimensional dual path multiscale convolutional neural network,TDP-CNN),很好地將局部特征與全局上下文信息融合,并對TDP-CNN的分割結果使用CRF進行細化。上述方法的部分肝臟和腫瘤分割結果如表5所示,表中所有數據均來自對應方法的文獻。
3D網絡在CT圖像的三維信息利用方面的能力是最強的,在設備允許的情況下,3D網絡結構是最佳選擇。使用單網絡分割的3D網絡通常會在網絡結構上改進,盡可能地減少網絡的參數和規模,但通過單網絡進行肝臟腫瘤分割任務本身相對困難,網絡參數和規模能夠壓縮的程度十分有限,因此2D網絡聯合3D網絡的多網絡分割方法更加適用。多網絡分割方法有級聯網絡和多路徑網絡兩種方式,為了減少性能的需求,多路徑網絡通常會使用一個2D網絡來對單張切片進行分割得到片內特征,另一個3D網絡提取肝臟的三維表面得到片間特征,以這種分割方式分割出的肝臟和腫瘤一般會使用3D CRF等方法優化分割結果。
3 結束語
本文總結了肝臟腫瘤分割領域的現狀,描述了包括傳統方法和深度學習方法在內的肝臟腫瘤分割網絡,從中可以看出各種方法的優點以及缺陷:傳統方法相對于人工分割提高了分割效率,但依然離不開人工的干預;基于2D網絡結構的深度學習方法實現了全自動的分割,同時提高了分割的準確率,但2D網絡結構無法利用CT圖像的三維信息,限制了分割精度的提高;基于3D網絡結構的深度學習方法雖然充分地利用了CT圖像的三維信息,但對設備性能的要求過高,讓該方法的臨床實施代價過高;基于2.5D網絡的分割方法結合了2D和3D網絡的優點,在較為充分地利用CT圖像的三維信息的同時對設備性能的要求較低,是值得繼續探索的一種方法。
深度學習技術的流行和醫學圖像高分割精度的需求讓基于深度學習的肝臟腫瘤分割方法快速發展,而傳統方法因前人的不斷研究改進及其本身的理論依據依然能在肝臟腫瘤分割領域占有一席之地。依據所總結的各類分割方法,本文認為肝臟腫瘤分割方法的發展趨勢如下:
a)基于深度學習的分割方法實現了肝臟腫瘤圖像端到端的分割,在帶來便捷性的同時還能夠獲得較高的分割精度,因此基于深度學習的方法依然會是肝臟腫瘤分割領域的熱門方法。
b)由于基于深度學習的肝臟腫瘤分割方法是由大量的訓練數據驅動的,數據的匱乏容易導致過擬合現象,限制分割精度的提升,而醫學圖像的標注對標注者的要求較高,因此數據集擴充方法在肝臟腫瘤分割領域十分重要。
c)由于基于深度學習的肝臟腫瘤分割方法是對特征學習的過程,學習到的特征越豐富,分割精度就越高,醫學圖像的三維信息比二維信息所包含的特征更加豐富,因此學習到三維信息的網絡結構能達到更高的分割精度,而3D網絡結構在臨床實施上受到設備性能的限制,因此能充分利用醫學圖像的三維信息且對設備性能需求較低的2.5D分割網絡將成為肝臟腫瘤分割領域的熱門研究對象。
d)傳統方法雖然不如深度學習方法簡單高效,但在優化深度學習方法的分割結果或預處理方面都有著不錯的表現,因此深度學習與傳統方法結合的分割方法在肝臟腫瘤分割領域也是一個值得研究的方向。
參考文獻:
[1]Moghbel M,Mashohor S,Mahmud R,et al.Review of liver segmentation and computer assisted detection/diagnosis methods in computed tomography[J].Artificial Intelligence Review,2018,50(4):497-537.
[2]Das A,Sabut S K.Kernelized fuzzy C-means clustering with adaptive thresholding for segmenting liver tumors[J].Procedia Computer Science,2016,92:389-395.
[3]Lu Xiaoqi,Wu Jianshuai,Ren Xiaoying,et al.The study and application of the improved region growing algorithm for liver segmentation[J].Optik,2014,125(9):2142-2147.
[4]Zhang Xiaoqiang,Xiong Boli,Kuang Gangyao.A ship target discrimination method based on change detection in SAR imagery[J].Journal of Electronics amp; Information Technology,2015,37(1):63-70.
[5]Zeng Yezhan,Zhao Yuqian,Liao Shenghui,et al.Liver vessel segmentation based on centerline constraint and intensity model[J].Biomedical Signal Processing and Control,2018,45:192-201.
[6]Lu Difei,Wu Yin,Harris G,et al.Iterative mesh transformation for 3D segmentation of livers with cancers in CT images[J].Computerized Medical Imaging and Graphics,2015,43:1-14.
[7]Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.
[8]Long J,Shelhamer E,Darrell T.Fully convolutional networks for semantic segmentation[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2015:3431-3440.
[9]Chen L C,Papandreou G,Kokkinos I,et al.DeepLab:semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2017,40(4):834-848.
[10]Ronneberger O,Fischer P,Brox T.U-Net:convolutional networks for biomedical image segmentation[C]//Proc of International Conference on Medical Image Computing and Computer-Assisted Intervention.Berlin:Springer,2015:234-241.
[11]Yang Xiaopeng,Do Yang J,Hwang H P,et al.Segmentation of liver and vessels from CT images and classification of liver segments for preoperative liver surgical planning in living donor liver transplantation[J].Computer Methods and Programs in Biomedicine,2018,158:41-52.
[12]郭穎.基于區域生長的肝臟CT圖像腫瘤分割方法研究[D].大連:大連海事大學,2017.(Guo Yin.Research on tumor segmentation of liver CT image based on region growing[D].Dalian:Dalian Maritime University,2017.)
[13]Kumar Y R,Muthukrishnan N M,Mahajan A,et al.Statistical parameter-based automatic liver tumor segmentation from abdominal CT scans:a potiential radiomic signature[J].Procedia Computer Science,2016,93:446-452.
[14]Liao Miao,Zhao Yuqian,Wang Wei,et al.Efficient liver segmentation in CT images based on graph cuts and bottleneck detection[J].Physica Medica,2016,32(11):1383-1396.
[15]Sethi G,Saini B S,Singh D.Segmentation of cancerous regions in liver using an edge-based and phase congruent region enhancement method[J].Computers amp; Electrical Engineering,2016,53:244-262.
[16]Yuan Ye,Chen Yenwei,Dong Chunhua,et al.Hybrid method combining superpixel,random walk and active contour model for fast and accurate liver segmentation[J].Computerized Medical Imaging and Graphics,2018,70:119-134.
[17]Anter A M,Hassenian A E.CT liver tumor segmentation hybrid approach using neutrosophic sets,fast fuzzy C-means and adaptive watershed algorithm[J].Artificial Intelligence in Medicine,2019,97:105-117.
[18]Das A,Acharya U R,Panda S S,et al.Deep learning based liver can-cer detection using watershed transform and Gaussian mixture model techniques[J].Cognitive Systems Research,2019,54:165-175.
[19]廖苗,劉毅志,歐陽軍林,等.基于非線性增強和圖割的CT序列肝臟腫瘤自動分割[J].計算機輔助設計與圖形學學報,2019,31(6):1030-1038.(Liao Miao,Liu Zhiyi,Ouyang Junlin,et al.Automatic segmentation of liver tumor in CT volumes using nonlinear enhancement and graph cuts[J].Journal of Computer-Aided Design amp; Compu-ter Graphics,2019,31(6):1030-1038.)
[20]Guo Xiaotao,Schwartz L H,Zhao Binsheng.Automatic liver segmentation by integrating fully convolutional networks into active contour models[J].Medical Physics,2019,46:4455-4469.
[21]Baazaoui A,Barhoumi W,Ahmed A,et al.Semi-automated segmentation of single and multiple tumors in liver CT images using entropy-based fuzzy region growing[J].IRBM,2017,38(2):98-108.
[22]Mohagheghi S,Foruzan A H.Incorporating prior shape knowledge via data-driven loss model to improve 3D liver segmentation in deep CNNs[J].International Journal of Computer Assisted Radiology and Surgery,2020,15(2):249-257.
[23]Das A,Sabut S K.Kernelized fuzzy C-means clustering with adaptive thresholding for segmenting liver tumors[J].Procedia Computer Science,2016,92:389-395.
[24]范智浩,呂東澔,王曉峰.基于K-means聚類算法的肝臟腫瘤分割[J].電腦知識與技術,2020,16(19):165-167.(Fan Zhihao,Lu Donghao,Wang Xiaofeng.Liver tumor segmentation based on K-means clustering algorithm[J].Computer Knowledge and Technology,2020,16(19):165-167.)
[25]王琴琴.基于模糊C均值和隨機漫步的CT肝臟圖像分割算法研究[J].中國醫療設備,2020,35(9):107-110.(Wang Qinqin.A hybrid method based on fuzzy C-means algorithm and random walker algorithm for liver image segmentation[J].China Medical Devices,2020,35(9):107-110.)
[26]金凱成.基于模糊聚類和水平集的肝臟腫瘤分割研究[D].重慶:重慶大學,2015.(Jin Kaicheng.Liver tumor segmentation based on FCM and level set[D].Chongqing:Chongqing University,2015.)
[27]Anter A M,Hassenian A E.Computational intelligence optimization approach based on particle swarm optimizer and neutrosophic set for abdominal CT liver tumor segmentation[J].Journal of Computational Science,2018,25:376-387.
[28]Cai Jianhong.Segmentation and diagnosis of liver carcinoma based on adaptive scale-kernel fuzzy clustering model for CT images[J].Journal of Medical Systems,2019,43(11):1-11.
[29]Sreeja P,Hariharan S.Three-dimensional fusion of clustered and classified features for enhancement of liver and lesions from abdominal radiology images[J].IET Image Processing,2019,13:1680-1685.
[30]Anil B C,Dayananda P.Automatic liver tumor segmentation based on multi-level deep convolutional networks and fractal residual network[J/OL].IETE Journal of Research.(2021-02-14).https://doi.org/ 10.1080/03772063.2021.1878066.
[31]Li Congsheng,Yao Guorong,Xu Xu,et al.DCSegNet:deep learning framework based on divide-and-conquer method for liver segmentation[J].IEEE Access,2020,8:146838-146846.
[32]段杰,崔志明,沈藝,等.一種改進FCN的肝臟腫瘤CT圖像分割方法[J].圖學學報,2020,41(1):100-107.(Duan Jie,Cui Zhi-ming,Shen Yi,et al.A CT image segmentation method for liver tumor by an improved FCN[J].Journal of Graphics,2020,41(1):100-107.)
[33]Yuan Yading.Hierarchical convolutional-deconvolutional neural networks for automatic liver and tumor segmentation[EB/OL].(2017-10-12).https://arxiv.org/abs/1710.04540.
[34]He Kaiming,Zhang Xiangyu,Ren Shaoqing,et al.Deep residual lear-ning for image recognition[EB/OL].(2015-12-10).https://arxiv.org/abs/ 1512.03385.
[35]Bi Lei,Kim J,Kumar A,et al.Automatic liver lesion detection using cascaded deep residual networks[EB/OL].(2017-05-21).https://arxiv.org/abs/1704.02703.
[36]Iandola F,Moskewicz M,Karayev S,et al.DenseNet:implementing efficient convnet descriptor pyramids[EB/OL].(2014-04-07).https://arxiv.org/abs/1404.1869.
[37]Kaluva K C,Khened M,Kori A,et al.2D-densely connected convolution neural networks for automatic liver and tumor segmentation[EB/OL].(2018-01-05).https://arxiv.org/abs/1802.02182.
[38]Mourya G K,Gogoi M,Talbar S N,et al.Cascaded dilated deep resi-dual network for volumetric liver segmentation from CT image[J].International Journal of E-Health and Medical Communications,2021,12(1):34-45.
[39]高飛,閆鑌,陳健,等.堆疊的樹型聚合結構空洞卷積用于CT圖像中肝臟腫瘤分割[J/OL].光學學報.(2021-04-19)[2021-09-24].http://kns.cnki.net/kcms/detail/31.1252.O4.20210419.1119.002.html.(Gao Fei,Yan Bin,Chen Jian,et al.Dilated convolution based on stacked tree aggregation structure for liver tumor segmentation in CT images[J/OL].Acta Optical Sinica.(2021-04-19)[2021-09-24].http://kns.cnki.net/kcms/detail/31.1252.O4.20210419.1119.002.html.)
[40]Sun Changjian,Guo Shuxu,Zhang Huimao,et al.Automatic segmentation of liver tumors from multiphase contrast-enhanced CT images based on FCNs[J].Artificial Intelligence in Medicine,2017,83:58-66.
[41]Seo H,Huang C,Bassenne M,et al.Modified U-Net(mU-Net) with incorporation of object-dependent high level features for improved liver and liver-tumor segmentation in CT images[J].IEEE Trans on Medical Imaging,2019,39(5):1316-1325.
[42]Fan Tongle,Wang Guanglei,Wang Xia,et al.MSN-Net:a multi-scale context nested U-Net for liver segmentation[J].Signal,Image and Video Processing,2021,15(6):1089-1097.
[43]Liu Zhe,Han Kai,Wang Zhaohui,et al.Automatic liver segmentation from abdominal CT volumes using improved convolution neural networks[J].Multimedia Systems,2021,27(1):111-124.
[44]Tran S T,Cheng C H,Liu D G.A multiple layer U-Net,Un-Net,for liver and liver tumor segmentation in CT[J].IEEE Access,2020,9:3752-3764.
[45]黃泳嘉,史再峰,王仲琦,等.基于混合損失函數的改進型U-Net肝部醫學影像分割方法[J].激光與光電子學進展,2020,57(22):74-83.(Huang Yongjia,Shi Zaifeng,Wang Zhongqi,et al.Improved U-Net based on mixed loss function for liver medical image segmentation[J].Laser amp; Optoelectronics Progress,2020,57(22):74-83.)
[46]Gu Zaiwang,Cheng Jun,Fu Huazhu,et al.CE-Net:context encoder network for 2D medical image segmentation[J].IEEE Trans on Medical Imaging,2019,38(10):2281-2292.
[47]Li Song,Tso G K F.Bottleneck supervised U-Net for pixel-wise liver and tumor segmentation[J].Expert Systems with Applications,2020,145:113131.
[48]Liu Zhe,Song Yuqing,Sheng V S,et al.Liver CT sequence segmentation based with improved U-Net and graph cut[J].Expert Systems with Applications,2019,126:54-63.
[49]Carvalho J B S,Santinha J A,Miladinovic′ D,et al.Spatially dependent U-Nets:highly accurate architectures for medical imaging segmentation[EB/OL].(2021-03-22).https://arxiv.org/abs/2103.11713.
[50]Zhou Zongwei,Siddiquee M M R,Tajbakhsh N,et al.U-Net+:a nested U-Net architecture for medical image segmentation[M]//Stoyanov D.Deep learning in medical image analysis and multimodal learning for clinical decision support.Cham:Springer,2018:3-11.
[51]Xu Panlong,Chen Chao,Wang Xinyi,et al.RoI-based intraoperative MR-CT registration for image-guided multimode tumor ablation therapy in hepatic malignant tumors[J].IEEE Access,2020,8:13613-13619.
[52]Li Chen,Tan Yusong,Chen Wei,et al.Attention U-Net++:a nested attention-aware U-Net for liver CT image segmentation[C]//Proc of IEEE International Conference on Image Processing.Piscataway,NJ:IEEE Press,2020:345-349.
[53]王巖,董方旭.結合雙注意力機制和級聯思想的肝腫瘤分割[J].小型微型計算機系統,2021,42(6):1276-1280.(Wang Yan,Dong Fangxu.Liver tumor segmentation combined with dual attention mechanism and cascade thought[J].Journal of Chinese Computer Systems,2021,42(6):1276-1280.)
[54]Ayalew Y A,Fante K A,Mohammed M A.Modified U-Net for liver cancer segmentation from computed tomography images with a new class balancing method[J].BMC Biomedical Engineering,2021,3(1):1-13.
[55]于群,張建新,魏小鵬,等.基于級聯可分離空洞殘差U-Net的肝臟腫瘤分割[J].應用科學學報,2021,39(3):378-386.(Yu Qun,Zhang Jianxin,Wei Xiaopeng,et al.Cascaded separable and dilated residual U-Net for liver tumor segmentation[J].Journal of Applied Sciences,2021,39(3):378-386.)
[56]Zhang Liping,Yu S C H.Context-aware polyunet for liver and lesion segmentation from abdominal CT images[EB/OL].(2021-06-21).https://arxiv.org/abs/2106.11330.
[57]Ben-Cohen A,Klang E,Raskin S P,et al.Cross-modality synthesis from CT to PET using FCN and GAN networks for improved automated lesion detection[J].Engineering Applications of Artificial Intelligence,2019,78:186-194.
[58]Wang Zhengang,Wang Guanling.Triplanar convolutional neural network for automatic liver and tumor image segmentation[J].International Journal of Performability Engineering,2018,14(12):3151-3158.
[59]Wang Chi,Song Hong,Chen Lei,et al.Automatic liver segmentation using multi-plane integrated fully convolutional neural networks[C]//Proc of IEEE International Conference on Bioinformatics and Biomedicine.Piscataway,NJ:IEEE Press,2018:1-6.
[60]Chen Lei,Song Hong,Wang Chi,et al.Liver tumor segmentation in CT volumes using an adversarial densely connected network[J].BMC Bioinformatics,2019,20(16):1-13.
[61]Chlebus G,Meine H,Thoduka S,et al.Reducing inter-observer variability and interaction time of MR liver volumetry by combining automatic CNN-based liver segmentation and manual corrections[J].PLoS One,2019,14(5):e0217228.
[62]Milletari F,Navab N,Ahmadi S A.V-Net:fully convolutional neural networks for volumetric medical image segmentation[C]//Proc of the 4th International Conference on 3D Vision.Piscataway,NJ:IEEE Press,2016:565-571.
[63]孫明建,徐軍,馬偉,等.基于新型深度全卷積網絡的肝臟CT影像三維區域自動分割[J].中國生物醫學工程學報,2018,37(4):385-393.(Sun Mingjian,Xu Jun,Ma Wei,et al.A new fully convolutional network for 3D liver region segmentation on CT images[J].Chinese Journal of Biomedical Engineering,2018,37(4):385-393.)
[64]Reza S M S,Bradley D,Aiosa N,et al.Deep learning for automated liver segmentation to aid in the study of infectious diseases in nonhuman primates[J].Academic Radiology,2020,28(s1):S37-S44.
[65]Lei Tao,Zhou Wenzheng,Zhang Yuxiao,et al.Lightweight V-Net for liver segmentation[C]//Proc of IEEE International Conference on Acoustics,Speech and Signal Processing.Piscataway,NJ:IEEE Press,2020:1379-1383.
[66]Dou Qi,Chen Hao,Jin Yueming,et al.3D deeply supervised network for automatic liver segmentation from CT volumes[C]//Proc of International Conference on Medical Image Computing and Computer-Assisted Intervention.Berlin:Springer,2016:149-157.
[67]Lee C Y,Xie Saining,Gallagher P,et al.Deeply-supervised nets[EB/OL].(2014-09-25).https://arxiv.org/abs/1409.5185.
[68]Lu Fang,Wu Fa,Hu Peijun,et al.Automatic 3D liver location and segmentation via convolutional neural network and graph cut[J].International Journal of Computer Assisted Radiology and Surgery,2017,12(2):171-182.
[69]Chen Xueying,Zhang Rong,Yan Pingkun.Feature fusion encoder decoder network for automatic liver lesion segmentation[C]//Proc of the 16th International Symposium on Biomedical Imaging.Piscataway,NJ:IEEE Press,2019:430-433.
[70]Zhang Jianpeng,Xie Yutong,Zhang Pingping,et al.Light-weight hybrid convolutional network for liver tumor segmentation[C]//Proc of the 28th International Joint Conference on Artificial Intelligence.2019:4271-4277.
[71]Tan Man,Mao Xiongwei,Wu Fa,et al.Accurate liver segmentation using 3D CNNs with high level shape constraints[EB/OL].[2021].http://grand-challenge-public-prod.s3.amazonaws.com/evaluation-supplementary/298/48b2f051-167c-4a9c-9e97-af5ccd467363/liver_-_%E5%89%AF%E6%9C%AC_-_%E5%89%AF%E6%9C%AC.pdf.
[72]Kaur A,Kaur L,Singh A.GA-UNet:unet-based framework for segmentation of 2D and 3D medical images applicable on heterogeneous datasets[J].Neural Computing and Applications,2021,33(21):14991-15025.
[73]Jin Qiangguo,Meng Zhaopeng,Sun Changming,et al.RA-UNet:a hybrid deep attention-aware network to extract liver and tumor in CT scans[J/OL].Frontiers in Bioengineering and Biotechnology.(2020-12-23).https://doi.org/10.3389/fbioe.2020.605132.
[74]Jeong J G,Kim Y J,Kim K G,et al.Deep 3D attention U-Net based whole liver segmentation for anatomical volume analysis in abdominal CT images[C]//Proc of International Forum on Medical Imaging in Asia.2021:1179204.
[75]Mitta D,Chatterjee S,Speck O,et al.Upgraded W-Net with attention gates and its application in unsupervised 3D liver segmentation[C]//Proc of the 10th International Conference on Pattern Recognition Applications and Methods.2011:488-494.
[76]Xia Xide,Kulis B.W-Net:a deep model for fully unsupervised image segmentation[EB/OL].(2017-11-22).https://arxiv.org/abs/1711.08506.
[77]Budak ,Guo Yanhui,Tanyildizi E,et al.Cascaded deep convolutional encoder-decoder neural networks for efficient liver tumor segmentation[J].Medical Hypotheses,2020,134:109431.
[78]Christ P F,Ettlinger F,Grün F,et al.Automatic liver and tumor segmentation of CT and MRI volumes using cascaded fully convolutional neural networks[EB/OL].(2017-02-23).https://arxiv.org/abs/1702.05970.
[79]李淵強,吳宇靂,楊孝平.基于級聯式三維卷積神經網絡的肝腫瘤自動分割[J].中國醫學物理學雜志,2019,36(11):1362-1366.(Li Yuanqiang,Wu Yuli,Yang Xiaoping.Automatic liver tumor segmentation based on cascaded 3D convolutional neural network[J].Chinese Journal of Medical Physics,2019,36(11):1362-1366.)
[80]Roth H R,Oda H,Zhou Xiangrong,et al.An application of cascaded 3D fully convolutional networks for medical image segmentation[J].Computerized Medical Imaging and Graphics,2018,66:90-99.
[81]Rafiei S,Nasr-Esfahani E,Najarian K,et al.Liver segmentation in CT images using three dimensional to two dimensional fully convolutional network[C]//Proc of the 25th IEEE International Conference on Image Processing.Piscataway,NJ:IEEE Press,2018:2067-2071.
[82]Tang Wei,Zou Dongsheng,Yang Su,et al.two-stage approach for automatic liver segmentation with Faster R-CNN and DeepLab[J].Neural Computing and Applications,2020,32(11):6769-6778.
[83]Jiang Huiyan,Shi Tianyu,Bai Zhiqi,et al.AHCNet:an application of attention mechanism and hybrid connection for liver tumor segmentation in CT volumes[J].IEEE Access,2019,7:24898-24909.
[84]劉一鳴,肖志勇.基于特征融合的肝臟腫瘤自動分割方法[J].激光與光電子學進展,2021,58(14):458-466.(Liu Yiming,Xiao Zhiyong.Automatic segmentation algorithm of liver tumor based on feature fusion[J].Laser amp; Optoelectronics Progress,2021,58(14):458-466.)
[85]Zhang Yao,Jiang Xuan,Zhong Cheng,et al.SequentialSegNet:combination with sequential feature for multi-organ segmentation[C]//Proc of the 24th International Conference on Pattern Recognition.Pisca-taway,NJ:IEEE Press,2018:3947-3952.
[86]Drozdzal M,Chartrand G,Vorontsov E,et al.Learning normalized inputs for iterative estimation in medical image segmentation[J].Medical Image Analysis,2018,44:1-13.
[87]Li Xiaomeng,Chen Hao,Qi Xiaojuan,et al.H-DenseUNet:hybrid densely connected U-Net for liver and tumor segmentation from CT volumes[J].IEEE Trans on Medical Imaging,2018,37(12):2663-2674.
[88]Abdalla A,Ahmed N,Dakua S,et al.A surgical-oriented liver segmentation approach using deep learning[C]//Proc of IEEE International Conference on Informatics,IoT,and Enabling Technologies.Piscataway,NJ:IEEE Press,2020:318-322.
[89]Vorontsov E,Tang An,Pal C,et al.Liver lesion segmentation informed by joint liver segmentation[C]//Proc of the 15th International Symposium on Biomedical Imaging.Piscataway,NJ:IEEE Press,2018:1332-1335.
[90]Isola P,Zhu Junyan,Zhou Tinghui,et al.Image-to-image translation with conditional adversarial networks[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2017:1125-1134.
[91]Xi Xuefeng,Wang Lei,Sheng V S,et al.Cascade U-ResNets for simultaneous liver and lesion segmentation[J].IEEE Access,2020,8:68944-68952.
[92]Meng Lu,Tian Yaoyu,Bu Sihang.Liver tumor segmentation based on 3D convolutional neural network with dual scale[J].Journal of Applied Clinical Medical Physics,2020,21(1):144-157.