中圖分類號:TP399 文獻標志碼:A 文章編號:1673-3851(2025)07-0571-09
引用格式:,.FCT-Net:基于CNN與Transformer雙分支并行融合的斑馬魚心臟圖像分割網絡模型J.浙江理工大學學報(自然科學),2025,53(4):571-579.
Abstract: To address the issue of insufficient accuracy in medical image segmentation caused by the blurred contours of zebrafish heart images,a novel network model called FCT-Net (fusion convolutiontransformer network)is proposed,which integrates CNN and Transformer. This model is based on the classic encoder-decoder architecture and a dual-branch parallel feature fusion module is constructed. Specifically,the CNN branch is utilized to extract local tissue features.To overcome the limitation of a single convolutional kernel in covering multi-scale features,a multi-scale feature fusion mechanism is introduced within the convolutional module,and a multi-receptive field feature pyramid is built to enhance the representation capability of edge details. The Transformer branch is employed to capture long-range global contextual dependencies,achieving effective fusion of local features and global semantics. Experimental results demonstrate that FCT-Net improves the accuracy by 5.8% compared to the baseline U-Net model in the task of zebrafish heart image segmentation,effectively enhancing the precision of heart contour segmentation. With its high-precision zebrafish heart segmentation capability,this model can provide relatively reliable algorithmic support for the subsequent drug screening studies based on the morphological characteristics of the zebrafish heart.
Key words: zebrafish; heart image;CNN; Transformer; multi-scale feature fusion
0 引言
近年來,斑馬魚模型在心臟功能研究領域取得了較為明顯的進展,通過分析斑馬魚心臟形態可以為藥物篩選和疾病機理探索等生物醫學研究提供數據支持[1-2],但現有的斑馬魚心臟形態分析方法仍面臨不少挑戰。傳統的分析方式依賴于人工操作,將斑馬魚置于顯微鏡下進行觀察,這種方式不僅費時費力,還受操作者主觀判斷的影響,容易引入主觀誤差,導致數據準確性和一致性下降,同時也增加了實驗成本[3-4]。因此,現有方法通常采用計算機圖像處理來分析斑馬魚的心臟形態,其中關鍵的步驟是斑馬魚心臟圖像分割。然而,斑馬魚體內心臟區域的圖像高度透明且結構復雜,圖像中各組織結構的邊界較為模糊,這給心臟圖像分割和特征提取帶來了較大難度,限制了對心臟微小結構變化的精準捕捉,不利于后續生物醫學研究[5-7]。另外,由于斑馬魚心臟是動態變化的,在連續圖像采集和處理過程中,對數據處理速度、圖像質量以及存儲等方面提出了更高要求,進一步加大了實驗實施的復雜性。因此,亟需構建更有針對性的圖像分割模型,以降低人工干預的影響,提高圖像處理的準確性和效率,從而實現更精準、標準化的心臟功能評估,進而為藥物篩選和心臟疾病治療研究提供技術支撐[8-11]。
醫學圖像分割的主要方法可分為傳統圖像處理方法與深度學習方法,近年來,深度學習方法憑借強大的特征提取能力,迅速成為該領域的研究熱點與應用主流。在眾多深度學習模型中,U-Net模型憑借其對稱的U型架構和獨特的跳躍連接機制,在醫學圖像分割任務中表現出色,成為目前應用最為廣泛的模型。然而,U-Net在復雜邊緣建模及小目標分割方面仍有一定局限性,為此研究者們不斷對其架構進行迭代優化,研究重點主要聚焦于多尺度特征融合機制、注意力機制以及動態結構探索等[12]U-Net十十通過密集跳躍連接重構特征傳遞路徑,并利用嵌套子網絡增強跨層級特征的復用性,但該模型也引入了較高的計算復雜度[13];DP-UNet十十進一步整合了可變形卷積與動態池化模塊,并通過自適應感受野調整提升對不規則目標的形變建模能力,但動態計算顯著影響了推理效率[14];Attention
U-Net引入了門控空間注意力機制,通過動態特征加權抑制了背景干擾并聚焦關鍵區域,但該模型在全局上下文建模上存在不足[15];TransUNet融合了Transformer與U-Net架構,并借助自注意力機制捕捉全局依賴關系,但存在顯存與計算資源的巨大消耗問題[16]。針對斑馬魚心臟圖像分割的問題,上述模型表現并不理想,主要歸因于兩大挑戰:一是模型效率與分割精度的平衡難題,這直接關系模型在臨床應用中的實用性和可靠性;二是小樣本情境下模型的泛化能力不足,特別是在精確描繪斑馬魚心臟邊緣結構時表現較差。
針對上述問題,本文提出了一種融合CNN與Transformer的新型網絡模型—FCT-Net(Fusionconvolution-transformernetwork),通過融合不同尺度和層次的圖像特征,在提升模型分割精度的同時兼顧運行效率,增強模型在小樣本情境下的魯棒性。FCT-Net在經典編碼器-解碼器架構基礎上,構建了雙分支并行特征融合模塊。一方面,通過CNN分支捕獲局部組織特征,同時針對單一卷積核特征提取的局限性,在卷積模塊中引入多尺度特征融合機制,通過構建多感受野特征金字塔來提升心臟邊緣特征的表達能力;另一方面,通過Transformer分支捕捉全局上下文依賴關系,以實現局部特征與全局語義的有效融合。本文構建的FCT-Net模型通過雙分支并行特征融合的方法,提升了斑馬魚心臟圖像細節結構的分割精度,減少圖像模糊導致的誤判誤差,為后續基于斑馬魚模型的藥物篩選研究提供可靠的算法支撐。
網絡模型構建
本文構建了CNN與Transformer雙分支并行特征融合模塊,該模塊通過構建卷積局部感知與自注意力全局建模的深度融合機制,在特征編碼階段實現多尺度全局信息的動態融合。其中空間細節增強單元可以有效提取心臟輪廓邊緣的紋理特征,而跨層特征交互組件通過建立長程依賴關系精準刻畫心臟形態學特征,最終提升對斑馬魚心臟細微結構的分割精度。
1. 1 FCT-Net網絡模型
FCT-Net采用基于U-Net的模型框架,針對斑馬魚心臟圖像邊緣模糊、局部特征捕捉不足的問題重新進行了設計,通過特征融合編碼器模塊來處理下采樣過程產生的多尺度特征。相比于U-Net標準架構,FCT-Net增強了對斑馬魚心臟局部紋理和全局結構信息的表達能力。
FCT-Net網絡模型如圖1所示。FCT-Net網絡整體可分為下采樣(Conv-Downsampling)、跳層連接(SkipConnection)和上采樣(Conv-
Upsampling)等3個部分。該網絡模型在下采樣過程中通過FCT-Module進行特征提取,該模塊包含兩部分:一是利用CNN提取斑馬魚心臟圖像中的局部特征;二是借助Transformer模塊捕捉全局上下文依賴關系。上采樣部分則將經過融合處理的特征圖逐步生成最終的心臟掩碼圖。而跳層連接部分負責在下采樣與上采樣之間實現特征的直接傳遞與融合。
1. 2 CNN和Transformer融合架構的特征融合模塊
在斑馬魚心臟圖像分割任務中,下采樣過程對結構細節的捕獲具有決定性作用。針對傳統U-Net
因單一卷積核感受野受限導致的紋理信息衰減問題,以及由于深層特征語義鴻溝引發的邊緣模糊現象,本文提出了特征融合模塊,其核心設計如圖2所示。
1. 2.1 CNN分支模塊
CNN分支模塊(CNN-Encoder)如圖2所示,
CNN分支采用漸進式特征抽象策略,通過漸進式下采樣與通道擴展實現從像素級細節到器官級語義的編碼;每個階段包含2層相同的卷積殘差單元,其核心結構由 1×1 通道壓縮卷積、 3×3 深度可分離卷積及 3×3 通道擴展卷積串聯構成;通道壓縮層通過降維減少計算冗余,深度可分離卷積在提取局部空間特征的同時保留心肌細胞邊界的亞像素細節,擴展卷積則恢復通道維度以匹配輸入尺寸,最終通過殘差連接將擴展特征與原始輸人相加,有效緩解梯度消失問題。
針對單尺度卷積感受野受限的缺陷,設計多尺度特征融合模塊(Mutil ScaleFeatureFusion,MSFF)以增強特征表達能力。其核心架構如圖3所示,該模塊同步采用 3×3.5×5.7×7 等3種卷積核并行提取多粒度特征:小核聚焦心臟邊界的高頻紋理,中核捕獲心室壁的中尺度形態,大核刻畫心腔整體輪廓特征,將各自捕獲的信息進行串行拼接,在特征通道壓縮的同時融合多尺度特征信息,并加入殘差連接以防止網絡層數過深引起的退化現象。
1. 2.2 Transformer分支模塊
Transformer分支(Transformer-Encoder)基于VisionTransformer框架改進,其核心架構如圖2所示,通過堆疊 N 個定制化Transformer塊捕捉全局上下文依賴關系。每個Transformer塊由多頭自注意力(Multi-HeadAttention,MSA)模塊與局部增強型Multi-LayerPerceptron(MLP)模塊級聯構成,其中:在MSA 模塊前通過LayerNorm對特征進行實例歸一化,采用特征通道壓縮策略使得計算復雜度降低,同時保留心室-心房的長程空間關聯性;MLP模塊嵌入擴展-壓縮全連接層,其中擴展層將特征維度進行提升以增強非線性表達能力,壓縮層恢復原始維度以避免信息冗余。為了進一步強化局部特征感知,在MLP中插入 3×3 深度卷積層,對特征Patch進行隱式編碼,替代顯式位置,消除因人工設計與心臟結構偏差導致的定位誤差。
CNN與Transformer分支輸出的多模態特征分別承載了局部細節與全局語義信息,通過通道拼接與動態融合實現互補增強。將同層級的CNN特征圖與Transformer特征圖沿通道維度拼接,利用1×1 卷積執行跨模態特征融合。該卷積層通過可學習權重矩陣篩選與心臟解剖相關的顯著性通道,抑制血流偽影等噪聲干擾,最終生成兼具局部精細結構與全局信息的融合特征。該設計使模型在無需顯式位置編碼的情況下,仍能保持對斑馬魚心臟動態形變的高精度分割能力。
2實驗設計與結果分析
2. 1 實驗設計
2.1.1 實驗環境
實驗使用的操作系統為Windowsl1專業版,深度學習框架為PyTorchl.12.1。硬件配置中CPU為 AMD Ryzen 7 7840H,自 帶 Radeon 780MGraphics,3.8OGHz,內存16.O GB,GPU為NVIDIAGeForceRTX4060。使用Anaconda來進行編程環境搭建,在Anaconda中安裝Python3.9作為編程語言使用Pytorch框架,并用PyCharm作為集成開發環境,進行基本的程序運行和模型搭建。
本文基于斑馬魚心臟圖像構建了一個經過數據增強處理的數據集,該數據集包含5400張高質量圖像樣本。采用嚴格的數據分割策略,將其按照8:1:1的比例劃分為訓練集、驗證集和測試集3個獨立子集。訓練集包含4320張圖像,用于模型參數學習;驗證集和測試集各包含540張圖像,分別用于超參數調優和最終性能評估。在模型訓練階段,采用具有自適應學習率特性的Adam優化器進行參數更新,受限于GPU顯存容量,批處理量設置為3,以保證訓練穩定性。
2.1.2 實驗參數設置
本文建立了系統的驗證機制,以監控模型訓練動態。在每個訓練周期結束后,模型在驗證集上執行前向推理并計算平均Dice系數,特別是設計模型保存策略時,考慮到訓練初期參數空間尚未穩定的特點,設置80個epoch的緩沖期后才啟動最優模型保存機制,即僅當當前epoch的驗證集Dice系數超越歷史最佳表現時,才將當前模型參數存檔。整個訓練過程持續200個完整epoch,最終選取全訓練周期中驗證集性能最優的模型參數作為最終產出模型。該實驗參數設計方法通過緩沖期設置有效規避了早期過擬合風險,同時200個epoch的充分訓練周期保障了模型收斂的完備性;驗證集Dice系數的持續監測機制為模型選擇提供了可靠的量化依據,確保獲得泛化性能最優的解決方案。
2.1.3 數據采集與處理
本文使用實驗室定制的自動化采集系統獲取斑馬魚心臟圖像,該系統配備NikonAZ1OO顯微鏡,采集高清PNG圖像。成像過程中,斑馬魚置于毛細玻璃管內,通過步進電機旋轉并結合位姿識別算法調整拍攝角度,確保多角度精準采集。同時,系統利用虹吸作用控制水流,結合夾管閥實現斑馬魚的自動化裝載與定位,并通過液面差控制與位姿校準機制提升圖像質量一致性。
此外,采用多階段數據處理方案,以提高模型泛化能力。首先,應用旋轉、垂直翻轉和水平翻轉等3種數據增強方法,有效提升模型對斑馬魚心臟形態變化的適應能力。數據增強處理示例圖像如圖4所示,這些增強操作在不破壞心臟生物結構真實性的前提下,顯著增加了訓練數據的多樣性,既能防止過擬合,又增強了模型對不同空間方位樣本的識別魯棒性。其次,使用Labelme軟件摳圖生成二值化標簽,并通過JSON文件高效管理圖像-標簽關系。為了進一步提升模型性能,利用深度學習特征遷移算法合成虛擬數據,以優化大模型預訓練并緩解過擬合問題。最后,完成訓練數據集的構建,進行FCT-Net網絡模型的迭代優化與參數調優。
2. 2 實驗結果
2.2.1 消融實驗
為驗證特征融合模塊(FCT-Module)對紋理信息衰減與邊緣模糊問題的改進效果,本文基于U-Net架構設計消融實驗,設置以下對照組:
Base:基準模型,使用標準U-Net中的上、下采樣模塊和簡單的跳躍連接;
Inception:Inception 模塊;
ASPP:空洞空間金字塔池化模塊;
MSFF:多尺度特征融合模塊;
TE:Transformer分支模塊;
CE:CNN分支模塊;
FCT:CNN與Transformer協同架構的特征融合模塊。
本文采用下列指標評價不同模型的分割結果:
PixelAccuracy:像素準確率,衡量像素分類準 確程度,正確預測像素數與總像素數比值的百分比。
Dice系數:衡量預測結果與真實標簽重疊程度,取值范圍為0到 100% ,值越高表示分割效果越好。
IoU:交并比,預測結果與真實標簽交集和并集比值的百分比,綜合反映定位和分割準確性。
Params:模型參數數量,指模型中可學習參數數量,反映模型復雜度,單位為M(百萬)。
表1給出了不同模型的分割結果。由表1可以看出,特征融合模塊(FCT-Module)在斑馬魚心臟圖像分割任務中實現了一定的精度提升。基準模型(Base)采用傳統CNN結構,由于單一尺度卷積核的局限性及淺層特征表達能力的受限,其Dice系數僅為 85.31% ,IoU為 83.64% ,表明模型在分割精度方面的表現較差,特別是在邊緣模糊區域的細節
識別上容易丟失信息。
在此基礎之上,加入多尺度特征提取模塊(Inception、ASPP、MSFF),模型的局部特征提取能力得到增強,并進行模型對比。其中,Inception模塊通過多尺度并行卷積,增強了對不同粒度特征的建模能力,使Dice系數達到 86.58% ,IoU 為85.69% ;ASPP模塊利用不同擴張率的空洞卷積,擴展了感受野,在增強全局信息建模的同時保留了更多細節信息,使Dice系數達到 86.30% ,IoU 為86.47% ;相比Inception和ASPP結構,多尺度特征融合模塊(MSFF)更加強調跨尺度信息的整合,最終Dice系數提升至 87.31% ,IoU達到 86.92% ,表明該模塊在不同尺度特征的融合上更具優勢。
為了增強全局信息建模能力,加人Transformer分支(TE),Dice系數提升至 87.62% IoU提高至 86.18% 。這表明模型在整體形態一致性方面得到了優化,能夠更好地捕捉長距離依賴關系。然而,Transformer主要建模全局信息,在局部邊緣的精細處理上仍存在不足,導致心臟邊界易受誤分割影響。
相比單獨使用Transformer分支(TE),采用CNN分支(CE)后,模型的局部特征提取能力進一步增強,Dice系數提升至 88.06% ,IoU增加至
87.34% 。這種提升主要歸因于CNN的多尺度卷積結構可以提取不同尺度的信息,提高了模型對邊緣和細節特征的刻畫能力,使得分割結果更加精細。然而,由于CNN主要依賴局部特征提取,在邊緣區域仍然存在誤分割問題,尤其在目標與背景對比度較低的情況下,模型可能難以區分相似結構,影響整體分割精度。
完整的特征融合模塊(FCT-Module)整合了Transformer分支和CNN分支,通過并行融合方式,使Dice系數達到 90.71% ,IoU提升至89.77% 。這一模塊的主要優勢體現在:結合了Transformer的全局建模能力,提升整體形態一致性,使目標區域的邊界更加平滑;融合了CNN的多尺度特征提取方式,增強局部細節的捕捉能力,使得目標區域的分割更加精準,降低誤分割率,在背景復雜、目標易混淆的情況下,提高模型的魯棒性。
盡管完整的特征融合完整的模塊的參數量增加至 78.50M (較Base增加 131% ),計算成本有所上升,但其在斑馬魚心臟圖像分割任務中的性能提升較為明顯,為心臟圖像分析提供了更可靠的解決方案。綜合來看,完整的特征融合模塊在像素級精度、Dice系數和IoU指標上均優于其他方法,展現出更好的全局-局部特征融合能力。
消融實驗各模塊可視化如圖5所示。圖5顯示:基準模型(Base)在斑馬魚心臟圖像分割任務中存在較為明顯的邊緣模糊和誤分割問題,特別是在低對比度區域,心臟與背景的分界不夠清晰。引入Transformer分支(Base + TE)后,模型的全局形態一致性得到了提升,使得心臟區域的完整性有所改善。然而,由于Transformer主要關注長距離依賴關系,在局部細節的處理上仍然存在一定不足,導致邊緣模糊的現象仍未得到根本性解決。
采用Inception結構(Base + Inception)后,多尺度特征提取能力得到了增強,使得模型可以捕捉不同尺度的心臟邊緣信息,分割結果在細節表達上有所提升。然而,由于其仍然依賴CNN進行特征提取,缺乏全局建模能力,在復雜背景下仍可能出現邊界不清或誤分割的情況。類似地,ASPP結構(Base十ASPP)通過多尺度空洞卷積增強了對不同尺度目標的感知能力,使得邊緣細節略有改善,但仍然存在局部區域誤融合的問題。
引入多尺度特征融合(Base + MSFF)后,模型進一步增強了局部細節的分割能力,使得心臟的分割精度得到了提升,并減少了小目標區域的誤分割現象。然而,由于缺乏全局特征的有效約束,在形態一致性方面仍存在一定的優化空間。相比之下,CNN分支(Base十CE)進一步強化了模型對局部特征的表達能力,使得Dice系數達到了 88.06% ,邊緣細節刻畫更加精準,但在復雜區域的分割仍然可能受到背景干擾的影響。
完整特征融合模塊 (Base+FCT) 結合了Transformer的全局建模能力和CNN的局部特征增強能力,使得心臟的分割精度得到進一步提升,并在形態一致性上達到了最優。該模塊不僅提高了模型的抗干擾能力,還能更有效地區分低對比度區域中的細節,使得Dice系數提升至 90.71% ,IoU達到89.77% ,在多個模型中表現最優。這表明,通過融合全局與局部特征,FCT-Net在斑馬魚心臟圖像分割任務中展現出了更強的魯棒性和精確性。
2.2.2 對比實驗
本文對比了3個經典雙分支架構模型Swin-Unet、CoTr、TransUNet。Swin-Unet采用純Transformer結構,結合Swin Transformer與U-Net架構,通過窗口自注意力和移位窗口機制,實現局部與全局特征的交互。其優勢在于能夠適應高分辨率圖像(如病理切片、遙感圖像)處理,同時保持Transformer強大的全局建模能力。然而,由于窗口化注意力的局限性,對小目標的分割可能不夠精準。
TransUNet采用CNN與Transformer串聯的設計,利用VisionTransformer作為編碼器提取全局特征,并在解碼階段通過CNN進行特征重建。其優勢體現在對醫學圖像的多器官聯合分割等需要廣泛上下文信息的任務上,能夠捕獲遠程依賴關系。然而,由于VisionTransformer需要將輸人圖像分塊,會導致細節信息丟失,影響小目標的分割精度,且計算開銷較大。
CoTr采用CNN與Transformer交替堆疊的方式,每個階段先用CNN提取局部特征,再用Transformer進行全局建模,實現漸進式特征融合。該方法兼顧邊緣細節和長距離依賴,適合處理小目標分割任務。雖然該結構在模糊任務上表現優異,但由于其固定的交替堆疊方式,可能在時序建模和動態形變捕捉方面有所限制。
本文搭建的FCT-Net網絡模型采用CNN與Transformer并聯的設計,在編碼器中針對不同尺度的特征同時使用CNN和Transformer,分別提取局部特征和全局信息,從而實現更加充分的信息融合。相比于Swin-Unet的純Transformer結構,FCT-Net通過并聯CNN保留了更多的細節信息,增強了對小目標的識別能力;相比TransUNet采用CNN僅在解碼階段進行重建,FCT-Net在編碼階段就同時融合了局部和全局特征,提高了語義理解能力;而相較于CoTr的交替堆疊方式,FCT-Net采用并聯結構,使得局部和全局特征能夠在每個階段同步提取并融合,提升了分割精度,更加適用于具有復雜紋理結構的圖像分割任務。
為系統驗證所提出的FCT-Net的有效性與泛化能力,本文選取醫學圖像分割領域5個代表性模型—U-Net、UNet+ + 、DP-UNet++、TransUNet與FCT-Net進行對比實驗;同時,采用了與消融實驗相同的訓練參數,以便對比。基準模型U-Net采用經典的對稱編解碼結構,通過跳躍連接實現淺層細節與深層語義的初步融合,為后續改進提供基礎框架;UNet十十通過引入密集嵌套跳躍連接,構建多層級特征聚合路徑,在提升微小目標分割精度的同時,因密集連接導致參數量增加約 45.3% ; DP-UNet十十進一步整合可變形卷積與動態池化技術,其可調節感受野特性增強了對不規則生物組織的形變適應能力;TransUNet采用CNN-Transformer串行架構,利用自注意力機制建立長程空間依賴關系,但其分階段特征處理模式易導致全局與局部信息交互不足,各網絡模型的分割結果如表2所示。
表2顯示:FCT-Net在斑馬魚心臟分割任務中表現較好,像素精度( 94.07% 、Dice系數(90.71%) 及 IoU(89.77%) 均顯著優于對比模型,其中Dice系數較側重形變建模的DP-UNet十十提升 2.66% ,較依賴密集連接的 UNet++ 提升3.82% ,驗證了FCT-Net采用的多模態特征協同機制的有效性。同時,FCT-Net通過CNN-Transformer并行架構,在 78.50M 參數量下實現性能突破——其參數量僅為TransUNet的 84.2% ,而Dice系數反超 3.06% ,且較UNet十十系列模型雖參數量增加 47.8% ,卻通過特征融合實現精度明顯提升。
代表性模型與FCT-Net的圖像分割結果示例圖像如圖6所示。圖6表明:FCT-Module通過局部-全局特征融合的方法,在提升分割精度的同時,控制了模型復雜度,實現了參數量與性能的高效平衡。相較于傳統CNN或Transformer單一架構,FCT-Net采用CNN-Transformer并行架構,能夠充分捕捉局部信息與全局上下文依賴關系,從而在保持較低計算成本的前提下,實現對斑馬魚心臟復雜形態的精確分割。此外,其較高的Dice系數和IoU表現進一步驗證了多模態特征協同機制在醫學圖像分割任務中的有效性,為未來輕量化、高精度的醫學圖像分析模型設計提供了新的思路和方向。
2.2.3 統計顯著性檢驗
為了探究本文所提出的FCT-Net網絡模型是否具有真實有效性,本文在數據集上進行了五折交叉驗證,并以Dice系數為基礎,開展統計顯著性檢驗,計算對應的 P 值。 P 值是在假定原假設成立的情況下,觀察到的樣本數據或者更極端情況出現的概率。在本文中,原假設通常是FCT-Net網絡模型的效果沒有真實有效性,即模型的表現是由隨機噪聲等因素造成的。若 P 值小于0.05,則說明在統計學意義上,FCT-Net的性能表現與噪聲影響下的表現存在顯著差異,表明模型性能的提升具有可靠性和穩定性,能夠有效反映其在目標任務中的處理能力與優勢;反之,若 P 值大于等于0.05,則無法拒絕零假設,即不能排除模型性能提升是由隨機因素引起的可能性,此時需進一步審查模型設計、數據特征或實驗設置,以尋找更加有效的改進路徑與驗證方法,確保模型的實際有效性和可應用性。在本次檢驗中,選取經典基準模型U-Net與提出的FCT-Net進行對比分析。其他對比模型已具備較強的應用驗證基礎,本文重點關注U-Net與FCT-Net之間的差異性。
U-Net與FCT-Net的五折檢驗Dice系數如表3所示。由表3可見:FCT-Net在各折驗證中的Dice系數均顯著高于U-Net,進一步采用配對樣本Ψt 檢驗對兩個模型在五折交叉驗證下的表現進行統計分析,計算得出的 P 值為 1.73×10-7 ,遠小于顯著性水平O.05,表明FCT-Net相較于U-Net的性能提升具有較高的統計顯著性。這進一步說明了FCT-Net的性能優勢并非由偶然因素導致,而是體現了其在該任務中的有效性和魯棒性。
3結語
本文提出了一種融合CNN與Transformer的斑馬魚心臟圖像分割網絡模型(FCT-Net),采用經典的編碼器-解碼器架構,構建了兼顧局部細節與全局特征的雙分支并行架構,提升了心臟建模能力,增強對復雜背景和低對比度區域的適應性,且在動態成像偽影干擾下依然實現穩定且高精度的分割效果,較好地解決了斑馬魚心臟圖像中因邊緣輪廓模糊導致的分割精度不足問題。實驗結果表明,與傳統的U-Net模型相比,該模型在斑馬魚心臟圖像分割任務中的Dice系數有較為明顯的提升,局部邊界分割準度得到改善,有效提高了心臟輪廓的分割精度。
盡管本文提出的模型分割精度有所提升,但模型參數量也相應增加。在對比度較低或特征模糊的區域,模型對心臟動態形變的適應性仍顯不足,導致分割效果略有下降;同時模型在應對高動態變化場景下的魯棒性仍有待加強。此外,當前圖像標注過程仍依賴人工操作,訓練集存在一定的主觀性,影響了分割結果的客觀性。未來研究可在優化數據標注流程的同時,降低模型計算復雜度,并探索更高效的特征融合方法,以進一步提升系統的實用性與可靠性。
參考文獻:
[1]馬海鋼,吳家輝,朱亞輝,等.面向先進生物醫學應用的光聲顯微成像術(特邀)[J].激光與光電子學進展,2024,61(6):115-144.[2」蔡海麗,張曉朦,劉亞迪,等.藥源性心臟毒性模型的構建與評價
[3] Castranova D, Samasa B, Venero Galanternik M, et al. Longterm imaging of living adult zebrafish[J]. Development,2022, 149(4):dev199667.
[4]Hasani H, SunJ, Zhu SI,et al. Whole-brain imaging of freelymoving zebrafish[J]. Frontiers in Neuroscience,2O23,17: 1127574.
[5]李浩宇,曲麗穎,華子杰,等.基于深度學習的熒光顯微成像技術 及應用[J].激光與光電子學進展,2021,58(18):185-204.
[6] Zhang B,Pas K E, Ijaseun T,et al. Automatic segmentation and cardiac mechanics analysis of evolving zebrafish using deep learning[J]. Frontiers in Cardiovascular Medicine,2021,8: 675291.
[7]Naderi A M,Bu H,Su J,et al. Deep learning-based framework for cardiac function assessment in embryonic zebrafish from heart beating videos[J]. Computers in Biology and Medicine, 2021,135:104565.
[8] Wang N,Dong G,Qiao R,et al. Bringing artificial Intelligence (AI) into environmental toxicology studies: A perspective of AIenabled zebrafish high-throughput screening[J]. Environmental Science amp;. Technology,2024, 58(22): 9487-9499.
[9]Kim J,Yuk H,Choi B,et al. New machine learning-based automatic high-throughput video tracking system for assessing water toxicity using Daphnia Magna locomotory responses[J]. Scientific Reports,2023,13:3530.
[10] Wang B,Sun Q,Liu Y,et al. Inteligent larval zebrafish phenotype recognitionvia attention mechanism for highthroughput screening[J]. Computers in Biology and Medicine, 2025,188:109892.
[11] Huang M H,Naderi A M, Zhu P,et al. Assessing cardiac functions of zebrafish from echocardiography using deep learning[J]. Information,2023,14(6):341.
[12] Ni J,Mu W, Pan A,et al. Rethinking the encoder-decoder structure in medical image segmentation from releasing decoder structure[J]. Journal of Bionic Engineering,2O24, 21(3): 1511-1521.
[13] Micallef N, Seychell D,Bajada C J. Exploring the U-net++ model for automatic brain tumor segmentation [J]. IEEE Access,2021,9:125523-125539.
[14] Zhou Z W,Rahman Siddiquee M M, Tajbakhsh N,et al. (204 UNet++ : A nested U-Net architecture for medical image segmentation[C]// Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Cham: Springer International Publishing,2O18:3-11.
[15]Das N,Das S. Attention-UNet architectures with pretrained backbones for multi-class cardiac MR image segmentation[J]. Current Problems in Cardiology,2024,49(1):102129.
[16] Yu J,Qin J,Xiang J,et al. Trans-UNeter:a new decoder of TransUNet for medical image segmentation[C]//2023 IEEE International Conference on Bioinformatics and Biomedicine (BIBM).IEEE,2023:2338-2341.
(責任編輯:康 鋒)