基于改進PraNet的結直腸息肉圖像分割算法

摘" 要：結直腸息肉的早期精確分割對于預防結直腸癌至關重要。盡管PraNet模型在圖像分割領域取得了顯著成效，但在處理邊界模糊和尺寸多變的息肉時仍面臨挑戰。為了提升PraNet在結直腸息肉圖像分割中的性能，提出了一種融合圖神經網絡（GNN）的改進算法。將圖像中的像素或超像素視為圖結構中的節點，利用GNN學習圖結構特征捕捉了圖像中的局部上下文信息，結合特征融合機制將GNN學習特征與PraNet原始特征結合。實驗結果表明，此PraNet改進算法在mDice和mIoU指標上分別達到了94.1%和88.3%，顯著優于U-Net和FCN等對比模型。因此，該算法能夠顯著提高結直腸息肉圖像分割的精度，為結直腸癌的預防提供了更加可靠的技術支持。

關鍵詞：PraNet算法；結直腸息肉；GNN；圖像分割

中圖分類號：TP183；TP391.4" 文獻標識碼：A" 文章編號：2096-4706（2025）01-0060-07

Colorectal Polyp Image Segmentation Algorithm Based on Improved PraNet

Abstract： Early and precise segmentation of colorectal polyps is essential for the prevention of CRC. Although the PraNet model has achieved remarkable results in the field of image segmentation， it still faces challenges in dealing with polyps with blurred boundaries and variable sizes. In order to improve the performance of PraNet in the image segmentation of colorectal polyps， an improved fusion Graph Neural Network （GNN） algorithm is proposed. The pixels or superpixels in the images are regarded as nodes in the graph structure. By using GNN to learn the graph structure features， the local context information in the images is captured. Combined with the feature fusion mechanism， the GNN learning features are integrated with the PraNet original features. The experimental results show that this improved PraNet algorithm achieves 94.1% and 88.3% in mDice and mIoU indexes， respectively， significantly better than the comparison models such as U-Net， FCN and so on. Therefore， this algorithm can significantly improve the image segmentation accuracy of colorectal polyps， and provide more reliable technical support for the prevention of CRC.

Keywords： PraNet algorithm; colorectal polyp; GNN; image segmentation

0" 引" 言

結直腸息肉的早期檢測與精確分割在預防結直腸癌中扮演著至關重要的角色。目前，國內外的研究者為了進一步提升醫學圖像分割任務中的精度，提出了可應用于結直腸息肉圖像的分割算法。這些算法大致可分為傳統算法和深度學習算法。傳統算法可劃分為基于閾值、邊緣、區域、圖論的算法。邸敬等[1]使用FCMSPCNN目標矩形區域進行預分割，并使用掩碼遮蓋背景部分，通過注意力門突出對目標特征的學習，同時在編解碼器最底層加入改進的多尺度上下文提取器，大幅提高了息肉分割精度。劉晶等[2]提出利用Swin Transformer融合邊緣信息的分割網絡，該網絡包括融合全局的多尺度上下文信息的邊緣感知模塊，因此該網絡產生的邊緣特征較為豐富。Pranav等[3]引入S4MI（醫學影像的自我監督和半監督）管道，利用了獨特的自我監督和半監督學習的機制，以節省臨床診斷所需的時間。

PraNet作為一種先進的圖像分割模型，已經在結直腸息肉圖像分割任務中取得了顯著成效[4]。然而，由于結直腸息肉圖像的復雜性和多樣性，PraNet模型在處理邊界模糊、尺寸多變的息肉時仍面臨挑戰。因此，探索新的方法來優化PraNet模型，提高其在結直腸息肉圖像分割中的性能，具有重要的研究意義和應用價值。

近年來，圖神經網絡（Graph Neural Network， GNN）因其強大的特征表示能力和對圖結構數據的處理能力，在計算機視覺領域展現出巨大的潛力[5]。通過將圖像中的像素或超像素視為節點，像素間的空間關系或特征相似性視為邊，GNN能夠有效地捕捉圖像中的局部和全局上下文信息，這對于提升圖像分割任務的性能至關重要[6]。

在PraNet的基礎上，本文創新性地提出了一種基于圖神經網絡的改進算法，用于優化結直腸息肉圖像的分割性能[7-9]。利用GNN對PraNet提取的特征進行圖結構建模，將GNN學習到的圖特征與PraNet原始特征進行融合，通過構建融合模型來綜合利用兩者的優勢[7]。在模型訓練過程中，采用深監督策略，確保模型在不同尺度上能學習到有用的特征，以提高分割精度[10-13]。考慮到結直腸息肉圖像的多樣性，引入了數據增強技術來擴展訓練數據集，提高模型的泛化能力[12]。同時，對模型的超參數進行了細致的調優，以進一步提升模型的性能。

基于此，本文提出了基于圖神經網絡的PraNet結直腸息肉圖像分割改進算法，通過引入GNN和圖特征融合機制，以及對超參數的精細調優，有望顯著提高PraNet模型在結直腸息肉圖像分割任務中的性能，為結直腸癌的預防和早期診斷提供更加可靠的技術支持。

1" 相關工作

1.1" 圖神經網絡

圖神經網絡（GNN）基于圖卷積操作，即通過局部信息聚合和非線性轉換來提取節點的特征表示[14]。其主要思想是將圖結構中的節點和邊轉換為向量形式，再利用神經網絡模型進行學習和預測。圖神經網絡的架構與傳統的CNN有相似之處，因此本文能夠借鑒傳統CNN思想，并將其應用，以實現更高效、可拓展的圖數據處理。本文所使用的GNN架構如圖1所示。

每一層與下一層的圖卷積操作如式（1）所示：

表示加上自環的度數矩陣，f表示激活函數。Gconv通過鄰居函數對周圍節點特征進行采樣，并計算其均值。

1.2" Transformer模型

Transformer[15-16]模型作為谷歌提出的基于自注意力機制的神經網絡，在序列數據處理，特別是自然語言處理中表現出色。與RNN[17]相比，它提供了更好的并行性和訓練效率。模型由編碼器和解碼器組成，內含多個具有自注意力層和前饋網絡層的Transformer模塊，能捕捉序列中的長短期依賴關系。然而，在處理空間信息如結直腸息肉分割時，雖然編碼器能有效處理全局上下文信息，但缺乏空間感知能力。因此，本研究應用PraNet[18]圖像分割算法實現反向注意力模塊，以更精準地捕捉息肉生長的細節和位置，其反向Transformer如式（2）所示：

其中，Ai表示通過反向注意力權重。

1.3" 邊界預測

為解決全局映射圖中息肉組織位置粗略、缺乏結構細節的問題，本研究提出了一種基于擦除前景對象的策略來逐步細化息肉區域的方法。通過這種方法，不精確的全局估計被細化為準確且完整的邊界預測圖。通過將高級層的特征乘以反向注意力權重A，生成了反向注意力特征R，以實現更精細的息肉區域定位。反向注意力特征R計算方式如式（3）所示：

其中，A可描述為式（4）所示：

2" 基于PraNet的圖像分割算法優化

2.1" 基于PraNet的圖像分割模型架構

在圖像分割領域，特別是在醫學圖像分析中，精確而高效的圖像分割模型對于疾病診斷、病理研究和治療規劃至關重要。PraNet作為一種先進的圖像分割模型架構，以其出色的性能和廣泛的適用性，在醫學圖像分割任務中受到了廣泛關注。

2.1.1" 并行解碼器（PPD）

本文應用并行部分解碼器組件聚合高級特征。對于一個大小為h×w的輸入圖像I，5層特征{fi=1，2，…，5}可以從基于res2net的骨干網中提取，其分辨率為[2（k-1）M（A），W/2（（k-1）]。fi特征分為低級特征{fi=1，2}和高級特征{fi=3，4，5}。同時引入了部分解碼器PD（·），作為SOTA解碼器組件，通過并行連接聚合高級特征。部分解碼器特征由PD = PD（f3，f4，f5）計算得到全局映射Sg，如圖2、圖3所示。

2.1.2" 反向注意力模塊（RA）

RA[19]模塊通過反向注意力機制增強醫學圖像分割中對邊界區域的關注，生成一個高亮背景而非前景的注意力圖，并與高級特征相乘來強調背景區域，從而突出邊界特征，邊界的特征圖與原始特征相加，使網絡在邊界預測上更準確。基于全局約束和局部（像素級）約束的加權IoU損失函數如式（5）所示：

深監督策略在多個尺度上約束網絡，確保其在不同層次能學習有用特征，在邊界區域還會提供額外監督，進一步提高分割精度。結合RA模塊和深監督，網絡能更好處理邊界模糊問題，實現準確醫學圖像分割。因此，對三個輸出（S3、S4和S5）和全局映射圖Sg進行監督學習是分必要的。模型的整體損失可表示為式（6）：

基于此，PraNet算法模型架構如圖4所示。

2.2" PraNet圖像分割模型優化流程

本應用GNN[20]優化PraNet圖像分割模型。數據像素作為節點，關系為邊，特征信息包含于節點中。設計合適的GNN模型學習圖結構特征，并與PraNet特征融合。通過訓練優化模型性能，測試集評估模型，根據結果迭代優化。將優化模型部署至實際應用場景，并根據反饋進一步調整。具體構建流程如圖5所示。

具體構建步驟如下：

1）數據表示。將圖像分割任務的數據表示為圖結構。將圖像的像素或超像素視為圖的節點，結合CNN訓練。

2）圖神經網絡設計。使用現有的GNN模型，根據任務需求自定義GNN架構。

3）特征融合。通過在PraNet的解碼器部分添加額外的卷積層或全連接層來實現。

4）訓練與優化。選擇合適的Dice損失來評估模型性能。通過調整超參數和GNN架構的參數來優化模型的性能。

5）評估與迭代。計算分割精度、召回率、F1分數等指標來量化模型的性能。

2.3" 改進PraNet結直腸息肉圖像分割

如圖6所示，改進后的PraNet結直腸息肉圖像分割模型結合了圖神經網絡（GNN）技術，優化了處理邊界模糊和復雜結構細節的能力。

首先通過PraNet編碼器提取圖像多尺度特征，并行解碼器生成全局映射圖。然后，利用GNN學習圖結構特征，用于捕捉圖像的上下文信息。最后將PraNet和GNN的特征融合輸出，增強模型的表示能力。

反向注意力模塊（RA）通過生成高亮背景的注意力圖，強調病變邊界區域，提高了分割精度。模型訓練過程中，使用加權IoU損失函數和深監督策略，優化模型性能。Loss的計算方式如式（7）所示：

其中，c表示不同的類別。wc表示類別c的權重，TPc表示類別c的真正例（True Positives），FPc是類別c的假正例（False Positives）。FNc表示類別c的假反例（False Negatives）。最終，優化后的模型部署于醫學圖像分析系統，為醫生提供輔助診斷。RA模塊結構如圖7所示。

2.4" 反向注意力權重的計算

反向注意力權重整體框架由三個主要分支組成：

1）Original Branch。原始分支使用原始的FCN（全卷積網絡）來學習每個像素屬于各個類別的概率分布。對于每個像素p和類別c，該分支輸出一個概率值Porig（c|p），表示像素p屬于類別c的概率。

2）Reverse Branch。反向分支學習每個像素不屬于各個類別的概率分布。對于每個像素p和類別c，

3）Reverse Attention Branch。反向注意力分支學習如何將原始分支和反向分支的預測結果結合起來。它輸出一個注意力權重圖A（p），這個權重圖描述了對于每個像素p，應該給予原始預測和反向預測多大的重視。

最終，混合預測（combined prediction）Pcomb（c|p）是原始預測和反向預測通過注意力權重圖加權的結合：

反向注意力分支的作用是識別那些原始預測中不確定或混淆的區域（confusion areas），并在這些區域上引入反向學習的預測結果。通過注意力權重圖A（p），模型能夠自適應地決定在每個像素位置上給予原始預測和反向預測多大的重視。數學表示為式（9）：

3" 實驗及結果分析

本實驗所使用的系統環境為Ubuntu 20.04，采用Python 3.8作為編程語言，集成開發環境（IDE）為PyCharm，深度學習框架為PyTorch 1.11.0，CUDA版本為11.3，在24 GB顯存的RTX 4090 D 的GPU上進行訓練。訓練過程中使用AdamW優化器，初始學習率為0.000 1，權重衰減為0.000 05，數據批處理大小設置為4，最大訓練1 000輪次。

由于結直腸息肉數據集過小，本文使用以下數據增強方法來擴充數據集，即平移、隨機水平翻轉、隨機豎直翻轉、隨機裁剪等。將CVC-300數據集擴充為3 124張圖像，然后隨機選取其中80%為訓練集，20%為測試集。另外，本實驗分別使用雙線性插值技術和最近鄰插值技術將數據集及對應的標簽大小調整為512×512。

本實驗采用了EndoScene項目中的CVC-300數據集，其包含從44組36名病人中收集的912幅大腸黏膜圖像，使用此數據集訓練并評估了改進后的PraNet圖像分割算法，通過全面的測試集評估，算法在各類特征上的診斷準確率均表現出色。為了進一步驗證算法性能，構建了基于深度學習的U-Net和FCN圖像分割模型進行消融對比實驗。

3.1" 實驗數據集

本文的實驗數據集聚焦于結直腸息肉圖像分割任務，結直腸息肉圖像特征如表1所示。

本文利用CVC-300來訓練改進后的PraNet圖像分割算法。數據集樣本分布如表2所示。通過在此數據集上的實驗，能夠全面評估算法在結直腸息肉圖像分割任務上的性能，并與其他先進算法進行比較。

3.2" 實驗結果與分析

每個測試集樣本的診斷結果如圖8所示，各類別診斷準確率如表3所示。

為了進一步凸顯本文引入圖神經網絡（GNN）改進PraNet結直腸息肉圖像分割算法的高性能，本文使用同一數據集，構建了基于深度學習的U-Net和FCN圖像分割模型，從而對比PraNet、U-Net和FCN在結直腸息肉圖像分割任務上的性能。

U-Net模型在處理小息肉和邊界區域時表現欠佳，尤其是在識別息肉與正常結腸組織交界處時容易出錯。FCN模型雖然在全局上能夠捕捉到息肉的大致位置，但在細節處理上略顯粗糙。混淆矩陣對比結果如圖9所示。

經過尋優，改進PraNet模型在尋優前準確率為90.58%，網格搜索后達91.54%，尋優后更提升至92.92%，這表明改進后的BS-CatBoost模型尋優能有效提升故障診斷性能。

3.3" 實驗結果分析

經過上述實驗分析，本文最終改進后的模型較于PraNet有了很大的性能提升，分割結果對比圖10。從圖中可以直觀地看到，本文提出的網絡即使面對形態各異的息肉也有更好的分割效果，對于息肉的邊界能夠進行更細致地分割，且在小息肉的分割上性能也比較優良。

為了更好地評估模型的性能，本實驗將在CVC-300上訓練得到的數據進行模型測試結果的對比分析，制表如4所示。

從表4中可知，本文改進PraNet模型的各項評測指標均優于其他模型，在CVC-300數據集上mDice和mIoU分別達到了94.1%和88.3%。

4" 結" 論

本文通過引入圖神經網絡（GNN）和圖特征融合機制，提出的改進PraNet模型在結直腸息肉圖像分割任務中展現出了顯著的性能提升。在原PraNet基礎之上添加GNN模塊，并行處理圖像，利用特征融合方法結合兩者特征以獲取更好的局部與全局特征信息。同時，與U-Net和FCN等現有模型相比，改進PraNet模型在邊界處理、小息肉識別以及復雜結構的細節捕捉等方面均表現出了優勢，為臨床計算機輔助診斷提供了一定的技術支持。

參考文獻：

[1] 邸敬，馬帥，王國棟，等.基于改進Unet與動態閾值可變FCMSPCNN的醫學圖像分割 [J].中國醫學物理學雜志，2023，40（3）：328-335.

[2] 劉晶，徐皓，崔欣欣，等.基于多尺度邊緣分割與混合注意力機制的脊柱CT圖像分割 [J].中國醫學物理學雜志，2024，41（4）：463-471.

[3] PRANAV S，RAVITEJA C，SHRAVAN C，et al. Shifting to Machine Supervision： Annotation-Efficient Semi and Self-Supervised Learning for Automatic Medical Image Segmentation and Classification [J].Scientific Reports，2024，14（1）：10820-10820.

[4] ALAM M N A，UDDIN K M M，MANU M M R et al. An Automatic System to Detect Colorectal Polyp Using Hybrid Fused Method from Colonoscopy Images [J].Intelligent Systems with Applications，2024，22：200342.

[5] 梁禮明，李俞霖，金家新，等.融合Transformer和線索交叉聚合的結直腸息肉分割方法[J].光電子·激光，2025，36（2）136-145.

[6] FU J H，GAO YUN，ZHOU P H，et al. D2polyp-Net：" A Cross-modal Space-Guided Network for Real-time Colorectal Polyp Detection and Diagnosis [J].Biomedical Signal Processing and Control，2024，91：105934.

[7] 考文濤，李明，馬金剛.卷積神經網絡在結直腸息肉輔助診斷中的應用綜述 [J].計算機科學與探索，2024，18（3）：627-645.

[8] PRADIPTA S，VANSHALI S，ALLAM J P，et al. Semi-Supervised Generative Adversarial Networks for Improved Colorectal Polyp Classification Using Histopathological Images [J].Information Sciences，2024，658：120033.

[9] YANG J，CHEN L N，LIU E，et al. Deep Learning System for True- and Pseudo-Invasion in Colorectal Polyps [J].Scientific reports，2024，14（1）：426-426.

[10] KHALAF K，FUJIYOSHI M R A，SPADACCINI M，et al. From Staining Techniques to Artificial Intelligence： A Review of Colorectal Polyps Characterization [J].Medicina，2024，60（1）：89.

[11] SAFIYEVA A，BAYRAMOV N，AVUNDUK M C. The Prognostic Importance of Cancer Stem Cells in Colorectal Polyps [J].Annali italiani di chirurgia，2024，95（1）：70-77.

[12] SELVARAJ J，UMAPATHY S. CRPU-NET： A Deep Learning Model Based Semantic Segmentation for The Detection of Colorectal Polyp in Lower Gastrointestinal Tract [J/OL].Biomedical Physics amp; Engineering Express，2023，10（1）[2024-07-04].https：//iopscience.iop.org/article/10.1088/2057-1976/ad160f.

[13] GAN T Y，JIN Z Y，YU L L，et al. Self-Supervised Representation Learning Using Feature Pyramid Siamese Networks for Colorectal Polyp Detection [J/OL].Scientific Reports，2023，13（1）：21655.（2023-12-08）.https：//doi.org/10.1038/s41598-023-49057-6.

[14] LIN Y J，HAN X X，CHEN K Y，et al. CSwinDoubleU-Net： A Double U-shaped Network Combined with Convolution and Swin Transformer for Colorectal Polyp Segmentation [J/OL].Biomedical Signal Processing and Control，2024，89：105749.（2023-11-20）.https：//doi.org/10.1016/j.bspc.2023.105749.

[15] VITO M F，SILVIO D，TOSHIO U，et al. Precision Endoscopy in Colorectal Polyps' Characterization and Planning of Endoscopic Therapy [J].Digestive Endoscopy： Official Journal of the Japan Gastroenterological Endoscopy Society，2023，36（7）：761-777.

[16] OMORI T，JODAI Y，MAEDA K，et al. Prospective Study of Diagnostic Yields of Flexible Spectral Imaging Color Enhancement Installed in Colon Capsule Endoscopy for Colorectal Polyps and Tumors [J].Gastrointestinal endoscopy，2023，99（2）：245-253.

[17] 梁禮明，何安軍，李仁杰，等.跨尺度跨維度的自適應Transformer網絡應用于結直腸息肉分割 [J].光學精密工程，2023，31（18）：2700-2712.

[18]許增寶，蘇樹智，胡天良.高效多注意力融合的U-Net結直腸息肉圖像分割算法 [J].湖北民族大學學報：自然科學版，2023，41（3）：353-359.

[19] TAKEHARA Y，YAMASHITA K，MORIMOTO S，et al. Usefulness and Educational Benefit of a Virtual Scale Endoscope in Measuring Colorectal Polyp Size [J].Digestion，2023：1-8.

[20] 朱世祺，徐昶，周鑫，等.基于DeepLab V3+深度神經網絡的結直腸息肉內鏡圖像分割 [J].中國醫學物理學雜志，2023，40（8）：944-949.