KoiU?Net：基于多特征增強融合的紡錘形魚類圖像分割方法

摘" 要： 針對紡錘形魚類圖像分割任務中存在的邊緣不清、特征模糊等問題，提出一種基于多特征增強融合的紡錘形魚類圖像分割網絡KoiU?Net。該網絡在經典的U?Net模型基礎上，設計了多尺度特征交叉感知模塊和多尺度特征融合模塊來增強對紡錘形魚類特征的處理能力，以應對紡錘形魚類圖像分割中存在的邊緣模糊、特征復雜的問題。同時，設計了多尺度上采樣模塊以提取更精細的特征信息。在紡錘形魚類圖像數據集上的實驗表明，相較于原始U?Net等其他分割網絡，KoiU?Net取得了平均98.63%的分割精度的顯著提升。各設計模塊的有效性也通過消融實驗得以驗證，尤其是多尺度特征交叉感知模塊對提升分割性能具有關鍵作用。該研究為進一步實現紡錘形魚類生長狀態監測提供了有效的技術支撐，為該領域的進一步發展奠定了基礎。

關鍵詞： 深度學習； 圖像分割； 分割精度； 紡錘形魚； U?Net； 多尺度特征融合

中圖分類號： TN911.73?34； TP391.4"""""""""""""""""" 文獻標識碼： A""""""""""""""" 文章編號： 1004?373X（2024）09?0053?06

0" 引" 言

國務院新聞辦公室2023年10月發布的《中國的遠洋漁業發展》白皮書顯示，中國是世界水產養殖產量最高的國家，全球的水產養殖產品約40%來自中國[1]。據《2022年中國漁業統計年鑒》統計，我國淡水養殖魚類產量2 640.28萬噸，其中草魚、鰱魚和鳙魚是三種產量最大的魚[2]，這三種魚均屬于紡錘形魚類。

監測紡錘形魚類體長是養殖的重要環節，良好的圖像分割效果對深入剖析魚類特征至關重要。傳統的圖像分割方法主要依賴于圖像的顏色、紋理等基本特征進行分割，例如文獻[3]改進了K?means聚類算法用于魚類圖像分割行為分析，文獻[4]則基于邊緣拐角和骨架形狀對重疊的魚類圖像進行分割。然而，在復雜背景下這些方法存在局限性，分割結果往往無效。隨著近幾年信息技術的快速發展[5?8]，深度學習方法在圖像分割中得到廣泛應用，文獻[9]提出了基于目標檢測和邊緣支持的魚類圖像分割方法，首先通過目標檢測獲取完整的魚類輪廓信息，然后使用Canny邊緣支持的分割網絡進行處理，有效解決了養殖條件下魚類圖像分割精度較低的問題。文獻[10]提出了改進的輕量版SOLOv2實例分割網絡框架，有效地提高了模型的分割能力。然而，在養殖條件下，由于水下圖像模糊、魚的體型較大和相互遮擋情況較多，運用深度學習方法進行圖像分割仍然面臨著錯檢、漏檢的問題，分割精度有待進一步提高。因此，如何進一步提高在養殖條件下的魚類圖像分割精度仍然是一個重要的研究方向。

本文針對基于深度學習的網絡模型在養殖環境下紡錘形魚類分割任務中遇到的邊緣不清、特征模糊等問題[11]，提出一種基于多特征增強融合的紡錘形魚分割網絡KoiU?Net。該網絡利用多尺度特征交叉感知模塊和多尺度特征融合模塊對經典的U?Net模型[12]進行改進，并在上采樣階段設計了多路上采樣方法進行上采樣操作，以提升模型性能和精度。本文所提出的方法有很高的應用價值，可以有效解決養殖環境下紡錘形魚類分割任務中遇到的問題，同時對于圖像分割領域的研究也有一定的參考意義。

1" KoiU?Net網絡整體架構

本文對U?Net網絡的下采樣、上采樣和跳層連接部分進行改進，提出基于多特征增強融合的紡錘形魚分割網絡KoiU?Net。KoiU?Net基于U?Net的工作方式[13]，提出了多尺度特征交叉感知模塊（Multiscale Feature Cross Perceptron，MFCP）和多尺度特征融合模塊（Multiscale Feature Fusion， MFF）來處理下采樣過程產生的多尺度特征，KoiU?Net相比于U?Net標準的架構增強了對特征的處理能力。同時，KoiU?Net在上采樣階段，使用新設計的多尺度上采樣模塊（Multiscale Upsampling， MU）方式替換普通的反卷積等上采樣操作，進而逐步完善最終的分割結果。

KoiU?Net網絡的整體架構如圖1所示，整體可被分為下采樣、跳層連接和上采樣三個部分。下采樣負責提取特征圖，上采樣負責將特征圖恢復成最終的掩碼，跳層連接負責上下采樣中的特征連接。跳層連接部分，KoiU?Net設計了多尺度特征交叉感知模塊來改善標準的連接，通過感知操作抑制無用特征，增強紡錘形魚類特征的傳遞，并在最終尾部的連接上設計了多尺度特征融合模塊，再經過空洞空間金字塔池化模塊ASPP[14]將所有下采樣階段的特征級聯，再Concat到最后的輸出層中，提高分割精讀。KoiU?Net網絡使用ASPP可以更有效地提取全局信息，加強特征的流動。

2" KoiU?Net網絡的實現

2.1" 多尺度特征交叉感知模塊MFCP

MFCP模塊處理機制如圖2所示。MFCP是一種用于改善跳層連接傳遞的特征信息的模塊，其主要目的是通過利用各級特征之間的關系來強化特征的表達，從而提高模型的性能。MFCP通過多頭特征注意力的處理來實現特征的交叉感知。

MFCP接收來自從不同深度的網絡層或不同卷積層中得到的不同尺度的特征。為了增強特征表達，MFCP模塊會將每兩個不同尺度的特征進行交叉感知處理。MFCP采用多頭特征注意力的方式，能夠捕捉輸入特征之間的關系，并使得每個特征都能夠受益于其他特征的信息。通過對輸入特征進行加權求和，得到經過交叉感知后的特征表示。經過多頭特征注意力處理后，MFCP將得到新的特征表示作為輸出。這些特征表示已經受益于不同尺度特征之間的交叉感知，從而增強了特征的表達能力。

2.2" 多尺度特征融合模塊MFF

MFF模塊處理機制如圖3所示。MFF用來完成對高層語義信息的多尺度特征信息提取。輸入的特征首先使用1×1的卷積生成三路特征，第一路、第二路被用來計算像素相關性，使用高斯方法進行計算。

[ei=gauss（x1?x2）i=1Ngauss（x1?x2）] （1）

[Out=i=1N（ei）+xi] （2）

高斯加權的目的是根據像素之間的空間距離來調整它們在相關性計算中的貢獻，從而更好地捕捉特征之間的關聯性，而后與未經處理的原始特征結合，通過四層相同的結構，輸出最終的特征圖。

整個MFF模塊的目標是充分利用不同尺度的特征信息，并且通過相關性計算來捕捉特征之間的關聯性，從而增強模型的表達能力和泛化性能。

2.3" 多尺度上采樣模塊MU

MU模塊處理機制如圖4所示。MU是為了克服傳統的簡單反卷積上采樣的問題而提出的一種改進模塊。MU通過一種類似于編解碼架構的兩個神經網絡處理特征圖，從而能夠更好地利用特征信息并自適應地強調重要特征，最終將處理后的特征圖結合在一起進行上采樣，得到最終的輸出。

MU接收輸入的特征圖，這些特征圖通常是從低層網絡或者其他模塊中得到的。首先，輸入特征經過一個1×1的卷積操作，生成三個不同的特征圖，即三路特征。將生成的三路特征分別輸入到編碼網絡中進行處理，捕捉特征的高級表示，解碼網絡負責將編碼網絡的輸出進行逆向操作，對特征進行解碼和恢復，從而實現特征的重建。融合后的特征圖經過上采樣操作，使用反卷積將特征圖的空間尺寸放大到與原始輸入相同的大小。

2.4" 損失函數

本文的損失函數采用融合SoftIoU和二值交叉熵的方式。二值交叉熵損失函數（BCE）通常用于二分類問題，它度量了模型預測與真實標簽之間的差異。對于像素級別的分割任務，可以將每個像素點看作一個獨立的二分類問題，用于衡量像素點的分類效果。

IoU（Intersection over Union）常用于衡量目標檢測或分割任務中預測邊界框或分割掩碼與真實邊界框或分割掩碼之間的重疊程度。它計算預測區域與真實區域的交集面積與并集面積之比。對于像素級別的分割任務，SoftIoU是IoU的一個變體，它使用軟性估計將像素的分類輸出轉化為一種模糊的分割掩碼且考慮了預測的不確定性。這樣可以減少標簽噪聲或邊界不清晰等問題對模型訓練的影響，使得模型具有更好的魯棒性。

[L=λLBCE+（1-λ）LIoU] （3）

[LBCE（y，y）=-1Ni=1N[yilog（yi）+（1-yi）log（1-yi）]] （4）

[LIoU（y，y）=1-i=1N（2yiyi+ε）/（yi+yi+ε）N] （5）

式中：[N]是樣本數；[yi]是第[i]個樣本的真實標簽，取值為0或1；[yi]是第[i]個樣本的預測值，取值范圍為[0，1]；[ε]是一個小正數，用于避免除數為零的情況。

融合損失函數可以提高對罕見類別和邊界區域的關注度，使得模型更全面地覆蓋各個類別。SoftIoU損失函數允許模型對于紡錘形魚邊界區域進行模糊預測，從而提高了模型對于紡錘形魚邊界不清晰區域的分割效果，同時它考慮了預測的不確定性，使得模型在不確定的區域更加魯棒，減少了標簽噪聲的影響。通過結合二值交叉熵和SoftIoU損失函數，可以使模型在像素級別的分割任務中更加魯棒和準確，從而提高目標檢測或語義分割等任務的性能。

3" 實驗結果與分析

3.1" 實驗總體情況介紹

實驗環境使用的操作系統為Windows 10專業版，深度學習框架為PyTorch 1.12.1，硬件配置中CPU為11th Gen Intel[?] CoreTM i9?11900@2.50 GHz，運行內存為32.0 GB；GPU為NVIDIA GeForce RTX 3080。本文使用的數據集為A Large?Scale Dataset for Fish Segmentation and Classification。該數據集包含從土耳其伊茲密爾一家超市收集的9種不同的海鮮類型，數據集包括鍍金頭鯛、紅鯛、鱸魚、紅鯔魚、竹莢魚、黑海鯡魚、條紋紅鯔魚、鱒魚、蝦等海鮮圖像樣本。本文選取數據集內的紡錘形魚類作為樣本進行訓練，并將樣本分為3個部分：75%用于訓練；12.5%用于驗證；12.5%用于測試，使用五折交叉驗證，隨機劃分5次進行訓練和驗證。數據集樣本示例如圖5所示。

3.2" 評價指標

為了更好地評估網絡對紡錘形魚類的分割效果，采用以下評估指標：PA（Pixel Accuracy）代表像素準確率，即標注正確的像素占像素總數的百分比；mIoU（Mean Intersection over Union）代表平均交并比，即正例的交并比與反例的交并比的平均值；Dice系數是一種用來評估兩個樣本相似性的度量函數，取值在0～1之間，值越大表明越相似。TP=[pii]表示真正例，即分割預測為正例，標注也為正例的像素；FP=[pji]表示假正例，表示將其他類[j]預測為正確類[i]；FN=[pij]表示假負例，即分割預測為反例，標注是正例的像素；TN=[pjj]表示真反類，即分割預測為反例，標注也為反例的像素。PA和mIoU的計算式如式（6）、式（7）所示。

[PA=TP+TNTP+TN+FP+FN] （6）

[mIoU=1k+1 i=0kpijj=0kpij+j=0kpji-pii] （7）

Dice系數的定義如式（8）所示：

[Dice=2X?YX+Y] （8）

式中：[X]和[Y]分別表示[X]和[Y]的元素個數；[X?Y]表示[X]和[Y]交集元素的個數。

3.3" 實驗結果分析

3.3.1" 訓練過程分析

訓練過程中學習率和損失的變化情況如圖6、圖7所示，在訓練過程中學習率下降較快，表明模型具有較快的收斂速度。

在驗證集上的情況如圖8所示。其與訓練過程中loss的變化相符合，在后期的訓練過程中始終保持在0.94左右，說明了其優秀的表現，能準確分割出背景和魚身。

3.3.2" 測試集分割結果

在測試集上經過五折交叉驗證的結果如表1所示。由表1可知，KoiU?Net在劃分的不同批次的測試集都有著較為穩定的表現，說明KoiU?Net在多種紡錘形魚的分割任務上魯棒性較強，且平均準確率達到了98.63%。

3.3.3" 可視化分析

為了深入探究KoiU?Net的效果，本節進行了可視化分析。由圖9可知，KoiU?Net對于紡錘形魚類圖像分割的邊緣處理的較好，能準確去除背景區域。

圖10為復雜背景下網絡對紡錘形魚類的分割效果。由圖10可知，KoiU?Net對于紡錘形魚類圖像分割的泛化能力較好，能準確分割出紡錘形魚類區域。

3.4" 消融實驗

3.4.1" 模型消融實驗

為驗證KoiU?Net網絡模型對模型性能提升的有效性，本節將對KoiU?Net網絡模型中的各個模塊進行消融探究，以驗證不同模塊對本文方法帶來的影響。結果如表2所示，表中的各項參數含義如下：

Base：基線模型，采用ResNet101編碼器和普通的上采樣模塊，并使用ASPP將編碼器的特征圖連接至最后的輸出層；MU：采用新設計的MU多尺度上采樣模塊；MFF：使用新設計的MFF連接編碼器的最后一層；MFCP：使用新設計的MFCP連接編解碼器。

由表2分析可知，各個改進方法對網絡性能都有一定的提升效果，MFCP是性能提升的主要來源，相較于其他設置下，加入MFCP的對照組提升較大，PA、Dice和mIoU分別提高4.28%、6.92%和8.23%。加入了所有改進模塊后，PA、Dice和mIoU分別提高9.26%、14.76%和13.33%。整體性能相較于典型U?Net提升了近10%，實驗結果充分證明了KoiU?Net網絡模型的有效性和先進性。

3.4.2" 融合損失函數消融實驗

本小節分別采用BCE、IoU和融合損失函數訓練KoiU?Net網絡模型，Base與3.4.1節的含義相同，KoiU?Net代表3.4.1節中的Base+MU+MFF+MFCP，實驗結果如表3所示。

在Base模型和KoiU?Net網絡模型上的消融實驗都充分證明了融合損失函數能夠幫助KoiU?Net網絡模型學習到更充分的特征表示，性能提升也較為明顯。

3.5" 對比實驗

為了評估KoiU?Net網絡在不同方法中的優越性，本節選取常用的語義分割模型和KoiU?Net網絡模型進行對比，通過在測試集上的分割效果對比，表明KoiU?Net網絡模型和不同深度學習方法之間的差異性。對比實驗指標見表4。

由表3、表4可知，KoiU?Net網絡的各項指標對比其他網絡均有5%～10%左右的提升。性能的提升往往伴隨著較大的時間代價，例如表現較好的U?Net++，其推理時間達到了35.84 ms；表現次優的TransU?Net采用Transformer架構作為編碼器，其推理時間達到了39.95 ms；實驗數據表明，相比于其他圖像分割的架構，KoiU?Net更適用于紡錘形魚類的分割，在紡錘形魚類圖像分割性能上更具優勢。實驗結果驗證了KoiU?Net能夠更精準地分割出魚身，同時在各項性能上表現均較好，其推理時間為29.50 ms，本文方法不失為一種優秀的分割方法。

4" 結" 語

本文針對紡錘形魚類圖像分割任務中存在的邊緣不清、特征模糊的難點，提出一種全新的分割網絡KoiU?Net。該網絡在U?Net模型基礎上，設計了多尺度特征交叉感知模塊MFCP、多尺度特征融合模塊MFF以及多尺度上采樣模塊MU，以增強模型對復雜紡錘形魚類特征的表達和利用能力，提升紡錘形魚類圖像分割的精度。在數據集上的大量實驗表明，KoiU?Net相較于U?Net、PSPNet等其他分割模型，取得了平均準確率為98.63%的分割精度。同時，設計的模塊經過消融實驗也證明了其效果，尤其是多尺度特征交叉感知模塊MFCP對分割性能提升作用最大。與其他分割網絡相比，KoiU?Net在取得更精準分割的同時，推理時間上的代價也較小。本研究表明，KoiU?Net網絡結構能夠有效地輔助紡錘形魚類的生長狀態測量，為水產養殖過程中魚類生長監測提供了可靠的技術手段，也為其他類似的生物體分割任務提供了借鑒。總體而言，KoiU?Net是一種針對紡錘形魚類分割任務設計的高效網絡結構，其在該領域應用中展現出的卓越性能表明其具備廣闊的工程應用前景。

注：本文通訊作者為孟娟。

參考文獻

[1] 中華人民共和國國務院新聞辦公室.中國的遠洋漁業發展[N].人民日報，2023?10?25（014）.

[2] 農業農村部漁業漁政管理局.2022中國漁業統計年鑒[M].北京：中國農業出版社，2022.

[3] 王帥，劉世晶，唐榮，等.基于改進K?means聚類算法的金魚陰影去除及圖像分割方法[J].漁業現代化，2019，46（2）：54?60.

[4] ZHOU C， LIN K， XU D M， et al. Method for segmentation of overlapping fish images in aquaculture [J]. International journal of agricultural and biological engineering， 2019， 12（6）： 135?142.

[5] JIAO L， ZHANG R， LIU F， et al. New generation deep learning for video object detection： A survey [J]. IEEE transactions on neural networks and learning systems， 2022， 33（8）： 3195?3215.

[6] VILLON S， MOUILLOT D， CHAUMONT M， et al. A deep learning method for accurate and fast identification of coral reef fishes in underwater images [J]. Ecological informatics， 2018， 48： 238?244.

[7] WANG J， LIU X P. Medical image recognition and segmentation of pathological slices of gastric cancer based on Deeplab v3+ neural network [J]. Computer methods and programs in biomedicine， 2021， 207： 106210.

[8] CAO Z， SIMON T， WEI S E， et al. Realtime multi?person 2D pose estimation using part affinity fields [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2017： 7291?7299.

[9] 覃學標，黃冬梅，宋巍，等.基于目標檢測及邊緣支持的魚類圖像分割方法[J].農業機械學報，2023，54（1）：280?286.

[10] 何佳琦，周思藝，唐曉萌，等.基于改進的輕量版SOLOv2紅鰭東方鲀實例分割方法[J].華中農業大學學報，2023，42（3）：71?79.

[11] 范偉亞.基于深度學習的海洋魚類圖像識別與應用[D].重慶：重慶師范大學，2019.

[12] BACCOUCH W， OUESLATI S， SOLAIMAN B， et al. A comparative study of CNN and U?Net performance for automatic segmentation of medical images： Application to cardiac MRI [J]. Procedia computer science， 2023， 219： 1089?1096.

[13] AGHALARI M， AGHAGOLZADEH A， EZOJI M. Brain tumor image segmentation via asymmetric/symmetric UNet based on two?pathway?residual blocks [J]. Biomedical signal processing and control， 2021， 69： 102841.

[14] CHEN L C， ZHU Y K， PAPANDREOU G， et al. Encoder?decoder with atrous separable convolution for semantic image segmentation [C]// Proceedings of the European Conference on Computer Vision （ECCV）. Heidelberg， Germany： Springer， 2018： 801?818.

KoiU?Net： A fusiform fish image segmentation method

based on multi?feature enhancement fusion

ZHU Jiayuan1， MENG Juan1， DU Hai2， MA Yuanyuan1， CAO Jingwen1

（1. College of Information Engineering， Dalian Ocean University， Dalian 116023， China;

2. State Key Laboratory of Coastal and Offshore Engineering， Dalian University of Technology， Dalian 116024， China）

Abstract： In view of the blurred edges and vague features in the fusiform fish image segmentation task， a multi?feature enhancement and fusion based fusiform fish image segmentation network KoiU?Net is proposed. On the basis of the classical U?Net model， a multi?scale feature cross perception module and a multi?scale feature fusion module are designed to enhance the processing capability of fusiform fish features， so as to cope with the problems of blurred edges and complex features in the segmentation of fusiform fish image. The multi?scale upsampling module is designed to extract finer feature information. Experiments on the fusiform fish image dataset show that the KoiU?Net achieves significant improvement in segmentation accuracy， averaging 98.63%， in comparison with the other segmentation networks such as the original U?Net. The effectiveness of each design module is also verified by ablation experiments， and the multi?scale feature cross perception module plays a key role in improving the segmentation performance. This study provides effective technical support for further implementation of fusiform fish growth state monitoring and lays the foundation for the further development in this field.

Keywords： deep learning; image segmentation; segmentation accuracy; fusiform fish; U?Net; multi?scale feature fusion

DOI：10.16652/j.issn.1004?373x.2024.09.010

引用格式：朱珈緣，孟娟，杜海，等.KoiU?Net：基于多特征增強融合的紡錘形魚類圖像分割方法[J].現代電子技術，2024，47（9）：53?58.

收稿日期：2023?11?24" """""""""修回日期：2023?12?18

朱珈緣，等：KoiU?Net：基于多特征增強融合的紡錘形魚類圖像分割方法

朱珈緣，等：KoiU?Net：基于多特征增強融合的紡錘形魚類圖像分割方法

作者簡介：朱珈緣（1997—），女，遼寧康平人，碩士研究生，主要研究方向為計算機視覺、圖像分割。

孟" 娟（1981—），女，山東龍口人，博士，副教授，主要研究方向為信息處理。

杜" 海（1980—），男，河北石家莊人，博士，高級工程師，主要研究方向為海洋工程中的非接觸式測量技術。

馬媛媛（1997—），女，寧夏賀蘭人，碩士研究生，主要研究方向為計算機視覺。

曹靜雯（1998—），女，福建福州人，碩士研究生，主要研究方向為模型壓縮。