基于Res2Net-RetinaNet的活性污泥指示性微生物目標檢測

摘 要 活性污泥中原生動物、后生動物等指示性微生物是污水處理運行調控的重要指標。針對活性污泥微生物不同種類之間，小目標類微生物體型較小、微生物個體顏色背景和圖像顏色背景相似的現象，提出基于Res2Net-RetinaNet的活性污泥指示性微生物檢測方法。Res2Net-RetinaNet模型采用精度更高的新維度殘差塊Res2Net模塊捕獲原有特征的豐富信息。在主干網絡輸出的第1層引入通道和空間注意力機制CBAM，進一步幫助淺層特征信息在網絡中流動。最后，在特征融合模塊中引入深度超參數化卷積（Do-Conv），在不增加計算量的前提下持續加快模型的收斂。將所提方法應用于某污水廠采集數據中進行實驗，結果表明：所提方法與Fast R-CNN、SSD、YOLOv3、YOLOv4、FCOS、CenterNet及RetinaNet等目標檢測模型相比，檢測精度最高（92.8%），相對于原始RetinaNet目標檢測算法精度提升4.97%。

關鍵詞 Res2Net-RetinaNet 污水處理 微生物 目標檢測 Res2Net模塊 CBAM注意力機制

深度超參數化卷積

中圖分類號 TP391"" 文獻標志碼 A"" 文章編號 1000-3932（2024）05-0785-11

隨著城市的飛速發展，城市污水量也在逐漸增加［1］。因此，城市污水處理廠的負荷也就隨之加重［2］。污水處理廠普遍采用活性污泥法處理污水，活性污泥法的核心和關鍵是利用污水中各種微生物的物理化學生物反應去除污水中的有機

物［3］。由于組成活性污泥系統的主體是微生物，微生物種類的多樣性和豐富度是控制污水處理的重要參數，不同種群的微生物狀態決定污水凈化效果。活性污泥法中活性污泥相差顯微圖像中微生物的正確檢測，不僅是活性污泥污水處理方法的關鍵，同時還能幫助監視活性污泥法污水處理系統的運行情況［4］，對污水處理廠的發展和環境保護具有重大意義。

傳統的活性污泥微生物鏡檢依賴人工識別微生物的種類和數量，這種方式需要較強的專業知識，存在檢測耗時、效率低下等問題［5］。文獻［6］提出通過建立原、后生動物各個種類數據庫，采用主成分分析法對原、后生動物進行半自動識別的方法；文獻［7］提出使用判別分析、神經網絡和決策樹多變量統計技術，對獲得的形態描述符進行分析，以識別和分類活性污泥中的每個原生動物或后生動物；文獻［8］采用交互式提取算法提取活性污泥顯微圖像的特征，用分類器對水中微生物進行識別。然而早期基于數字圖像的識別方法主要依賴人工設計提取特征和淺層機器學習模型，這些方法容易出現微生物特征提取困難、檢測精度低的問題。近年來，隨著神經網絡理論和人工智能的快速發展，以及計算機算力的提升，學者們將基于深度學習的目標檢測網絡引入到污水微生物檢測中，文獻［9］提出基于平衡支持載體的反向繁殖神經網絡（SV-BP）活性污泥微生物識別方法，首先將多類別分類問題拆分為多個成對分類問題，使用支持向量機（SVM）實現均衡類別，并生成新數據集，然后使用反向傳播神經網絡（BPNN）進行訓練和分類；文獻［10］采用改進的YOLOv3網絡從厚血涂片顯微圖像中檢測惡性瘧原蟲，用卷積神經網絡自動提取特征部分，并在原YOLOv3體系結構中去除部分卷積層，得到改進的模型，與原模型相比，改進后模型的計算復雜度低且推理速度快。以上研究證實了在顯微圖像目標領域，使用深度學習進行目標識別的可行性與有效性。但還存在模型參數量大且形態體型相似的微生物檢測精度低的問題。

1 改進RetinaNet算法

1.1 Res2Net-RetinaNet網絡結構介紹

筆者提出的Res2Net-RetinaNet算法是基于RetinaNet［11，12］算法改進的，其整體架構如圖1所示。

Res2Net-RetinaNet算法分別由特征提取網絡、特征金字塔網絡和活性污泥微生物檢測模塊3部分組成。特征提取網絡采用改進后的Res2Net骨干網絡，以提高特征提取能力，卷積神經網絡通常采用特征圖逐行縮小的結構，隨著網絡深度的增加，得到的特征圖越來越復雜，富含的語義信息也越來越豐富。這種特征圖性能的提升有助于提高大目標物體的檢測精度。然而對于小目標物體，由于其在圖像中所占尺寸較小，可以利用的特征信息較少。此外，隨著網絡深度的增加，可能會導致細節信息的丟失，從而降低識別的精度。為了降低漏檢率并提高小目標類微生物的檢測精度，將ResNet中的Bottleneck模塊替換成了代表多尺度特征的Res2Net模塊［13］（圖1左側的

Res2Net-Bankbone），在不改變計算量的前提下，提取不同感受野、增加每個網絡層的接收域范圍，有效提取全局特征和局部特征。

針對活性污泥微生物個體顏色背景和圖像顏色背景接近，檢測精度會被圖像中的污泥絮體和絲狀菌所干擾的問題，將特征金字塔網絡改為CBAM-DOconv-FPN結構，在特征提取網絡的第1層分支引入CBAM［14］輕量注意力機制的同時，將原始FPN中的二維卷積替換成深度超參數化卷

積［15，16］，進一步將目標區域鎖定到重點關注區域，抑制無用信息，幫助特征信息在網絡流動的同時提高網絡性能，加快了網絡的訓練速度。

活性污泥的微生物檢測模塊分為兩部分：分類預測和回歸預測。使用Focal Loss［17］函數改進分類損失函數，在減小負樣本權重的同時，增加正樣本的權重，避免大量消極信息在訓練過程干擾檢測器。

1.2 主干網絡的改進

為提高網絡提取多尺度特征的能力，將原骨干網絡ResNet的殘差模塊（圖2a）替換為Res2Net模塊（圖2b），即通過在單獨的殘差塊中構造分層的類殘差連接，改變接收域的精細程度，從而獲取細節和整體特性。Res2Net模塊以更細粒度表示多尺度特征，并在增大內部感受野的同時增強了神經網絡對目標的檢測能力。

因此，Res2Net模塊可以將更精細的信息進行融合，提高特征融合性能的同時，采用多個分支進行融合，可以有效降低在信息整合過程中出現的梯度信息現象。

1.3 CBAM-DOconv-FPN模塊

針對活性污泥微生物個體顏色背景和圖像顏色背景接近，檢測精度會被圖像中的污泥絮體和絲狀菌以及背景水漬所干擾的問題，提出CBAM-DOconv-FPN模塊（圖1中間模塊），首先在特征輸出的第1層加入CBAM注意力機制，目的是將目標區域鎖定到重點關注區域，抑制圖像背景中的無用信息，幫助特征信息在網絡中流動［18］，進一步提高小目標類微生物的檢測能力。然后，將融合模塊FPN［19］中的二維卷積替換成DO-Conv（深度超參數化卷積）來提高網絡性能，加快網絡的訓練速度［20］。最后輸出5層不同步長（strides）的特征圖，根據錨框（Anchor）機制，在5層特征圖上生成大量的候選錨框，實現對各尺度目標的檢測。

從圖3所示的CBAM模塊中可知，CBAM 包含2個獨立的子模塊，即通道注意力模塊（Channel Attention Module，CAM） 和空間注意力模塊（Spartial Attention Module，SAM） 。首先卷積層輸出的結果會先通過CAM，得到加權結果之后，再經過SAM進行加權，得到最終的結果，有效地節約參數和計算力。

1.4 Head模塊

活性污泥微生物檢測模塊由邊界框回歸網絡和分類網絡組成（圖1）。其中，邊界框回歸網絡是一個全卷積網絡，它被添加到每個輸出的特征上。該網絡采用4層通道數為256的3×3卷積，每層卷積與Relu激活層相連，再連接一個通道數為36的3×3卷積層，最終的結果可以預測錨框與真實框的相對偏差。在確定了模型的預測值和真實值后，再進行邊界框的回歸損失計算，該方法中采用4個3×3的卷積層，每個卷積層之后都接一個Relu層，接下來是一個帶有KA（其中，K是類別數，A是錨點數量）個通道的3×3卷積層，最后使用sigmoid激活函數完成輸出。

這種方法在目標檢測中使用，能夠有效地從更高維度的特征中提取和學習目標的位置和類別信息，分類網絡主要用于預測每個位置上A個錨框屬于K個類別的概率。在此基礎上，引入了Focal Loss損失函數，在減小負樣本權重的同時提高正樣本的權重，改善了基于一階段檢測算法時存在正、負樣本不均衡的現象。

Focal Loss損失函數FL表示為：

其中，p表示樣本預測概率大小；α是一個可變參數；y表示標簽，對應0或1。

通過匹配的真實錨框數量來執行歸一化，絕大多數錨框的數量是負樣本，在Focal Loss下接收可以忽略的損失值。α隨著變量γ的變化而減小，當γ=2，α=0.25時損失最小。

2 實驗結果與分析

2.1 實驗數據集

本研究的數據采集和整理主要來源于沈陽某污水處理廠。采集到的活性污泥微生物總共有8種，包括：表殼蟲Arcella（原生）、楯纖蟲Aspidisca（原生）、線蟲Nematoda（后生）、袋鞭蟲Peranema（原生）、內管蟲Entosiphon（原生）、腔輪蟲Lecan（后生）、輪蟲Rotaria（原生）和鐘蟲Voryicella（原生），如圖4所示。8種活性污泥微生物圖像總數量只有756張，由于數據集較小，并且微生物種類數量不均衡，訓練過程中容易出現過擬合現象，因此，對微生物種類數量較少的圖像進行旋轉、裁剪、平移、剪影、亮度、噪聲等隨機操作來平衡每一類的數據，最終得到的數據集總量為1 602張。再使用LabelImg軟件對1 602張微生物圖像進行樣本標簽制作，其中訓練集、驗證集和測試集的比例為6∶2∶2。

2.2 實驗環境與參數配置

計算機配置。Windows10專業版、64位操作系統。NVIDIA GeForce RTX2080Ti顯卡，Intel Core i9-9900K處理器，磁盤內存32 GB，深度學習框架Pytorch1.7，加速框架CUDA10.2，編程語言Python。

本研究對原始的756個數據集擴充到1 602張活性污泥微生物顯微圖像，并按照約6∶2∶2的比例劃分數據集，得到訓練集962張、驗證集320張、測試集320張。采用RetinaNet算法，在Pytorch框架下，訓練時采用的預訓練權重為COCO數據集上訓練的權重。模型參數設置列于表1。

2.3 實驗結果與分析

目標檢測常用評估指標是均值平均精度（mAP）和fps。AP是指利用不同Precision和Recall的點的組合所繪制曲線的面積。mAP為所有類的AP值求平均值。fps是用來評價檢測模型的速度，即以每秒內能夠處理的圖片數量或者處理一張圖片所需時間來評估檢測速度，fps越高表明速度越快。衡量模型的變量為weight。召回率R（Recall）是指樣本中有多少正樣本被預測正確，TP表示把正類預測為正類，FN為把原來的正類預測為負類。各指標的計算式為：

基于RetinaNet改進方法在擴充數據集上進行訓練，從未經訓練的344張測試數據集分別在原始RetinaNet目標檢測算法和改進RetinaNet目標檢測算法中進行分類檢測。檢測的單張圖片大小為600×600，實驗結果見表2。可以看出，在使用未改進RetinaNet算法的實驗1中，mAP為88.4%；實驗2中用Res2Net模塊替換了原始骨干網絡中的Bottleneck后，mAP提高了2%，說明Res2Net模塊融入傳統RetinaNet的骨干網絡，增強了骨干網絡各層感受域的同時也能提取更多的特征，從而更精準地完成微生物實例的檢測任務；實驗3在實驗2的基礎上又引入了CBAM注意力機制，mAP又增加了0.5%，說明CBAM模塊可以提升檢測目標在復雜環境中的特征表達能力，有效地將空間信息和通道信息結合，并重新分配特征圖的權重，增強了重要特征；實驗4在實驗2的基礎上，將融合模塊FPN的二維卷積替換成DO-Conv卷積，增加了網絡可學習的參數，mAP相比于實驗2提升了0.4%；實驗5綜合了各模塊的優點，最終檢測的平均精度達到了92.8%。

模型改進前、后的損失函數變化曲線如圖5所示。能直觀地看到沒有加任何改進時（圖5a），RetinaNet檢測模型在100個epoch左右開始逐漸收斂；加上所有的改進后（圖5b），微生物檢測模型從75個epoch開始收斂，損失函數值比改進前的模型更趨于0，說明改進后的模型更容易達到收斂。

改進前、后8類微生物檢測的精度和模型大小比對見表3。可以看出，改進后的RetinaNet目標檢測算法對8類微生物的識別精度均有提高，提高幅度分別為0.1%、0.2%、3.0%、3.1%、9.5%、19.4%，其中，腔輪蟲最高，提高了19.4%；其次，體型較小的袋鞭蟲精度提高了9.5%，識別精度平均提高了4.97%。充分說明了Res2Net模塊在粒度級別表示多尺度的有效性，同時引入CBAM注意力機制進一步加強了多尺度的表征性。模型改進前、后均保證精度提高的同時模型權重大小保持不變，說明采用DO-Conv取代傳統卷積不但加速了模型的收斂，并且在不增加計算量的情況下改善了網絡性能。

經過以上的實驗對比，由表4可知，無錨框FCOS算法［21］和CenterNet算法［22］在這幾種算法中表現還是不錯的，平均精度分別達到了89.9%和89.5%，模型大小分別為123 MB和124 MB，速度不算慢。但是無錨框算法需要復雜的后處理，導致模型收斂時間較長。而基于候選區域的兩階段Faster R-CNN算法［23］的mAP最低，只有82.9%，并且速度最慢，模型權重大小一般。基于回歸的一階段檢測算法中SSD算法［24］和YOLO系列算法平均精度差別不大，達到了87.0%，但YOLOv3［25］和YOLOv4算法［26］的模型較大，達到了200 MB以上。RetinaNet算法的精度也達到了88.4%，fps為45，模型大小139 MB。而改進后的Res2Net-RetinaNet算法的mAP是最高的，達到了92.8%。雖然改進之后模型的評價指標均高于其他模型，但是速度方面略微降低了一點，模型大小為138 MB。

改進后的RetinaNet算法和原RetinaNet算法在數據集上的檢測效果如圖6所示。

由表3對比數據可知，8類微生物中精度提升最大的就是腔輪蟲和袋鞭蟲，它們分別提升了19.4%和9.5%，針對原始RetinaNet算法對體型差異不大、形態多變的微生物類特征提取的不夠充分，如袋鞭蟲、內管蟲、腔輪蟲大致形態相差不大，導致存在大量漏檢和誤檢，以至于腔輪蟲和袋鞭蟲的檢測精度較低。在未改進的模型中，由于微生物圖像背景復雜，錯將絮體誤檢成微生物（圖6b），也是mAP不高原因之一。圖6a原始檢測模型中只有楯纖蟲的識別是準確的，其他微生物（如線蟲、輪蟲、腔輪蟲）均錯檢，并且將圖像的背景識別成了鐘蟲；圖6b原始模型將圖像背景的絮體錯檢成了鐘蟲；圖6c原始模型將腔輪蟲錯檢成了鐘蟲，并且將楯纖蟲漏檢的同時也出現了多框識別；圖6d中因為目標微生物體型較小，原始檢測模型產生了漏檢；圖6e中因為幾類體型小的微生物形態差異不是很大，導致原始檢測模型出現了多框識別；圖6f由于兩個微生物粘連一起，原始檢測算法對微生物的形態特征沒有充分提取，導致錯檢。而筆者提出的Res2Net-RetinaNet算法，充分提取到了每類微生物的特征，有效解決了上述問題。

3 結束語

針對活性污泥微生物種類繁多，小目標類微生物的體型變化不大，圖像背景復雜，人工進行顯微鏡識別耗時、耗力的問題，提出基于RetinaNet改進算法，首先將Res2Net模塊融入原始主干網絡中，即將ResNet-50中的Bottleneck block模塊替換成新維度殘差塊Res2Net，用于加強主干網絡提取多尺度特征的能力。然后在特征輸出的第1層引入通道和空間雙重注意力機制CBAM，有效促進特征信息的流動，提高了卷積神經網絡輸出特征圖的全局特征提取能力。最后采用CBAM-DOconv-FPN融合模塊，在不增加網絡計算量的前提下提高了網絡性能，在自制的微生物數據集上的測試結果顯示，平均精度達到了92.8%，能夠準確檢測出每類微生物的種類，充分說明筆者所提算法的有效性。

筆者所提算法雖然提高了檢測精度，但是網絡的計算量還是偏大，使得檢測速度偏低。因此，下一步的研究目標，是在保證檢測精度的同時對模型進行壓縮優化，為輕量化模型做準備，最終實現實時的檢測效果。

參 考 文 獻

［1］"" 曹亞鋒.談城市污水處理對環境保護工程重要性探析［J］.清洗世界，2022，38（8）：76-78.

［2］"" 楊媛，鄧偉航，胡以松，等.城市污水能源回收方式研究進展：碳捕獲-厭氧消化耦合技術［J/OL］.環境工程：1-15［2022-10-07］.

［3］"" 西原環境.污水處理的生物相診斷［M］.趙慶祥，長英夫，譯.北京：化學工業出版社，2012：21-26.

［4］"" 吳志豪.活性污泥顯微圖像微生物目標檢測方法［D］.沈陽：沈陽化工大學，2021.

［5］"" YADU A， SAHARIAH B P， ANANDKUMAR J.Micr-

obiological Wastewater Treatment［M］//SHAH M，MEHTA K.The Future of Effluent Treatment Plants.Elsevier，2021：165-182.

［6］"" MOTTA M，PONS M N，VIVIER H，et al.The study of protozoa population in wastewater treatment plants by image analysis［J］.Brazilian Journal of Chemical Engineering，2001，18：103-111.

［7］"" GINORIS Y P， AMARAL A L， NICOLAU A， et al.Recognition of protozoa and metazoa using image analysis tools，discriminant analysis，neural networks and decision trees［J］.Analytica Chimica Acta，2007，595（1-2）：160-169.

［8］"" LI X P，HAN C H.Common Posterior Animal Image Recognition System in Activated Sludge［J］.Acta Microscopica，2019，28（5）：1279-1288.

［9］"" QIAN Y，LIANG Y C，GUAN R C.Improving activated sludge classification based on imbalanced data［J］.Journal of Hydroinformatics，2014，16（6）：1331-1342.

［10］"" CHIBUTA S，ACAR A C.Real-time malaria parasite screening in thick blood smears for low-resource setting［J］.Journal of Digital Imaging，2020，33（3）：763-775.

［11］"" WANG Y Y，WANG C，ZHANG H，et al.Automatic ship detection based on RetinaNet using multi-resolution Gaofen-3 imagery［J］.Remote Sensing，2019，11（5）：531.

［12］"" WUNDERLICH T，WILKEN D，MAJCHCZACK B S，et al. Hyperbola Detection with RetinaNet and Comparison of Hyperbola Fitting Methods in GPR Data from an Archaeological Site［J］.Remote Sensing，2022，14（15）：971-989.

［13］"" GAO S H，CHENG M M，ZHAO K，et al.Res2net：A new multi-scale backbone architecture［J］.IEEE Tra-

nsactions on Pattern Analysis and Machine Intelligen-

ce，2019，43（2）：652-662.

［14］"" WOO S，PARK J，LEE J Y，et al.Cbam：Convolutional block attention module［C］//Proceedings of the European Conference on Computer Vision（ECCV）.2018：3-19.

［15］"" CAO J M，LI Y Y，SUN M C，et al.Do-conv：Depthw-

ise over-parameterized convolutional layer［J］.IEEE Transactions on Image Processing，2022，31：3726-3736.

［16］"" LONG J，SHELHAMER E，DARRELL T.Fully convo-

lutional networks for semantic segmentation［C］//IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE，Piscataway，NJ，2015：1114-

1126.

［17］"" LIN T Y，GOYAL P，GIRSHICK R，et al.Focal Loss for Dense Object Detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（2）：781-799.

［18］"" WANG W，TAN X，ZHANG P，et al.A CBAM based multiscale transformer fusion approach for remote sensing image change detection［J］.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2022，15：6817-6825.

［19］"" ZHANG Z，ZHANG L，WANG Y，et al.Bidirectional Parallel Feature Pyramid Network for Object Detection［J］.IEEE Access，2022（10）：49422-49432.

［20］"" CAO J，LI Y，SUN M，et al.Do-conv：Depthwise over-parameterized convolutional layer［J］.arXiv Preprint arXiv：2006.12030，2020.

［21］"" TIAN Z，SHEN C，CHEN H，et al.Fcos：Fully convolu-

tional one-stage object detection［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision.2019：9627-9636.

［22］"" DUAN K， BAI S，XIE L， et al. Centernet：Keypoint triplets for object detection［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision.2019：6569-6578.

［23］" GIRSHICK R. Fast r-cnn［C］//Proceedings of the IEEE International Conference on Computer Vision，2015：1440-1448.

［24］"" LIU W，ANGUELOV D，ERHAN D，et al.Ssd：Single shot multibox detector［C］//Computer Vision-ECCV 2016：14th European Conference，Amsterdam，The Netherlands，October 11-14，2016，Proceedings，Part I 14.Springer International Publishing，2016：21-37.

［25］" REDMON J，FARHADI A.Yolov3：An incremental improvement［J］.arXiv Preprint arXiv：1804.02767，

2018.

［26］"" BOCHKOVSKIY A，WANG C Y，LIAO H Y.Yolov4：Optimal speed and accuracy of object detection［J］.arXiv Preprint arXiv：2004.10934，2020.

（收稿日期：2023-12-24，修回日期：2024-04-19）

Res2Net-RetinaNet-based Target Detection of Activated

Sludge Indicator Microorganisms

ZHAO Li-jie， LU Xi， HUANG Ming-zhong， WANG Guo-gang

（College of Information Engineering， Shenyang University of Chemical Technology）

Abstract"" Indicative organisms such as protozoa and post-zoa in activated sludge are important indicators for both operation and regulation of wastewater treatment. Considering small target class’ microorganisms small in size and the color background of individual microorganisms and the image color background similar among different species of activated sludge microorganisms， a Res2Net-RetinaNet-based detection method for activated sludge indicator microorganisms was proposed， including having new dimensional residual block Res2Net module with higher accuracy adopted in this model to capture rich information of the original features. In addition， both channel and spatial attention mechanism CBAM introduced into the first layer of the backbone network output further helps the shallow feature information flow in the network； and then， the deep hyperparametric convolution（Do-Conv）introduced into the feature fusion module continuously accelerates the convergence of the model without increasing the computational effort. The experimental results of applying the proposed method to data collected from a sewage plant in Shenyang show that， the detection accuracy of the proposed method can be up to 92.8% compared with the current target detection models（Fast R-CNN，SSD，YOLOv3，YOLOv4，FCOS，CenterNet and RetinaNet） and the accuracy can be improved by 4.97% compared with the original RetinaNet target detection algorithm.

Key words"" Res2Net-RetinaNet， sewage treatment， microorganism， target detection， Res2Net module， CBAM attention mechanism， deep hyperparameterized convolution

基金項目：國家重點研發計劃（批準號：2018YB1700200）資助的課題；2020年遼寧省高等學校創新人才支持計劃項目；2021年度高等學校基本科研基金（批準號：LJKZ0442）資助的課題。

作者簡介：趙立杰（1972-），教授，從事智能信息處理的研究。

通訊作者：黃明忠（1975-），副教授，從事智能信息處理的研究，syhmz75111@syuct.edu.cn。

引用本文：趙立杰，魯茜，黃明忠，等.基于Res2Net-RetinaNet的活性污泥指示性微生物目標檢測［J］.化工自動化及儀表，2024，51（5）：785-795.