基于改進YOLOX的水庫水面漂浮物目標檢測算法

收稿日期：2023-03-15；接受日期：2023-06-16

基金項目：國家自然科學基金項目（61961026）；江西省科技廳重大科技研發專項“揭榜掛帥”制項目（20213AAG01012）

作者簡介：譚文群，女，教授，碩士，主要從事無線通信技術研究。E-mail：twqun@163com

通信作者：

包學才，男，教授，博士，主要從事物聯網技術及應用研究。E-mail：Lx97821@niteducn

EditorialOfficeofYangtzeRiverThisisanopenaccessarticleundertheCCBY-NC-ND40license

文章編號：1001-4179（2024）03-0249-08

引用本文：譚文群，曾祥君，包學才，等基于改進YOLOX的水庫水面漂浮物目標檢測算法［J］人民長江，2024，55（3）：249-256

摘要：

針對目前水庫水面小目標漂浮物檢測識別精度低的問題，提出基于改進YOLOX的水庫水面漂浮物目標檢測算法。此算法引入新型dark2模塊融入主干網絡并拓展主干網絡的分支輸出結構，提升主干網絡對圖片的特征提取能力。在此基礎上，提出改進特征融合模塊（ZL-FPN），用于增強特征圖信息融合，提高對水庫水面小目標漂浮物的檢測精度。結果表明：改進后算法的mAP值比YOLOv4和原YOLOX算法分別提升了2993%和1211%，有效提升了水庫水面漂浮物檢測精度。研究成果可為提升水庫智能化管理水平提供有效技術支撐。

關鍵詞：水面小目標漂浮物；目標檢測；YOLOX算法；水庫智能化管理

中圖法分類號：TV6972

文獻標志碼：A" " " " " " " DOI：1016232jcnki1001-4179202403034

0引言

自2019年以來，水利部先后印發了多個文件，包括《水利標準化工作管理辦法》和《關于加強水利團體標準管理工作的意見》等，強調了水庫標準化建設的重要性。水庫日常巡查和安全檢查是水庫標準化管理的主要內容之一。目前水利標準化巡查主要以人工定時定點巡查為主，對于流動性強的水庫水面污染漂浮物的檢測存在一定難度，特別是在天氣惡劣條件下，人工巡查可能對巡查人員的生命安全造成威脅。因此，迫切需要開發基于人工智能的水庫水面污染漂浮物自動檢測識別技術和方法來解決這一問題，以改善水庫水質環境和提高水庫標準化智能化管理效率。

目前目標檢測算法主要分為兩種類型：“兩階段檢測”和“一階段檢測”。前者是一個“從粗到精”的過程，而后者可以“一步完成”。

在“兩階段檢測”中，李寧等［1］提出使用AlexNet網絡進行小樣本的水面漂浮物識別。通過使用梯度下降法對模型進行微調，相較于傳統的特征提取方法，識別率提高了近15%。然而，該研究所針對的數據集對象單一，并不具備普適性，真實水庫中水面漂浮物種類繁多，環境也更為復雜。Barrera［2］和李國進［3］等基于FasterR-CNN分別提出了一種改進識別與定位算法，前者的改進算法對于復雜背景情況檢測情況較差；后者的改進算法計算量大，不利于實時監測的應用。另外，鮑佳松等［4］提出了DCNN的識別算法，雖然整體網絡結構簡單，但是對于小目標水面漂浮物檢測精度較差，且該網絡容易受到外部因素干擾。劉偉等［5］提出了一種基于MaskR-CNN模型的水面漂浮物識別方法，采用不同的特征提取網絡，與傳統的HOG特征方法相比，準確率提升了16%。然而，該模型的復雜度大幅提升，增大了部署成本。

在“一階段檢測”方面，張堡瑞等［6］采用CornerNet-Lite目標檢測網絡以及激光雷達和相機檢測的方式來檢測水面漂浮物，比單獨使用算法準確度更高，能盡可能消除水面倒影和波紋的影響。然而，該方法對環境的適應能力不強，且對光照的變化沒有很好的魯棒性，易受輸入圖像質量的影響。Sanchez等［7］對比了多個不同的“一階段模型”，發現YOLOv5s所需要消耗的資源最少，同時采用了數據增強方法來緩和樣本分布不均的問題，但該方法對比模型較少且改進部分較少，沒有最大化模型的檢測能力。李國進［8］和Shanhua［9］等提出了基于改進YOLOv3的水面漂浮物目標檢測算法，其中一個算法添加了CAM，將基于邊界框的定位方式替換成基于像素點進行定位，另一個算法則將基于視頻監控的水面漂浮物算法融入YOLOv3算法中。然而，這兩種算法都特別依賴于錨框的選定，而錨框的選取不具有普適性，針對每個水庫場景都需要重新定義錨框。此外，Haq等［10］提出了一種利用物體中心關鍵點檢測來預測物體位置的方法，通過對象分割掩碼的方式減少檢測偏移，該改進針對大目標作用明顯，對小目標效果較差。Zhang等［11］基于改進RefineDet網絡，引入FocalLoss損失函數，較好地解決了正負樣本不平衡的問題，但是該模型僅針對一類數據集進行，在實際應用中泛化能力不足。Zhou等［12］提出的YOLOX算法，作為YOLO系列的集大成者，在檢測水面漂浮物時可以達到較高的檢測精度，并且實時性高。然而，該算法針對小目標水面漂浮物的檢測能力差，容易發生漏檢行為。Roy等［13］在YOLOv4的基礎上提出使用DenseNet對主干網絡進行優化，同時引入新的激活函數，增加了參數量及訓練負擔。

小目標是指物體標注框的長寬乘積除以整個圖像的長寬乘積再開根號，其結果小于3%的物體。

針對目標檢測領域，Cheng［14］、Koyun［15］、He［16］、He［17］、Padilla［18］、Pal［19］等在模型檢測精度和速度方面做了大量工作，但在實際場景中，特別是在小目標漂浮物的檢測方面，效果并不理想。

針對上述問題，本文提出了一種改進YOLOX算法，通過改進主干網絡并構建一種新型特征融合網絡，以提升水庫水面漂浮物的檢測能力，尤其是小目標漂浮物的檢測能力。

1基于改進YOLOX的水庫水面漂浮物檢測識別算法

為了解決小目標漂浮物檢測精度低的問題，研究采取了主干網絡和特征融合模塊的協同改進，以最大程度提高模型的檢測精度。改進分為兩部分：①改進主干網絡，將新型殘差模塊（dark2）放置于第三次卷積操作之前，以獲取更豐富的小目標特征（feat2）；此外，將主干網絡的三分支輸出變為四分支輸出結構，以增強特征融合網絡的小目標信息豐富度。②采用更高效的特征融合金字塔（ZL-FPN），充分關注小目標信息，以進一步提升對小目標的檢測能力。改進YOLOX算法整體流程如圖1所示。

11YOLOX算法思想

YOLOX目標檢測算法基于YOLO系列，引入了新的思想，檢測速度和精度都有了進一步提升。YOLOX包括6個不同模型參數大小的版本，分別為YOLOX-Nano、YOLOX-Tiny、YOLOX-S、YOLOX-M、YOLOX-L以及YOLOX-X。由文獻［20］可知YOLOX-S參數量為9M，YOLOX-M參數量為253M，YOLOX-L參數量為542M，YOLOX-X參數量達到991M，每增大一級規模，參數量呈倍數增長。常規云端部署環境為保證檢測實時性，模型參數量大小需控制在15M以下。故應在滿足參數量大小前提下盡可能選擇較大模型，以保證初始檢測精度，因此選取YOLOX-S算法作為此次改進的基礎模型。YOLOX-S算法結構如圖2所示。

該算法包括3個部分：主干網絡、特征金字塔和預測部分。主干網絡主要由Focus、CBS、Csplayer以及SPPbottleneck模塊組成。Focus切片操作是對特征信息進行間隔距離提取，通道數擴大為原來的4倍，特征圖縮小為原圖的1/2，其優點為在進行特征圖放縮時，保證特征點信息采集最大化。CBS模塊則是Conv2D、BN正則化以及SiLU激活函數的統稱，然而該主干網絡對小目標提取能力較差。特征金字塔采用基礎的FPN結構，將主干網絡最后3層的特征圖分別作為金字塔的一層，并采用自下而上的路徑，將融合后的特征圖自上而下分別輸出，此結構相對簡單，特征信息融合不充分。預測部分則對位置、類別和置信度進行結果預測。

12改進YOLOX算法

該算法的改進分為2個部分。第一部分是對主干網絡進行優化，通過構造dark2模塊，拓展主干網絡的分支輸出結構，提升主干網絡對物體特別是小目標的特征提取能力。第二部分采用ZL-FPN替換原始的特征金字塔結構，增強特征圖信息的融合能力，進一步提升對小物體和漂浮物的檢測精度。最后將這兩部分的改進進行融合，以求最大程度地提升算法對小目標漂浮物的檢測能力。

121改進主干網絡

分析原始主干網絡對小目標物體特征提取能力弱的原因，其主要問題是針對小目標輸出信息不足，因此該算法提出在主干網絡中引入dark2模塊。該模塊由9層Csplayer殘差結構組成，將該模塊放置于第二次進行CBS卷積操作得到160×160×128特征圖與第三次進行CBS卷積操作得到80×80×256特征圖之間。引入該模塊有兩點意義：①加深主干網絡的層數，使網絡參數量增多，訓練更加充分；②此階段所輸出的160×160特征圖表示將上一階段得到的特征圖長寬分為160份，共產生25600個小網格，每個小網格都可以判斷是否包含物體，從而能夠針對圖像中小目標盡可能少的發生漏檢行為。同時將提取后的特征圖作為新的分支，計作feat2，輸出到特征融合金字塔網絡中。改進后的主干網絡對于小目標的提取能力得到了進一步增強。其具體結構如圖3所示。

從圖3可知，本文算法提出的改進主干網絡與原網絡有明顯的不同。主要表現為在經過卷積核為128的卷積操作后，生成160×160×128特征圖；緊接著經過新型的dark2模塊，生成對小目標敏感的feat2，即160×160×128特征圖。此特征圖由于將整張特征圖劃分為160×160的小網格，具有感受野小、對小目標提取能力強的特點。最后，將feat2（160×160×128）、feat3（80×80×256）、feat4（40×40×512）、feat5（20×20×1024）作為4個分支輸出到ZL-FPN中。

122改進特征金字塔網絡（ZL-FPN）

針對原始特征金字塔網絡結構簡單導致特征信息融合能力弱的問題，提出了一種新型改進特征金字塔網絡（ZL-FPN）。該網絡的輸入是4種不同類型大小的特征圖。自上而下地進行操作時，將4種原始特征圖與卷積過后的特征圖再次進行融合，目的是確保盡可能多的包含原始特征圖信息。將feat2輸出至金字塔網絡中，主要用于提取小目標的特征。經過殘差結構以及下采樣操作與其他特征圖深度融合后，可以顯著提升模型對小目標物體的檢測能力。改進特征金字塔網絡（ZL-FPN）的結構如圖4所示。

從圖4可知，ZL-FPN網絡與原特征金字塔融合網絡的執行步驟有明顯的區別。首先，ZL-FPN網絡在生成P2_out時，使用了add操作將P2_out_1和feat2相加，而不是直接使用P2_out_1。這樣可以確保P2_out中包含盡可能多的原始特征信息，而feat2中主要

為小目標信息從而提高漂浮物的檢測精度。其次，在生成P3_out、P4_out和P5_out時，也采用了類似的add操作和殘差結構，這兩種操作目的是使特征信息更好融合。最終，通過使用add操作、殘差結構和新型特征融合模塊，充分融合各層級特征圖的信息，同時最大程度地保留原始特征信息，以提高對漂浮物特別是小目標漂浮物的檢測精度和效果。

2算法驗證及對比分析

本文算法驗證及對比分析選用Linux操作系統，CPU為11thGenIntel（R）Core（TM）i7-11800H@230GHz230GHz，GPU為GEFORCERTX3080，內存16GB，使用370版本的Python、171版本的Pytorch框架進行模型訓練、驗證以及測試。

21數據集制作及模型訓練

211數據集制作

針對單一水庫水面漂浮物數據集較少的問題，收集不同水庫的水面漂浮物圖片來制作數據集，包括埠頭鄉橫石背水庫，埠頭鄉山田水庫和古龍崗黃塘水庫等。經過預處理和篩選等操作，共選取了8446張有效圖片，并將這些圖片按照瓶子、塑料垃圾袋、落葉、樹枝、零食袋、一次性塑料盒、白色泡沫以及一次性杯子等8個類別進行標注。之所以選取這8類作為檢測類別是因為這8類漂浮物在數據收集過程中經常出現，故按照漂浮物類別出現的頻率，對其進行類別框標注，如表1所列。

使用Labeling標記軟件對數據集進行標記，生成VOC格式的訓練數據，用于訓練和測試漂浮物檢測模型。

該數據集包含復雜環境下水庫水面漂浮物圖片，從測試集中挑選8幅具有代表性的待檢測圖，主要分為兩類：第一類是水面漂浮物距離較近且清晰的待檢測圖，如圖5（a）～（d）所示；第二類是位置較遠且模糊的待檢測圖，如圖5（e）～（h）所示。

212模型訓練

將數據集按照7∶2∶1的比例劃分為訓練集、驗證集和測試集。在進行預處理操作后，圖片大小被設置為640×640。設置此次訓練輪次為350輪，采用SGD下降方法，batchsize（批大?。?6。在訓練過程中，得到損失曲線圖，如圖6所示。

22算法驗證及結果分析

改進后模型對211小節所示的8幅待檢測圖以及不同算法在較為復雜場景下的檢測效果如圖7所示。由圖7檢測識別結果可知，改進算法在不同的環境下都能很好識別出水面上的漂浮物。

為進一步驗證改進算法的性能，將YOLOv3、YOLOv4、YOLOX以及ZL-YOLOX（本文改進算法名稱）的檢測識別精度進行對比，對比曲線如圖8所示。

從圖8可知，改進后的ZL-YOLOX算法相較于YOLOv3、YOLOv4和YOLOX算法，表現出了最優的檢測效果。具體來說，在相同的測試集上，這一提升主要得益于對主干網絡進行了優化，加強了對小目標特征的提取，以及采用了更高效的融合網絡，充分關注小目標信息。這些改進使得改進后算法針對小目標的檢測能力得到了提升，從而實現了整體精度的提升。

進行消融實驗以進一步驗證和分析所提出的改進主干網絡和改進特征金字塔網絡對模型性能的提升作用。首先，探討dark2層數的選取，其結果如表2所列。

從表2可知，mAP平均檢測精度總體隨著層數的增加而不斷提升，但當結構變為12層時，模型精度反而出現了下降。因此，在此水面漂浮物數據集下，選擇9層結構的dark2模塊可以獲得最高的精度，如果層次結構較淺，可能會導致獲取小目標信息不充分；較深，則可能過度關注邊緣特征而忽略主體信息。與原始的YOLOX算法相比，改進后算法的識別精度提高了近5%。這主要是因為此結構所產生的特征圖大小為160×160，包含25600個小方格，具有感受野小的特點。引入dark2模塊可以更好利用此特征圖，并把此特征信息作為輸出信息。

在此基礎上，對改進模型做進一步消融實驗探討各改進結構對模型精度的提升能力，其實驗結果如表3所列。

從表3可知，相比于原始YOLOX算法，僅使用ZL-FPN改進后的算法，在mAP指標上提升了約2%，改進后模型的檢測能力得到了小幅提升，其原因是使用了更加有效的特征融合方式。僅使用改進主干網絡改進后的算法，相較于原始YOLOX算法，在mAP指標上提升了約4%，對水面漂浮物的檢測能力得到較大的提升，其原因是三分支輸出變為四分支輸出，主要增加了對小目標敏感的特征圖信息feat2并傳入特征融合網絡。為了使檢測能力最大化，使用改進主干網絡和ZL-FPN對原始YOLOX算法進行改進，mAP達到了最大值即8583%，其原因是融合了各部分改進的優勢，提升了改進后模型對水庫水面漂浮物的檢測能力，特別是對水庫中的小目標漂浮物可以做到不漏檢且分類更為準確。

為了更加全面深入地探究模型的性能，將改進后的模型與YOLOv3、YOLOv4和YOLOX對數據集所標注的8類漂浮物的檢測結果進行對比分析，評價指標包含各類的精確度（AP）、mAP、模型的總體參數、漏檢率以及FPS，結果見表4。

從表4可知，相比于YOLOX，改進后的算法在參數量增加不多的前提下，對每個類別的識別精度都達到了最優。其中，改進算法對一次性杯子的識別精度提升最大，相比于YOLOX模型提升了15%。即使對于檢測精度已經達到93%的零食袋類，改進后的算法仍然在此基礎上提升了3%的精度。此外，表中還顯示出，改進后的算法對于常見的小目標漂浮物，如零食袋、瓶子和白色泡沫這3類物體，都能夠達到91%以上的檢測精度，最高檢測精度達到96%。而一次性塑料盒、一次性杯子、樹枝以及塑料袋這4類物體的檢測精度也都達到了90%左右。即使是檢測精度最低的落葉類，改進后的算法也比YOLOX提升了1765%。綜上所述，改進后的算法能夠更加適用于水庫水面漂浮物檢測，特別是對水庫中的小目標漂浮物可以做到不漏檢且分類更為準確。

3結語

本文針對目前水庫水面小目標漂浮物檢測識別的需求，提出了一種基于改進YOLOX的目標檢測算法。主要的改進在于主干網絡和特征金字塔網絡的優化。通過實驗對比分析，相較于YOLOv4和YOLOX算法，本文提出的算法在此次收集的數據集上整體檢測精度分別提升了2993%和1211%。此外，針對常見的8類水面漂浮物（瓶子、塑料垃圾袋、落葉、樹枝、零食袋、一次性塑料盒、白色泡沫和一次性杯子）其檢測精度也有顯著提升。實驗證明改進后的算法為水庫水面檢測尤其是小目標檢測識別提供了有效的解決方案，有助于緩解人工巡查帶來的不便，后續可以將此改進模型與智能化平臺相結合，通過傳入原圖經此模型檢測后，將檢測結果展示在前端屏幕，從而提升水庫智能化管理水平，并為水生態環境保護提供了重要技術支撐。

參考文獻：

［1］李寧，王雨萱，徐守坤，等基于AlexNet的小樣本水面漂浮物識別［J］計算機應用與軟件，2019，36（2）：245-251

［2］BARRERAA，BELTRNJ，GUINDELC，etalBirdNet+：two-stage3DobjectdetectioninLiDARthroughasparsity-invariantbird′seyeview［J］IEEEAccess，2021，9：160299-160316

［3］李國進，姚冬宜，艾矯燕，等基于改進FasterR-CNN的水面漂浮物識別與定位［J］信陽師范學院學報（自然科學版），2021，34（2）：292-299

［4］鮑佳松，黃細霞，姬克，等基于深度卷積神經網絡的水面漂浮物分類識別［J］傳感器與微系統，2021，40（10）：136-138，146

［5］劉偉，王源楠，江山，等基于MaskR-CNN的水面漂浮物識別方法研究［J］人民長江，2021，52（11）：226-233

［6］張堡瑞，肖宇峰，鄭又能基于激光雷達與視覺融合的水面漂浮物檢測［J］應用激光，2021，41（3）：619-628

［7］SANCHEZPR，ZHANGH，HOSS，etalComparisonofone-stageobjectdetectionmodelsforweeddetectioninmulchedonions［C］∥2021IEEEInternationalConferenceonImagingSystemsandTechniques（IST），IEEE，2021：1-6

［8］李國進，姚冬宜，艾矯燕，等基于改進YOLOv3算法的水面漂浮物檢測方法［J］廣西大學學報（自然科學版），2021，46（6）：1569-1578

［9］SHANHUAZ，LIP，NING-SHENGFReal-timedetectionmethodofsurfacefloatingobjectsbasedondeeplearning［C］∥202019thInternationalSymposiumonDistributedComputingandApplicationsforBusinessEngineeringandScience（DCABES），IEEE，2020：174-177

［10］HAQMA，RUANSJ，SHAOME，etalOnestagemonocular3Dobjectdetectionutilizingdiscretedepthandorientationrepresentation［J］IEEETransactionsonIntelligentTransportationSystems，2022，23（11）：21630-21640

［11］ZHANGL，WEIY，WANGH，etalReal-timedetectionofriversurfacefloatingobjectbasedonimprovedRefineDet［J］IEEEAccess，2021，9：81147-81160

［12］ZHOUJ，HUW，ZOUA，etalLightweightdetectionalgorithmofkiwifruitbasedonimprovedYOLOX-S［J］Agriculture，2022，12（7）：993

［13］ROYAM，BOSER，BHADURIJAfastaccuratefine-grainobjectdetectionmodelbasedonYOLOv4deepneuralnetwork［J］NeuralComputingandApplications，2022，34（5）：3895-3921

［14］CHENGB，WEIY，SHIH，etalRevisitingRCNN：onawakeningtheclassificationpoweroffasterRCNN［C］∥ProceedingsoftheEuropeanconferenceoncomputervision（eccv），2018：453-468

［15］KOYUNOC，KESERRK，AKKAYAIB，etalFocus-and-detect：Asmallobjectdetectionframeworkforaerialimages［J］SignalProcessing：ImageCommunication，2022，104：116675

［16］HEK，GKIOXARIG，DOLLáRP，etalMaskr-cnn［C］∥ProceedingsOfTheIEEEinternationalconferenceoncomputervision，2017：2961-2969

［17］HEA，CHENG，ZHENGW，etalDrivercell-phoneusedetectionbasedonCornernet-liteNetwork［C］∥IOPConferenceSeries：EarthandEnvironmentalScienceIopPublishing，2021，632（4）：042004

［18］PADILLAR，PASSOSWL，DIASTLB，etalAcomparativeanalysisofobjectdetectionmetricswithacompanionopen-sourcetoolkit［J］Electronics，2021，10（3）：279

［19］PALSK，PRAMANIKA，MAITIJ，etalDeeplearninginmulti-objectdetectionandtracking：stateoftheart［J］AppliedIntelligence，2021，51：6400-6429

［20］LIUB，HUANGJ，LINS，etalImprovedYOLOX-Sabnormalconditiondetectionforpowertransmissionlinecorridors［C］∥2021IEEE3rdInternationalconferenceonPowerDataScience（ICPDS），IEEE，2021：13-16

（編輯：郭甜甜）