面向水利監管的違采事件檢測并行化方法研究

馬斌 徐海軍 陳嘉靖

摘 要：現有卷積神經網絡檢測方法不能滿足高檢測精度和速度的要求。針對此不足，利用卷積神經網絡選取目標檢測算法，以ＤａｒｋＮｅｔ５３ 網絡模型為基礎，結合黃河流域違采事件特點，對模型加入并行化設計，以檢測速度和檢測精度為評價指標，利用對比實驗驗證并行化后的ＨＯ－ＤａｒｋＮｅｔ 網絡模型的加速效果。結果表明：并行化前ＨＯ－ＤａｒｋＮｅｔ 模型的精確率約７５％、召回率約９６％、ｍＡＰ＠ ０．５ 為９８．５８％、ｍＡＰ＠ ０．５ ∶ ０．９５ 為６４．２５％，與ＤａｒｋＮｅｔ５３ 模型相比，并行化前ＨＯ－ＤａｒｋＮｅｔ 模型的ｍＡＰ＠ ０．５、ｍＡＰ＠ ０．５ ∶ ０．９５ 值分別提升了７．９８％、８．７９％；與并行處理前ＨＯ－ＤａｒｋＮｅｔ 模型相比，并行處理后ＨＯ－ＤａｒｋＮｅｔ 模型的ｍＡＰ 精度值未發生太大變化，但其加速比提高了２．３２，對于視頻圖像的處理速度為２１ ｆｐｓ／ ｓ，達到視頻圖像處理速度標準。

關鍵詞：ＨＯ－ＤａｒｋＮｅｔ 模型；水利監管；違采事件檢測；并行化；黃河

中圖分類號：ＴＶ８５３；ＴＶ８８２．１ 文獻標志碼：Ａ ｄｏｉ：１０．３９６９／ ｊ．ｉｓｓｎ．１０００－１３７９．２０２３．１０．０２２

引用格式：馬斌，徐海軍，陳嘉靖．面向水利監管的違采事件檢測并行化方法研究［Ｊ］．人民黃河，２０２３，４５（１０）：１２２－１２５．

近年來，頻繁發生的黃河違規采砂事件對流域生態系統造成了嚴重破壞。為此，相關部門提出開展黃河河道采砂專項整治行動，通過強化法治管理，維護河道采砂秩序，促進黃河流域生態系統平穩發展［１］ 。在眾多檢測技術中，目標檢測算法在水文檢測、水位信息智能識別、砂石檢測［２］ 等方面發揮著重要作用，其中基于深度學習的目標檢測算法應用尤其廣泛［３］ 。深度學習是在卷積神經網絡的基礎上，通過增加網絡深度提高計算機提取數據特征的能力［４］ 。然而，增加網絡深度會加大運算量，影響檢測效率。采用數據并行、模型并行等方法對多模型進行優化，可以加速運算。數據并行是指在完整模型基礎上，通過把數據劃分為若干份，實現多批次數據同時訓練。此時并行設備數量會受到批數據大小的限制，當批數據過大時，達到相同收斂精度所需的迭代次數會大幅度增加。模型并行是指將模型按層或者其他方式分解為若干份來進行訓練，這種方法通常用于拆分大型模型，以加速訓練過程，但其擴展性較差。目前，ＰｙＴｏｒｃｈ 和ＴｅｎｓｏｒＦｌｏｗ 等主流深度學習框架都采用數據并行方式。

本文以面向水利監管的違采事件為研究對象，首先改進檢測算法模型，減少梯度信息量，再采用并行運算提高模型訓練速度和檢測速度，最后基于違采事件監管數據集驗證模型并行后的加速效果，以期為快速、準確地檢測違采事件提供新技術。

１ 理論方法

１．１ 卷積神經網絡

卷積神經網絡（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮ）模型［５］結構分為卷積層、池化層和全連接層。卷積層從輸入特征圖像通道提取特征信息［６］ ；池化層對提取的特征信息進行下采樣，減輕網絡模型的過擬合程度；全連接層連接提取的特征圖像，使用分類器得到最終分類結果。在卷積神經網絡模型中，通常會在若干個卷積層和池化層之后引入全連接層，池化層伴隨卷積層交替顯示。

１．２ 目標檢測算法

ｏｎｅ?ｓｔａｇｅ 和ｔｗｏ?ｓｔａｇｅ 算法是基于深度學習的主要目標檢測算法［７－８］ 。ｔｗｏ?ｓｔａｇｅ 算法先通過某種方式生成一些候選框，再通過卷積神經網絡對候選框進行分類。常見的ｔｗｏ?ｓｔａｇｅ 目標檢測算法有Ｆａｓｔｅｒ－ＲＣ?ＮＮ［９］ 、Ｒ－ＦＣＮ［１０］ 算法，此類算法要進行多次檢測和分類，運行較慢。而ｏｎｅ?ｓｔａｇｅ 目標檢測算法只需將數據一次傳送進網絡，就可以預測出所有的邊界框。常見的ｏｎｅ?ｓｔａｇｅ 目標檢測算法有ＳＳＤ 和ＹＯＬＯ ｖ３ 算法，此類算法沒有單獨的候選區域提取過程，不需要產生候選框，僅一個前饋ＣＮＮ 網絡就可以完成目標的位置檢測和分類預測任務，因此ｏｎｅ?ｓｔａｇｅ 目標檢測算法簡便快捷、運行較快。ｏｎｅ?ｓｔａｇｅ 目標檢測算法中ＤａｒｋＮｅｔ５３網絡模型作為基于殘差網絡結構的卷積神經網絡模型，被廣泛應用于目標檢測領域。本文基于ＤａｒｋＮｅｔ５３ 網絡模型展開違采事件檢測研究。

２ 違采事件檢測模型構建與并行化分析

２．１ 違采目標群選取

通過調查黃河流域違規采砂事件發現，違采人通常利用手推車、裝載車、挖掘機等進行采砂，再進行非法售賣。因此，本文主要選取違采人、采砂工具等作為特定的違采目標群來進行模型設計。２．２ 違采事件檢測模型構建ＤａｒｋＮｅｔ５３ 網絡模型由卷積層和殘差層組成，使用大量殘差跳層連接，其包含的梯度信息數量多、重復率高。針對此問題，提出改進的ＨＯ－ＤａｒｋＮｅｔ 網絡模型來構建違采事件檢測模型。在ＨＯ－ＤａｒｋＮｅｔ 網絡模型中，把基礎層次的特征圖劃分成２ 個部分，再使用跨階段的層次結構將它們合并，可以減少網絡模型中大量重復的梯度信息，提高網絡模型的處理速度。ＨＯＤａｒｋＮｅｔ網絡模型單個模塊（ＨＯ＿Ｘ）結構見圖１，圖中ＣＢＬ 為Ｃｏｎｖ（卷積）、ＢＮ（批量歸一化）、Ｌｅａｋｙ＿ｒｅｌｕ 激活函數三者結合的組件；Ｒｅｓ ｕｎｉｔ 組件借鑒Ｒｅｓｎｅｔ 網絡中的殘差結構，可以增加網絡深度；Ｃｏｎｃａｔ 組件的作用是張量拼接，會擴大維度的張量。

３ 數據獲取與預處理

數據獲取方式有實地拍攝和網上圖像爬取。本研究通過實地拍攝獲取５ ０００ 張圖像，通過網絡爬蟲技術獲得３５ ０００ 張圖像，共獲取４０ ０００ 張圖像作為實驗數據集。由于采集的數據集會受到圖像尺寸、圖像清晰度、目標受遮擋程度等因素的影響，因此需要對采集圖像進行數據清洗、人工篩選。采用Ｌａｂｅｌｉｍｇ 軟件對數據集進行標注，制作成ＶＯＣ 格式的數據集，在Ａｎ?ｎｏｔａｔｉｏｎ 文件路徑下生成與標注圖像相對應的ｘｍｌ 文件。對采集的圖像進行處理后，得到違規采砂數據集分類數量如下：違采人圖像３ １４２ 張，鏟車圖像２ ８１２張，灰斗車圖像２ ７４６ 張，鏟子圖像２ ６００ 張，挖掘機圖像３ ０６８ 張，汽車圖像２ ７５０ 張，拉砂車圖像３ ３５２ 張。

４ 確定評價指標

采用精確率、召回率和平均精確度（ｍＡＰ）對模型效果進行評估。精確率是指正確預測的正例個數占所有預測為正例的樣本個數的比率［１１］ 。召回率是指所有被正確識別的目標數量占所有被識別目標數量的比率［１２］ 。ｍＡＰ 表示一個模型在多個類別上的檢測準確性，用ｍＡＰ＠ ０．５ 表示ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）閾值為０．５ 時的平均精確度，用ｍＡＰ＠ ０．５ ∶ ０．９５ 表示ＩｏＵ 閾值為０．５～０．９５時的平均精確度。

衡量并行算法性能的指標有加速比和并行效率［１３］ 。加速比反映系統運行并行程序時發揮并行能力的程度，其與硬件、軟件都有關系。并行效率是衡量并行計算系統利用多個處理單元或計算資源時的有效性和性能提升程度的指標，反映實際執行時間與理論最佳執行時間之間的差異。

５ 實驗結果分析

采用ＨＯ－ＤａｒｋＮｅｔ 網絡模型對違采事件進行實驗，使用獲取的違規采砂數據集進行訓練和測試，批處理大小設置為３２，訓練次數為５ ０００ 次，測試次數為１ ０００次，初始學習率設為０．００１，在測試第２ ０００ 次和第４ ０００ 次后各設置學習率為０．０００ １、０．０００ ０１ 進行實驗。實驗效果見圖３ 和表１。

閾值為５０ 時可以實現精確率和召回率的平衡，此時ＨＯ－ＤａｒｋＮｅｔ 網絡模型的精確率在７５％附近波動，召回率在９６％ 附近波動。與ＤａｒｋＮｅｔ５３ 模型相比，ＨＯ－ＤａｒｋＮｅｔ模型的ｍＡＰ＠ ０．５、ｍＡＰ＠ ０．５ ∶ ０．９５ 值分別提升了７．９８％、８．７９％，ＨＯ－ＤａｒｋＮｅｔ 網絡模型性能有所提高。

在處理速度方面，標準的視頻圖像處理速度為２４～３０ ｆｐｓ／ ｓ。經過多次實驗發現，ＨＯ－ＤａｒｋＮｅｔ 網絡模型對于視頻圖像的處理速度為６ ｆｐｓ／ ｓ，不能達到實際應用需求。因此，采用并行方法進一步對ＨＯ－ＤａｒｋＮｅｔ網絡模型進行改進，以提高處理速度。

為驗證并行化設計的有效性，本實驗繼續采用上述違規采砂數據集，設置數據集為２０ ０００ 張圖像，其中：１６ ０００ 張為訓練圖像，４ ０００ 張為驗證圖像，參數設置保持不變。并行處理前ＨＯ－ＤａｒｋＮｅｔ 網絡模型的加速比為１．００，并行處理后ＨＯ－ＤａｒｋＮｅｔ 網絡模型的ｍＡＰ ＠ ０． ５ 值為９０． ４０％， ｍＡＰ ＠ ０． ５ ∶ ０． ９５ 值為５５．３９％，加速比為３．３２。并行處理后ＨＯ－ＤａｒｋＮｅｔ 網絡模型的ｍＡＰ 精度值未發生太大變化，而檢測速度有了大幅度提升。同時經過多次檢測發現，并行處理后ＨＯ－ＤａｒｋＮｅｔ 網絡模型對于視頻圖像的處理速度為２１ ｆｐｓ／ ｓ，達到視頻圖像處理速度標準。

６ 結論

本文圍繞黃河流域違規采砂事件，對面向水利監管的違采事件檢測方法進行并行化研究。通過分析ＤａｒｋＮｅｔ５３ 網絡模型基本結構，結合檢測背景、需求和目標等特點，對卷積計算過程進行并行化分析，構建并行化ＨＯ－ＤａｒｋＮｅｔ 網絡模型。相比于ＤａｒｋＮｅｔ５３ 網絡模型，并行化的ＨＯ－ＤａｒｋＮｅｔ 網絡模型可以顯著提高檢測速度。

參考文獻：

［１］ 孫運鋒．踐行治水思路錨定“兩個確保” 深入推動河南水利高質量發展［Ｊ］．河南水利與南水北調，２０２２，５１（１）：１－６．

［２］ ＳＩＴ Ｍ，ＤＥＭＩＲＡＹ Ｂ Ｚ，ＸＩＡＮＧ Ｚ Ｒ，ｅｔ ａｌ．Ａ ＣｏｍｐｒｅｈｅｎｓｉｖｅＲｅｖｉｅｗ ｏｆ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ Ｈｙｄｒｏｌｏｇｙ ａｎｄＷａｔｅｒ Ｒｅｓｏｕｒｃｅｓ［Ｊ］．Ｗａｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，２０２０，８２（１２）：２６３５－２６７０．

［３］ ＲＥＮ Ｓ Ｑ，ＨＥ Ｋ Ｍ，ＧＩＲＳＨＩＣＫ Ｒ，ｅｔ ａｌ．Ｆａｓｔｅｒ Ｒ?ＣＮＮ：Ｔｏ?ｗａｒｄｓ Ｒｅａｌ?Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔ?ｗｏｒｋｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ＆ ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２０１７，３９（６）：１１３７－１１４９．

［４］ ＤＯＮＧ Ｓ，ＷＡＮＧ Ｐ，ＡＢＢＡＳ Ｋ．Ａ Ｓｕｒｖｅｙ ｏｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］．Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｒｅｖｉｅｗ，２０２１，４０（１）：１００３７９．

［５］ ＢＨＡＴＴ Ｄ，ＰＡＴＥＬ Ｃ，ＴＡＬＳＡＮＩＡ Ｈ，ｅｔ ａｌ．ＣＮＮ Ｖａｒｉａｎｔｓ ｆｏｒＣｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ：Ｈｉｓｔｏｒｙ，Ａｒｃｈｉｔｅｃｔｕｒｅ，Ａｐｐｌｉｃａｔｉｏｎ，Ｃｈａｌｌｅｎｇｅｓａｎｄ Ｆｕｔｕｒｅ Ｓｃｏｐｅ［Ｊ］．Ｅｌｅｃｔｒｏｎｉｃｓ，２０２１，１０（２０）：２４７０．

［６］ Ｗａｎｇ Ｚ Ｊ，ＴＵＲＫＯ Ｒ，ＳＨＡＩＫＨ Ｏ，ｅｔ ａｌ．ＣＮＮ Ｅｘｐｌａｉｎｅｒ：Ｌｅａｒｎｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｗｉｔｈ Ｉｎｔｅｒａｃｔｉｖｅ Ｖｉｓｕ?ａｌｉｚａｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ，２０２０，２７（２）：１３９６－１４０６．

［７］ 張苗，李璞，楊漪，等．基于目標檢測卷積神經網絡的圖像型火災探測算法［Ｊ］．消防科學與技術，２０２２，４１（６）：８０７－８１１．

［８］ 張海濤，張夢．引入通道注意力機制的ＳＳＤ 目標檢測算法［Ｊ］．計算機工程，２０２０，４６（８）：２６４－２７０．

［９］ ＭＡＮＳＯＵＲ Ｒ Ｆ，ＥＳＣＯＲＣＩＡ?ＧＵＴＩＥＲＲＥＺ Ｊ，ＧＡＭＡＲＲＡ Ｍ，ｅｔ ａｌ．Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｉｄｅｏ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ ａｎｄ ＣｌａｓｓｉｆｉｃａｔｉｏｎＵｓｉｎｇ Ｆａｓｔｅｒ ＲＣＮＮ ｗｉｔｈ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ Ｍｏｄｅｌ［Ｊ］．Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，２０２１，１１２：１０４２２９．

［１０］ ＣＥＮ Ｈ．Ｔａｒｇｅｔ Ｌｏｃａｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｍｏｂｉｌｅ Ｒｏｂｏｔｓ Ｂａｓｅｄｏｎ Ｒ?ＦＣＮ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ［Ｊ］．Ｉｎｔｅｒｎａ?ｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｓｙｓｔｅｍ Ａｓｓｕｒａｎｃｅ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｍａｎ?ａｇｅｍｅｎｔ，２０２１：１４（２）：７２８－７３７．

［１１］ 田喬鑫，孔韋韋，滕金保，等．基于并行混合網絡與注意力機制的文本情感分析模型［Ｊ］．計算機工程，２０２２，４８（８）：２６６－２７３．

［１２］ 劉萬軍，王鳳，曲海成．融合多尺度特征的目標檢測模型［Ｊ］．激光與光電子學進展，２０１９，５６（２３）：１２３－１３３．

［１３］ 王之元，楊學軍．并行計算系統度量指標綜述［Ｊ］．計算機工程與科學，２０１０，３２（１０）：４４－４８．

【責任編輯 栗 銘】