無人機河湖巡檢中RCNN識別算法應用研究

唐桂榮， 許 健， 錢蘇平， 付 港， 錢曉軍

(1.泰州市水利局， 江蘇 泰州 225300； 2.泰州姜堰區水利局， 江蘇 泰州 225500；3.南京師范大學計算機科學與技術學院， 江蘇 南京 210023)

江蘇省跨江濱海，河湖眾多，水網密布，共有大小河流和人工河道2 900多條，陸域水面面積達1.73萬km2，水面所占比例之大，在全國各省中居首位。近年來隨著經濟發展與人口增長，河湖治理工作量顯著增加，水體污染等問題頻發，制約了江蘇現代化社會的可持續發展。

為進一步加強全省河湖管理與保護，健全長效機制，陸續出臺并實施的以河道定期巡檢為抓手的河長制工作方案，在發揮巨大作用的同時也產生了諸如“人治主義”“短期效應” “被動應對”等問題。其主要不足可概括為以下幾點：①人工巡查費時耗力，且因為絕大部分河湖位于農村等自然地理條件相對比較惡劣的地區，加之河道自身的不利因素，如蜿蜒曲折、水質狀況差等，給人工巡檢帶來諸多不便和局限，造成巡檢效果差、費用高、效率低；②對巡檢中發現的問題采用人工報表向上報告的方式，工作強度大，問題發現不及時，處理流程長，監督不方便，事后無跟蹤；③原來的河湖管理留存工作有一些紙質的資料檔案，沒有建立相應的數字化檔案，不方便查閱。

以上這些問題成為制約水利環保事業發展的瓶頸。為解決上述問題，開發出一款河湖巡檢圖像智能處理平臺迫在眉睫。而國內外不少學者都在進行河湖管理和計算機視覺的有關研究工作，劉瓊等[1]曾研究了利用卷積神經網絡對訓練樣本進行特征提取并使用全連接網絡對特征進行分類，運用該方法可以解決河道物體識別的問題；徐露露[2]從正交實驗設計的角度出發,提出了用正交實驗設計選擇CNN的超參數的方法，可以有效地對圖像的各個參數進行正交組合，從而獲得大量訓練樣本，解決了樣本訓練源不足的問題；Mahmood等[3]描述了如何利用無人機航拍圖像生成3D地圖，實現水利設施的長效管理，并詳細討論了圖像的精細驗證方法；Pierdicca等[4]介紹了一套結合GIS和AR技術，實現流域治理的智能化終端設備，并指出該設備經過實地監測檢驗，有效的提高了相關部門開展大范圍水利監測的效率。

基于前人們的研究成果，結合實際的河湖管理情況，本文研發出以區域卷積神經網絡算法RCNN(region convolution neural network)為核心的無人機河湖巡檢圖像智能處理平臺。希望通過這個平臺提高河湖管理信息化管理水平。

1 系統結構設計

1.1 系統開發平臺

以Microsoft Visual C++ 2019，OpenCV 3.0作為開發工具，SQL Server 2014作為支持數據庫，使用iMAG app開發平臺作為移動端開發工具，采用快速原型模型(Rapid Prototype Model)法來快速實現需求、驗證算法，以4臺浪潮服務器構建1個簡單的服務器集群，提供網絡、數據庫、集成開發環境等服務。

1.2 系統功能架構

基于RCNN的無人機河湖巡檢圖像智能處理平臺采用C/S模式和B/S模式混合型結構，系統的主要業務應用功能均在B/S模式下實現。系統功能架構如圖1所示。

2 水面漂浮物識別技術

無人機航拍圖像中場景復雜，陽光在水面的照射、水面污染物與陸地某區域顏色相近、非河流區域的顏色與河流區域相近、河岸線曲折且河岸綠藻生長與岸邊植物顏色相似等問題都影響了對污染物的識別。河道作為綠色漂浮物、大面積油污、廢棄船只等污染物的載體，對圖像內河道是否分割完全成為能否進一步識別河道內污染物的關鍵。因此，本文制定了先提取河道，再基于河道進一步識別水面污染物的總體技術流程。

2.1 基于混合圖像分割算法的河道提取

圖像分割是實現目標檢測、目標識別、目標跟蹤的關鍵基礎。對彩色圖像的分割因其劃分像素的依據不同，對應的圖像分割算法也不同。本文運用k-means++聚類算法進行圖像分割，該算法可以使得初始簇中心盡可能相互分離，以避免迭代運算陷入局部最優解[5]。然而復雜背景下僅僅以聚類方式基于顏色信息進行圖像分割會造成圖像“過分割”現象。

為了使分割結果更接近理想分割圖像，通常需要基于“過分割”的結果進行區域合并。而使用區域合并方式則需考慮到區域相似性度量準則、區域合并機制、區域合并狀態值等因素[6]。

2.1.1 區域相似性度量

根據每個連通域與鄰域間的顏色差異度、邊緣相鄰度、邊緣跳躍度和鄰接關系，獲取區域相似度，所述區域相似度的計算公式為

2.1.2 區域合并機制

之后選擇待合并的區域對，根據區域合并標號選擇機制，為區域合并后的標號選擇提供決策，所述選擇機制公式為

(2)

式中：S(i,j)為第i個區域和第j個區域合并后選擇的標號；wCDi為第i個區域的標號；BCDij為在CDj鄰域中比CDi面積大、區域標號j個和相同的區域集合；CDi為第i個區域集合；OBJ為目標物集合。

圖1 系統功能架構圖

2.1.3 區域合并狀態值

依據每次迭代后的區域剩余率、色散度和邊緣跳躍度，獲取得到合并狀態值，所述合并狀態值的計算公式為

(3)

式中：Bestmerge,Kr為合并狀態值；EKr為區域邊緣差異度；Kr為區域剩余率；JKr為區域色散度。

最后由所述合并狀態值，從Maxiter次迭代后的所有合并狀態值中選出最小值，并將所述最小合并狀態作為最佳合并狀態，同時輸出所述最佳合并狀態下的連通域集合和區域標號集合。

2.2 基于RCNN的圖像識別算法

在對圖像已經進行河道分割的基礎上，本文使用基于RCNN的識別算法對圖像中污染物進一步識別。

RCNN(區域卷積神經網絡)是對CNN(傳統卷積神經網絡)的改進，主要由輸入層、卷積層、池化層、全連接層和輸出層構成[7]。其工作原理主要依據多個卷積層和多個池化層構成了多個降采樣層，再分別鏈接到輸入層的輸出和全連接層的輸入上，層層進行傳遞信息，最后由回歸器輸出結果。

其具體實現主要分為以下5個步驟：

(1)生成候選區域集：卷積神經網絡采用選擇性搜索算法，在通常情況下會生成2 000個左右的圖像特征區域，這些候選集的大小、位置都不相同，也可以重疊。

(2)調整候選集：通過第一步生成的圖像特征區域候選集大小和尺寸并不是相同的，無法直接作為神經網絡的輸入，再將提取到的候選集通過各異性縮放到了統一的大小，在縮放之前會對原始的圖片邊緣進行填充形成緩沖帶。

(3)卷積網絡提取特征：將上一步獲得的2 000個大小統一的圖片作為預訓練好的圖像分類模型的輸入來提取圖像特征。

(4)特征分類：第三步的神經網絡提取特征后與SVM分類器相連，并且需要將所有提取到的特征分別輸入到每個類別對應的SVM分類器上。最后每個SVM分類器都會得到圖像對于該類別的得分和置信度，置信度最高的類別為改圖像區域對應的預測類別。

(5)BoundingBox回歸：第一步生成候選集區域的偏差是比較大的，無法作為最后目標檢測框，所以需要對重疊比較大的候選區域進行線性回歸來得到最后精準的檢測框。流程圖如圖2所示。

圖2 基于RCNN的水面漂浮物識別流程圖

3 應用實例

目前泰州市姜堰區境內有22條區級以上河湖，長度合計約379.8 km(湖面面積約670 hm2)，水利部門大約每10d要對這些河流進行一次巡檢。前期主要使用人工巡檢方式，存在著效果差、費用高、效率低等不足，并且沒有建立數字化檔案也給后續巡檢工作帶來諸多不便。而本文研發出的軟件系統能夠實現從問題發現、問題上報、問題分配，到問題處理、問題反饋這樣一個相對完整的問題處置閉環，解決以往人工巡檢模式中存在的一些弊端。

3.1 系統運行機制

系統初步建成了泰州市姜堰區內河湖信息基礎感知體系，通過結合無人機巡檢、地理信息存儲、數字化圖像拼接、目標圖像分類識別和污染問題反饋等運行機制，推動了區域內水利、環保綜合業務精細化、數字化、智能化管理，提升科學決策調度管理水平。系統功能界面見圖3。

圖3 系統功能界面

系統運行機制主要有以下幾個步驟：

(1)對無人機巡檢中拍攝的所有照片加載唯一編號、日期、地理坐標、飛行高度等信息后，存儲于平臺軟件系統數據庫中，通過圖像處理平臺，把原始數字影像轉變為任何專業的基于GIS的系統平臺軟件都可以讀取的數字正射影像和數字高程模型數據，見圖4。

圖4 照片地理信息存儲到系統數據庫

(2)對無人機巡檢采集得到的數字化圖像進行拼接處理，將一次飛行得到的數百張有重疊部分(包括不同時間、不同視角、不同攝像頭)的圖片經過幾何校正、基于SURF (speeded up robust features) 的特征點提取與匹配、圖像配準、變換矩陣計算、圖像融合后，拼成一幅大型的無縫高分辨率圖像，見圖5。

圖5 圖像拼接

(3)對拼接得到的圖像通過基于混合圖像分割算法進行河道提取，之后再利用改進的區域卷積神經網絡(RCNN)的選擇性搜索(selective search)算法[8]對圖片生成多個候選區域，然后通過貪心策略去計算相鄰候選集之間的相似度,再通過相似度的大小去合并候選集，直到產生目標個數的候選集，從而篩選出理想目標圖像。通過使用無監督學習得到的相對較優權值對卷積神經網絡進行逐層優化，使得神經網絡前向計算得到的特征基底較隨機初始化得到的特征更接近全局最優點，從而得到相對誤差最小的訓練樣本，從而進一步篩選出最理想目標圖像，實現目標圖像分類識別。

(4)對發現的部分水體污染問題，反饋至環保治理小組，通過分析污染可能的原因，給出診斷，結合地方政府或管理部門對河道的水質及功能的要求，提出治理方案和建議，供地方管理部門作為決策依據。

4 結 論

研發的系統實現了區域內河湖管理數據的“采集、巡查、傳輸、識別、流轉、分析、決策”全過程管理。

通過4G或者5G信號傳輸，在無人機拍攝后3～5 min內就可以傳回到指揮控制中心，由中心的GPU圖像處理工作站根據設定好的程序立即進行智能判讀分類，經過系統人工審核確認后轉送問題流程處理系統，立即告知所在河段的負責人，附上相應的圖片和問題的描述,并要求在系統規定的時間里對問題的處理結果進行反饋，引入KPI考核體系，對長期累積的圖像、問題的描述等進行大數據分析處理，提出針對性的可行方案，供領導輔助決策。