基于深度學習的無人機河岸影像自動化識別研究

摘要：文章通過對內航河道相關沿線的無人機俯拍視頻進行數據分析，結合交通執法部門維護航產航權需求，充分利用巡航無人機、神經網絡等技術對航道進行智能化巡檢。調查分析傳統人工方式按月為周期對航段護岸、橋梁、錨地的巡查，存在實時性差、覆蓋率低、費用昂貴等問題。針對上述問題，文章通過無人機巡航建立長縱深、多范圍的內航河道智能識別巡檢系統，解決港航養護業務中存在的重難點問題，實現航段監管、養護的自動化與智能化。

關鍵詞：深度學習；智能感知巡航；無人機；河岸影像；神經網絡

中圖分類號： TP399 "文獻標志碼： A

0 引言

江蘇省作為我國水運大省，擁有得天獨厚的水運資源和優越的航運條件。全省境內分布著長江高等級航道以及四通八達、無縫銜接的內航干線航道網絡。江蘇省的內河航道總里程、等級航道里程、港口貨物吞吐量、萬噸級以上泊位數量以及億噸級港口數量等多項核心指標均位居全國前列。水運在全省交通運輸中占據重要地位，承擔了90%以上的能源運輸和外貿物資流通任務，是綜合交通運輸體系的重要支柱。與此同時，江蘇省政府高度重視水運發展，“十四五”規劃中明確提出建設特色鮮明的“水運江蘇”目標，圍繞水運高質量發展制定了全新的戰略思路、發展目標和具體要求。

“水運江蘇”的發展需緊扣時代主題與發展形勢的需求，順應全球新一輪技術革命浪潮。當前，人工智能、空天信息技術、數字孿生等前沿科技正逐漸應用于船舶、港口、航道、航行保障、安全監管及運行服務等領域，推動航運基礎設施、運輸裝備、組織模式及治理方式的全面革新。這些技術的快速迭代為水運發展注入了全新動能與競爭優勢。

2022年1月，交通運輸部與科技部聯合發布了《交通領域科技創新中長期發展規劃綱要（2021—2035年）》，明確提出加速推動空天信息技術與人工智能技術在交通運輸領域的深度應用。綱要強調，圍繞在役基礎設施性能提升，應開展智能化巡檢、數字化診斷、標準化評估及快速化處置等技術與裝備的研發。特別是結合低空區域與計算機視覺技術，推進內河航道設施智能巡檢系統的開發與應用，不僅契合科技發展的前沿方向，也能有效破解行業發展中的難點、痛點和堵點問題，推動水運高質量發展邁上新臺階。

1 研究背景

1.1 無人機研究背景

無人機是近年興起的一種無人駕駛的自行飛行器，集地理信息系統、通信、 圖像識別、信息處理等于一身，具備遠距離、高空、快速作業能力，能夠解決巡查耗費時間長、成本高等問題［1］。無人機巡查具有巡查成本低、反應快等優勢，可以極大地提高執法效率，指揮人員使用無人機可以在第一時間到達現場了解情況，及時執行應急處置［2］。隨著無人機續航、通信能力的提升，目前已經逐漸有基于無人機航拍基礎設施（比如大壩、橋梁、隧道等）狀態監測的應用［1，3］。除此之外，無人機航拍技術有著精準度強、可靠性高等特點，能更加高效地將所測量的數據以三維立體的形式呈現［4］，使得工作人員可以直觀具體地認識到該地區的地形地貌，即使是較為復雜的地形或者死角，無人機也可以進行數據拍攝，輔助勘測人員進行更加高效的勘測，提高了航道巡查工程和航道基礎設施狀態監測的效率［5］。

1.2 深度學習研究背景

根據國內外文獻綜述，基于人工智能視覺處理技術的交通事件檢測研究主要集中于道路交通領域，在航運領域的應用研究相對較少。尤其在航道護岸狀態檢測這一細分方向，相關研究更加稀缺。

2007年，北京宇航時代科技發展有限公司推出了一款名為“時代一號”的道路交通事件視頻檢測系統［6］，該系統能夠有效檢測拋灑物、隧道煙霧和路面異常等多種交通事件。2010年，湯一平等［7］利用全方位視覺傳感器獲取全景視頻檢測區域，基于混合高斯背景模型建立雙背景模型，結合背景差分法檢測靜止目標，該方法通過距離和時間等參數判斷短時間內的靜止目標是否為遺留物，雖然適用于靜止攝像頭場景，但在背景變化較大的情況下性能有所限制。2011年，方瑜等［8］基于經典遺留物檢測算法，改進了目標圖像的不變矩特征檢測方法，進一步提升了特征檢測的準確度和精度。Wang等［9］和Dong等［10］的研究團隊進一步優化了光流法及基于背景差分的檢測方法，在一定程度上提升了檢測性能。2017年，杭州市政府聯合阿里云等企業啟動了杭州城市“大腦項目”，進一步拓展了交通事件識別的應用場景，該系統能夠從復雜動態的混合交通流中精確識別行人和非機動車，從而實現對交通擁堵、逆向行駛、非機動車占用機動車道以及行人進入機動車道等事件的實時檢測與分析。2019年，李清瑤［11］針對車載視頻檢測場景，提出了一種基于幀間差分的自適應檢測方法，有效克服了傳統幀間差分法和均值背景減除法的部分缺陷。然而，該方法在光照強烈的環境中容易出現誤檢且不能滿足基于路網監控視頻的交通事件檢測需求。

綜上，基于無人機的空天信息技術與人工智能技術已經趨于成熟，然而當前航道養護的業務模式依然較為傳統［12］，其主要依賴人工駕駛船舶沿河巡查或者人工駕駛車輛沿岸進行定期巡檢的方式開展日常養護運維工作。具體而言，養護人員通常以月度為周期，對航段內的護岸、航標、橋梁、錨地等航道設施進行目視檢查，判斷設施的損壞情況并據此制定養護計劃［13］。這種傳統的養護方式存在明顯的局限性和問題。

（1）時效性不足：人工定期巡檢難以實時掌握設施狀態，可能導致河道損壞問題發現滯后，從而影響及時處置。設施損壞可能在巡檢周期內持續惡化，增加后期修復難度和維護成本，甚至可能引發航道安全事故，影響航運正常運行。

（2）覆蓋率有限：受制于人力和巡檢范圍，部分設施可能無法全面檢查，存在巡檢盲區，導致潛在隱患無法及時識別。被忽略的區域可能長期處于無人監管狀態，隱患積累會對航道整體安全和功能造成威脅，尤其是在極端天氣或突發事件中容易引發連鎖問題。

（3）效率與資源利用率低：巡檢過程對人力和時間的依賴較大且未充分利用現代技術手段，導致航道基礎設施利用效率偏低，整體運行效能受限。巡檢效率低下使得問題處置周期較長，設施利用率降低；此外，高人力需求增加了管理成本，而資源調度不科學可能導致部分設施維護不足或重復浪費。

2 算法研究目標

（1）通過使用神經網絡、無人機巡航技術構建具有長縱深和廣泛適應性的內航河道智能識別巡檢系統，包括訓練神經網絡用于識別沿岸河道存在的異常事件，使用無人機巡航拍攝河道的視頻，拍攝到的視頻投遞給訓練好的神經網絡用于異常事件的推理。無人機拍攝的視頻角度多，飛行的頻次更高，能有效解決人工巡航的時效性以及覆蓋性問題。

（2）通過無人機的靈活部署與航段巡檢的高效聯動，能夠進一步推動航段監管與養護作業的自動化與智能化轉型，顯著提升航道管理的精細化水平和運行效率。

3 基于深度學習的無人機河岸影像自動化識別算法設計

3.1 算法流程設計

針對無人機拍攝的大運河及主要內河航道的視頻流數據，本研究首先將這些視頻數據導入相應的數據管理平臺進行存儲與管理，算法服務器隨后從數據平臺中提取所需的相關視頻流片段進行詳細分析。在數據處理階段，采用逐幀處理的方式對每一個視頻流片段進行精確的事件檢測，具體的處理流程按照預定的順序進行，算法設計如圖1所示。該過程包括視頻數據的預處理、特征提取、事件識別與分類等，通過高效的算法體系對每一幀進行精細化分析，確保檢測結果的準確性和實時性。

針對待處理的視頻流，算法首先執行視頻數據的讀取操作，將視頻內容按幀進行切割，以便對每一幀進行獨立處理。接下來，算法將對每一幀進行基于人工智能的智能化分析，利用視頻AI技術對畫面進行異常檢測與識別。在此過程中，算法不僅會對異常事件進行精準識別，還會在畫面上進行標注，以便后續查看和分析。這一標注過程包括對事件發生位置、類型和嚴重程度的詳細標示，確保系統呈現的異常信息能夠讓工作人員一目了然。最后，經過算法處理和標注的視頻流將被打包成AI分析過的視頻數據，發送并推送至系統平臺。視頻處理過程確保了視頻流的高效傳輸與數據實時更新，便于后續的監控與決策支持。

3.2 識別算法設計

本研究中，算法的識別模塊主要功能是高效地識別視頻中的異常事件與現象。在實現這一目標的過程中，核心識別算法選用YOLOv7神經網絡。與之前的目標檢測網絡相比，YOLOv7在多個關鍵方面更具有優勢，能顯著提升目標檢測的準確性與效率。首先，YOLOv7采用更加高效和強大的網絡架構，提升了視頻檢測的處理速度和檢測精度。YOLOv7的深度學習架構能夠在保證高精度的同時，減少計算資源的消耗，提升視頻檢測的能力。與前一版YOLO相比，YOLOv7在處理大規模數據時表現出更強的魯棒性和適應性，能夠快速應對復雜場景中的目標變化。其次，YOLOv7在特征提取方面進行了創新，采用更加高效的特征提取方法。這些方法能夠更精準地捕捉圖像中的關鍵特征，尤其是在復雜背景和細微目標檢測時，比如河岸數據中的標識標牌等。通過對圖像層次特征的深度學習，YOLOv7能更準確地識別和定位目標，從而減少漏檢和誤檢的概率。此外，YOLOv7的損失函數也經過了適當調整和優化，通過精細化的損失函數設計，網絡能夠更好地平衡定位精度與分類精度，有效提高了訓練以及后期推理過程中目標的準確識別。特別是在處理小物體和復雜背景時，YOLOv7的損失函數能夠顯著改善模型的性能，確保檢測結果的可靠性。最后，YOLOv7的訓練速度得到了大幅提升，得益于優化后的網絡架構和高效的算法設計，YOLOv7能夠在更短的時間內完成大規模數據集的訓練。這不僅縮短了模型的訓練周期，也使得模型能夠更快速地迭代和優化，以適應不同應用場景的需求。因此，YOLOv7在保證高精度檢測的同時，也大大提升了系統的實時響應能力和部署效率。

3.2.1 ELAN模塊

ELAN模塊如圖2所示。YOLOv7通過精確調控網絡中最短與最長的梯度路徑，深層神經網絡能夠更有效地進行學習并實現收斂，在此背景下，提出了一種增強學習模塊網絡（Enhanced Learning Architecture Network，ELAN）。其中跨越全連接層采用1×1卷積的連接方式，結構的設計細節如圖2中上面2條通路。使用上述結構，無論梯度路徑長度和計算模塊數量如何，都可以達到穩定狀態。

3.2.2 最大池化層（Max Pool，MP）模塊

在典型的神經網絡架構設計中，卷積層扮演著至關重要的角色，用于提取輸入數據的特征，而在這些卷積層之后，為了降低數據的維度并減少計算量，通常會連接平均池化層和最大池化層，這2種池化層分別通過計算局部小區域內的平均值和最大值來提取特征，各有其獨特優勢。然而，在本算法設計中，為了進一步提升模型的性能和特征提取能力，引入了額外的卷積操作。MP模塊設計如圖3所示，卷積操作采用了3×3的大小，設置步長為2，從而在卷積過程中實現了數據降維。

MP卷積操作不僅汲取了池化層在處理局部小區域時捕捉最大值信息的優勢，即能夠突出局部區域中的顯著特征，同時還綜合考量了該局部小區域內所有值的信息。這意味著，MP卷積操作不僅能夠捕捉到局部區域的最大特征，還能夠保留更多關于該區域的細節信息，從而有助于提升模型的整體性能。

綜上所述，本研究通過引入新一代的YOLOv7神經網絡，實現了對輸入數據更全面、特征提取更深入，為后續的模型訓練和推理奠定基礎。

3.3 圖像預處理

在視頻前景提取、異常事件識別分析執行過程中，會遭遇多種環境噪聲的干擾，這些噪聲源可能成為引發誤報的關鍵因素。經過實驗分析，檢測結果的準確性主要受2類噪聲的影響顯著：數字圖像噪聲、環境噪聲。

在實際應用場景中，數字圖像噪聲發生的概率遠遠小于環境噪聲，對養護異常事件檢測系統的擾動相對較小，因此，本研究通過有效抑制環境噪聲，來顯著降低護岸異常事件的誤報率。特別地，本研究針對護岸兩側樹木產生的陰影等特定類型的噪聲，采取了針對性的去除措施，以期進一步提升異常事件檢測的準確性和魯棒性。

為了解決環境噪聲問題，本研究改進了高斯濾波函數。高斯函數是高斯濾波的核心組成部分，其形狀類似于鐘形曲線，在中心點取最大值，隨著距離中心點的增加逐漸減小至0。這種函數特性使得高斯濾波在處理圖像時，能夠給予中心點更高的權重，同時逐漸降低周圍像素的權重。本研究使用非線性降低權重法來增加高斯函數對于環境噪聲的優化，從而實現圖像的平滑處理。圖像預處理前后對比如圖4所示。

無人機拍攝的遙感視頻圖像，經過該預處理算法后，可以有效去除環境噪聲并保持原有的圖像信息，為后期的模型訓練以及模型推理做好準備。

4 算法效果展示

本文使用超過10000張河道沿岸樣本數據進行深入訓練后，YOLOv7神經網絡模型展現出了卓越的檢測能力，能夠精準識別無人機航拍視頻中河道沿岸的各種異常事件。在訓練數據集挑選過程中，實地采集省內13個地級市的內航河道數據，樣本數據涵蓋多種復雜場景，包括不同的河道地形特征、多樣化的植被覆蓋情況以及光照、天氣等環境變量，從而顯著提升模型的魯棒性和適應性。經過多輪迭代訓練優化，YOLOv7不僅能夠快速捕捉異常目標，還能精準標注異常事件的具體位置和類型。例如：對于護岸損 "毀、拋灑物堆積、標識標牌遮擋等不同類型的異常情況，模型均能實現高精度、高效率的檢測。檢測結果如圖5展示。

從檢測結果分析可以看出，針對常見的沿岸河道異?，F象，神經網絡模型在處理無人機拍攝的視頻數據時表現出極高的準確性。通過對視頻幀逐一分析，本研究能夠有效識別包括護岸損毀、堆積物阻塞、非法廣告、標識標牌等典型異常事件，對其進行精準定位和標注。將這些檢測結果以可視化方式標記輸出，進一步增強了結果的直觀性與可解讀性，為后續的智能化管理與決策支持提供了重要依據。這一成果表明，基于神經網絡的智能檢測方法在無人機視頻處理領域具有廣闊的應用前景，為沿岸河道異?，F象的高效監測提供了技術保障。

5 結語

本研究通過結合江蘇省內大運河及內河航道的無人機視頻流數據，采用先進的YOLOv7目標檢測算法，能夠精準識別河道沿岸的各類異?，F象，充分利用無人機靈活的飛行角度與廣泛的覆蓋范圍，有效克服了傳統人工巡查方法中存在的覆蓋率不足、時效性較差以及資源利用率低等問題。通過將無人機獲取的視頻數據與神經網絡算法相結合，實現了對河道異常的高效檢測和精準定位，為河道管理提供了強有力的技術支撐。研究成果不僅展現了基于深度學習的智能檢測方法在無人機視頻處理中的顯著優勢，還為解決河道監測中的關鍵痛點提供了創新性解決方案，進一步拓寬了無人機和人工智能技術在內河航道管理中的應用前景，為河道安全和管理效率的提升奠定了技術基礎。

參考文獻

［1］厲狄龍，沈劍，毛江鴻，等.無人機在沿海腐蝕環境橋梁病害巡檢中的應用［J］.低溫建筑技術，2018（3）：128-130，137.

［2］王海波.無人機在內河航道養護管理中的應用分析［J］.珠江水運，2024（17）：100-102.

［3］陳顯龍，陳曉龍，趙成，等.無人機在路橋病害檢測中的設計與實現［J］.測繪通報，2016（4）：79-82.

［4］方留楊，陳華斌，吳曉南，等.基于無人機三維建模技術的橋梁檢測方法研究［J］.中外公路，2019（1）：109-113.

［5］馬小東.無人機航測技術在道路測量中的應用［J］.測繪與空間地理信息，2023（12）：147-150.

［6］KHATOONABDI S H， BAJIC I V. Video object tracking in the compressed domain using spatio-temporal Markov random fields［J］. IEEE Transactions on Image Processing， 2012 （1）： 300-313.

［7］湯一平，富吉勇，陳耀宇.基于全方位計算機視覺的遺留物檢測系統［J］.計算機測量與控制，2010（3）：517-519，523.

［8］方瑜，滕奇志，李科偉，等.復雜場景下遺留物體的檢測［J］.計算機仿真，2011（1）：281-284.

［9］WANG W， SU Z， PAN J， et al. Robust optical flow estimation based on brightness correction fields［J］. Journal of Zhejiang University Science C， 2011 （12）： 1010-1020.

［10］DONG G， AN X， FANG Y. Contributions to Horn-Schunck optical flow equations-part I： stability and rate of convergence of classical algorithm［J］. Journal of Central South University， 2013 （7）： 1909-1918.

［11］李清瑤.基于視頻流的高速公路拋灑物檢測［D］.長春：長春理工大學，2019.

［12］李平，徐煒，陶方.自然資源權籍調查技術方法及應用研究［J］.江蘇科技信息，2024（18）：120-124.

［13］鄧三鴻，章學周，劉昱琪.國內外物聯網研究進展與對比分析［J］.江蘇科技信息，2024（13）：1-4，9.

（編輯 王永超編輯）

Research on automated recognition of drone-based riverbank images based on deep learning

HANG" Zhen1， CHEN" Yao2*

（1.Taizhou Port and Shipping Development Center， Taizhou 225300， China; 2.Jiangsu Changtian Zhiyuan

Transportation Technology Co.， Ltd.， Nanjing 210036， China）

Abstract： This study analyzes aerial drone footage along inland waterways and integrates the requirements of traffic enforcement agencies for protecting navigation assets and rights. By fully utilizing patrol drones and neural network technologies， it develops an intelligent inspection system for navigation channels. Traditional manual inspection methods， conducted monthly， suffer from issues such as poor real-time performance， low coverage， and high costs when inspecting riverbanks， bridges and anchorages. To address these challenges， the study establishes a deep， wide-range intelligent recognition and inspection system for inland waterways through drone patrols. This system comprehensively tackles key and challenging issues in port and waterway maintenance， achieving full coverage of navigation sections above designated levels and enabling automation and intelligence in the monitoring and maintenance of navigation channels.

Key words： deep learning; intelligent perception cruise control; UAV; riverbank images; neural network