







摘要:為了提升針對(duì)違章建筑和河道岸線非法占用目標(biāo)的檢測(cè)精度,基于Drone-YOLO目標(biāo)檢測(cè)基線模型,融入模擬河道岸線區(qū)域特征的數(shù)據(jù)增強(qiáng)模塊,并結(jié)合BiFPN特征金字塔網(wǎng)絡(luò)結(jié)構(gòu),設(shè)計(jì)并實(shí)現(xiàn)了Drone-YOLO-RCD多尺度無人機(jī)圖像實(shí)例分割算法;并且根據(jù)該算法構(gòu)建了一套地物變化檢測(cè)系統(tǒng),形成了一種基于無人機(jī)全景影像的河道岸線地物變化檢測(cè)方法。在自制數(shù)據(jù)集PGIS_RCD上的實(shí)驗(yàn)結(jié)果顯示:相較于Drone-YOLO基準(zhǔn)算法,Drone-YOLO-RCD算法在六大地類的平均精度mAP@0.5上提升了0.044,實(shí)現(xiàn)了對(duì)違章建筑和非法占用問題的精準(zhǔn)識(shí)別以及地物變化檢測(cè)。研究成果推動(dòng)了河道岸線生態(tài)環(huán)境的“數(shù)字化”管理,可為科學(xué)掌握河道岸線建筑活動(dòng)范圍提供有力的技術(shù)支持。
關(guān) 鍵 詞:地物變化檢測(cè); 河道岸線巡檢; Drone-YOLO; 實(shí)例分割算法; 無人機(jī)全景影像
中圖法分類號(hào): TP391 文獻(xiàn)標(biāo)志碼: A
DOI:10.16232/j.cnki.1001-4179.2025.03.031
0 引 言
河道岸線區(qū)域作為人口和經(jīng)濟(jì)發(fā)展的關(guān)鍵區(qū)域,其地物變化的檢測(cè)與管理對(duì)河道資源的利用和保護(hù)至關(guān)重要。傳統(tǒng)岸線變化檢測(cè)方法主要依賴于大尺度、多時(shí)相的衛(wèi)星遙感影像,并結(jié)合深度學(xué)習(xí)技術(shù)來捕捉和分析地表變化[1-3]。然而,這些方法存在重訪周期長(zhǎng)和影像分辨率不足的問題。同時(shí),高昂的成本和技術(shù)門檻也限制了其在地方管理部門中的廣泛應(yīng)用。
近年來,無人機(jī)技術(shù)的發(fā)展為河道岸線變化檢測(cè)提供了新的視角和手段。如胡義強(qiáng)等介紹了遙感技術(shù)在生態(tài)環(huán)境監(jiān)測(cè)領(lǐng)域的應(yīng)用,并指出無人機(jī)憑借其靈活性、實(shí)時(shí)性和成本效益,有效彌補(bǔ)了衛(wèi)星遙感影像的不足[4]。目前國(guó)內(nèi)外相關(guān)研究越來越多地依賴于無人機(jī)高分辨率影像或其他的載荷設(shè)備[5-7],其中全景影像獲得越來越多學(xué)者的關(guān)注,如Schneider等充分研究了無人機(jī)全景影像在制造業(yè)生產(chǎn)檢測(cè)上的可行性[8],陳敏等將無人機(jī)全景影像技術(shù)應(yīng)用于城市規(guī)劃[9],王磊等則對(duì)高分辨率無人機(jī)全景影像的實(shí)時(shí)性進(jìn)行了詳細(xì)優(yōu)化[10]。趙薛強(qiáng)提出基于YOLOv3的無人機(jī)圖像識(shí)別技術(shù)體系[11],管繼祥等對(duì)YOLOv5算法改進(jìn)并應(yīng)用于水利樞紐工程的無人機(jī)岸線巡檢[12]。然而,針對(duì)無人機(jī)全景影像在地物變化檢測(cè)方面的應(yīng)用,目前仍缺乏系統(tǒng)的研究和方法創(chuàng)新。
基于上述問題和討論,本文通過構(gòu)建自制的河道岸線地物分類數(shù)據(jù)集,結(jié)合深度學(xué)習(xí)算法,開發(fā)了一種基于無人機(jī)全景影像的河道岸線地物變化檢測(cè)方法。首先設(shè)計(jì)了無人機(jī)河道岸線全景影像的自動(dòng)化采集方案,生成了PGIS_RCD數(shù)據(jù)集;然后基于Drone-YOLO目標(biāo)檢測(cè)算法,融入了模擬河道岸線特征的數(shù)據(jù)增強(qiáng)模塊,并結(jié)合BiFPN(Bi-directional Feature Pyramid Network)特征金字塔網(wǎng)絡(luò)結(jié)構(gòu),構(gòu)建了Drone-YOLO-RCD(Drone-YOLO for Riverbank Change Detection)多尺度無人機(jī)圖像實(shí)例分割算法。本文旨在通過開發(fā)河道岸線地物變化檢測(cè)系統(tǒng),協(xié)助有關(guān)部門提高在河道岸線非法占用和違章建筑等問題上巡檢調(diào)查的效率,并為優(yōu)化河道岸線土地資源及功能區(qū)劃提供技術(shù)參考。
1 研究方法
為了提升河道岸線巡檢和違章建筑識(shí)別的效率,設(shè)計(jì)無人機(jī)河道岸線全景影像自動(dòng)化采集方案,并構(gòu)建PGIS_RCD數(shù)據(jù)集。基于Drone-YOLO算法框架,通過替換模型頸部的網(wǎng)絡(luò)結(jié)構(gòu)為BiFPN重復(fù)加權(quán)雙向特征金字塔網(wǎng)絡(luò),并融入定制化數(shù)據(jù)增強(qiáng)模塊,構(gòu)建Drone-YOLO-RCD河道岸線地物分類識(shí)別算法,并研發(fā)地物變化檢測(cè)系統(tǒng)。
關(guān)鍵技術(shù)流程主要分為以下4個(gè)步驟:① 通過自動(dòng)化影像采集,確保無人機(jī)能夠精確獲取不同時(shí)期、相互匹配的全景影像;② 通過統(tǒng)一格式規(guī)范,標(biāo)準(zhǔn)化入庫流程,搭建一套無人機(jī)全景影像數(shù)據(jù)管理體系[13],為巡檢任務(wù)提供高效的數(shù)據(jù)管理平臺(tái);③ 對(duì)采集的全景影像進(jìn)行自動(dòng)化分幅、命名入庫和人工標(biāo)注,構(gòu)建PGIS_RCD數(shù)據(jù)集;④ 基于Drone-YOLO目標(biāo)檢測(cè)算法框架,通過引入模擬河道岸線特征的合成霧數(shù)據(jù)增強(qiáng)模塊和BiFPN特征金字塔網(wǎng)絡(luò)結(jié)構(gòu),構(gòu)建出針對(duì)特定場(chǎng)景優(yōu)化的Drone-YOLO-RCD多尺度無人機(jī)圖像實(shí)例分割算法。具體技術(shù)流程如圖1所示。
2 關(guān)鍵技術(shù)算法
2.1 Drone-YOLO-RCD算法設(shè)計(jì)
2.1.1 算法簡(jiǎn)介
YOLO(You Only Look Once)系列算法通過單階段的目標(biāo)檢測(cè)方法,把整個(gè)圖像劃分為網(wǎng)格單元,并在每個(gè)單元中預(yù)測(cè)多個(gè)邊界框和類別概率,實(shí)現(xiàn)快速檢測(cè)[12]。YOLOv8是YOLO系列算法在2023年發(fā)布的版本,相較于2024年相繼發(fā)布的YOLOv9和YOLOv10,其發(fā)展和應(yīng)用更加成熟,同時(shí)兼具了目標(biāo)檢測(cè)和實(shí)例分割模型,能夠適應(yīng)不同的檢測(cè)需求[14-17]。
針對(duì)無人機(jī)圖像檢測(cè)對(duì)象尺寸小、分布密集、實(shí)例重疊多和圖像尺寸大等問題,Zhang提出了基于YOLOv8模型改進(jìn)的Drone-YOLO網(wǎng)絡(luò)結(jié)構(gòu),構(gòu)建專門針對(duì)無人機(jī)圖像設(shè)計(jì)的目標(biāo)檢測(cè)算法,大幅提升了圖像識(shí)別的準(zhǔn)確性[18]。該算法使用RepVGC模塊作為骨干網(wǎng)絡(luò)各級(jí)結(jié)構(gòu)之間的下采樣結(jié)構(gòu),替換了原模型中的Conv卷積層,減少了訓(xùn)練過程中內(nèi)存的占用,簡(jiǎn)化了推理過程。在頸部網(wǎng)絡(luò)采用了PAFPN(Path Aggregation Feature Pyramid Network)結(jié)構(gòu),專門用于識(shí)別和定位不同尺寸的目標(biāo),并將檢測(cè)層擴(kuò)展到3層,還額外增加了一個(gè)專門檢測(cè)小規(guī)模目標(biāo)的檢測(cè)頭。此外,該算法創(chuàng)新性地加入三明治融合(Sandwich-fusion)的多尺寸特征圖融合模塊,通過平衡低層特征的空間信息和高層特征的語義信息,提高網(wǎng)絡(luò)對(duì)目標(biāo)位置的識(shí)別和分類能力。然而關(guān)于Drone-YOLO網(wǎng)絡(luò)結(jié)構(gòu),學(xué)者們目前僅探討了其在目標(biāo)檢測(cè)方面的性能,并未在實(shí)例分割領(lǐng)域付諸應(yīng)用,在實(shí)際應(yīng)用場(chǎng)景的全面性上仍有不足。
受Drone-YOLO在無人機(jī)影像識(shí)別技術(shù)中取得的進(jìn)展啟發(fā),本文提出了一種針對(duì)特定場(chǎng)景優(yōu)化的Drone-YOLO-RCD多尺度無人機(jī)圖像實(shí)例分割算法,引入模擬河道岸線特征的數(shù)據(jù)增強(qiáng)模塊,并融合BiFPN網(wǎng)絡(luò)結(jié)構(gòu),實(shí)現(xiàn)對(duì)各地類目標(biāo)物的精確識(shí)別與分類。本文提出的Drone-YOLO-RCD算法結(jié)構(gòu)詳見圖2,實(shí)線部分為原Drone-YOLO模型的核心結(jié)構(gòu),紅色虛線標(biāo)示了網(wǎng)絡(luò)結(jié)構(gòu)上的改進(jìn)內(nèi)容,下面將詳細(xì)介紹網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)增強(qiáng)改進(jìn)策略。
2.1.2 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)
鑒于Drone-YOLO算法在實(shí)例分割任務(wù)中的局限性,本次研究首先選用YOLOv8官方提供的YOLOv8-seg作為基準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu),并結(jié)合Drone-YOLO的改進(jìn)策略,開發(fā)出針對(duì)實(shí)例分割的優(yōu)化算法模型。隨后,在Drone-YOLO模型的頸部位置,采用BiFPN(雙向特征金字塔網(wǎng)絡(luò))替代原有的Concat模塊。BiFPN通過其雙向連接機(jī)制實(shí)現(xiàn)了自頂向下和自底向上的特征融合,顯著增強(qiáng)了模型對(duì)高級(jí)特征的整合能力。此外,引入帶權(quán)重的特征融合機(jī)制,以區(qū)分不同層次特征在融合過程中的重要性,從而提升模型的上下文理解和全局感知能力,使得算法能夠更精確地識(shí)別場(chǎng)景中的多種目標(biāo)。
由于Drone-YOLO模型在骨干網(wǎng)絡(luò)上的多層改進(jìn)已顯著提升了其在宏觀場(chǎng)景下的目標(biāo)檢測(cè)能力,因此本文對(duì)于Drone-YOLO-RCD網(wǎng)絡(luò)結(jié)構(gòu)上的進(jìn)一步改進(jìn),重點(diǎn)放在優(yōu)化目標(biāo)信息的融合與上下文理解能力上。特別是針對(duì)河道岸線巡檢的地物識(shí)別與分類方面,通過改進(jìn)特征融合機(jī)制,提升模型對(duì)全景影像在宏觀場(chǎng)景上的感知能力,最大限度地保留特征提取和融合過程中的關(guān)鍵信息,從而使各類目標(biāo)物的分割邊緣更加清晰完整,大幅度減少錯(cuò)檢和漏檢的情況。
2.1.3 數(shù)據(jù)增強(qiáng)方法
針對(duì)河道岸線地物分類以及違章建筑識(shí)別等問題,本文所引入的數(shù)據(jù)增強(qiáng)模塊具有針對(duì)性設(shè)計(jì),旨在從訓(xùn)練樣本的質(zhì)量上進(jìn)行提升,以應(yīng)對(duì)河道岸線中地物多樣性和環(huán)境的不確定性。首先,本文引入了合成霧數(shù)據(jù)增強(qiáng)算法,模擬因水陸地形變化而時(shí)常產(chǎn)生的霧氣,提高訓(xùn)練樣本圖像的實(shí)用性,從而提升算法在河道岸線特殊環(huán)境影響下對(duì)目標(biāo)物識(shí)別的能力。
考慮到建筑物外觀特征、材質(zhì)紋理變化以及河道岸線在不同光線和氣候條件變化下的顯著波動(dòng),本文采用數(shù)據(jù)增強(qiáng)技術(shù),通過對(duì)亮度、對(duì)比度、顏色和飽和度等參數(shù)進(jìn)行隨機(jī)調(diào)整,模擬建筑物的多樣性和環(huán)境的不確定性,從而提高模型在識(shí)別任務(wù)中的泛化能力。由于不同類型建筑物及非法占用行為的分布具有不均勻性,本次研究引入了隨機(jī)平移、裁剪和翻轉(zhuǎn)操作,以模擬這種隨機(jī)性和不均勻性,從而豐富訓(xùn)練數(shù)據(jù)集。此外,為了應(yīng)對(duì)建筑物密集區(qū)域常見的遮擋和遮蔽問題,本次研究還應(yīng)用隨機(jī)擦除、遮蓋和灰度化等技術(shù),以增強(qiáng)模型的區(qū)分能力和魯棒性,從而提升模型在復(fù)雜環(huán)境中的檢測(cè)性能。
2.2 變化檢測(cè)系統(tǒng)設(shè)計(jì)
在完成Drone-YOLO-RCD算法模型訓(xùn)練后,開發(fā)了一套河道岸線地物變化檢測(cè)系統(tǒng)。該系統(tǒng)基于Qt框架構(gòu)建,利用OpenCV開源圖像處理庫進(jìn)行圖像處理,為管理人員提供了直觀易用的交互界面。利用無人機(jī)河道岸線巡檢數(shù)據(jù)庫,系統(tǒng)能夠?qū)⑼诜址鶊D像(Period2)與當(dāng)前的分幅圖像(Period1)進(jìn)行匹配,借助預(yù)先訓(xùn)練的模型權(quán)重,自動(dòng)完成地物的分類和識(shí)別任務(wù)。
在處理兩期影像數(shù)據(jù)時(shí),系統(tǒng)首先會(huì)對(duì)影像中的目標(biāo)物進(jìn)行同步分割,并生成相應(yīng)的掩膜。隨后將掩膜進(jìn)行疊加對(duì)比,精確識(shí)別出變化區(qū)域,并在原圖上以紅色標(biāo)識(shí)出來。最終,系統(tǒng)輸出包括往期和最新一期的地物分割效果圖(Period1_FR和Period2_FR),以及對(duì)應(yīng)的變化檢測(cè)效果圖(Period1_CD和Period2_CD),為后續(xù)實(shí)際應(yīng)用落地后的人工審查和執(zhí)法工作等提供較為準(zhǔn)確的依據(jù)。
3 實(shí)驗(yàn)分析
3.1 實(shí)驗(yàn)環(huán)境配置
實(shí)驗(yàn)以YOLOv8-seg為基準(zhǔn)模型,將原始Drone-YOLO目標(biāo)檢測(cè)算法改進(jìn)為適用于實(shí)例分割任務(wù)的Drone-YOLO-RCD算法,基于Pytorch深度學(xué)習(xí)框架,在Windows10操作系統(tǒng)下進(jìn)行相關(guān)實(shí)驗(yàn)。模型訓(xùn)練的參數(shù)設(shè)置如下:epoch(訓(xùn)練輪次)設(shè)為500 輪,batch size(批量大小)設(shè)為8,優(yōu)化器為SGD(隨機(jī)梯度下降),實(shí)驗(yàn)結(jié)果取最優(yōu)值。
實(shí)驗(yàn)硬件配置如下:12th Gen Intel(R) Core(TM) i9-12900H處理器,NVIDIA RTX-A2000顯卡(顯存為8 GB)。數(shù)據(jù)集方面,采用了自制的PGIS_RCD數(shù)據(jù)集,并按照8∶2的比例將數(shù)據(jù)劃分為訓(xùn)練集和驗(yàn)證集。
3.2 PGIS_RCD數(shù)據(jù)集構(gòu)建
3.2.1 無人機(jī)全景影像數(shù)據(jù)采集
本文根據(jù)河道岸線巡檢任務(wù)的需求,以識(shí)別違章建筑物和非法占用行為為首要目標(biāo),定制化設(shè)計(jì)了無人機(jī)河道岸線全景影像自動(dòng)化采集方案。根據(jù)相關(guān)部門提供的管轄范圍,沿河道岸線相隔特定距離選取多個(gè)全景影像觀測(cè)點(diǎn),通過在每個(gè)觀測(cè)點(diǎn)上采集不同時(shí)期的影像進(jìn)行變化檢測(cè),執(zhí)行定期的無人機(jī)岸線巡查與監(jiān)管任務(wù)。
結(jié)合空中定點(diǎn)拍攝法,采用自動(dòng)化全景影像采集程序[19]控制無人機(jī)懸停在預(yù)先標(biāo)記的觀測(cè)點(diǎn),通過參數(shù)化設(shè)定和后臺(tái)自動(dòng)化調(diào)整云臺(tái)進(jìn)行拍攝,以確保每次拍攝的順序、視角和云臺(tái)角度保持一致,從而實(shí)現(xiàn)多期影像的精準(zhǔn)匹配,滿足變化檢測(cè)的需求。拍攝流程設(shè)定為飛行高度200 m,抵達(dá)觀測(cè)點(diǎn)后在云臺(tái)-90°位置捕獲基準(zhǔn)圖像,然后以45°間隔拍攝8個(gè)方向的圖像,每個(gè)方向拍攝3張(分別在云臺(tái)的35°,0°和-45°位置)。整個(gè)流程均通過自動(dòng)化程序完成影像采集,如圖3所示。
3.2.2 PGIS_RCD數(shù)據(jù)集標(biāo)注與構(gòu)建
在原始數(shù)據(jù)采集完成后,本文構(gòu)建了一個(gè)PGIS_RCD影像數(shù)據(jù)集。利用OpenCV庫的相關(guān)功能實(shí)現(xiàn)全景影像的自動(dòng)裁剪、命名及入庫流程,使得影像切片在圖幅大小、命名規(guī)則和存儲(chǔ)方式上符合多期匹配的要求。該數(shù)據(jù)集旨在支持對(duì)違章建筑、非法占用行為的檢測(cè)以及河道岸線地物的精確分類。使用Labelme標(biāo)注工具對(duì)切片進(jìn)行人工標(biāo)注,過程中將目標(biāo)物劃分為六大類,具體分類標(biāo)準(zhǔn)詳見表1。
該數(shù)據(jù)集以廣東省一管理部門提供的多時(shí)期河道岸線巡檢影像為基礎(chǔ),經(jīng)過分幅裁剪后進(jìn)行精細(xì)化的目標(biāo)物標(biāo)注,構(gòu)建了一個(gè)高質(zhì)量的訓(xùn)練樣本數(shù)據(jù)集,為違章建筑物和非法占用行為的識(shí)別分類研究提供堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。
3.3 評(píng)價(jià)指標(biāo)
在深度學(xué)習(xí)模型的性能評(píng)估領(lǐng)域,mAP(mean Average Precision)是一項(xiàng)至關(guān)重要的指標(biāo)。該指標(biāo)通過綜合考量模型在各類別上的檢測(cè)精度(Precision)和召回率(Recall),并以加權(quán)平均值的形式來全面衡量模型的性能。具體來說,mAP的計(jì)算過程涵蓋了真正例(True Positives,TP)、假正例(False Positives,F(xiàn)P)和假負(fù)例(False Negatives,F(xiàn)N)的詳細(xì)統(tǒng)計(jì)。對(duì)于每個(gè)類別,mAP的計(jì)算都依賴于繪制出的精度-召回率(P-R)曲線。通過計(jì)算這些曲線下的面積,能夠得到每個(gè)類別的AP值,最后將所有類別的AP值取平均,即可得到mAP。
本文為了評(píng)估Drone-YOLO-RCD算法在PGIS_RCD數(shù)據(jù)集上的訓(xùn)練效果,選取了6條河道岸線地類目標(biāo)物的mAP值及其對(duì)應(yīng)的P-R曲線作為關(guān)鍵評(píng)價(jià)指標(biāo),以了解算法在PGIS_RCD數(shù)據(jù)集上的性能表現(xiàn)。
3.4 對(duì)比實(shí)驗(yàn)
為了全面評(píng)估Drone-YOLO-RCD算法性能,將本文算法與YOLOv8、YOLOv9及 Drone-YOLO算法進(jìn)行比較,并對(duì)比分析雙階段實(shí)例分割模型Mask R-CNN[16]和實(shí)時(shí)實(shí)例分割模型YOLACT [20]的性能。選取各類別的識(shí)別精度mAP@0.5,以及所有類別的平均精度mAP@0.5作為評(píng)估指標(biāo),從表2可以看出,相較于其他算法,本文提出的Drone-YOLO-RCD算法在PGIS_RCD數(shù)據(jù)集上,所有類別的檢測(cè)精度均實(shí)現(xiàn)了顯著提升。其中重點(diǎn)關(guān)注的Buildings和Shed類別分別達(dá)到了0.941和0.927,能夠精準(zhǔn)識(shí)別出疑似違章建筑與常規(guī)的鋼筋混凝土結(jié)構(gòu)的建筑物。而Others作為其他類別的總和,其精度也達(dá)到了0.832,說明本文所提算法能夠在各大地物區(qū)域內(nèi)識(shí)別出其他類的目標(biāo)物,尤其是疑似非法開采的施工用地,為非法占用問題的調(diào)查提供參考依據(jù)。
相較于雙階段實(shí)例分割模型Mask R-CNN,單階段模型在無人機(jī)影像檢測(cè)中表現(xiàn)出更高的準(zhǔn)確性。Drone-YOLO實(shí)例分割算法的整體平均精度優(yōu)于YOLOv8和YOLOv9等通用模型,表明針對(duì)無人機(jī)影像特性的優(yōu)化顯著提升了模型性能。與Drone-YOLO基準(zhǔn)模型相比,本文提出的Drone-YOLO-RCD算法在所有類別的整體平均精度(mAP@0.5)從0.880提升至0.924,顯著提高了專為河道岸線地物分類設(shè)計(jì)的算法效果。
3.5 消融實(shí)驗(yàn)
為驗(yàn)證改進(jìn)方法對(duì)Drone-YOLO模型性能的實(shí)際影響,對(duì)本文中提到的數(shù)據(jù)增強(qiáng)和網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)在PGIS_RCD數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)。實(shí)驗(yàn)中特別關(guān)注兩項(xiàng)改進(jìn):① 引入模擬河道岸線特點(diǎn)的數(shù)據(jù)增強(qiáng)模塊;② 采用BiFPN特征融合網(wǎng)絡(luò)改進(jìn)模型結(jié)構(gòu)。
消融實(shí)驗(yàn)以Drone-YOLO原模型為基準(zhǔn),加入前述改進(jìn)功能,并通過在模型名稱后添加特定后綴來標(biāo)識(shí)不同版本。其中AU(Augmentation)特指本文提出的數(shù)據(jù)增強(qiáng)模塊;BiFPN特指對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn),Drone-YOLO-RCD則綜合了上述兩種改進(jìn)。對(duì)比結(jié)果見表3,可以看出,每一項(xiàng)改進(jìn)均對(duì)模型的檢測(cè)精度產(chǎn)生了積極影響,特別是在mAP@0.5~0.95的區(qū)間有大幅度提升。
除Drone-YOLO-RCD外,Drone-YOLO_AU在“Woodland”和“Grassland”類別上表現(xiàn)最佳(分別為0.942和0.940),總體上也優(yōu)于Drone-YOLO,而Drone-YOLO_BiFPN在“Woodland”類別上表現(xiàn)最好(0.937),但在“Road”類別上略有下降(0.892)。Drone-YOLO-RCD在所有類別上表現(xiàn)最佳,尤其是在“Woodland”和“Grassland”類別上分別達(dá)0.966和0.958,整體表現(xiàn)(All Classes mAP@0.5)為0.924,mAP@0.5~0.95為0.701。相較于其他網(wǎng)絡(luò),它在各個(gè)類別的準(zhǔn)確率普遍較高,尤其在“Others”類別也有顯著提高(0.832)。
3.6 實(shí)例分割可視化分析
為了定性分析實(shí)驗(yàn)結(jié)果,選取原始影像、YOLOv8、Drone-YOLO以及本文提出的Drone-YOLO-RCD算法進(jìn)行了實(shí)際分割效果可視化對(duì)比,結(jié)果如圖4所示。由圖4可以看出:針對(duì)相同的檢測(cè)圖像,YOLOv8存在多處漏檢錯(cuò)檢的情況,其表現(xiàn)相對(duì)遜色,而Drone-YOLO的表現(xiàn)雖然優(yōu)于YOLOv8,但是在目標(biāo)物分割的邊緣、掩膜的完整性和覆蓋性方面,表現(xiàn)不如Drone-YOLO-RCD算法精細(xì)。
本文提出的Drone-YOLO-RCD算法在實(shí)例檢測(cè)中對(duì)于Buildings和Shed的檢測(cè)非常準(zhǔn)確,漏檢的情況極少,這種精確分割的能力對(duì)于違章建筑物的監(jiān)管和執(zhí)法作業(yè)至關(guān)重要。對(duì)于Others的分割效果也相當(dāng)精確,能夠識(shí)別出如施工用地、基建設(shè)施、工業(yè)廢料等其他類別(圖4中青色掩膜),模型可以在不同功能區(qū)域中凸顯出Others類。綜合來看,Drone-YOLO-RCD算法在實(shí)際檢測(cè)中效果更加優(yōu)秀,兼顧了分割精度和掩膜的完整度,能夠滿足精細(xì)化地物分類的要求。
3.7 河道岸線地物變化檢測(cè)結(jié)果分析
完成Drone-YOLO-RCD算法模型構(gòu)建后,需要將其引入地物變化檢測(cè)中系統(tǒng)化應(yīng)用。本文設(shè)計(jì)的變化檢測(cè)系統(tǒng)輸出的結(jié)果包括往期和最新一期的地物分類效果圖(Period1_FR和Period2_FR),以及對(duì)應(yīng)的變化檢測(cè)效果圖(Period1_CD和Period2_CD),如圖5所示。管理人員僅需對(duì)比兩期CD圖(Change Detection)中的紅色標(biāo)記,便能迅速鎖定變化的位置,同時(shí)結(jié)合FR圖(Fast Recognition)了解地物分類和變化情況。
數(shù)據(jù)采集過程中可能存在偏移或誤差,導(dǎo)致部分冗余或細(xì)碎的紅色標(biāo)記。為此本次研究針對(duì)性地引入了YOLO+BiFPN的模型范式來提升對(duì)小目標(biāo)的檢測(cè)能力,進(jìn)而提高地物變化檢測(cè)的準(zhǔn)確性和可靠性。在實(shí)驗(yàn)過程中,發(fā)現(xiàn)Drone-YOLO-RCD在河道岸線地物變化檢測(cè)中表現(xiàn)出色。尤其是在檢測(cè)細(xì)小且難以識(shí)別的變化時(shí),如微小的違章建筑物或非法占用行為(圖5中Period2_CD右上角的狹小長(zhǎng)條狀區(qū)域),Drone-YOLO-RCD的高精度和高召回率確保了變化檢測(cè)結(jié)果的準(zhǔn)確性。具體地,在Period1_CD和Period2_CD中的紅色標(biāo)記精確地定位了變化區(qū)域,同時(shí)結(jié)合FR圖的地物分類布局,管理人員能夠有效排除由誤差引起的冗余標(biāo)記,從而準(zhǔn)確識(shí)別并篩選出疑似違章建筑物和非法占用行為及其對(duì)應(yīng)地理位置。此外,在規(guī)劃管理層面也可以充分利用地物分類影像了解各區(qū)域地類的功能區(qū)域劃分,分析地物變化規(guī)律和存在的矛盾,并為科學(xué)化執(zhí)法和控制河道岸線建筑活動(dòng)范圍提供強(qiáng)有力的技術(shù)支持。
4 結(jié) 論
本文探討了河道岸線地物變化檢測(cè)技術(shù),尤其關(guān)注河道岸線違章建筑和非法占用問題,提出了一套高效且實(shí)用的解決方案。
(1) 構(gòu)建了符合河道檢測(cè)實(shí)際情況的PGIS_RCD數(shù)據(jù)集,并提出了Drone-YOLO-RCD實(shí)例分割算法。該算法在河道岸線巡檢影像中能夠精確識(shí)別各類目標(biāo)地物,其所有類別的平均精度(mAP@0.5)達(dá)到了0.924,比Drone-YOLO基礎(chǔ)算法提升了0.044。
(2) 在變化檢測(cè)方面,基于Drone-YOLO-RCD算法開發(fā)了地物變化檢測(cè)系統(tǒng),提升了管理人員對(duì)違章建筑和非法占用行為的調(diào)查效率。該系統(tǒng)結(jié)合了用地功能劃分、河道統(tǒng)籌規(guī)劃等相關(guān)材料,滿足了執(zhí)法監(jiān)管和城市基礎(chǔ)信息更新的需求。此外,該系統(tǒng)推動(dòng)了河道生態(tài)環(huán)境“數(shù)字化”管理的發(fā)展,可為科學(xué)掌握河道岸線建筑活動(dòng)范圍提供技術(shù)支持。
參考文獻(xiàn):
[1] 于文昊.基于深度學(xué)習(xí)的高分辨率遙感影像海岸帶地物分類方法研究[D].青島:青島大學(xué),2023.
[2] 陳繼發(fā).基于深度學(xué)習(xí)的高分辨率遙感影像海岸帶地表覆蓋分類研究[D].武漢:中國(guó)地質(zhì)大學(xué),2024.
[3] 閘旋,滕惠忠,王俊超,等.基于天繪一號(hào)衛(wèi)星多光譜影像的海岸線自動(dòng)提取方法[J].海洋測(cè)繪,2018,38(4):58-62.
[4] 胡義強(qiáng),楊驥,荊文龍,等.基于無人機(jī)遙感的海岸帶生態(tài)環(huán)境監(jiān)測(cè)研究綜述[J].測(cè)繪通報(bào),2022(6):18-24.
[5] 張靚,歐陽永忠,滕惠忠.航測(cè)與機(jī)載LiDAR技術(shù)在海岸帶遙感中的應(yīng)用[J].海洋測(cè)繪,2017,37(6):62-65.
[6] 沙紅良,陸德中,付康,等.融合無人機(jī)LiDAR與攝影測(cè)量的河道地形測(cè)繪方法[J].人民長(zhǎng)江,2023,54(4):157-162.
[7] 馮精金,夏輝,王成.基于多源遙感數(shù)據(jù)的三峽庫區(qū)岸線利用類型監(jiān)測(cè)分析[J].水利水電快報(bào),2023,44(1):39-42.
[8] SCHNEIDER J,KRIEGEL K.Advancements in high-resolution panoramic UAV imagery for infrastructure inspection[J].Journal of Field Robotics,2023,40(3):452-468.
[9] 陳敏,劉洋,張磊.無人機(jī)全景影像在城市規(guī)劃中的應(yīng)用研究[J].測(cè)繪與空間地理信息,2023,46(1):89-97.
[10]王磊,趙軍,劉飛.高分辨率無人機(jī)全景影像的實(shí)時(shí)處理技術(shù)及應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究,2023,40(2):213-221.
[11]趙薛強(qiáng).一種無人機(jī)圖像識(shí)別技術(shù)體系研究與應(yīng)用[J].中國(guó)農(nóng)村水利水電,2022(5):195-200.
[12]管繼祥,管世烽.改進(jìn)YOLOv5算法在大藤峽水利樞紐工程無人機(jī)巡檢中的應(yīng)用[J].人民珠江,2023,44(7):36-41.
[13]鄧業(yè)發(fā),郄志紅,吳鑫淼.基于深度學(xué)習(xí)的河道航拍影像檢測(cè)算法研究[J/OL].工程科學(xué)與技術(shù),(2024-05-23)[2025-02-18].http://kns.cnki.net/kcms/detail/51.1773.TB.20240521.1533.004.html.
[14]蘇日亞,楊彥明,安全,等.DeepLabv3+與聯(lián)合損失函數(shù)的遙感影像建筑物分割[J].信息技術(shù),2023(7):38-42.
[15]崔克彬,焦靜頤.基于MCB-FAH-YOLOv8的鋼材表面缺陷檢測(cè)算法[J].圖學(xué)學(xué)報(bào),2024,45(1):112-125.
[16]張巖琪,周碩,張凝,等.基于改進(jìn)實(shí)例分割算法的區(qū)域養(yǎng)殖生豬計(jì)數(shù)系統(tǒng)[J].智慧農(nóng)業(yè)(中英文),2024(4):53-63.
[17]茍皓,唐嵐,孟忠偉.基于改進(jìn)Yolov8的交通標(biāo)志檢測(cè)算法[J].圖像與信號(hào)處理,2024,13(3):328-337.
[18]ZHANG Z.Drone-YOLO:an efficient neural network method for target detection in drone images[J].Drones,2023,7(8):526-542.
[19]廣東省水利水電第三工程局有限公司.一種無人機(jī)的影像智能分析方法:2023117535084[P].2024-05-06.
[20]師蕓,石龍龍,牛敏杰,等.基于單階段實(shí)例分割網(wǎng)絡(luò)的黃土滑坡多任務(wù)自動(dòng)識(shí)別[J].測(cè)繪通報(bào),2022(4):26-31.
(編輯:胡旭東)
Variation detection of river shoreline features based on UAV panoramic image
HUANG Yuhua1,WU Nianhui1,CHEN Jie1,LIANG Wenjun2,ZHAO Xueqiang2,GUAN Jixiang2
(1.Guangdong No.3 Water Conservancy and Hydro-electric Engineering Board Co.,Ltd.,Dongguan 523710,China; 2.China Water Resources Pearl River Planning,Surveying amp; Designing Co.,Ltd.,Guangzhou 510635,China)
Abstract:
In order to improve detection accuracy of illegal buildings and illegal occupation targets along river shorelines,based on the Drone-YOLO target detection baseline model,and by integrating a data enhancement module that simulates the river shoreline area characteristics,and by combining the BiFPN feature pyramid network structure,a Drone-YOLO-RCD instance segmentation algorithm based on multi-scale UAV image was designed and implemented.Then,a set of ground object variation detection system was constructed according to the algorithm,and a variation detection method of river shoreline features based on UAV panoramic image was formed.The experimental results on the self-made dataset PGIS_RCD showed that compared with the Drone-YOLO benchmark algorithm,the average accuracy (mAP @ 0.5) of the Drone-YOLO-RCD algorithm on six types of ground objects was improved by 4.4%,which realized the accurate identification of illegal buildings and illegal occupation problems,as well as the detection of ground object changes.The research results have promoted digital management on the ecological environment along river shorelines,and can provide strong technical support for scientifically grasping the range of construction activities along river shorelines.
Key words:
detection of ground object changes; shoreline patrol inspection; Drone-YOLO; instance segmentation algorithm; UAV image
收稿日期:2024-07-04 ;接受日期:2024-09-30
基金項(xiàng)目:國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目“高度城鎮(zhèn)化地區(qū)防洪排澇實(shí)時(shí)調(diào)度決策支持平臺(tái)與示范應(yīng)用”(2018YFC1508206)
作者簡(jiǎn)介:黃育華,男,高級(jí)工程師,碩士,主要從事工程測(cè)量和測(cè)繪技術(shù)研究。E-mail:1051947983@qq.com
通信作者:趙薛強(qiáng),男,高級(jí)工程師,碩士,主要從事水利水電測(cè)繪和信息化研究。E-mail:414976097@qq.com