基于遙感影像的生產建設項目擾動圖斑人機協同智能提取方法

王松倫,馬曉楠,潘子軒

(河南省水利勘測有限公司,河南 鄭州 450000)

生產建設活動會使原狀地貌或土壤結構遭到干擾或破壞,從而加劇區域內的水土流失,存在較大的安全隱患,如洪澇災害、土地資源匱乏、生態環境失調等[1]。遙感信息技術的進步和高分辨率衛星影像的普及為水土保持遙感監管提供了豐富的數據,但目前仍主要采用目視解譯的方法從遙感影像中獲取生產建設項目擾動圖斑信息,存在耗時費力、經濟成本高及具有一定的人為主觀性等問題[2],無法適應現階段生產建設項目水土保持遙感監管任務中監測對象變化快、監測范圍廣、監測頻次高的需求[3]。因此,如何在大范圍內實現生產建設項目擾動圖斑的高效自動化、精準化識別和提取成為研究的熱點問題。

近年來,深度學習已經被證明是一種強大的遙感圖像處理技術,在土地覆蓋分類、目標提取、變化檢測等方面均有廣泛應用[4-6]。部分學者也在此基礎上開展了生產建設項目擾動圖斑自動識別技術的探索性研究,文獻[7]基于深度學習原理,參照VGG16網絡架構構建生產建設項目擾動圖斑自動識別分類模型,區分給定區域的影像數據為擾動還是非擾動,但并未實現對擾動圖斑范圍的識別;文獻[8]將深度學習理論應用到不同時期影像的變化檢測分析中,分別采用基于語義信息和端到端的變化圖斑提取方法,對重慶市水土保持擾動變化圖斑實現自動識別。深度學習為基于大范圍高分遙感影像的擾動圖斑提取提供了新的技術思路,但相關研究較少且精度無法滿足現階段水土保持遙感監管的應用要求。

針對上述生產建設項目擾動圖斑提取的局限性,本文從人類和人工智能深度相結合的角度出發,提出 “智能提取模型+遙感監管協同解譯平臺”的生產建設項目擾動圖斑人機協同智能提取框架。

1 研究區概況

本文以河南省生產建設項目水土保持遙感監管為依托開展相關研究。河南省位于我國中東部,全省總面積為16.7萬km2。河南地處亞熱帶向暖溫帶和山區向平原雙重過渡帶,地跨長江、黃河、淮河、海河4大流域。地貌自西向東突變,山區到平原過渡帶短,特殊的氣候條件和復雜的地貌類型,造成自然災害頻發,而且人口分布密集,生產活動頻繁,加劇了水土流失。嚴重的水土流失導致水土資源破壞、生態環境惡化、自然災害加劇,成為制約河南省經濟和社會可持續發展的突出因素。

2 研究內容與方法

總體技術路線如圖1所示。首先,對雙時相高分遙感影像數據進行預處理,并依托河南省2022年第三季度生產建設項目擾動圖斑目視解譯成果制作標簽,通過數據增強的手段創建生產建設項目擾動專題數據集;然后,基于專題數據集對改進的U-Net++模型進行訓練,訓練后的模型可對指定區域高分遙感影像中的生產建設項目變化擾動圖斑進行自動提取;最后,構建遙感監管分布式并行協同解譯平臺,可實現圖斑后處理、協同編輯、統計分析及用戶管理等功能,解譯人員基于該平臺利用先驗知識對自動提取的圖斑進行綜合判定與驗證,得到滿足生產要求的規范性解譯成果。基于協同解譯平臺產生的最終成果可作為新樣本反饋給模型進行自主學習,進一步提升模型精度和自動化程度,形成良好的循環機制。

圖1 總體技術路線

2.1 數據集構建

2.1.1 高分辨率遙感影像預處理

遙感影像數據源主要選取高分六號、資源三號等衛星數據,前時相為2022年4—6月,后時相為2022年7—9月。雙時相遙感影像數據對于變化擾動地塊提取任務而言,存在的主要問題包括:①原始數據存在幾何和輻射變形、缺失值等;②因季節原因導致前后兩時相影像風格不統一,存在較大的地物地貌差異。

對于上述問題,本文通過輻射定標、正射校正、幾何配準、插值填充、傅里葉變換和逆變換等操作對影像進行預處理,以滿足任務需要。快速傅里葉變換和逆變換可消除不同時期影像之間的風格差異,其主要包括:①通過傅里葉變換(FFT)將圖像空間域轉換為頻率域;②將其中一幅圖像的低頻域部分替換為另外圖像的低頻域部分;③再通過傅里葉逆變換(iFFT)將頻率域轉換為空間域,實現圖像間的風格遷移。經過預處理后的影像包含紅、綠、藍3波段,空間分辨率約為2 m。

2.1.2 數據集標注

有監督的深度學習模型需要大量的標簽數據輔助其學習訓練。本文以河南省2022年第三季度生產建設項目遙感監管解譯成果作為標注數據,制作生產建設項目擾動圖斑標簽。

為保證兩期影像及對應變化標簽的尺寸統一,首先構建研究區漁網數據(網格大小為256×256像素),篩選出與矢量圖斑相交的網格作為裁剪樣本的矢量數據A;然后利用ArcGIS對已有的遙感監管解譯圖斑數據進行矢柵轉換和重分類(變化擾動區域柵格值為1,非擾動變化區域柵格值為0);最后利用矢量數據A對兩時相的遙感影像數據及變化擾動圖斑柵格數據進行批量裁剪,最終得到前時相影像、后時相影像及標簽數據,且位置一一對應,共得到2071組標注樣本。

2.1.3 數據增強

在卷積神經網絡的算法中,算法的最終效果很大程度上依賴于數據的質量,鑒于目前樣本數據量有限,本文通過數據增強的手段擴充樣本量,從而提高模型的泛化能力。充分利用已有樣本,分別采用單樣本和多樣本數據增強的方法對樣本數據集進行擴增,擴增后總樣本量約為10 768組。將處理好的樣本數據集隨機劃分,訓練集和驗證集的比例為8∶2。

單樣本數據增強即在增強一個樣本時全部圍繞著該樣本本身進行操作,本文主要進行水平翻轉、垂直翻轉、旋轉、平移縮放等幾何變換,如圖2所示。

圖2 單樣本數據增強

多樣本數據增強則是利用多個樣本產生新的樣本。為了增加正樣本的比例,采用混合粘貼增強[9]的方法提升樣本多樣性,該方法是通過隨機抽取另一樣本數據,利用掩膜提取將其變化區域以對象的方式分別粘貼到當前樣本中,從而得到一個新的混合樣本,如圖3所示。

圖3 多樣本混合粘貼增強

2.2 生產建設項目擾動圖斑智能提取模型

2.2.1 U-Net++網絡架構

U-Net++是一種基于深度監督的編碼器-解碼器網絡結構,具有較強的特征提取和細節保留能力[10]。原始U-Net網絡首先利用4次下采樣獲得高維信息,然后利用4次上采樣將特征圖恢復到原始大小,并通過4個跳躍連接合并特征圖。基于U-Net的改進方法并不總使用4層結構,但下采樣、上采樣和跳躍連接的組合保持不變,它可以從不同深度的結構中提取不同特征。無論低層次還是高層次的語義特征對于目標識別任務而言均很重要,U-Net++[11]通過稠密連接的方式將每層的細節信息和全局信息都盡可能多的保留,且每層之間架起橋梁實現多尺度特征融合,最終共享給最后一層,減少由于卷積層增加而導致的信息丟失。

2.2.2 模型構建及參數優化

選用高效的輕量型網絡Effici-entNetb0作為編碼器骨干網絡。此外,為了獲取更加有用的重點信息并抑制非重點區域的特征,在解碼器網絡中加入了注意力機制模塊scSE(spatial-channel sequeeze & excitation),模型結構如圖4所示。

圖4 U-Net++(scSE)模型結構

在訓練網絡模型學習參數的過程中,使用基于ImageNet數據集的預訓練模型進行參數初始化,選取AdamW優化算法,學習率為1E-3,權重衰退系數為1E-3,最低學習率為1E-5。由于部分樣本數據中非變化擾動區域和變化擾動區域的比例差距較大,存在樣本不均衡影響,因此模型訓練的損失函數采用Dice損失函數和二值交叉熵損失函數(BCE Loss)的組合。Dice損失函數訓練更關注前景區域的挖掘,即保證模型有較低的目標值識錯率,但會存在損失飽和的問題,而BCE Loss平等地計算每個類別的損失,當背景區域大于目標區域時,訓練時會使模型嚴重偏向背景,導致預測效果較差。兩者單獨使用往往無法取得較好的效果,因此本文選擇組合使用,從而提高模型預測精度。

2.2.3 變化檢測評價指標

變化檢測的評價指標多種多樣,本文選擇準確率(Precision,P)、召回率(Recall,R)、F1得分和交并比(IoU)4個指標對模型提取效果進行評定。通過變化檢測得到的預測值和真實值的組合見表1。

表1 變化檢測任務混淆矩陣

(1)準確率(P)表示預測值和真實值均為正的樣本在預測為正樣本中的占比,其表達式為

(1)

(2)召回率(R)表示在已知的正樣本中有多少被正確預測,其表達式為

(2)

(3)F1得分是綜合了準確率和召回率的綜合評價指標,提出該指標的原因是P和R會出現矛盾的現象,導致無法判斷模型好壞,因此通過計算兩個指標的調和平均值進行綜合性評價。其取值范圍為0～1,值越接近1表示模型訓練效果越出色,公式為

(3)

(4)交并比(IoU)是指模型預測變化擾動區域與真實變化擾動區域的交疊率或重疊度,即兩者交集與并集的面積比,取值范圍為0～1,值越接近于1表示預測圖與真實圖的重合程度越高,即模型預測效果越好,其計算公式為

(4)

2.3 遙感監管分布式并行協同解譯平臺

深度學習技術使生產建設項目擾動圖斑解譯工作效率得到了大幅提升,但由于多時相的衛星遙感影像不可避免地會存在偽變化、云霧遮擋等問題,使得模型對于遙感影像的變化檢測存在一定局限性,尤其在兼顧檢測速率的基礎上,精確獲取變化地物的輪廓信息仍具有較大難度,單一利用模型自動化手段難以滿足生產應用需要。基于此,本文通過構建遙感監管分布式并行協同解譯平臺,充分發揮人機協同技術在遙感信息提取領域的重要性,將深度學習與專家知識、模型自動提取與目視判讀相結合,實現人與算法之間的優勢互補,全面提升擾動圖斑要素提取的精度及自動化程度。

協同解譯平臺的技術流程如圖5所示。搭建的深度學習模型可對大范圍內的生產建設項目擾動圖斑進行快速提取,智能提取結果經過矢柵轉換、定義投影、屬性賦值等前期處理后,發布標準化數據服務供平臺調用。協同解譯平臺能夠實現對自動提取圖斑的可視化展示、批量后處理、協同編輯及統計分析等操作,可由專業解譯人員通過多人在線協作的工作模式,憑借視覺感知及綜合認知決策能力對模型自動化提取的圖斑進行判定與驗證,判斷其邊界和屬性信息是否與實際擾動相符,若不相符則選擇相應的人機交互工具進行要素協同編輯,最終將符合實際生產需要的圖斑存入解譯成果庫。通過驗證的解譯成果將會作為新樣本反饋給模型樣本庫,使模型再次進行自主學習,不斷迭代優化模型參數進而提升模型性能。

圖5 協同解譯平臺技術流程

協同解譯平臺主要包括圖斑智能提取、后處理、協同編輯、統計分析及用戶管理等模塊。圖斑智能提取模塊的主要功能是基于本文構建的模型實現大范圍遙感影像的變化擾動圖斑自動化提取;后處理模塊主要是對模型自動提取的圖斑進行孔洞填充、輪廓規則化、碎化圖斑剔除等批處理操作,可對模型輸出結果進行初步調整和優化;協同編輯模塊則由解譯人員對經過后處理的大量圖斑數據進行邊界修正、屬性賦值、合并拆分、采集新面等增、刪、改操作,并同步完成對現有擾動圖斑的質量檢查;統計分析模塊包括工作進度統計、圖斑分類統計、解譯人員工作量統計等功能;用戶管理模塊可實現賬號注冊、人員管理、任務分配;此外,本平臺可以實現對多期遙感影像數據、歷史擾動圖斑及最新解譯成果的可視化管理及展示。

3 結果分析

將本文搭建的U-Net++網絡模型在制作好的數據集上進行訓練,通過調節超參數獲得最優變化檢測模型,并對在驗證集上的提取結果進行精度評價。采用五折交叉驗證進行模型評估:將所有的樣本數據集隨機分為數量近似相等的5份,輪流選取其中1份為測試集,其余為訓練集依次訓練模型,使數據集中的所有數據都得到了充分的利用,五折交叉驗證的損失-精度隨迭代次數的變化曲線如圖6所示。模型的總體提取精度見表2。

表2 模型驗證精度評價結果

圖6 五折交叉驗證損失-精度

本文構建的生產建設項目擾動圖斑智能提取模型可基于深度學習算法自動提取高分辨率遙感影像中的擾動圖斑要素,相較于人工目視解譯而言,智能提取模型在解譯效率方面具備明顯優勢,對比結果見表3。根據項目經驗可知,采用目視判別的方法初步實現河南省全域16.7萬km2的生產建設項目擾動圖斑遙感解譯,至少需要10名解譯人員花費約20 d(8 h/d)的時間完成,其特點是操作簡單且對設備性能要求較低;而利用本文構建的智能提取模型,完成相同工作量的解譯任務只需2臺較高性能計算機(NVIDIA GeForce GTX 1070 8 GB顯存)同時運行8 h即可完成,極大地縮減了擾動圖斑遙感解譯任務的時間成本。

表3 解譯效率統計

為保證模型能夠將遙感影像中的疑似生產建設項目擾動圖斑盡可能地都提取出來,在模型訓練過程中通過調整閾值提高了模型的查全率。整體而言,模型對于由耕地(或裸地)變為建筑(或施工動土)的區域具有較強的識別和提取能力,漏提少、邊界相對規則。圖7為利用本文模型對驗證集中疑似生產建設項目擾動圖斑提取的部分結果。可以發現,模型能夠較為準確地定位到影像變化擾動區域,提取到的變化圖斑與實際變化范圍基本一致,尤其對引調水工程、工業園區、公路工程等規模性的生產建設活動有良好的提取效果,如圖7(a)—(c)所示。

圖7 生產建設項目擾動圖斑提取結果

智能提取模型很好地解決了人工目視解譯不客觀、效率低等問題,但同時也會存在“誤提取”的情況。如圖7(d)將鄰近的不同生產建設項目合并解譯為同一圖斑,而圖7(e)則將因農事耕作等非生產建設活動引起的地表變化區域誤判為擾動圖斑。以上情況只需后期由解譯人員充分結合項目及解譯經驗進行綜合判定,并做出簡單的編輯修改即可。

針對擾動圖斑智能提取模型存在的少量“誤提、漏提”等情況,通過搭建遙感監管協作解譯平臺對自動化提取圖斑進行人機交互修正,在保證解譯效率的同時全面提高解譯精確性,為水土保持監管后續的核查和查處提供可靠的作業依據。遙感監管協作解譯平臺部分子模塊的圖斑編輯如圖8(a)—(d)所示,孔洞消除和輪廓規則化子模塊可對自動提取的圖斑結果進行快速批處理,分別實現矢量面數據的微小孔洞填補和復雜線段簡化。協同編輯模塊可將經過后處理的矢量圖斑數據進一步精確化,由解譯人員通過多人在線協作的方式逐個對圖斑進行綜合判定,對不滿足要求的圖斑進行合并拆分、邊界修整、錯提圖斑剔除等操作。圖8(b)所示模塊是將位置鄰近但明顯不屬于同一生產建設項目的圖斑進行切分,并修改其對應的屬性值。圖8(c)所示的邊界修整子模塊是通過編輯折點調整矢量范圍,使解譯圖斑邊界更加清晰準確。圖斑剔除子模塊則可刪除如圖8(d)所示的農業大棚搭建等模型誤提取的非生產建設項目擾動圖斑。

圖8 遙感監管協作解譯平臺圖斑編輯

4 總結與討論

本文利用高分遙感影像和河南省生產建設項目水土保持遙感監管成果構建專題數據集,并從人與機器深度相結合的角度出發,基于深度學習理論提出一個生產建設項目擾動圖斑人機協同智能提取框架,主要實現了以下內容:①針對擾動圖斑變化檢測任務特點對雙時相的遙感影像進行預處理,消除其誤差及風格差異,并通過多種數據增強方法進行擴充,構建豐富的數據集。②通過融合注意力機制的U-Net++網絡模型深度挖掘生產建設項目擾動圖斑的影像特征,實現變化擾動范圍的自動化提取,模型準確率和召回率分別為79.59%和80.90%,IoU為0.752 0。表明模型對于目標要素具有良好的提取效果,但同時也存在少量“誤提、漏提”的情況。③通過搭建遙感監管分布式并行協同解譯平臺實現對自動化解譯圖斑的批量后處理、協同編輯、統計分析等操作,在保證解譯自動化、高效化的基礎上,充分發揮專業解譯人員的綜合知識決策能力,對“誤提、漏提”圖斑進行修改。最終將規范化解譯成果作為新樣本存入樣本庫,并反饋給模型進行自主學習,進一步提高模型精度,實現人機協同感知、交互和決策。

本文提出的人機協同智能提取技術框架實現了生產建設項目擾動圖斑的高效精準提取,但仍存在不足。首先由于樣本數據集制作時,非生產建設項目擾動的負樣本數量有限,雖然模型最終收斂但同時增加了過擬合的風險,使其容易對非生產建設項目擾動進行錯分。因而在下一步工作中應充分考慮非生產建設項目擾動的干擾,豐富數據集,增強模型的穩健性。其次耦合深度學習算法和綜合知識圖譜的遙感影像解譯方法有待進一步探究和完善,以自主學習為核心、領域先驗知識為引導,全面提升遙感解譯的效率和質量。