自然資源視頻監測目標檢測關鍵技術研究與應用

王 騰，孟小亮，蔡冠中，陳 影，孫潔衍，姚 鵬

（1. 自然資源部華南熱帶亞熱帶自然資源監測重點實驗室，廣東 廣州 510500；2. 廣東省國土資源測繪院，廣東 廣州 510500；3. 武漢大學遙感信息工程學院，湖北 武漢 430079；4. 廣西泰繪信息科技有限公司，廣西 桂林 541002）

近年來生態文明建設上升到新的高度，“山、水、林、田、湖、草、礦、海、城”統一監測監管體系是國家生態文明建設的重要保障。《自然資源部信息化建設總體方案》指出，要立足已有基礎，統籌整合信息化資源，運用傳感器等現代物聯網技術，構建全天候監測與預警的感知體系，形成實時快速的自然資源動態監測和態勢感知能力，實現對國土空間的全時全域立體監控[1]。結合高精尖新技術研發，綜合利用天空地網多途徑技術，升級移動巡查、監管、調查等信息系統，以促進有限資源的高效配置與利用，已成為當前國土資源管理的主要手段[2-3]。

土地衛片執法、耕地衛片監督、耕地保護監察等自然資源監管工作中迫切需要全天候、準確、實時、快速的決策機制。目前日常巡查、媒體披露、群眾舉報、衛片執法是自然資源在線巡查平臺的主要發現手段，其中衛片執法主要是通過比對衛星遙感影像時相變化提取疑似違法圖斑，在地物目標與變化檢測方面已發展得較成熟，但受衛星重訪周期影響，時效性較差[4-5]。隨著機器視覺技術的突飛猛進，智能視頻監測為自然資源監管提供了可實時響應的新執法手段，可根據塔基或固定桿上高清攝像頭獲取的視頻圖像數據進行違法線索智能分析，并在國內部分省嘗試應用示范[6]。以卷積神經網絡為代表的視覺自動識別檢測技術成為目前的研究熱點[7-8]，但該技術在復雜變化環境下的識別準確率、視覺定位精度以及多源感知融合監測等方面還面臨挑戰性問題[9]。目前，計算機視覺領域中域自適應方法被證明能應用于光照條件變化、天氣條件變化（有雨、霧、霾等）、季節變化等挑戰性場景中；無監督域自適應算法使深度學習模型在不同環境中都能取得良好的效果[10]；利用大量標注樣本進行模型訓練可提高應用場景中目標識別的準確率[11]。自然資源監測場景中多采用單目非專業量測攝像頭定位檢測目標對象，價格低廉、測距模型簡單、運算速度快[12-13]。本文針對上述需求與難點，設計了立體式一體化自然資源視頻執法監測系統的技術架構，利用基于深度學習的域自適應目標識別技術和基于DEM輔助的高精度單目定位技術對自然資源違法行為與線索進行快速目標檢測，并通過系統實現與應用驗證了關鍵技術的有效性。

1 總體技術架構

總體技術體系架構包括基礎設施、平臺服務與業務應用3 層。基礎設施中的感知層為由攝像機、無人機、衛星遙感、激光雷達等感知手段獲取的多模態監測數據；網絡層包括4G、5G 等網絡傳輸形式；支撐層通過平臺應用與存儲服務器實現數據的存儲、組織與管理，利用樣本庫服務器支撐平臺服務層的模型訓練，還可利用邊緣計算設備進行前置業務處理與分析，降低中心服務器負載。平臺服務層提供目標識別、目標定位、變化檢測、多模態數據融合與交互驗證等模型與方法的關鍵技術，以及多源數據標準化與共享、地理空間信息分析與決策等服務。業務應用層可調用平臺服務實現視頻執法、衛片執法、日常巡查、智能預警、統計分析等自然資源執法監管業務功能。技術體系同時需要安全保障與運維管理兩子系統作為支撐。

2 關鍵技術

2.1 域自適應的違法線索視頻目標識別檢測技術

借助計算機視覺方法識別真實場景下的違法違章線索行為，依賴實際違法違章數據樣本提高識別模型的準確率，同時要考慮天氣變化等復雜條件下的監測可靠性，因此本文從構建數據樣本庫和域自適應方法兩個方面開展關鍵技術研究。

1）根據自然資源智能執法的需求和場景目標的特點，自然資源違法行為往往伴隨著一些顯著特征的目標類別。根據對違法行為的整理，本文將違法線索分為亂石、土堆、建筑板材、地面硬化、在建磚房、新建板房、紅磚堆和重型機械等8類（表1），收集目標數據樣本并進行標注，存儲于樣本庫服務器，以支撐目標識別檢測模型的研究。

表1 目標識別類別

2）利用機器視覺中跨域自適應目標檢測方法解決自然資源視頻監測中目標識別準確性受惡劣天氣、拍攝角度、光照條件等因素影響的難題。其關鍵技術主要包括圖像級適應、實例級適應和域損失的條件對抗。基于遷移學習的無監督跨域目標檢測，通過學習到域無關的特征，改善目標域由于惡劣天氣、拍攝角度、光照條件等原因產生的域偏差，進而增加模型的魯棒性、泛化性。

基于域自適應的跨域目標檢測網絡模型見圖1，可有效地將在有標簽的數據集上訓練的目標檢測模型遷移到具有明顯域差異的無標簽注釋的數據集上，以減少重新標注數據集投入的人力物力。對于Faster-RCNN目標檢測網絡，首先將來自于源域和目標域的兩張圖像分別送入深度卷積網絡中提取圖像特征，在提取的特征圖上添加域分類器以達到圖像級域適應的效果，通過梯度反轉層，原來的目標檢測分支仍最小化目標檢測損失，而域分類分支則最大化域分類損失用于混淆目標域數據與源域數據；然后經過RoI Pooling和全連接層獲得實例級的特征，在該特征圖上添加一個域分類器達到實例級域適應的效果。總的損失函數為目標檢測的分類損失、定位損失和兩個域分類器的損失。該模型在自然資源違法監測等目標檢測數據集上取得了較好的效果，使復雜變化環境下目標檢測的準確率提高了2%～12%[14]。

圖1 基于域自適應的跨域目標檢測框架

2.2 基于DEM輔助的高精度單目定位技術

自然資源視頻監測場景中大多數攝像頭是單目攝像頭，因此單目定位技術是實現視頻監測的重要環節。眾所周知，一條射線在三維空間中無法形成交點，僅依靠單視影像無法實現目標的精準定位，只能根據空間相似性原理進行目標的概略定位。因此，本文基于DEM輔助的高精度單目定位技術，通過從影像中心到特征點的射線與DEM的交會實現目標的精準定位，算法流程見圖2。攝像頭內參標定時，采用張正友棋盤標定法對攝像頭進行參數標定，在不同焦距下計算光學中心的像素坐標和畸變參數等相機內參。在實際監測中，由于攝像頭位置已經固定，因此采用移動棋盤格的方式進行影像數據采集。自然資源監測的攝像機多采用變焦鏡頭，在固定焦距下，應保證影像中棋盤格網點具有極高的辨識度。數據采集完成后，首先檢測每張影像上的棋盤格網點，利用格網點的像素坐標與世界坐標計算影像的單應矩陣；然后利用這些單應矩陣，分步計算得到影像的內外參數和畸變的估計參數；最后采用極大似然法優化估計參數。除標定的相機內參和測量的位置參數外，實現單目定位還需攝像頭云平臺提供的角度參數；但攝像頭云平臺安裝時并未嚴格對齊世界坐標系，存在一定的角度差異，因此需要提前校正以獲取云臺局部坐標系與世界坐標系之間的相對旋轉矩陣。首先利用多組地面控制點及其對應的像素坐標計算投影矩陣，并利用已知的內外參數獲取像空間坐標系與世界坐標系之間的絕對旋轉矩陣；然后將從云臺獲取的云臺局部坐標系與像空間坐標系之間的旋轉矩陣的逆矩陣左乘絕對旋轉矩陣，即可得到相對旋轉矩陣。

圖2 基于DEM輔助的高精度單目定位流程圖

基于DEM輔助的高精度單目定位技術的關鍵在于如何實現射線與不規則DEM面的求交。本文通過高程迭代逼近的方式實現精準定位，具體實現見圖3。利用投影矩陣P建立從像素坐標(x'y'1) 到世界坐標(X'Y'Z'1) 的投影變換，即(x'y'1)=P(X'Y'Z'1) ；但對于一個特征點而言，只能建立兩個方程，而未知數有3個，因此預設一個初始高程平面Z0代入該投影變換，可以計算得到初始平面坐標(X0'Y0)，再利用該平面坐標內插DEM，即可得到更接近真實高程的Z1高程面。迭代上述過程，不斷更新高程面，直到反投影誤差小于某極小閾值為止，即可得到精度極高的目標三維坐標。

圖3 高程迭代逼近過程

3 系統實現與應用實驗

3.1 系統功能實現

根據上述總體技術架構和關鍵技術，本文設計開發了立體化自然資源執法監管系統。系統的主要功能模塊包括監管視頻管理、違法行為智能分析和智能監管與執法3大類，分為12個子功能模塊（圖4）。本文以視頻執法智能分析中的違法線索目標識別為例，介紹系統功能的設計與實現。系統基于B/S 架構和SpringBoot 的MVC 模式，Web 服務部署采用Tomcat，功能模塊開發采用Eclipse 開發工具和Java 編程語言，人機交互可視化界面基于HTML和Javascript編程。違法線索目標識別的功能界面見圖5，用戶通過列表選擇查看監控攝像頭，系統可以抓取監控攝像頭的監控圖像，利用違法線索目標識別與定位算法分析處理監控圖像，通過在監控視頻畫面中標注出違法線索目標的位置與類別的方式展示識別與定位結果。

圖4 系統功能模塊樹

圖5 系統功能界面

3.2 應用驗證分析

系統在廣東省某區縣開展了試點應用，本文以2022 年測試期間應用效果為例進行分析，采用Faster-RCNN 網絡，將數據以8∶2 的比例劃分訓練集和驗證集，以召回率和準確率為評價指標，評估8 類目標的測試結果（表2），可以看出，該方法對重型機械、土堆、建筑板材、在建磚房、新建板房、紅磚堆等類別的識別準確率均高于80%，對亂石、地面硬化的識別準確率較低，主要是受其外觀特征難區分等因素影響。對于目標定位的應用，本文選取不同距離共6 組每組10 次的結果進行實驗分析（表3），可以看出，在1 200 m 監測距離內單目定位平均相對誤差在3%以內。

表2 目標識別應用測試結果

表3 單目定位應用測試結果

4 結 語

本文設計了自然資源視頻執法監測系統技術架構，利用域自適應目標識別和基于DEM輔助的高精度單目定位技術對自然資源違法行為與線索進行了快速目標檢測；并在廣東省某區縣開展了實地應用測試。結果表明，該方法對重型機械、土堆、建筑板材、在建磚房、新建板房、紅磚堆等類別的識別準確率均高于80%，在1 200 m監測距離內的平均定位誤差小于3%。

從應用價值角度看，我國在自然資源、生態環境、安全應急等多個行業領域監測中都部署了海量監控攝像頭，用于動態實時監控土地、礦產、森林、草原、濕地、海洋等各類資源，但視頻監測資源缺乏與地理信息系統的動態、高效、智能的耦合機制，因此搭建融合視頻與地理空間信息的自然資源執法監測系統，形成實時、快速的自然資源感知能力，能顯著降低建設執法智能視頻監控系統的成本，提升自然資源風險預測、預警、預防能力以及應急指揮調度能力，形成智能感知、快速反應、精準指揮、科學決策的現代化自然資源治理體系。