服務機器學習的遙感圖像樣本采集技術與工具開發*

李天一，樊浩宸，李天賜，孟祥卉

（吉林大學 地球探測科學技術學院，吉林 長春 130021）

機器學習發展迅猛，其技術方法廣泛應用于各行各業。其中，計算機視覺技術中的深度學習方法在遙感目標識別、圖像分類等領域也得到了廣泛應用[1-5]。深度學習方法需要構建出對應實驗要求的算法模型，通過對樣本特征的學習產生結果并反饋以優化模型，最終實現速度、精度達到研究要求的模型。在模型構建的過程中，學習樣本的采集和訓練集、測試集和驗證集的劃分是一個重要環節。學習樣本一般需要大批量、等尺寸圖像作為數據集，對于遙感圖像樣本采集來說，原始數據來源一般是現存的各類衛星所采集到的遙感圖像數據。在獲取到原始數據后，需要根據研究要求對原始圖像進行裁剪并重新命名歸類，得到圖片分辨率相同且按類存放的具有統一命名標準的圖像，進而形成圖片樣本集[6-9]。

在樣本采集過程中，會有多種因素制約圖像采集工作效率，往往需要解決如下問題：首先，在遙感圖像樣本采集過程中，不可避免地會涉及到多種遙感數據類型。大部分的數據來源多樣，不同類型的遙感數據存放在不同的遙感數據平臺，因此在數據采集的時候需要在不同平臺進行不同類別遙感圖像數據的下載、采集和處理操作。此外，對于不同地物還有需要根據其具體尺寸選用不同比例尺的遙感數據等問題。在機器學習模型方面，要滿足研究所選用的不同模型對圖像格式的要求和訓練模型時參數更改的需要，圖像樣本尺寸、類型一般是動態變化的。同時在同一模型下還有對遙感圖像樣本規范化的要求，操作上重復性的特征比較突出。所以，這一環節往往對采集的靈活性、效率、規范水平有著較高要求。其次，采集的樣本圖像形成的圖像數據集需要服務于后續機器學習算法模型的訓練與實現，因此不能在采集后簡單地按文件夾存儲。機器學習模型訓練過程中需要通過數據集中的樣本及時幫助模型發現參數問題，并且當發現采集到的樣本數據存在問題時還需要對其進行修正，最后還要考慮機器學習圖像樣本的快速檢索、樣本瀏覽、快視圖查看等需求。所以對樣本動態檢索與動態采集有較高的管理要求。

本文在吉林大學“大學生創新創業訓練計劃”培育項目的支持下，構建了尺度程序化控制，跨數據平臺和軟件平臺的遙感圖像樣本采集方案，進而解決遙感圖像樣本規范化要求高、人工采集效率低的問題；然后運用數據庫管理模式與可視化程序控制，實現樣本圖像分類化、動態化、結果可視化、樣本信息同步采集的樣本管理模型，從而解決機器學習模型對樣本動態檢索與動態采集的管理需求。

1 技術方法

1.1 規范化、尺度可變的樣本圖片采集方法

本文設計的機器學習遙感數據樣本采集方式主要分為四個方面，分別是樣本參數設計、平臺選擇、樣本取圖和圖像信息入庫四個方面（圖1）。對于樣本參數設計，首先需要確定采樣數據源，以滿足對所采集地物特征描述準確的要求。其次是樣本采樣尺寸的確定，以滿足機器學習模型的參數要求。對于遙感數據平臺的選擇，主要根據所要采集遙感圖像，進而選擇合適的數據資源平臺或遙感數據軟件平臺這兩種平臺進行獲取。對于樣本取圖環節，首先是根據屏幕分辨率獲取屏幕坐標，進而通過采樣尺寸計算截圖范圍。然后將該范圍內的像素轉繪到相同范圍大小的畫布上，完成屏幕截圖。最后進行樣本數據另存。對于樣本信息入庫，我們根據所截取地物的類型和位次進行編碼入庫。并且將所截取的地物地理坐標和特征描述等其他信息一并進行錄入。

圖1 技術方法

1.2 樣本分類與動態管理模式

用于機器學習訓練和驗證的遙感圖像樣本按不同類型進行管理（圖2）。首先，在顯示圖片的時候需要對已獲取的圖片進行分類顯示，需要確定所選擇的類別信息，因此使用選項按鈕獲取目前所選擇的遙感圖像樣本類別。通過與數據庫進行連接，使用SQL語句查詢該類別，提取該類別下的所有項目，在信息欄中呈現。最后將所有樣本信息在圖形頁面中進行呈現。其次，動態管理方面，在類型確定時對該類型下的條目進行計數，得到同類型的總數，新圖像的編號即為該類型下總數加一，最終實現新樣本的入庫。

圖2 管理模式

2 關鍵技術實現方法

2.1 樣本采樣關鍵技術

在樣本采集時，用戶可通過參數設置設定截圖尺寸等參數，然后通過鼠標點擊采樣的中心點，獲取圖像坐標，其實現代碼如下：

Point leftUpPoint=new Point（this.mouseDownPoint.X，this.mouseDownPoint.Y）;

if（e.X＜this.mouseDownPoint.X）

leftUpPoint.X=e.X;

if（e.Y＜this.mouseDownPoint.Y）

leftUpPoint.Y=e.Y;

然后，根據中心點坐標，結合設置參數，自動計算取樣范圍，從而確定取樣的長寬像素值，通過截圖方式獲取標準化的樣本，其坐標范圍計算代碼如下：

int wideth=Math.Abs（MyFieldClass.PicWidth）;int height=Math.Abs（MyFieldClass.PicHeight）;

this.rect=new Rectangle（leftUpPoint.X-wideth/2，leftUpPoint.Y-height/2，wideth，height）;

this.Refresh（）;

其中，MyFieldClass.PicWidt是用戶預設的采集圖像寬度值，MyFieldClass.PicHeight是用戶預設的采集圖像長度值。

在確定好截圖相關參數之后，建立與截圖尺寸等大小的畫布，并且進入截圖狀態（圖3）。

圖3 截圖狀態示意圖

操作完成后所截取到的圖，放在內存的粘貼板中，然后存為JPG格式文件，圖像名稱根據數據庫的數據數量情況和采樣類型，進行自動編碼后存入相關文件夾。

2.2 樣本動態管理的實現技術

在C#中使用radiobutton實現樣本類型唯一選擇，通過讀取已被選擇的radiobutton按鈕文本信息獲取目前已被選擇的類別信息。將該類別字段作為查詢字段，使用select語句在數據庫中進行查找，進而將該語句的查詢結果顯示在列表欄中。并將查詢到的圖像縮略圖展示在左側圖像框中，并設計單擊縮略圖可顯示其快視圖并顯示其具體信息。在新圖像錄入時，對listbox中的項目進行計數，從而得知選擇該類型下有多少項目，并將該數加一獲得新圖像錄入的編號。圖片路徑通過定義靜態變量存儲，通過數據庫查詢某類記錄，獲取當前記錄總數（N），類別為（K），則它的編碼為“RS-K+（N+1）”，例如當前機場最大記錄為“RS-JC-5”，因此下一采樣的數據編為“RS-JC-6”，對應的樣本圖片自動命名為RS-JC-6.jpg（圖4）。在截圖完成后，還需要將新截圖的信息存入數據庫，通過SQL的INSERT INTO語句將信息存入數據庫中。

圖4 數據管理流程圖

在新的圖像樣本及其信息入庫后，將該類型下的樣本圖像編號全部讀入到listbox，再將該類型下全部樣本圖像縮略圖在右側進行展示，并設計點擊縮略圖后在左側展示該樣本快視圖、在下方展示該樣本地理信息和特征描述的功能，達到可以直觀地管理圖像樣本的效果（圖5）。

圖5 樣本采集工具界面

3 結束語

本文圍繞深度學習樣本采集復雜性、可變性的特點，提出了一種基于數據庫與跨平臺式，尺度可變的樣本采樣技術，并基于Visual Studio和數據庫二次開發技術實現樣本的快速采集與分類管理，有效地支撐了深度學習模型訓練，具有一定的實用價值。

樣本信息分類化采集、管理、可視化瀏覽可以快速地實現機器學習樣本庫動態管理與問題排查，并且可以在每次截圖過程中同時完成信息入庫操作，避免了截圖操作與信息錄入操作兩者并行的繁瑣流程，簡化了操作步驟，減少了錄入錯誤情況的發生。在后續對目標地物進行樣本采集的實踐結果表明，本文采用設計與開發的圖像截取與信息錄入系統能方便快捷地采集等尺寸遙感圖像，使工作效率大大提高。且為進一步劃分訓練集、測試集和驗證集提供較好的技術支撐。