遙感影像深度學(xué)習(xí)樣本在線標(biāo)注系統(tǒng)設(shè)計與實現(xiàn)

鐘 靜,劉星瑞,郭明強,,3,4*

（1.湖北地信科技集團股份有限公司，湖北 武漢 430200；2.中國地質(zhì)大學(xué)（武漢）地理與信息工程學(xué)院，湖北 武漢 430074；3.中國地質(zhì)大學(xué)（武漢）計算機學(xué)院，湖北 武漢 430074；4.國家地理信息系統(tǒng)工程技術(shù)研究中心，湖北 武漢 430200）

隨著大數(shù)據(jù)、云計算、人工智能等技術(shù)的不斷進步，深度學(xué)習(xí)技術(shù)在圖像識別方面取得了重大進展[1]。在遙感領(lǐng)域，近年也利用深度學(xué)習(xí)技術(shù)支持場景理解、地物目標(biāo)檢測與土地覆蓋分類等任務(wù)。人們通過構(gòu)建大量樣本數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，顯著提高了遙感影像特征提取成效[2-4]。人工智能在各個行業(yè)廣泛應(yīng)用的過程中，對數(shù)據(jù)的完整性、數(shù)據(jù)標(biāo)注效率、數(shù)據(jù)精準(zhǔn)程度、數(shù)據(jù)維度和樣本復(fù)雜性的要求越來越高，這對樣本標(biāo)注技術(shù)、標(biāo)注平臺能力、樣本協(xié)同標(biāo)注等都提出了挑戰(zhàn)。樣本標(biāo)注是樣本庫建設(shè)的基礎(chǔ)工作[5]，作為人工智能模型訓(xùn)練過程直接與數(shù)據(jù)精度銜接的一環(huán)，樣本標(biāo)注更是整個工作流程的重中之重。

隨著AI行業(yè)的發(fā)展，優(yōu)質(zhì)數(shù)據(jù)可能成為公司發(fā)展的壁壘。但無論大中小企業(yè)，在面對樣本標(biāo)注任務(wù)時，或多或少都會有技術(shù)或者資源上的問題，這歸因于樣本標(biāo)注行業(yè)目前還沒有較好的在線數(shù)據(jù)協(xié)作標(biāo)注平臺，也沒有一個樣本標(biāo)注的統(tǒng)一標(biāo)準(zhǔn)。在這種行業(yè)狀況下，亟需一個能夠?qū)崿F(xiàn)共享標(biāo)注、樣本統(tǒng)一管理的在線標(biāo)注平臺。本文以解決遙感影像深度學(xué)習(xí)樣本標(biāo)注的實際問題為基準(zhǔn)，設(shè)計并實現(xiàn)了一種基于Web-GIS的遙感影像深度學(xué)習(xí)樣本在線標(biāo)注系統(tǒng)。

1 遙感影像深度學(xué)習(xí)樣本在線標(biāo)注系統(tǒng)研究情況

1.1 遙感影像深度學(xué)習(xí)樣本在線標(biāo)注系統(tǒng)國內(nèi)發(fā)展現(xiàn)狀

隨著互聯(lián)網(wǎng)技術(shù)飛速發(fā)展，人們的生產(chǎn)方式、思維方式、學(xué)習(xí)方式都發(fā)生了翻天覆地的變化，同時也加速了中國邁向?qū)W習(xí)型社會的步伐。深度學(xué)習(xí)作為一種新的學(xué)習(xí)方式，已越來越受到研究者和學(xué)習(xí)者的重視[6]。對遙感影像進行深度學(xué)習(xí)樣本采集并非新課題，在各大高校、研究所或相關(guān)單位中，可見許多專用的遙感影像深度學(xué)習(xí)樣本標(biāo)注軟件。

互聯(lián)網(wǎng)的高共享，信息獲取快的特點為遙感影像深度學(xué)習(xí)樣本標(biāo)注提供了更多的便利。目前市面上的深度學(xué)習(xí)樣本標(biāo)注系統(tǒng)雖然都服務(wù)于數(shù)據(jù)標(biāo)注工作，但其功能各有差異，解決的問題也各不相同。例如航天宏圖公司的PIE-Engine樣本協(xié)同標(biāo)注平臺面向的是整個數(shù)據(jù)采集、標(biāo)注、訓(xùn)練、應(yīng)用的過程，其數(shù)據(jù)格式和標(biāo)注過程也更加偏向其對應(yīng)的數(shù)據(jù)訓(xùn)練模型[7]；華為云的AI開發(fā)平臺ModelArts提供其原創(chuàng)的數(shù)據(jù)標(biāo)注系統(tǒng)，涵蓋圖片、音頻、文本、視頻等多種介質(zhì)的分類方法以及海量的數(shù)據(jù)處理功能，但需要依賴華為云提供的云服務(wù)器，操作較為復(fù)雜，不利于團隊協(xié)作標(biāo)注；杭州景聯(lián)文科技有限公司和北京倍賽科技有限公司的樣本標(biāo)注品平臺均提供2D、3D融合標(biāo)注，點云標(biāo)注及OCR轉(zhuǎn)寫功能，其中景聯(lián)文公司的數(shù)據(jù)標(biāo)注偏向于指紋識別方向，而倍賽公司的數(shù)據(jù)標(biāo)注偏向于醫(yī)學(xué)研究，對于遙感影像的標(biāo)注沒有一套完整有效的標(biāo)準(zhǔn)。其他大部分的深度學(xué)習(xí)樣本標(biāo)注系統(tǒng)也都具有類似問題。但不可否認(rèn)的是，現(xiàn)有的深度學(xué)習(xí)樣本標(biāo)注技術(shù)已經(jīng)較為成熟，為遙感影像深度學(xué)習(xí)樣本標(biāo)注系統(tǒng)的構(gòu)建提供了寶貴的案例和技術(shù)支持。

1.2 遙感影像深度學(xué)習(xí)樣本在線標(biāo)注系統(tǒng)國外發(fā)展現(xiàn)狀

國外在深度學(xué)習(xí)領(lǐng)域起步早，研究者眾多，在數(shù)據(jù)標(biāo)注方向相關(guān)研究領(lǐng)先我國。面向數(shù)據(jù)標(biāo)注工作的專業(yè)軟件就有十余種。其中，可應(yīng)用于遙感領(lǐng)域的具有多用戶在線協(xié)同功能的有CVAT、Labelstudio、Scalabel等。在本地運行的單機標(biāo)注軟件有LabelMe、Vatic、Sloth、Annotorious等。但無論是國內(nèi)還是國外，在Web端的多用戶協(xié)作標(biāo)注平臺發(fā)展并不成熟，做得比較完備的如CVAT使用的是Django框架管理用戶，在Web端上傳數(shù)據(jù)并創(chuàng)建標(biāo)注任務(wù)，且需要Docker容器環(huán)境運行，安裝復(fù)雜且數(shù)據(jù)上傳不穩(wěn)定，等待時間甚至多于工作時間。

總體來看，亟需研究并開發(fā)遙感影像深度學(xué)習(xí)樣本在線標(biāo)注平臺，提升樣本標(biāo)注團隊的工作效率，提高遙感影像深度學(xué)習(xí)樣本質(zhì)量，最大程度減輕樣本標(biāo)注復(fù)雜程度。

2 遙感影像深度學(xué)習(xí)樣本在線標(biāo)注系統(tǒng)需求分析

經(jīng)過分析，樣本在線標(biāo)注系統(tǒng)需要滿足如下特點：標(biāo)注工具部署在Web端，能即開即用；數(shù)據(jù)最好放在服務(wù)器端統(tǒng)一的樣本數(shù)據(jù)庫中，避免本地數(shù)據(jù)二次上傳浪費人力物力；有公開的樣本數(shù)據(jù)可供參考、學(xué)習(xí)；用戶之間能夠分享自己標(biāo)注的樣本。

2.1 系統(tǒng)功能需求分析

作為一個樣本在線標(biāo)注系統(tǒng)，至少需具備在線協(xié)作樣本標(biāo)注基本功能。從標(biāo)注用戶角度出發(fā)，需考慮樣本的呈現(xiàn)方式，簡化協(xié)作標(biāo)注過程，對已標(biāo)注的樣本考慮是否需要可視化展示及如何展示；從管理員角度出發(fā)，應(yīng)了解如何進行用戶信息管理和平臺樣本管理。對上述需求分析，系統(tǒng)功能規(guī)劃為影像地圖基礎(chǔ)功能、樣本標(biāo)注核心功能、數(shù)據(jù)管理功能、網(wǎng)站業(yè)務(wù)功能四大模塊，系統(tǒng)整體功能需求如圖1所示。

2.2 系統(tǒng)非功能需求分析

由于遙感影像深度學(xué)習(xí)的在線標(biāo)注系統(tǒng)是面向大規(guī)模樣本進行標(biāo)注的，涉及到的人員范圍較廣，這就要求該系統(tǒng)能夠支持大規(guī)模的人員登錄，同時也可以防止由于并行操作而造成的系統(tǒng)信息差錯。

管理員登錄人數(shù)少，但是要處理海量的數(shù)據(jù)，對本系統(tǒng)服務(wù)的容量有較高要求，否則會導(dǎo)致網(wǎng)頁出現(xiàn)卡頓，從而影響用戶的體驗感。同時，如果與相關(guān)部門合作，會利用政府的內(nèi)部資料，進行必要的安全防護，以避免信息外泄。

綜上所述，系統(tǒng)需具備性能高，操作簡單，數(shù)據(jù)安全性高，統(tǒng)維護便捷，可用性好等特點。

3 遙感影像深度學(xué)習(xí)樣本在線標(biāo)注系統(tǒng)設(shè)計

本文設(shè)計的遙感影像深度學(xué)習(xí)樣本在線標(biāo)注系統(tǒng)采用B/S架構(gòu)，REST服務(wù)風(fēng)格設(shè)計，前后端分離的開發(fā)風(fēng)格，利用瀏覽器完成對工作頁的訪問。極少部分的業(yè)務(wù)邏輯存在于瀏覽器端，從而降低了服務(wù)器的負(fù)荷，也降低了后期的升級和維護費用。在后臺使用MapGIS IGServer，為用戶提供統(tǒng)一的數(shù)據(jù)存取界面。而在前端則是Vue架構(gòu)，采用element-UI來調(diào)整網(wǎng)頁的外觀樣式，讓使用者獲得更好的體驗感。利用所述的界面?zhèn)魉虷ttp要求、作業(yè)命令及接收用戶反饋，并在前端網(wǎng)頁上呈現(xiàn)數(shù)據(jù)。

系統(tǒng)前端劃分為視圖層和邏輯操作層，視圖層主要是Vue框架將處理好的數(shù)據(jù)渲染到頁面上進行相應(yīng)的顯示以及用戶信息和網(wǎng)站業(yè)務(wù)信息顯示的圖層[8]。邏輯操作層主要是針對用戶的操作進行相應(yīng)處理，發(fā)送網(wǎng)絡(luò)請求，以及獲取后臺發(fā)送回來的數(shù)據(jù)，對其進行相應(yīng)處理，使得其符合數(shù)據(jù)顯示的要求。后臺劃分?jǐn)?shù)據(jù)邏輯操作層和數(shù)據(jù)層。數(shù)據(jù)邏輯操作層主要是后臺獲取網(wǎng)絡(luò)請求后，按照要求設(shè)置數(shù)據(jù)的操作指令，以及發(fā)送數(shù)據(jù)操作后的結(jié)果。數(shù)據(jù)層是指數(shù)據(jù)庫層次，指數(shù)據(jù)存儲和對數(shù)據(jù)庫中的數(shù)據(jù)進行修改、獲取、刪除等操作。

系統(tǒng)角色設(shè)計為普通用戶和管理員兩種。普通用戶是系統(tǒng)的主要使用者，系統(tǒng)大量的樣本數(shù)據(jù)是由普通用戶上傳并提交審核。在用戶個人創(chuàng)建的項目中，項目創(chuàng)建者擁有對所標(biāo)注的所有樣本進行操作權(quán)限，而項目參與者只能夠修改自己標(biāo)注的樣本。在公開樣本集中，普通用戶只有瀏覽下載公開樣本集的權(quán)限，管理員則擁有變更這些信息的權(quán)限。

系統(tǒng)數(shù)據(jù)庫采用IGServer平臺的數(shù)據(jù)服務(wù)層，提供基礎(chǔ)的影像、矢量、三維等數(shù)據(jù)支持。其中，GIS數(shù)據(jù)庫包括本地的HDF文件數(shù)據(jù)庫，以及基于其他數(shù)據(jù)庫存儲的網(wǎng)絡(luò)數(shù)據(jù)源數(shù)據(jù)。在IGServer平臺中，使用空間數(shù)據(jù)庫引擎技術(shù)（SDE）與中間件技術(shù)，通過數(shù)據(jù)中心對海量、多源、異構(gòu)數(shù)據(jù)進行一體化管理[9]。遙感影像深度學(xué)習(xí)樣本在線標(biāo)注系統(tǒng)數(shù)據(jù)庫共有3個數(shù)據(jù)庫表，分別為用戶信息表、待審核信息表、系統(tǒng)項目信息表。其中用戶信息表包括普通用戶信息表和管理員用戶信息表，系統(tǒng)項目信息表包括項目信息表和系統(tǒng)消息信息表。

4 遙感影像深度學(xué)習(xí)樣本在線標(biāo)注系統(tǒng)實現(xiàn)

本文設(shè)計的遙感影像深度學(xué)習(xí)樣本在線標(biāo)注系統(tǒng)基于Visual Studio Code×64開發(fā)環(huán)境和MapGIS IGServer 10.2互聯(lián)網(wǎng)GIS服務(wù)平臺實現(xiàn)，系統(tǒng)包括登錄、首頁、影像地圖、樣本標(biāo)注、數(shù)據(jù)管理、網(wǎng)站業(yè)務(wù)管理等模塊。

用戶首先需要注冊賬號，擁有賬號的用戶輸入正確的密碼可直接登錄系統(tǒng)，系統(tǒng)登錄成功后，首頁界面示意圖如圖2所示。然后需要創(chuàng)建項目，填寫相關(guān)信息以及將待標(biāo)注的影像數(shù)據(jù)上傳，待管理員審核后發(fā)布在個人標(biāo)注任務(wù)中。審核通過后，用戶選擇要標(biāo)注的項目開始進行樣本標(biāo)注所示。

圖2 系統(tǒng)首頁

樣本標(biāo)注模塊實現(xiàn)樣本標(biāo)注的全過程，該模塊是本系統(tǒng)的核心功能。首先，用戶選擇標(biāo)注的圖層進行要素繪制，同時用戶對所選要素可以進行編輯操作，如圖3所示。標(biāo)注繪制完成后，樣本生成并打包提交審核。管理員讀取并審核完樣本后，如圖4所示，將樣本添加為壓縮包，通過Node Package Manager發(fā)布至服務(wù)器，生成相應(yīng)的超鏈接供用戶點擊下載。如圖5所示，用戶自行選取導(dǎo)出樣本區(qū)域，裁剪合適大小調(diào)用后臺進行批量下載，生成深度學(xué)習(xí)樣本。用戶可以使用已經(jīng)標(biāo)注好的公開數(shù)據(jù)集進行樣本生成，以用于學(xué)習(xí)樣本標(biāo)注過程和統(tǒng)一樣本標(biāo)注標(biāo)準(zhǔn)。

圖3 樣本標(biāo)注

圖4 坐標(biāo)選擇審核范圍

圖5 樣本下載

遙感影像樣本標(biāo)注專業(yè)性較強，目前樣本采集主要采用專業(yè)人員手工采集，效率低、成本高，且由于樣本標(biāo)注者的專業(yè)認(rèn)知差異導(dǎo)致標(biāo)注質(zhì)量不均[5]。為提高樣本采集效率和質(zhì)量，本系統(tǒng)支持樣本眾包協(xié)同采集標(biāo)注、在線校驗。用戶將待采集遙感影像樣本共享至系統(tǒng)，將地理信息數(shù)據(jù)公開，將大區(qū)域的標(biāo)注任務(wù)發(fā)放至平臺。通過發(fā)放眾包任務(wù)，讓多個專業(yè)用戶在線協(xié)同標(biāo)注及上傳，管理員統(tǒng)一審核后將滿足要求的樣本補充至樣本庫。

信息化的標(biāo)注平臺不需要標(biāo)注人員手工進行樣本的標(biāo)注統(tǒng)計，系統(tǒng)通過樣本標(biāo)注可視化功能全方位多角度地展示項目的完成情況及各類樣本的占比。可以通過項目參與者各自標(biāo)注的樣本數(shù)量柱狀圖，近一周項目樣本標(biāo)注走勢折線圖，樣本來源環(huán)狀圖，不同類別樣本占比餅狀圖在線查看樣本情況，如圖6所示。

圖6 樣本統(tǒng)計

5 結(jié)語

本文從建設(shè)背景、需求分析、設(shè)計、實現(xiàn)4個方面介紹了遙感影像深度學(xué)習(xí)樣本在線標(biāo)注系統(tǒng)。筆者通過對目前的國內(nèi)外現(xiàn)存的深度學(xué)習(xí)樣本在線標(biāo)注網(wǎng)站進行調(diào)查研究，結(jié)合參與過的深度學(xué)習(xí)樣本標(biāo)注例子和面臨的實際問題，充分對標(biāo)注用戶和管理人員的操作流程和習(xí)慣進行分析后構(gòu)建出的管理系統(tǒng)。對標(biāo)注用戶來說，采用網(wǎng)頁瀏覽的方式，界面友好，且操作形式和業(yè)務(wù)邏輯與傳統(tǒng)的地圖網(wǎng)站相似，操作簡單易懂。業(yè)務(wù)方面，將遙感影像進行在線協(xié)作標(biāo)注能大幅減輕標(biāo)注團隊的工作量，提高了樣本標(biāo)注效率，減少了人力消耗。