生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

孫建欣，李成芳，雷云龍，曹飛*，徐丹，周子牧，吳躍，孫中平

(1.生態(tài)環(huán)境部衛(wèi)星環(huán)境應(yīng)用中心，北京 100094；2.國家對(duì)地觀測科學(xué)數(shù)據(jù)中心生態(tài)環(huán)境衛(wèi)星數(shù)據(jù)資源分中心，北京 100094)

近年來，我國已先后發(fā)射了資源一號(hào)02C 衛(wèi)星、資源三號(hào)衛(wèi)星以及高分一號(hào)衛(wèi)星、高分二號(hào)衛(wèi)星等具備先進(jìn)高分辨率觀測能力的民用衛(wèi)星[1]，數(shù)據(jù)獲取能力大幅度提高。衛(wèi)星遙感技術(shù)在國家生態(tài)環(huán)境考核評(píng)價(jià)、生態(tài)補(bǔ)償、監(jiān)管執(zhí)法、風(fēng)險(xiǎn)防范、公共服務(wù)等方面的支撐服務(wù)作用逐步凸顯，地方生態(tài)環(huán)境主管部門也在大氣、水、生態(tài)、固廢、督察等領(lǐng)域逐步開展相關(guān)遙感應(yīng)用。

隨著國家和地方生態(tài)環(huán)境監(jiān)管需求日益增多，對(duì)多源衛(wèi)星遙感數(shù)據(jù)獲取的時(shí)效性提出了更高的要求。同時(shí)，衛(wèi)星遙感數(shù)據(jù)爆炸性增長并被廣泛應(yīng)用，呈現(xiàn)出明顯的“大數(shù)據(jù)”特征[2-3]，傳統(tǒng)的人工查詢、下載、傳輸方式已無法滿足需要。如何主動(dòng)、及時(shí)、高效地實(shí)現(xiàn)大數(shù)據(jù)量的多源衛(wèi)星遙感影像數(shù)據(jù)的傳輸，成為生態(tài)環(huán)境遙感監(jiān)測發(fā)展的瓶頸。為實(shí)現(xiàn)生態(tài)環(huán)境監(jiān)管“高精度、短周期、全方位”的目標(biāo)，亟須探索建立及時(shí)、主動(dòng)、高效的全自動(dòng)化的多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)平臺(tái)。

根據(jù)生態(tài)環(huán)境監(jiān)測需求，利用大數(shù)據(jù)、互聯(lián)網(wǎng)、公有云等技術(shù)，構(gòu)建了集多源衛(wèi)星遙感數(shù)據(jù)及時(shí)獲取、主動(dòng)推送和接收、接收端及時(shí)歸檔等于一體的生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)，實(shí)現(xiàn)國產(chǎn)多源衛(wèi)星遙感數(shù)據(jù)主動(dòng)傳輸，為省、市、縣三級(jí)生態(tài)環(huán)境主管部門開展生態(tài)環(huán)境遙感監(jiān)測提供數(shù)據(jù)支撐。

1 系統(tǒng)設(shè)計(jì)

生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)以高分辨率對(duì)地觀測系統(tǒng)衛(wèi)星遙感影像數(shù)據(jù)為主要數(shù)據(jù)源，基于用戶需求對(duì)衛(wèi)星遙感數(shù)據(jù)進(jìn)行主動(dòng)推送。本系統(tǒng)具體內(nèi)容包括一套基礎(chǔ)地理數(shù)據(jù)、一個(gè)數(shù)據(jù)庫體系、一套管控機(jī)制以及一套標(biāo)準(zhǔn)規(guī)范。

1.1 設(shè)計(jì)原則

(1)時(shí)效性原則

生態(tài)環(huán)境監(jiān)測要求具有較高的時(shí)效性，在滿足業(yè)務(wù)需求的同時(shí)，完成數(shù)據(jù)采集后在規(guī)定的時(shí)間內(nèi)推送出去，保證數(shù)據(jù)能迅速、及時(shí)、高效地的被用戶接收，助力用戶及時(shí)完成環(huán)境變化與動(dòng)態(tài)監(jiān)測研究。

(2)規(guī)范性原則

保證在功能模塊和人機(jī)交互界面上貼近用戶日常操作習(xí)慣，功能模塊和功能按鈕的說明應(yīng)定義清晰、命名直觀，達(dá)到簡單易用、提高業(yè)務(wù)管理效率的目的，操作界面簡潔、直觀，使用簡單，操作方便。

1.2 結(jié)構(gòu)設(shè)計(jì)

結(jié)合生態(tài)環(huán)境遙感監(jiān)測需求，將生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)建成具備穩(wěn)定、高效、可擴(kuò)展、可重用等特性的系統(tǒng)。系統(tǒng)在設(shè)計(jì)上為后續(xù)的業(yè)務(wù)支持和功能擴(kuò)展預(yù)留了接口。系統(tǒng)各部分針對(duì)nignx、rabbit MQ、tomcat、serv-u 等應(yīng)用中間件進(jìn)行了優(yōu)化，支持Windows 操作系統(tǒng)的部署與應(yīng)用。基于多層B/S 開發(fā)應(yīng)用模式，所有的應(yīng)用邏輯和開發(fā)維護(hù)都集中在服務(wù)器上[4]。該系統(tǒng)是面向應(yīng)用軟件進(jìn)行的集成和整合，從整體上劃分為基礎(chǔ)設(shè)施層、數(shù)據(jù)層、基礎(chǔ)組件層、應(yīng)用層和用戶層五個(gè)層次。參見圖1。

圖1 系統(tǒng)總體架構(gòu)

(1)基礎(chǔ)設(shè)施層

基礎(chǔ)設(shè)施層包括兩個(gè)部分，為本系統(tǒng)提供各類軟、硬件的基礎(chǔ)設(shè)施支撐。一是基礎(chǔ)平臺(tái)，即硬件支撐平臺(tái)，為數(shù)據(jù)存儲(chǔ)和系統(tǒng)運(yùn)行提供硬件支撐，包括計(jì)算機(jī)、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備和安全系統(tǒng)等；二是各類支撐軟件，為各應(yīng)用系統(tǒng)提供開發(fā)、測試與運(yùn)行的軟件支撐。

(2)數(shù)據(jù)層

數(shù)據(jù)層主要實(shí)現(xiàn)對(duì)遙感數(shù)據(jù)、用戶信息、元數(shù)據(jù)以及其他數(shù)據(jù)的統(tǒng)一存儲(chǔ)管理，包括遙感影像庫、元數(shù)據(jù)庫、快視圖數(shù)據(jù)庫、業(yè)務(wù)數(shù)據(jù)庫等。

(3)基礎(chǔ)組件層

基礎(chǔ)組件層是將應(yīng)用層中的各個(gè)子系統(tǒng)中與業(yè)務(wù)邏輯無關(guān)的通用支撐功能分離出來，構(gòu)成可以被不同系統(tǒng)調(diào)用的構(gòu)件集和服務(wù)集，實(shí)現(xiàn)對(duì)功能的重用。基礎(chǔ)組件層主要包括任務(wù)管理、任務(wù)審核、數(shù)據(jù)推送、推送監(jiān)控、需求定制、數(shù)據(jù)接收、數(shù)據(jù)統(tǒng)計(jì)和任務(wù)監(jiān)控等。

(4)應(yīng)用層

應(yīng)用層直接面向各類用戶提供應(yīng)用服務(wù)，包括生態(tài)環(huán)境遙感數(shù)據(jù)推送子系統(tǒng)和生態(tài)環(huán)境遙感數(shù)據(jù)接收子系統(tǒng)。

(5)用戶層

用戶層包括數(shù)據(jù)推送方和數(shù)據(jù)接收方。

1.3 功能設(shè)計(jì)

生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)包括生態(tài)環(huán)境數(shù)據(jù)推送子系統(tǒng)和生態(tài)環(huán)境數(shù)據(jù)接收子系統(tǒng)，系統(tǒng)功能設(shè)計(jì)如圖2 所示。

圖2 系統(tǒng)功能設(shè)計(jì)

(1)生態(tài)環(huán)境數(shù)據(jù)推送子系統(tǒng)

生態(tài)環(huán)境數(shù)據(jù)推送子系統(tǒng)主要包括任務(wù)管理模塊、數(shù)據(jù)推送模塊和數(shù)據(jù)監(jiān)控模塊。其中，任務(wù)管理模塊支持對(duì)任務(wù)實(shí)現(xiàn)添加、刷新、查詢、刪除、暫停、恢復(fù)、重新推送等功能，主要是根據(jù)訂單需求，創(chuàng)建數(shù)據(jù)推送任務(wù)，展示任務(wù)信息并支持對(duì)任務(wù)的增、刪、改、查等基本操作。該模塊將ArcSDE作為空間數(shù)據(jù)引擎，將SQLServer 作為數(shù)據(jù)庫進(jìn)行空間數(shù)據(jù)管理，設(shè)計(jì)和實(shí)現(xiàn)具有基本地圖操作功能、地圖定位、查詢、空間分析的系統(tǒng)[5-8]；數(shù)據(jù)推送模塊支持對(duì)推送任務(wù)中的數(shù)據(jù)按日、周、月三種周期進(jìn)行數(shù)據(jù)推送，數(shù)據(jù)推送狀態(tài)包括隊(duì)列中、正在推送、推送完成、推送失敗四種，對(duì)于推送失敗的數(shù)據(jù)可以單選或多選進(jìn)行重新推送；數(shù)據(jù)監(jiān)控模塊主要是對(duì)任務(wù)、子任務(wù)和數(shù)據(jù)的監(jiān)控，對(duì)任務(wù)和子任務(wù)的監(jiān)控通過進(jìn)度條完成度表示，對(duì)數(shù)據(jù)的監(jiān)控采用數(shù)據(jù)顯示狀態(tài)表示。

(2)生態(tài)環(huán)境數(shù)據(jù)接收子系統(tǒng)

生態(tài)環(huán)境數(shù)據(jù)接收子系統(tǒng)主要包括需求定制模塊、數(shù)據(jù)接收監(jiān)控模塊和數(shù)據(jù)接收歸檔模塊。其中，需求定制模塊由系統(tǒng)管理員根據(jù)線下數(shù)據(jù)推送協(xié)議發(fā)起的線上數(shù)據(jù)進(jìn)行任務(wù)推送，數(shù)據(jù)接收監(jiān)控模塊能夠?qū)崿F(xiàn)對(duì)任務(wù)的模糊查詢、展示和詳情信息查詢等，數(shù)據(jù)歸檔模塊可以按時(shí)間、數(shù)據(jù)狀態(tài)(衛(wèi)星類型、傳感器類型)篩選數(shù)據(jù)，并對(duì)接收到的數(shù)據(jù)以列表、快視圖等形式展示。

1.4 數(shù)據(jù)庫設(shè)計(jì)

生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)數(shù)據(jù)庫設(shè)計(jì)內(nèi)容主要包括概念模型設(shè)計(jì)、邏輯模型設(shè)計(jì)和物理設(shè)計(jì)。該系統(tǒng)數(shù)據(jù)庫概念模型設(shè)計(jì)是通過對(duì)數(shù)據(jù)資源進(jìn)行綜合、歸納和抽象，形成一個(gè)獨(dú)立于具體硬件環(huán)境和數(shù)據(jù)庫管理系統(tǒng)的概念模型。數(shù)據(jù)庫邏輯模型設(shè)計(jì)的主要任務(wù)就是把概念結(jié)構(gòu)轉(zhuǎn)換為數(shù)據(jù)庫管理系統(tǒng)能處理的數(shù)據(jù)模型，并對(duì)其進(jìn)行優(yōu)化，將概念模型設(shè)計(jì)階段設(shè)計(jì)好的E-R圖轉(zhuǎn)換為與所選用的具體機(jī)器上的DBMS 所支持的數(shù)據(jù)模型相符合的邏輯結(jié)構(gòu)。設(shè)計(jì)數(shù)據(jù)庫邏輯結(jié)構(gòu)應(yīng)選擇最適合于描述與表達(dá)相應(yīng)概念結(jié)構(gòu)的數(shù)據(jù)模型，這些模型在功能、完整性和一致性約束及數(shù)據(jù)庫的可擴(kuò)充性等方面均應(yīng)滿足用戶的各種要求，然后選擇最合適的數(shù)據(jù)庫管理系統(tǒng)。

生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)數(shù)據(jù)庫系統(tǒng)存取結(jié)構(gòu)包括記錄的組成、數(shù)據(jù)項(xiàng)的類型和長度，以及邏輯記錄到存儲(chǔ)記錄的映射。根據(jù)數(shù)據(jù)類型的不同，采用關(guān)系數(shù)據(jù)庫方式和文件服務(wù)器相結(jié)合的方式來存取管理數(shù)據(jù)。

2 數(shù)據(jù)傳輸系統(tǒng)的實(shí)現(xiàn)

生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)研制采用了多層的體系、B/S 架構(gòu)[9-20]，主要采用JAVA語言開發(fā)，選用ORACLE、PG 數(shù)據(jù)庫，運(yùn)用CVS或SVN 版本的控制軟件。

數(shù)據(jù)接收端發(fā)起數(shù)據(jù)推送需求，需求中需要指定數(shù)據(jù)類型、數(shù)據(jù)范圍、數(shù)據(jù)時(shí)間、數(shù)據(jù)推送周期、數(shù)據(jù)接收地址、數(shù)據(jù)推送周期和數(shù)據(jù)推送啟動(dòng)時(shí)間。數(shù)據(jù)推送端接收到需求后會(huì)對(duì)需求進(jìn)行審核，審核不通過則退回接收端進(jìn)行修改。審核通過后，數(shù)據(jù)推送端會(huì)按需求自動(dòng)創(chuàng)建數(shù)據(jù)推送任務(wù)，根據(jù)任務(wù)指定的衛(wèi)星類型、傳輸?shù)刂贰⑼扑烷_始時(shí)間、數(shù)據(jù)范圍、數(shù)據(jù)時(shí)間和推送周期定期到數(shù)據(jù)庫中進(jìn)行數(shù)據(jù)掃描，掃描到符合要求的數(shù)據(jù)后會(huì)將數(shù)據(jù)推送到接收端指定的路徑下，推送完成后接收端即可到路徑下提取數(shù)據(jù)到本地庫。

3 系統(tǒng)相關(guān)技術(shù)

3.1 關(guān)鍵技術(shù)

(1)基于RabbitMQ 的多進(jìn)程推送服務(wù)

基于RabbitMQ 的多進(jìn)程推送系統(tǒng)配合合理的網(wǎng)絡(luò)硬件部署可以在最大利用網(wǎng)絡(luò)通信資源的條件下解決分發(fā)瓶頸問題。多進(jìn)程推送可以將多個(gè)推送服務(wù)部署在不同的服務(wù)器上(也可以在每個(gè)服務(wù)器上部署多個(gè)分發(fā)服務(wù)以最大限度利用服務(wù)資源)，通過負(fù)載均衡系統(tǒng)自動(dòng)最大限度利用多臺(tái)服務(wù)器和多臺(tái)存儲(chǔ)設(shè)備資源進(jìn)行推送。

(2)基于國密算法的系統(tǒng)加密技術(shù)

國密算法即國家密碼局認(rèn)定的國產(chǎn)密碼算法，主要有SM1、SM2、SM3、SM4。SM1 需要特殊加密芯片進(jìn)行硬件支持，用于極高要求的安全領(lǐng)域；SM2 實(shí)現(xiàn)非對(duì)稱加密，加密級(jí)別較高，但用于大數(shù)據(jù)量加密時(shí)其運(yùn)行效率是短板，一般可用于數(shù)據(jù)存儲(chǔ)而不適合數(shù)據(jù)傳輸；SM3 為電子簽名算法，用于身份驗(yàn)證，無法用于傳輸數(shù)據(jù)本身。本系統(tǒng)采用SM4 對(duì)稱加密算法。SM4 算法公開，分組長度與密鑰長度均為128bit，加密算法與密鑰擴(kuò)展算法都采用32 輪非線性迭代結(jié)構(gòu)；對(duì)比同類AES 加密算法具有內(nèi)存占用小，運(yùn)算速度快，安全性高等優(yōu)點(diǎn)。

3.2 數(shù)據(jù)源

本系統(tǒng)實(shí)現(xiàn)主動(dòng)傳輸?shù)臄?shù)據(jù)源主要包括高分一號(hào)(GF1，包括A/B/C/D 四顆星)、高分二號(hào)(GF2)、高分三號(hào)(GF3)、高分四號(hào)(GF4)、高分五號(hào)(GF5)、高分六號(hào)(GF6)、資源三號(hào)(ZY3)和資源三號(hào)02 星(ZY3-02)等，同時(shí)預(yù)留了后續(xù)發(fā)射衛(wèi)星數(shù)據(jù)接口。

4 結(jié)束語

基于覆蓋范圍廣、信息量大、可連續(xù)觀測的特點(diǎn)，衛(wèi)星遙感技術(shù)在生態(tài)環(huán)境保護(hù)工作中發(fā)揮了不可或缺的作用，有力地支撐了生態(tài)環(huán)境監(jiān)測、督察監(jiān)管等重要工作。根據(jù)衛(wèi)星遙感數(shù)據(jù)在生態(tài)環(huán)境監(jiān)測、監(jiān)管方面的應(yīng)用，將多源遙感數(shù)據(jù)集合，設(shè)計(jì)并實(shí)現(xiàn)了生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)的主動(dòng)快速傳輸系統(tǒng)。該系統(tǒng)將不同數(shù)據(jù)源衛(wèi)星數(shù)據(jù)整合到同一個(gè)平臺(tái)中，根據(jù)用戶需求，實(shí)現(xiàn)對(duì)數(shù)據(jù)的及時(shí)、高效、按需推送，為生態(tài)環(huán)境監(jiān)測提供基礎(chǔ)數(shù)據(jù)支撐。

研究表明，生態(tài)環(huán)境多源衛(wèi)星遙感數(shù)據(jù)傳輸系統(tǒng)實(shí)現(xiàn)了多源衛(wèi)星遙感數(shù)據(jù)的主動(dòng)快速推送，為生態(tài)環(huán)境監(jiān)管提供了及時(shí)高效的基礎(chǔ)數(shù)據(jù)支撐。目前已完成江蘇南京、江蘇泰州、陜西西安等節(jié)點(diǎn)的部署和上線運(yùn)行，為秸稈焚燒、黑臭水體、自然保護(hù)區(qū)、飲用水源地、生態(tài)保護(hù)紅線等重點(diǎn)業(yè)務(wù)提供了數(shù)據(jù)保障，在生態(tài)環(huán)境監(jiān)測與監(jiān)管過程中發(fā)揮了積極作用。下一步將開發(fā)區(qū)域定制化數(shù)據(jù)服務(wù)，不斷優(yōu)化系統(tǒng)功能，提供更高時(shí)效的生態(tài)環(huán)境衛(wèi)星遙感數(shù)據(jù)，大幅度提高生態(tài)環(huán)境監(jiān)測能力，為生態(tài)環(huán)境質(zhì)量考核評(píng)價(jià)、污染解析、預(yù)警應(yīng)急、監(jiān)督執(zhí)法、風(fēng)險(xiǎn)管理等重點(diǎn)工作提供數(shù)據(jù)服務(wù)。