天繪二號(hào)數(shù)據(jù)存儲(chǔ)管理分系統(tǒng)的研究與設(shè)計(jì)

劉曉蘭，仇宮潤，魯瀟南，常濟(jì)崧，宋錫寧

（1. 地理信息工程國家重點(diǎn)實(shí)驗(yàn)室，北京 100094）

天繪二號(hào)（TH-2）衛(wèi)星地面應(yīng)用系統(tǒng)的主要任務(wù)是完成全球基礎(chǔ)測(cè)繪數(shù)據(jù)獲取、各級(jí)衛(wèi)星數(shù)據(jù)產(chǎn)品和測(cè)繪產(chǎn)品生產(chǎn)、在軌參數(shù)標(biāo)定、數(shù)據(jù)存儲(chǔ)管理和共享分發(fā)等[1]，是TH-2衛(wèi)星系統(tǒng)應(yīng)用成果的主體系統(tǒng)。其數(shù)據(jù)存儲(chǔ)管理分系統(tǒng)（簡(jiǎn)稱數(shù)管分系統(tǒng)）負(fù)責(zé)存儲(chǔ)和管理TH-2 衛(wèi)星各類數(shù)據(jù)產(chǎn)品，規(guī)范數(shù)據(jù)格式和接口標(biāo)準(zhǔn)，并兼顧考慮存儲(chǔ)其他測(cè)繪類衛(wèi)星數(shù)據(jù)產(chǎn)品[2-5]。為完成各類數(shù)據(jù)的存儲(chǔ)、管理和共享分發(fā)任務(wù)，數(shù)管分系統(tǒng)的設(shè)計(jì)既要考慮數(shù)據(jù)存儲(chǔ)管理的安全性、穩(wěn)定性、可靠性、高效性和先進(jìn)性[6]，又要考慮地面應(yīng)用系統(tǒng)整體建設(shè)的一體化設(shè)計(jì)思路[7-8]，最大限度地發(fā)揮硬件設(shè)備、關(guān)鍵算法和軟件模塊效能。本文主要從功能設(shè)計(jì)、軟件設(shè)計(jì)和性能指標(biāo)設(shè)計(jì)3個(gè)方面論述數(shù)管分系統(tǒng)的設(shè)計(jì)。

1 功能設(shè)計(jì)

數(shù)管分系統(tǒng)利用分布式存儲(chǔ)技術(shù)和數(shù)據(jù)庫技術(shù)，對(duì)原始觀測(cè)數(shù)據(jù)、全軌道GNSS 數(shù)據(jù)、原始雷達(dá)回波數(shù)據(jù)、定標(biāo)成果以及各級(jí)產(chǎn)品數(shù)據(jù)進(jìn)行存儲(chǔ)、管理和維護(hù)，并為其他分系統(tǒng)提供數(shù)據(jù)導(dǎo)入導(dǎo)出和查詢下載等功能；從功能上劃分為綜合管理子系統(tǒng)、數(shù)據(jù)共享應(yīng)用子系統(tǒng)、數(shù)據(jù)存儲(chǔ)子系統(tǒng)和數(shù)據(jù)庫管理子系統(tǒng)。綜合管理子系統(tǒng)具有與外部接口通信，觸發(fā)任務(wù)調(diào)度，生成任務(wù)并實(shí)現(xiàn)作業(yè)調(diào)度，集成用戶身份驗(yàn)證、權(quán)限管理和日志管理等功能。數(shù)據(jù)共享應(yīng)用子系統(tǒng)負(fù)責(zé)管理各分系統(tǒng)與數(shù)管分系統(tǒng)之間的數(shù)據(jù)交換與共享，以及數(shù)據(jù)的內(nèi)部查詢工作。數(shù)據(jù)存儲(chǔ)子系統(tǒng)利用多種存儲(chǔ)設(shè)備，采用虛擬化共享存儲(chǔ)技術(shù)[8]，構(gòu)建可擴(kuò)展的大規(guī)模存儲(chǔ)系統(tǒng)，完成原始雷達(dá)碼流和各級(jí)產(chǎn)品數(shù)據(jù)的存儲(chǔ)、動(dòng)態(tài)遷移與管理控制等工作。數(shù)據(jù)庫管理子系統(tǒng)負(fù)責(zé)創(chuàng)建各級(jí)產(chǎn)品數(shù)據(jù)的邏輯庫、元數(shù)據(jù)字典，建立數(shù)據(jù)組織及其索引體系，完成不同權(quán)限的數(shù)據(jù)庫訪問、用戶管理、數(shù)據(jù)庫操作管理、備份與恢復(fù)、維護(hù)以及優(yōu)化工作，并實(shí)現(xiàn)多星多載荷數(shù)據(jù)的統(tǒng)一管理。數(shù)管分系統(tǒng)內(nèi)部在綜合管理子系統(tǒng)的統(tǒng)一調(diào)度下，實(shí)現(xiàn)對(duì)衛(wèi)星影像產(chǎn)品數(shù)據(jù)、支撐輔助數(shù)據(jù)的統(tǒng)一存儲(chǔ)、管理和維護(hù)。

2 軟件設(shè)計(jì)

2.1 體系架構(gòu)設(shè)計(jì)

數(shù)管分系統(tǒng)的主要任務(wù)是完成各類衛(wèi)星數(shù)據(jù)產(chǎn)品的存儲(chǔ)管理和維護(hù)，為各類用戶提供數(shù)據(jù)支撐服務(wù)。體系架構(gòu)的設(shè)計(jì)思路為“平臺(tái)+插件”，以實(shí)現(xiàn)標(biāo)準(zhǔn)化、系列化和模塊化的目標(biāo)；采用分層體系架構(gòu)技術(shù)[9-10]，層次間交互采用面向?qū)ο蟮慕涌诜?wù)方式，層次內(nèi)部為分系統(tǒng)提供相對(duì)獨(dú)立的功能，以降低系統(tǒng)復(fù)雜性、提高可維護(hù)性；并針對(duì)TH-2 衛(wèi)星的特點(diǎn)，開展業(yè)務(wù)功能的插件化定制，設(shè)計(jì)不同的存儲(chǔ)、查詢和管理方式[11-14]，以實(shí)現(xiàn)多源遙感數(shù)據(jù)的存儲(chǔ)和管理。

數(shù)管分系統(tǒng)體系架構(gòu)包括3層，基礎(chǔ)設(shè)施層涵蓋分系統(tǒng)所需的一切資源，如存儲(chǔ)資源、計(jì)算資源、網(wǎng)絡(luò)資源、操作系統(tǒng)等；基礎(chǔ)平臺(tái)層分為資源層和服務(wù)層，資源層通過設(shè)計(jì)合理的數(shù)據(jù)庫體系完成元數(shù)據(jù)、標(biāo)準(zhǔn)產(chǎn)品數(shù)據(jù)、專業(yè)處理產(chǎn)品數(shù)據(jù)、原始回波數(shù)據(jù)等數(shù)據(jù)組織，并結(jié)合輔助數(shù)據(jù)資源、通用軟件插件和遠(yuǎn)程服務(wù)，針對(duì)不同數(shù)據(jù)類型和硬件資源設(shè)計(jì)不同的存儲(chǔ)管理策略，實(shí)現(xiàn)海量遙感數(shù)據(jù)的存儲(chǔ)和管理[15-18]，服務(wù)層則通過資源訪問接口提供資源檢索服務(wù)和數(shù)據(jù)傳輸功能[19-20]；應(yīng)用插件層分為內(nèi)核層和應(yīng)用插件層，內(nèi)核層包括插件引擎和用于數(shù)據(jù)源管理、場(chǎng)景管理、圖層管理的基礎(chǔ)插件，應(yīng)用插件層涵蓋4個(gè)子系統(tǒng)的功能模塊插件。

2.2 工作流程設(shè)計(jì)

數(shù)管分系統(tǒng)從工作流程上可分為數(shù)據(jù)入庫與出庫流程、數(shù)據(jù)檢索與下載流程以及數(shù)據(jù)檢索與瀏覽流程。

1）數(shù)據(jù)入庫與出庫流程由任務(wù)管控分系統(tǒng)調(diào)度任務(wù)的觸發(fā)而自動(dòng)執(zhí)行，收到入庫計(jì)劃后，先遍歷數(shù)據(jù)列表中的全部數(shù)據(jù)進(jìn)行歸檔數(shù)據(jù)分類，再根據(jù)數(shù)據(jù)類型對(duì)分類后的數(shù)據(jù)進(jìn)行入庫審核，若審核通過，則進(jìn)行入庫前的元數(shù)據(jù)解析和數(shù)據(jù)組織關(guān)聯(lián)；否則向任務(wù)管控分系統(tǒng)進(jìn)行反饋。經(jīng)過入庫審核和元數(shù)據(jù)解析后，歸檔數(shù)據(jù)文件被注入數(shù)據(jù)存儲(chǔ)管理空間，按給定的存儲(chǔ)策略對(duì)數(shù)據(jù)進(jìn)行備份和分級(jí)管理，并根據(jù)實(shí)時(shí)/準(zhǔn)實(shí)時(shí)分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)時(shí)限確定數(shù)據(jù)是否進(jìn)行遷移管理。收到數(shù)據(jù)出庫命令后，先生成數(shù)據(jù)導(dǎo)出任務(wù)，再根據(jù)調(diào)度策略執(zhí)行多發(fā)/并發(fā)任務(wù)，將在線/離線數(shù)據(jù)流轉(zhuǎn)至指定地址。

2）數(shù)據(jù)檢索與下載流程。在數(shù)管分系統(tǒng)中，各類數(shù)據(jù)歸檔后將根據(jù)元數(shù)據(jù)形成元數(shù)據(jù)目錄，用戶可實(shí)時(shí)在線檢索、瀏覽，獲取數(shù)據(jù)實(shí)體則需啟動(dòng)下載服務(wù)。用戶登錄系統(tǒng)后，根據(jù)用戶身份瀏覽相應(yīng)的數(shù)據(jù)目錄，若需下載數(shù)據(jù)，則輸入相關(guān)條件進(jìn)行查詢，檢索是否有所需數(shù)據(jù)，若有則提交下載請(qǐng)求，審批通過后進(jìn)行數(shù)據(jù)下載；否則查看是否有上一級(jí)數(shù)據(jù)，若有則發(fā)起歷史數(shù)據(jù)重生產(chǎn)任務(wù)，若無則通過綜合管理子系統(tǒng)向任務(wù)管控分系統(tǒng)提交觀測(cè)需求以獲取所需數(shù)據(jù)。需要注意的是，數(shù)據(jù)下載需先確認(rèn)用戶是否具有下載權(quán)限，若無則需返回申請(qǐng)數(shù)據(jù)下載權(quán)限，待審批通過后再進(jìn)行數(shù)據(jù)下載。

3）數(shù)據(jù)檢索與瀏覽流程通過在線瀏覽服務(wù)模式提供。具有訪問權(quán)限的用戶，通過登錄客戶端數(shù)字門戶Web頁面，在線瀏覽、查看所需數(shù)據(jù)。用戶登錄系統(tǒng)后，根據(jù)權(quán)限訪問數(shù)據(jù)，通過輸入一定的查詢條件，檢索是否有所需數(shù)據(jù)，若有則可在應(yīng)用終端加載數(shù)據(jù)進(jìn)行在線瀏覽；否則查看是否有上一級(jí)數(shù)據(jù)，若有則發(fā)起歷史數(shù)據(jù)重生產(chǎn)任務(wù)獲取所需數(shù)據(jù)，若無則通過綜合管理子系統(tǒng)向任務(wù)管控分系統(tǒng)提交觀測(cè)需求獲取數(shù)據(jù)。如果用戶無該數(shù)據(jù)的在線瀏覽權(quán)限，則需返回申請(qǐng)瀏覽權(quán)限，待批準(zhǔn)后再進(jìn)行數(shù)據(jù)在線瀏覽。

2.3 接口設(shè)計(jì)

1）外部接口設(shè)計(jì)。數(shù)管分系統(tǒng)需要統(tǒng)一存儲(chǔ)、管理和維護(hù)TH-2 衛(wèi)星各類產(chǎn)品數(shù)據(jù)與支撐輔助數(shù)據(jù)，還需支持未來的系統(tǒng)擴(kuò)展，以存儲(chǔ)現(xiàn)有和后期測(cè)繪類衛(wèi)星產(chǎn)品數(shù)據(jù)，因此系統(tǒng)外部需與其他分系統(tǒng)建立接口關(guān)系，一方面接收其他分系統(tǒng)的數(shù)據(jù)歸檔通知、檢索與導(dǎo)出請(qǐng)求以及歸檔數(shù)據(jù)；另一方向其他分系統(tǒng)發(fā)送數(shù)據(jù)的歸檔完成通知、檢索和導(dǎo)出結(jié)果。數(shù)管分系統(tǒng)的外部接口見圖1。

圖1 數(shù)管分系統(tǒng)的外部接口關(guān)系

2）內(nèi)部接口設(shè)計(jì)。數(shù)據(jù)共享應(yīng)用子系統(tǒng)負(fù)責(zé)管理數(shù)據(jù)的內(nèi)部查詢工作，用戶身份和權(quán)限認(rèn)證、入庫、出庫等工作在數(shù)據(jù)共享應(yīng)用子系統(tǒng)和綜合管理子系統(tǒng)之間完成，數(shù)據(jù)獲取在數(shù)據(jù)共享應(yīng)用子系統(tǒng)和數(shù)據(jù)存儲(chǔ)子系統(tǒng)之間完成，而數(shù)據(jù)檢索和結(jié)果返回則在數(shù)據(jù)共享應(yīng)用子系統(tǒng)和數(shù)據(jù)庫管理子系統(tǒng)之間完成。數(shù)管分系統(tǒng)的內(nèi)部接口見圖2。

圖2 數(shù)管分系統(tǒng)的內(nèi)部接口關(guān)系

3 性能指標(biāo)設(shè)計(jì)

數(shù)管分系統(tǒng)的主要性能包括存儲(chǔ)能力、歸檔能力和元數(shù)據(jù)檢索能力等指標(biāo)。

1）存儲(chǔ)能力。數(shù)管分系統(tǒng)存儲(chǔ)管理的數(shù)據(jù)包括原始觀測(cè)數(shù)據(jù)、全軌道GNSS 數(shù)據(jù)、原始雷達(dá)回波數(shù)據(jù)、定標(biāo)成果以及0級(jí)、1級(jí)和2級(jí)數(shù)據(jù)產(chǎn)品等。數(shù)據(jù)存儲(chǔ)能力設(shè)計(jì)，需滿足考慮衛(wèi)星每天的工作時(shí)長、鏈路帶寬、歸檔數(shù)據(jù)種類及其保存時(shí)間等因素的數(shù)據(jù)量存儲(chǔ)需求；當(dāng)需要考慮多副本冗余備份時(shí)，存儲(chǔ)容量則按比例增加。

2）歸檔能力。數(shù)管分系統(tǒng)每天歸檔的數(shù)據(jù)主要為0 級(jí)、1 級(jí)、2 級(jí)和3 級(jí)衛(wèi)星產(chǎn)品數(shù)據(jù)，其次是原始觀測(cè)數(shù)據(jù)和雷達(dá)回波數(shù)據(jù)，還有少量的全軌道GNSS數(shù)據(jù)產(chǎn)品和定標(biāo)成果數(shù)據(jù)。歸檔能力應(yīng)滿足這些數(shù)據(jù)的存儲(chǔ)管理需求。

3）元數(shù)據(jù)檢索能力主要體現(xiàn)為平均響應(yīng)時(shí)間，即服務(wù)端的平均檢索時(shí)間，不能超過0.5 s。

4 系統(tǒng)應(yīng)用性能

數(shù)管分系統(tǒng)投入應(yīng)用以來，系統(tǒng)運(yùn)行穩(wěn)定，完成了TH-2衛(wèi)星各類數(shù)據(jù)產(chǎn)品的歸檔、存儲(chǔ)管理和查詢等任務(wù)。目前系統(tǒng)并未滿負(fù)荷運(yùn)行，存儲(chǔ)空間大有盈余，后期將會(huì)隨著數(shù)據(jù)量的增加動(dòng)態(tài)增加存儲(chǔ)空間。系統(tǒng)平均日歸檔能力可達(dá)15.53 TB，最高歸檔能力可達(dá)3.12 TB/h。系統(tǒng)的查詢響應(yīng)時(shí)間平均可達(dá)10.91 μs/景，69.25 ms/TB，各項(xiàng)功能均符合設(shè)計(jì)的性能指標(biāo)。

5 結(jié) 語

數(shù)管分系統(tǒng)在TH-2 衛(wèi)星地面應(yīng)用系統(tǒng)中采用了“平臺(tái)+插件”的總體設(shè)計(jì)思路，建立了標(biāo)準(zhǔn)化、系列化、模塊化的體系架構(gòu)。隨著后續(xù)衛(wèi)星的發(fā)射和分系統(tǒng)業(yè)務(wù)處理能力的提升，數(shù)管分系統(tǒng)也需更新相應(yīng)的業(yè)務(wù)處理模塊，改進(jìn)和擴(kuò)展功能，以適應(yīng)多源遙感影像數(shù)據(jù)存儲(chǔ)、管理、分發(fā)和服務(wù)的需求。