山東省遙感影像數據的高效歸檔與管理

文·韓娟 戚文來 張鵬

遙感影像檔案數據量大、覆蓋面寬、應用范圍廣，是國民經濟和社會發展不可或缺的基礎性、戰略性信息資源，其服務范圍涉及與地理信息有關的國民經濟和社會發展的各個領域和各個行業。山東省國土測繪院承擔全省自然資源衛星、航空遙感數據獲取及處理工作，同時負責全省測繪成果和檔案資料管理工作。“十三五”期間，山東省陸域范圍及近海島嶼每年獲取 1 期優于 0.5 米分辨率遙感影像，數據源以航空影像為主，航天影像作為補充。隨著航空航天技術的不斷發展，遙感影像數據類型越來越多，分辨率越來越高，數據量增長迅速，對遙感影像數據安全高效歸檔管理的需求也越來越大。

面對數據量大、更新頻率高、結構化與非結構化數據并存的海量多源遙感影像數據，傳統人工歸檔管理的方式效率低、易出錯、耗費人力物力，不利于數據的存檔、分發與應用，沒有充分發揮遙感影像數據的效益[1]。為了實現海量多源異構遙感影像數據的安全高效歸檔與管理，山東省國土測繪院研發了山東省遙感影像數據管理系統。

一、數據歸檔與管理設計

（一）總體設計思路

系統設計依據《信息化測繪體系建設技術大綱》和《測繪地理信息業務檔案管理規定》等國家相關規范和技術標準，充分考慮影像數據與產品成果歸檔管理的需求和開展其他業務的需要，在對各種航空航天遙感影像數據進行統一分析設計的基礎上，研發山東省遙感影像數據管理系統，完成各類數據的建庫歸檔工作[2]。

（二）數據處理歸檔與管理流程

數據歸檔入庫前，首先由數據整合模塊對航空航天遙感影像數據產品成果數據進行標準化整合，根據所歸屬的數據類別，進行元數據和輔助信息的提取。然后，根據數據類別的不同，設計不同的數據庫表格，確保能夠完整有效地提取錄入每一類數據的元數據和輔助信息。最后，在對數據格式及完整性檢查后，將符合條件的遙感影像數據進行歸檔入庫，對信息缺失的遙感影像數據進行標記，方便后期對數據進行核查。數據入庫后，根據分類，開展歸檔目錄數據創建、元數據注冊和數據體注入等流程，完成數據歸檔工作。歸檔數據實行在線備份存儲，由數據庫存儲和文件存儲兩種方式相結合，各業務系統通過查詢檢索接口進行數據查詢、數據檢索和數據提取，不同的業務用戶有不同的權限。

數據歸檔與管理流程圖

（三）數據歸檔系統設計

數據歸檔系統設計的主要目標，是實現航空航天遙感影像數據歸檔與產品成果綜合管理。整個數據歸檔系統包括數據歸檔子系統、數據檢索子系統、系統管理子系統、統計分析子系統、數據整合子系統。其中數據歸檔子系統細分為元數據、數據完整性檢驗、數據歸檔、歸檔監控四個模塊。元數據采集模塊設置影像元數據采集、產品屬性信息提取功能。由于數據多來源、多標準、多格式，需要進行數據的統一規范存儲，設計采用基于建模技術的數據管理技術，實現多元異構數據管理。數據完整性檢驗模塊配置檢驗規則設置數據管理、數據自動檢驗、人機交互檢驗、檢驗報告輸出功能。數據歸檔模塊軟件設置自動歸檔、人機交互歸檔、接口歸檔功能。歸檔監控模塊軟件設置歸檔狀態監控、異常數據處理、遷移狀態監控功能。通過四大模塊有機結合，完成數據歸檔。其它子系統共同配合，實現數據的安全高效歸檔與管理。

（四）數據歸檔指標

系統在萬兆光纖網絡環境、存儲 IO滿足情況下，10 臺計算節點組成歸檔集群，具備每天 10TB 級數據歸檔時間優于 2 小時，單節點 1GB 數據歸檔平均時間低于8 秒，支持包括資源三號系列衛星、高分系列衛星等非涉密航天衛星遙感影像以及省內ADS系列航攝儀、UC系列航攝儀、SWDC系列航攝儀、DMC系列航攝儀等航空遙感影像和各類成果等數據產品的數據歸檔、管理數據類型，數據歸檔完整性達到 100%，以插件方式支持未來后續航空航天遙感影像數據及其他成果數據。

二、數據歸檔與管理關鍵技術

（一）多元異構數據管理

該系統對多來源、多標準、多格式的航空航天遙感影像數據，采用基于建模技術的數據管理技術，進行數據的統一規范歸檔存儲。以統一的數據庫管理基礎平臺作為基礎，利用編目和元數據結合的方式管理資料，以空間數據集方式管理空間數據，構建出符合各自特征的資源庫，兩者的資源編目都注冊到資源目錄管理系統，以支持資源信息的發布和共享。

（二）海量數據快速自動歸檔入庫

對于海量遙感影像數據歸檔、數據統計等任務，現有的傳統的單機處理模式已經無法滿足數據及時歸檔、高效統計的需求，新建的系統采用基于自主的并行計算框架進行實現，系統的并行處理能力與性能主要受制于并行任務處理節點的個數、網絡吞吐量和盤陣 IO 的性能，并行調度框架支持并行資源調度、并行任務分配以及并行計算的執行，基于此框架研制數據歸檔系統，實現數據歸檔、數據檢索和數據統計業務的多機、多進程并行執行。在執行任務時，將數據歸檔、數據檢索和數據統計任務分解成若干個子任務，并將這些子任務分配給相應的執行節點執行，各節點執行完畢后，將執行結果匯總返回。通過將串行的流程并行分配執行，從而提高數據歸檔效率、加快數據查詢速度、縮短數據統計時間[3]。

（三）數據快速查詢檢索

系統將需要查詢的空間信息和元數據信息均采用分區表的方式存儲于數據庫中。對于包含空間信息的數據，系統采用空間數據集的方式進行管理，并且通過空間數據引擎建立索引。對于元數據信息采用數據庫分區表進行管理，并建立數據庫索引。在進行數據檢索操作時，系統會基于不同的查詢條件采用不同的索引進行檢索操作。在進行數據查詢時，系統綜合運用多線程查詢機制、分頁查詢機制、實時動態查詢機制、索引管理機制，提高查詢效率，提升用戶體驗[4]。

三、應用探討

該系統建成后，實現了多源遙感影像數據歸檔、數據統計等業務的自動化運行，實現數據查詢、數據下載、數據分發等業務的網絡化運行，實現數據快速處理、數據成果發布等工作流程的業務化運行，有效整合了遙感數據資源，提高了遙感影像歸檔、管理以及服務水平，為山東省新型基礎測繪、地理省情監測和應急測繪等提供了數據保障。根據《山東省“十四五”基礎測繪規劃》，“十四五”期間，山東省擬開展遙感影像獲取工程和實景三維山東建設工程，擬分年度獲取1米間隔機載激光雷達點云數據，實現全省陸域覆蓋1次，并根據需要獲取全省縣級以上城市建成區約1.5萬平方千米優于0.05米傾斜航空遙感影像，山東省遙感影像系統的建立將為“十四五”基礎測繪任務所形成的的遙感影像數據成果歸檔管理提供更加規范更加高效更加優質的服務。