遙感影像樣本大數據建庫與應用方法①

程滔

(國家基礎地理信息中心,北京 100830)

遙感影像樣本大數據建庫與應用方法①

程滔

(國家基礎地理信息中心,北京 100830)

研究一種基于關系型數據庫與分布式文件系統融合的遙感影像解譯樣本大數據建庫方法.解析了數據庫建設過程,討論了建庫關鍵技術問題與解決方法;在建成樣本數據庫基礎上,研究了樣本數據應用方法,分析了幾種應用實例,探索了樣本數據應用模式;以選取的研究區域內大規模樣本數據為對象,驗證了數據庫建設中數據處理過程及效率,同時,以地理國情普查分類體系中地表覆蓋10個一級類為例,對研究區域各類別樣本空間分布與密度等特征進行了分析.結果表明:利用關系型數據庫與分布式文件系統融合的方法對樣本大數據進行建庫與管理,對樣本數據的檢索、分析及推廣應用,具有很好的效能和適用性.

遙感影像樣本;大數據;數據庫;分布式文件系統;應用

第一次全國地理國情普查樣本數據庫建設是地理國情普查成果數據庫建設的任務之一,可為從事遙感影像解譯的研究人員與工程技術人員提供豐富的解譯標志信息,提高地表覆蓋分類、土地利用分類等精度,從而提高研究成果質量[1].第一次全國地理國情普查在全國范圍內采集的遙感影像解譯樣本點數量達到300多萬個,數據文件量達到1250多萬個,并將在后續地理國情監測中不斷積累遞增.

為了提高樣本數據檢索、分析及推廣應用效率,促進應用服務,需要對這些數據進行科學存儲和管理[2,3].利用數據庫對樣本數據進行管理,是一種可靠的方法,數據存儲的邏輯性強,能夠提高數據檢索效率.成熟的關系型數據庫技術采用結構化的語言(Structured Query Language,縮寫SQL),用二維表結構分行、列對數據進行存儲,調用數據時遵循固定的請求格式,甲骨文(Oracle)在20世紀70年代率先推出這項技術,該技術也是目前應用最為廣泛的數據庫技術[4].

然而,隨著云計算、互聯網等技術的發展,文檔、圖片、圖像、視頻、文本、XML等非結構化、半結構化數據增長迅速,關系型數據庫雖支持二進制大對象(BLOB),能將數據直接入庫存儲,但未提供對這類復雜數據類型的快速存儲、訪問方法[5];所以這類數據的存儲,已不方便用關系型數據庫二維邏輯表來表現,需要增大數據庫的開發工作量才能滿足應用需求.因此,大數據管理方法與計算處理能力在極大提升的同時,也面臨一些挑戰[6,7].

地理國情普查樣本數據文件數量龐大,且包含ACCESS、JPG、TIFF、TFW、XML等多種數據格式,從數據模型角度劃分,ACCESS屬于結構化數據,JPG、TIFF、TFW屬于非結構化數據,XML屬于半結構化數據.

針對地理國情普查樣本數據特點,本文研究一種基于關系型數據庫與分布式文件系統融合的樣本大數據建庫方法,將各類模型的數據分別存儲在不同的物理位置,并對結構化數據進行空間化處理,增強數據的檢索性能與可視化體驗,以滿足大數據建庫與后續應用的需求.首先分析建庫過程與關鍵技術,解決大數據、批量處理過程中的技術問題;然后在完成樣本數據庫建設的基礎上,研究探索樣本數據的應用方法與模式;最后通過選取大規模樣本數據集,結合空間分析,對研究方法進行驗證.

1 研究方法

1.1 數據分析

地理國情普查樣本數據的原始數據由地面照片、遙感影像實例以及樣本信息描述數據庫三部分組成.其中,地面照片采用JPG格式;遙感影像實例采用TIFF格式;影像坐標信息采用TFW文檔格式;影像投影信息采用XML格式;樣本信息描述數據庫采用ACCESS數據庫,由記錄地面照片屬性信息的PHOTO數據表(包括照片的標識符、照片文件名、拍攝時間、拍攝點經度、拍攝點緯度等19項屬性)、記錄遙感影像實例屬性信息的SMPIMG數據表(包括遙感影像實例標識符、遙感影像實例文件名、影像類型、影像分辨率、影像拍攝時間等14項屬性)、以及反映地面照片和遙感影像實例對應關系的PHOTO_IMG關系表(包括地面照片的標識符、遙感影像實例標識符等5項屬性)三個表格構成,表格數據類型包括Text、Date、Double、Float、Short Integer[8].

為了便于地理國情普查樣本數據的展示、檢索、分析,在原始數據經過入庫質量檢查合格的基礎上,需要利用原始數據記錄的空間位置信息(地面照片拍攝點經度、拍攝點緯度,或者根據對應遙感影像實例四個角點經緯度計算出的中心點坐標),生成樣本點位矢量數據[9],該衍生數據為點狀圖形數據,其屬性信息包括地面照片所有屬性信息,并添加了要素唯一標識碼屬性.

這種結構化、非結構化、半結構化數據在入庫前均以文件形式存儲,并組成了地理國情普查樣本數據的完整數據模型.

1.2 數據庫建設方法

地理國情普查樣本大數據建庫過程是數據庫建設與管理的核心,原始數據在經過數據整理、入庫檢查、問題解決、重新整理等處理過程后,需要進行屬性結構調整、表格數據空間化等處理,經入庫質量檢查合格后,進行數據入庫操作.

在數據入庫過程中,地理國情普查項目采用Oracle數據庫技術,在數據庫設計時,分別按照表格數據、矢量數據、文檔數據這幾種形式作為數據存儲結構.結構化數據直接存儲在Oracle數據庫表中;空間化后的矢量數據存儲在Oracle Spatial中,具體采用SDO_Geometry字段進行物理存儲,屬性信息存儲在相應的屬性字段中;非結構化、半結構化的文檔數據存儲在分布式文件系統中[10].

這種基于關系型數據庫與分布式文件系統融合的樣本大數據建庫方法的處理流程如圖1所示.

圖1 樣本數據庫建設流程圖

1.3 關鍵技術分析

根據本文數據庫建設方法,在樣本數據庫建設的整個流程中,關鍵技術主要表現在以下兩個方面:

(1)大數據整理與存儲

全國地理國情普查樣本數據具有文件數量龐大、數據總量大、各模型數據格式各異的特點,而數據庫建設對大數據整理的要求是存儲結構規范、邏輯關系嚴密、結構化整理.在這種形勢下,為了利于大規模數據的更新與維護,在數據整理與存儲過程中,可按照全國行政區劃或測區(一般為縣級或地市州級行政單位),逐級整理清晰.

在分布式文件系統中,對于一個行政區劃或測區內的所有樣本數據,保持固定的耦合存儲結構(如表1所示);各行政區劃或測區樣本數據集之間并行排列;采用縣級或地市州級、省級、國家級逐級往上集中存儲.這樣的存儲方式有利于樣本數據的快速檢索、修改、移動、刪除等操作.

在關系型數據庫中,利用各樣本數據的照片文件名字段、遙感影像實例文件名字段,存儲其行政區劃或測區級的相對路徑,從而,在數據庫管理系統調用樣本數據時,便可讀取此記錄尋址到樣本數據在分布式文件系統中的物理位置.

表1 樣本數據目錄組織方式

(2)大數據入庫檢查方法與問題解決

第一次全國地理國情普查項目是國家重大專項項目,成果數據庫的建設必須符合工程項目的標準和要求,因此,對數據庫的質量要求較高.為保證數據庫質量,滿足推廣應用需求,樣本數據在整理規范的基礎上,需進行入庫檢查,并對檢查發現的問題進行有效解決,合格后才能入庫.

面對樣本文件數量龐大的現實狀況,本研究利用一種從宏觀到微觀的綜合質量檢查方法[11],采用大數據量批處理的模式,結合全國行政區劃地圖,全面實現樣本數據各項內容的入庫質量檢查.從宏觀整體角度,檢查樣本數據組織正確性與完整性、遙感影像實例與地面照片的匹配性與冗余性、數據表定義與屬性項定義正確性等內容.從微觀具體角度,檢查各樣本點數據的完整性與有效性、數學基礎與空間位置正確性、文件命名及格式正確性、屬性數據正確性等內容.每一個樣本點數據檢查均保存一條檢查結果記錄.

依據檢查結果記錄,對影響入庫、應用的問題進行有效解決,主要包括:遙感影像實例數學基礎錯誤(包括坐標系統錯誤、中央經線錯誤等)、樣本信息描述數據庫表內容為空、遙感影像實例四角點坐標錯誤、影像投影信息文件XML記錄的內容錯誤(為規定之外的內容)、影像坐標信息文件TFW記錄的內容錯誤、地面照片無對應遙感影像實例、遙感影像實例無對應地面照片、個別行政區劃或測區內數據缺漏等問題.

經過入庫檢查與問題解決,形成最終的符合數據庫建設要求的樣本數據.

2 應用方法探索

地理國情普查樣本大數據建庫的目的是提供應用服務,利用大數據計算與分析,可以挖掘大量有價值的信息[12].本文對樣本數據應用方法的研究探索,分為直接應用與衍生應用兩個層次.直接應用是從樣本數據庫直接檢索、獲取樣本基本信息,為遙感影像解譯提供解譯標志信息;衍生應用是在基本信息的基礎上,利用空間分析方法,得出一些規律性的特征信息.

對樣本數據庫的檢索,檢索條件可以是多樣性的,可以根據地表覆蓋類型(一級類、二級類、三級類)、空間范圍(經緯度范圍、行政區劃范圍、大區劃范圍(如華東、華南、華中、華北、西北、西南、東北)、主題功能區范圍等)、時間段(地面照片的拍攝時間、遙感影像的拍攝時間)等,以及這些檢索條件的多條件檢索.

(1)反映研究區域地表覆蓋類型及地面實地地物特征的應用

在一些遙感影像解譯工作中,會存在通過內業解譯無法準確判讀地表覆蓋類型的情況,在沒有外業工作環節的情況下,可以利用樣本數據庫,檢索研究區域空間范圍內的樣本數據,通過區域內分布的樣本點基本信息,輔助遙感影像解譯工作.

(2)反映相似地理環境區域的地表覆蓋類型特征的應用

利用樣本數據,可在鄰近區域或相似地理環境區域(這些研究區域外業工作難以到達或限制到達,或未計劃開展外業工作),通過同類地物光譜、紋理比對以及地理相關分析等方法,開展遙感影像解譯.

并且,可以利用檢索出的樣本點對應的遙感影像實例的光譜、紋理、形狀等特征,作為地表覆蓋監督分類的先驗知識.

(3)反映樣本數據空間分布與密度特征的應用

全國行政區劃單位分為省級、地級、縣級、鄉級等,地理國情普查樣本數據一般按照縣級或地市州級行政單位進行整理與存儲.

因此,利用數據庫中的樣本點位矢量數據,以及全國行政區劃范圍矢量數據,通過空間疊置分析與統計計算,可獲取到各級行政區劃范圍內、各地表覆蓋類型樣本數據的空間分布與密度特征.這一特征也可以反映研究區域內的地物多樣性特征,并在一定程度上間接反映研究區域內的交通通達情況.

(4)反映同一地表覆蓋類型在全國不同區域、同一季節形態特征的應用

我國地域廣闊,同一地表覆蓋類型在不同的區域,可能會表現出不同的特征,利用樣本數據庫,檢索某一類地表覆蓋類型(例如闊葉喬木林),與全國典型區域矢量數據進行空間疊置分析,便可獲取同一地表覆蓋類型在全國不同區域、同一季節形態特征.

(5)反映同一地表覆蓋類型在相同區域、不同季節形態特征以及影像特征的應用

地理國情普查使用的遙感影像數據的獲取季節和時間不盡相同,樣本數據在采集過程中,地面照片的拍攝季節和時間也不盡相同,從樣本數據庫中檢索出這些信息,便可獲取同一地表覆蓋類型(例如闊葉喬木林)在相同區域、不同季節的形態特征以及影像特征.

(6)與地形、地貌等特征相關的專題分析應用

我國地形、地貌特征豐富,利用地形、地貌矢量數據,與樣本數據庫中某一類地表覆蓋類型(例如針葉喬木林、針葉灌木林)進行空間疊置分析,可以獲取該地表覆蓋類型在不同地形、地貌區域的表現特征.同樣地,通過不同地域樣本記錄的地表覆蓋類型的種類分析,也可在一定程度上反映不同地域地物多樣性特征.

3 結果與分析

以湖北省地理國情普查采集的樣本數據為研究實例,驗證數據庫建設中關鍵數據處理過程及效率,并對部分應用成果進行分析討論.

3.1 研究區概況

根據《中華人民共和國行政區劃簡冊2015》[13],湖北省面積約19萬km2,范圍內縣級行政區劃103個,人口合計6165萬人.

湖北省位于中國中部偏南、長江中游,空間位置介于北緯29°05′至33°20′,東經108°21′至116°07′,地形地勢大致為東、西、北三面環山,中間低平,略呈向南敞開的不完整盆地,在全省總面積中,山地占56%,丘陵占24%,平原湖區占20%.全省水資源、土地資源、生物資源、礦產資源豐富,地表覆蓋類型呈多樣性特征.

3.2 數據處理主要過程

湖北省采集的樣本點數量為11.3萬個,在分布式文件系統中,按照100個測區對數據進行整理與存儲(部分縣級行政區劃數據進行了合并).

樣本數據入庫檢查時,為了進一步提高檢查效率,將數據按照測區分為5組,并發進行檢查;樣本點位矢量數據以及樣本信息描述數據庫的表格數據,經質量檢查后,同時錄入至Oracle數據庫.這兩項處理過程的效率如表2所示,計算機配置為64位Window 7操作系統、8GB內存.

表2 樣本數據入庫檢查與入庫的效率

從表2可以看出,樣本數據入庫檢查與入庫的效率能夠滿足數據庫建設流程中對大數據檢查與入庫的進度要求.

3.3 應用成果分析

地理國情普查內容體系中,地表覆蓋定義了10個一級類,分別為耕地、園地、林地、草地、房屋建筑(區)、道路、構筑物、人工堆掘地、荒漠與裸露地表、水域,并定義了87個三級類[14].基于湖北省地理國情普查采集的樣本數據,利用本文提出的應用方法,得出了一些應用成果,這里對部分應用成果進行分析.

(1)樣本數據空間分布與密度特征

研究區樣本數據的空間分布如圖2所示,經統計分析可知:湖北省范圍內的地表覆蓋類型涵蓋了10個一級類,81個三級類.

圖2 樣本數據空間分布特征

以10個一級類為例,各地表覆蓋類型樣本點數量統計直方圖如圖3所示.

圖3 各地表覆蓋類型樣本點數量統計直方圖

從圖3可以看出,湖北省范圍內,林地類型的樣本數據采集是最多的,占樣本數據總量的22.20%,空間分布也較廣,所有縣級行政區劃均有分布;其次是耕地,占16.87%.

自然地表覆蓋類型的三級類,是遙感影像分類的難點,也是反映生態環境及氣候變化特征的主要類型,湖北省地理國情普查采集的這些類型的樣本數據比較豐富,為遙感影像分類積累了寶貴的資源.

圖4 各縣級行政區劃樣本點密度特征

利用樣本數據的空間分布數據與各縣級行政區劃面積數據,可以統計得出各縣級行政區劃樣本點密度特征,如圖4所示.

縣級行政區劃樣本點密度區間值為[0.14～3.09],密度特征在一定程度上也反映了各縣級行政區劃內地物多樣性特征.

(2)地表覆蓋類型在地面照片與同季相遙感影像上的形態及光譜特征

樣本數據在采集過程中,地面照片按照外業工作規劃,有計劃地拍攝,其拍攝季相與遙感影像實例的拍攝季相一般不同.而經過長期的數據積累,拍攝季相會不斷豐富,樣本數據庫中將能積累出大量的兩者季相相同的樣本數據,利用這些數據,可以對比得出地物光譜的區域、季相特征,為遙感影像的自動分類提供有力的輔助信息.

圖5為闊葉喬木林樣本數據,地面照片拍攝時間為2014年10月28日,遙感影像實例的拍攝時間為2013年10月14日,兩者季相一致,在正射糾正后的8bit Pléiade衛星遙感影像(R、G、B三波段)上的波譜特征曲線如圖5(c).

圖5 闊葉喬木林樣本數據

可以看出:研究區內的闊葉喬木在10月份呈現生長茂盛的形態,連片生長的闊葉林在遙感影像上紋理比較均勻、平滑,在紅波段上表現出了強吸收特征.

4 結語

(1)大數據存儲、管理、分析與信息挖掘是當下眾多領域研究的熱點,能夠產生巨大的經濟價值和社會影響力,而高質量的數據和有效的數據管理是大數據產生服務價值的重要前提.本文研究的基于關系型數據庫與分布式文件系統融合的樣本大數據建庫方法,解決了不同模型數據的存儲、管理與數據調用問題,通過實例驗證與分析,表明該方法能夠保證入庫數據的有效性、可用性以及數據庫的質量,有利于樣本數據的合理科學管理與推廣應用.

(2)本文探索性研究的樣本數據應用方法是樣本數據應用范圍的一部分,樣本數據在應用服務過程中,數據時相與數據量還將不斷豐富和積累,應用服務的范圍也會不斷拓展和豐富,能夠產生更大的服務價值.

1國務院第一次全國地理國情普查領導小組辦公室.地理國情普查數據采集技術方法.北京:測繪出版社,2013.

2劉露.全球海量遙感影像數據的分布式管理技術研究[碩士學位論文].長沙:國防科學技術大學,2007.

3韓晶.大數據服務若干關鍵技術研究[博士學位論文].北京:北京郵電大學,2013.

4 Price J.精通Oracle Database 12c SQL&PL/SQL編程(第3版).北京:清華大學出版社,2014.

5黃飛鵬.海量遙感影像管理系統的設計與實現[碩士學位論文].上海:華東師范大學,2011.

6孟小峰,慈祥.大數據管理:概念、技術與挑戰.計算機研究與發展,2013,50(1):146–169.

7劉智慧,張泉靈.大數據技術研究綜述.浙江大學學報(工學版),2014,48(6):957–972.

8程滔,袁如金,高志宏,高崟,史曉明.遙感影像解譯樣本數據一體化整理方法.地理信息世界,2014,21(5):96–100.

9國務院第一次全國地理國情普查領導小組辦公室.地理國情普查數據庫建設技術方法.北京:測繪出版社,2015.

10周江,王偉平,孟丹,馬燦,古曉艷,蔣杰.面向大數據分析的分布式文件系統關鍵技術.計算機研究與發展,2014,51(2): 382–394.

11程滔.地理國情普查樣本數據入庫質量檢查方法研究.測繪通報,2015,10(10):103–106.

12李清泉,李德仁.大數據GIS.武漢大學學報(信息科學版), 2014,39(6):641–644,646.

13中華人民共和國民政部.中華人民共和國行政區劃簡冊2015.北京:中國地圖出版社,2015.

14國務院第一次全國地理國情普查領導小組辦公室.地理國情普查內容與指標.北京:測繪出版社,2013.

Database Construction and Its Application of Sample Big Data Collected in Remote Sensing Image

CHENG Tao

(National Geomatics Center of China,Beijing 100830,China)

A database construction method which is based on the integration of relational database and distributed file system is researched for a large sample data base for interpretation of remote sensing images.It analyzes the database’s construction process,and discusses the key technical problems and solution method.Based on the sample database,it studies the application method of sample data,analyzes some kinds of using cases and explores the application mode of sample data.Individual region’s massive sample data are selected for verifying the method and its efficiency.At the same time,it takes 10 first-level classes which are defined in the land cover classification system for example,to analyze the spatial distribution and density characteristics of all kinds of sample data.The results show that the method of database construction and management which is based on the integration of relational database and distributed file system is very effective and applicative for sample data’s searching,analyzing and promoted application.

remote sensing image sample;big data;database;distributed file system;application

國家自然科學基金(41301464);國家基礎地理信息中心科技創新發展基金課題（2017-KJ-G01）

2016-08-15;收到修改稿時間:2016-09-18

10.15888/j.cnki.csa.005723