■滕 潔
?
省級測繪檔案管理與服務系統研建
■滕潔
本文以廣東省測繪檔案管理與服務系統建設為例,探討當前省級測繪檔案管理與服務系統建設的思路和措施。
1.1歸檔數據量大
伴隨對地觀測技術的迅猛發展,測繪地理信息數據獲取周期大大縮短,測繪檔案歸檔數據量快速增長,主要表現在數據總量大(年均歸檔量達20TB)、單個數據文件大(單個遙感影像文件普遍在1G以上)、數據文件個數多,需要產生龐大的目錄管理信息。這需要具備強大的測繪檔案資源信息儲備、過硬的測繪成果檔案處理技術和高效的利用方式,才能使測繪檔案服務滿足社會的需求強度。
1.2測繪檔案分類復雜、易于變化
按專業類型,分為大地測量、工程測量、攝影測量與遙感、海洋測繪、地圖制圖等,按資料類別,分為技術文件、外業觀測資料、計算資料、成果資料等;按載體類型,又分為紙質、膠片、底片、薄膜、磁帶、磁盤、光盤、硬盤等,按數據格式,又包含doc、txt、xml、shp、gdb、gwp、dwg、tiff、bil等。各類測繪檔案的實體分類表結構差別較大,難以統一。
1.3現勢性要求高
現勢性是指所提供的測繪檔案服務所提供的測繪成果資源要盡可能地體現當前最新的情況。隨著當前城鎮化進程的加快,地物地貌和各種信息數據日新月異,在大量的測繪檔案涌入的測繪檔案保管部門的同時,社會又對現勢性好、精度高和大范圍的測繪檔案數據服務具有迫切的需求,這對測繪檔案保管部門的管理和服務提出了更大的考驗。
1.4時空特性強
測繪生產是在一定地域范圍內進行的,因而作為測繪生產活動記錄的測繪成果資料檔案表現出明顯的地域特征。同時,測繪檔案也具有很強的時間特性,同一區域的測繪檔案,在不同的歷史時期一般具有不同的檔案版本,各個時期的檔案共同構成了該區域的發展軌跡,對于區域發展脈絡的分析研究具有重要作用。
2.1海量數據管理力不從心
數據規模呈指數級增長,導致管理繁重;數據隨項目分散存儲,導致數據重復、冗余,并使設備資源浪費嚴重;數據查詢提取困難,導致數據使用效率低下;歷史檔案數據的價值沒有得到有效利用,檔案數據整體性、安全性無法得到保障。
2.2檔案管理與成果利用脫節
測繪檔案具有項目特征,測繪項目從項目任務下達、項目任務生產、項目成果質檢、成果歸檔到檔案的利用服務,要經過很多環節和部門,當前的測繪服務平臺無法實現項目的前端控制和全程管理跟蹤,測繪檔案的管理環節與服務環節是脫離的,導致測繪檔案服務資源的更新速度跟不上數據實際獲取的速度。
2.3匯交工作量巨大
一個建設項目所形成的測繪檔案數據量往往具有數百GB甚至更大,且種類繁多、內容復雜、表現形式多樣,這給匯交工作帶來很大的難度。如果采用人工方式進行匯交,需要人工對匯交檔案的完備性、規范性等進行檢查并進行存儲,人工提取相應的著錄項信息,不僅工作量大、工作效率低,還容易出錯。
3.1建設總體思路
省級測繪檔案管理與服務系統主要針對當前測繪檔案信息化管理工作中存在的問題和測繪檔案的新特征,綜合利用WebGIS技術、數據庫技術、文件傳輸等技術而建立起來的,解決了現今測繪檔案在存儲、管理、分發利用過程中的種種問題,實現了測繪檔案資料從項目任務下達、到檔案匯交、組卷歸檔、查詢檢索、銷毀、提供利用等全生命周期的信息化管理,提高工作效率,促進測繪成果檔案社會化應用。
系統采用三層架構:基礎設施層、數據存儲層和應用服務層。數據存儲層是核心,存儲了測繪檔案管理相關的檔案實體文件、檔案目錄數據、元數據、空間索引等信息,空間數據與非空間數據分別通過ARCSDE和自定義開發的數據接口與應用程序進行通信。應用服務層通過Net Framework和ArcEngine 開發C/S模式的桌面應用,實現測繪檔案的信息化管理,通過Flex 和ArcGIS Server技術開發B/S模式的web應用,實現測繪檔案的網絡化服務。
3.2核心解決方案
3.2.1數據組織科學化--解決海量數據存儲與管理問題
1.數據存儲模式
根據測繪檔案的海量、大二進制等特性,采用文件與數據庫相結合的數據存儲模式,其中檔案實體數據作為外部文件存儲,檔案的元數據、目錄數據、空間索引等采用關系數據庫管理,通過在數據庫中存儲實體數據的存放路徑來實現關聯。這種存儲方式使得海量的檔案實體文件數據傳輸快、擺脫了商用數據庫數據儲存量的限制,將目錄數據等存儲到數據庫中,查詢檢索便利,提高了數據庫利用率。
商用數據庫平臺選擇當前國際上先進成熟的關系型數據庫管理系統Oracle 軟件,空間數據引擎選擇ESRI 公司的 ArcSDE。另外對于檔案所特有的光盤、底片、印刷地圖、文本資料等采用檔案柜存放,并采用虛擬庫房的方式進行管理和查詢。
2.數據組織形式
測繪檔案的實體分類結構非常復雜,結合多年測繪檔案管理經驗,將繁雜的測繪檔案實體分類歸納為四大類:成果類、控制片/加密片類、圖歷簿/調繪片類和文檔資料類,成果類又分為基礎地理信息、大地成果、模擬紙圖、航空航天遙感衛星數據和專題成果五類,每一類再根據實體文件的結構進行細分,控制片/加密片類、圖歷簿/調繪片類和文檔資料類不再進行細分。下圖是測繪檔案的數據組織結構,實線框類別是最小的實體分類,在數據庫中各對應一張物理存儲表。
3.建立空間索引
測繪檔案成果類數據具有空間特性,通過建立空間索引,將地理位置與目錄數據、實體文件等建立關聯,可實現檔案目錄資源的可視化表達和檢索。
在ArcGIS Server地圖服務中,空間索引的質量對數據展現、查詢檢索的效率有較大影響。因此,在建立空間索引時,應盡量減少空間索引圖層的數量,避免數據冗余。

圖1 測繪檔案管理系統架構圖
基礎地理信息和模擬紙圖的空間索引通過圖幅接合表來建立,如果為每一類型每個比例尺的數據建立圖幅索引層,需要建立近50個索引層,為提高性能,每個比例尺建立一個圖幅索引層,由各類型基礎地理信息和模擬紙圖共用,共建立8個索引圖層,大大減少了數據冗余。大地成果的空間索引由點成果的概略坐標生成,需進行相應的脫密處理,水準點、GPS點、三角點、軍控點和標石各建立一個空間索引圖層。航空航天衛星遙感數據建立2個空間索引圖層,其中航片索引圖層通過像片的像主點建立,遙感影像數據的空間索引通過提前每一景數據的邊界生成空間索引。專題數據需根據數據的實際情況來建立空間索引,例如提取邊界建立、根據圖幅接合表建立。
3.2.2測繪檔案管理與服務一體化--解決管理與服務脫節問題
將測繪項目全生命周期各環節:項目任務下達,檔案匯交、組卷歸檔、查詢檢索、銷毀、提供利用等納入到測繪檔案信息化服務平臺中,實現對項目的前端控制和全程管理跟蹤測繪檔案的完成情況,項目竣工驗收后及時完成測繪檔案的收集,對收集檔案通過既定的質量管理及檔案管理流程,以最快速度完成檔案數據的整合,通過網絡平臺等多種手段,快捷提供利用,保證測繪檔案資源的現行效用。
3.2.3測繪檔案匯交智能化--解決匯交工作量大、效率低的問題
數據匯交要解決的問題是:如何把海量分類復雜、格式多樣的匯交數據分門別類、高效智能的提取錄入到系統對應的檔案類別和物理存儲表中。本文提供的思路如下圖所示。
匯交設置環節的核心功能是進行“入庫單位設置”,該功能確定了測繪檔案管理的深度。在數據上傳入庫環節,一方面是將檔案實體文件通過FTP上傳到磁盤陣列進行存儲,另一方面則是根據用戶的“入庫單位設置”自動提取實體文件的目錄數據進入臨時庫中,并建立目錄數據與實體文件的關聯關系。
3.2.4應用搭建工具化--解決測繪檔案分類復雜、易于變化的問題

圖2 數據組織結構
系統運用工具化的思想,設計了靈活的“三步驟”定制功能。第一步:測繪檔案分類可定制,可增加、修改、刪除檔案分類,以適應分類的調整;第二步:定義實體分類物理存儲表,指根據實體分類表結構的變化,可在系統中新建、修改刪除物理表及其字段;第三步:建立關系,為測繪檔案分類指定對應的實體分類物理存儲表,以實現測繪檔案的存儲,一個檔案分類只能對應一張物理存儲表,一張物理存儲表可對應多個檔案分類。這樣系統就能靈活定制,可適應業務的不斷變化,易于拓展。
3.2.5數據展現時空化
針對測繪檔案具有的空間特性,設計了GIS圖文一體化的檔案檢索功能。按照傳統的檔案查詢方式如全文檢索、模糊查詢、自定義查詢、SQL查詢等檢索出項目或檔案文件后,可直接在地圖上進行定位,可根據空間范圍、檔案屬性字段等進行檢索,檢索結果直接定位在地圖上,可關聯查詢其對應的項目、案卷、案件等的基本信息,也可關聯到檔案實體數據文件,可對比分析項目的計劃匯交和實際匯交,比對多個項目的計劃匯交范圍、實際匯交范圍等。針對時間特性,開發了測繪成果歷史軌跡展現功能,用戶可一目了然查詢每一個成果或檔案各個時期的版本的詳細信息,包括每一個版本的生產日期、歸檔年份、被新數據替換日期、銷毀情況、提供利用情況等。
(作者單位:廣東省國土資源檔案館)