基于ETL技術的不動產數據整合策略研究

黃云康

（1.廣東省國土資源技術中心，廣東 廣州 510075）

基于ETL技術的不動產數據整合策略研究

黃云康1

（1.廣東省國土資源技術中心，廣東 廣州 510075）

開展不動產統一登記業務，保障不動產統一登記平穩、全面、快速推進，需要建立不動產統一登記應用數據庫體系。以房、地存量登記數據整合為例，通過對分散登記時代的多源異構房、地登記數據的分析，結合數據庫ETL技術，建立ETL數據整合模型，以地籍數據為基礎、宗地統一編碼為索引，對存量不動產登記數據進行整理、清洗、轉換編碼、裝載入庫，建立內容完整、邏輯一致的不動產登記數據庫，支撐不動產統一登記業務和不動產登記信息依法查詢。

不動產統一登記；數據整合；ETL；存量數據

我國自2015年3月起施行不動產統一登記制度，2015年8月國土資源部發布《關于做好不動產登記信息管理基礎平臺建設工作的通知》（國土資發〔2015〕103號）明確指出數據整合是信息平臺建設的基礎。按照《不動產登記信息管理基礎平臺建設總體方案》和相關技術標準，堅持“完整、一致、規范”的原則，以不動產登記簿為核心，以宗地（宗海）為基礎，以不動產單元為基本單位，開展數據整合及數據庫建設，最終形成空間參考一致、數據關聯關系正確、歷史信息完整的不動產登記數據庫，力爭2016年底前基本完成存量不動產登記數據的整合建庫工作，為不動產登記業務和信息共享查詢服務提供信息保障。存量不動產登記數據整合建庫的主要任務包括：

1）對土地、房產、森林林木、海域等已有的登記信息按現行的數據標準和技術規范進行梳理與規范，形成符合相關技術標準的數據集。

2）依據《不動產登記數據庫標準(試行）》通過抽取、轉換、補錄、整合等方法，建立不動產登記數據庫。

本文將重點以房地存量數據整合為例探討基于ETL技術進行不動產存量數據整合的方法和策略。建立ETL不動產登記統一數據模型，經抽取、轉換、裝載等ETL過程，對房地存量數據進行關聯、整合、編碼、落宗，建成不動產登記存量數據庫，為不動產登記信息平臺提供數據支撐，保障不動產統一登記業務的平穩進行。

1 不動產登記數據現狀

1.1 多時點、多業務是難點

在分散登記背景下的多種業務數據來源、多種介質來源的數據分別遵循各自相關的行業標準，有時同一種業務在不同時期，會對應不同的業務標準，無疑給數據整合造成了非常大的難度，主要表現為標準不一、數據精度不一、數據要素不齊全、沒有關聯、歷史數據復雜[1]。因此，不動產登記數據整合的一個關鍵是對各類不動產業務數據的梳理，保證其邏輯正確、關聯正確。

1.2 數據分散于各類業務系統，無業務獨立性

目前各地在土地調查、土地登記、房產調查測繪、房屋產權管理等業務中所生產的基礎數據庫類數據多數情況下是依賴于某個特定應用系統，所生成的數據高度依賴于特定的軟件應用系統，只能在特定軟件中或特定的業務系統中才能使用，無法供外部應用，導致數據喪失了其本該具有的獨立于業務的特性。

綜上，因不動產的多源異構、多業務多時點、無業務獨立性等特點，在房產和土地登記數據整合過程中，必然涉及數據模式不匹配、數據內容不唯一、語義沖突等問題。為解決這些問題，本文基于ETL技術，搭建ETL數據模型，通過抽取、轉換、裝載實現對不動產登記存量數據的整合入庫。

2 ETL技術

ETL（extract transform load）描述了將數據從來源端經過抽取（extract）、轉換（transform）、加載（load）至目的端的過程[2-3]。在不動產的數據整合過程中，ETL過程包括從數據源中抽取出所需要的相應數據，經過清洗后加上一系列分類、篩選、拆分、組合、轉換等整理加工，最終按照提前定義好的數據倉庫模型將數據裝載至數據倉庫中，使得數據實現從數據源向目標數據倉庫的轉化。

2.1 基于ETL技術的不動產登記存量數據整合

2.1.1 不動產登記存量數據整合思路

不動產登記數據整合建庫工作是依據土地、房產、林權及草原等現行數據庫標準規范和《不動產登記數據庫標準（試行）》規范化原始數據庫，再根據《不動產登記數據庫標準（試行）》整合建成中間庫，最終建成可以支撐不動產登記信息管理基礎平臺運行的成果數據庫。與此同時，數據整合過程中的各個環節都要進行質量控制。

不動產登記數據整合分為4個階段，不動產登記數據整合技術路線見圖1。

圖1 不動產登記數據整合技術路線圖

1）數據采集階段。根據項目的建設目標制定數據采集方案，對收集的不動產數據進行電子化處理和格式統一化處理入庫形成原始數據庫，并根據數據庫建設文檔對數據進行數據結構和數據內容進行分析。

2）數據整理階段。根據原有土地、房屋、林權、草原建設規范對歷史數據進行質量檢查，包括數據完整性質量檢查和數據邏輯性檢查,并根據檢查結果對數據進行去重、修改和補錄等數據處理工作，最終形成標準規范的數據集。

3）數據抽取轉換維護階段。運用數據抽取和轉換的工具將標準規范數據集中的分類抽取轉換到不動產中間庫中，并根據不動產數據庫標準對數據進行質量檢查，形成多個符合不動產數據規范的中間庫。在本階段借助ETL技術通過抽取、轉換、映射將存量不動產登記數據裝載到不動產中間庫，本階段工作依據房、地數據依賴的行業技術規范和《不動產登記數據庫標準（試行）》進行。

4）數據整合關聯入庫階段。通過ETL工具進行抽取、轉換映射、裝載將各不動產中間庫與不動產登記發證系統中的數據庫整合，形成統一的數據庫，建立房地關聯關系，經過質量檢查與修改后，形成最終統一規范的不動產正式數據庫。

2.2 不動產登記存量數據ETL整合步驟

不動產登記存量數據ETL整合步驟如下：

1）數據采集。通過對當前房屋、土地登記信息的現狀調查，搜集土地、房屋等登記執行的數據庫標準、技術規程和原來的房、地登記圖、表、卡、冊等紙質資料和電子數據。

2）數據整理。依據土地、房產等現行的相關標準，借助ETL技術，通過對統一登記前已有的登記信息提取、轉換、補錄等。建成符合土地、房產等現行標準的數據集，進而依據《不動產登記數據庫標準（試行）》建立規范的不動產登記數據中間庫。

不動產登記存量數據ETL整合入庫部分從過程和內容來講，包括了數據抽取、數據清理、數據轉換、數據裝載4個階段。整合集成建庫主要涉及以下問題：①數據來源多樣化，包括基礎層、專業層、業務層、監管層等4類數據具有數據種類多、數據關系復雜、數據量大、標準不統一、整合難度高等特點。②數據格式多樣化，涵蓋業務辦理過程中產生的業務審批的圖屬數據、測繪階段產生的空間格式數據，以及現有的不同信息系統數據庫，需對各種格式的數據抽取整合，建立數據關系。③空間拓撲關系建立，在集成過程中不僅要描述空間實體對象的空間位置和屬性，還要體現各實體對象之間的空間拓撲關系。

3）數據抽取。根據相關標準規范，充分分析實際情景數據，針對多種異構的數據來源，建立ETL規則。梳理土地登記、房屋登記的歷史數據。因各地的信息化程度不同，常見的土地、房屋的歷史登記的源數據格式為Oracle、CAD、Excel等。結合實際數據，分析不動產登記數據庫以及其他相關數據庫、歷史數據之間的對應關系，依據《城鎮地籍數據庫標準》、《房屋登記簿管理試行辦法》、《房地產市場信息系統技術規范》、《不動產登記數據庫標準》等相關登記數據標準、規范建立抽取規則。

4）數據清洗。逐項檢查土地、房屋等已有不動產登記資料，剔除登記簿、權籍圖中已注銷的權利數據，把不合業務規則的數據以及冗余數據過濾掉，并把相應的信息轉入檔案庫管理。數據清洗需要人工干預，并且需要業務人員進行確認。不符合規則的數據常見的有以下幾種情形：①信息不完整，缺失坐落、權利人等必填的重要信息的記錄。②錯誤數據，邏輯不一致數據，比如日期里填的不是日期，還有其他文字信息的情形。③冗余信息，比如已經注銷的、重復錄入的，但是沒有被刪除的無效信息。

5）數據轉換。數據抽取中取得的數據來自不同的數據源，通常存在語義不一致的問題，需要對語義不一致的數據進行檢測，將數據轉化成集成的、一致的數據[4]。

數據源中的數據經常存在重復和缺失問題，這些數據會影響到數據倉庫中數據的質量，并最終影響決策的準確性。因此要檢測重復數據、缺失數據并制定相對應的規則消除重復數據，填充缺失數據。

理清轉換關系后，構建不動產領域的統一數據模型，建立異構數據源與核心數據庫之間的字段映射關系、數據抽取規則、轉換規則。利用數據抽取引擎將原有系統中的業務數據抽取到不動產統一登記數據庫中的對應業務表單中，以中間庫的形式存放。根據轉換規則建立數據模型，核心部分如圖2。

5）數據裝載。依照統一數據模型對原來分布在各個應用系統中的業務數據完成抽取、轉換整合后，載入至符合《不動產登記數據庫標準（試行）》標準的中間庫中。因為很多地市是先發證，再進行的不動產登記歷史數據整合，隨著日常登記業務的辦理已經對數據庫進行了實時動態更新，在歷史數據入庫的時候，還需要考慮與增量不動產登記業務數據的關聯，建立不動產登記數據庫動態擴展機制。

6）數據的校驗。通過抽取、清洗、轉換的ETL過程基本實現了數據重構與規范化整合。為保證來源于原分散在各行各業、各部門的數據在整合后的一致性、完整性，需要對其進行相互校驗、檢核。通過采用一定的程序校驗、人機對話等方法，對轉換前后數據結構、屬性信息統計、對比分析，分別校驗空間數據的空間位置和屬性值在轉換前后是否一致、完整，以及各類空間數據的拓撲關系、屬性數據的邏輯關系是否正確等。

7）數據的整合。通過對整理后的空間數據集進行圖層合并、冗余數據剔除、信息補錄等操作，形成符合《不動產登記數據庫標準（試行）》要求的空間數據以及與之關聯的屬性數據，并以此為基礎進行地籍區、地籍子區、宗地以及建筑物、構筑物等空間數據統一編碼。通過對整理后的非空間數據進行數據歸并、冗余數據剔除、信息補錄等操作，形成與不動產登記相關技術要求以及《不動產登記數據庫標準（試行）》要求相符的不動產登記簿。

將整合后的空間數據和非空間數據進行關聯[5]，用宗地編號把宗地和不動產單元進行關聯，用不動產單元編號把不動產和不動產權利關聯，用業務號實現不動產權利和登記過程的關聯，最終形成空間數據、非空間數據關聯，歷史和現狀信息清晰完整的不動產登記信息。將整理后的不動產登記信息按照《不動產登記數據庫標準（試行）》對基礎地理信息、宗地數據、自然幢數據、權利數據、權利人數據、登記業務等進行數據組織、編碼、入庫，建成支撐不動產登記信息管理基礎平臺運行的不動產登記數據庫（成果數據庫），并按照元數據的要求填寫所建數據庫的元數據。

8）解決的關鍵問題和創新點。本文在ETL技術的基礎上對存量不動產登記數據的整合策略主要解決的問題和創新點有以下兩點： ①構建不動產登記領域的統一數據模型，通過分析不同業務種類的異構數據源與核心數據庫之間的字段映射關系建立了不動產登記領域的統一數據模型，解決了從原分散登記的土地、房屋等各領域登記業務數據到不動產統一登記數據庫的融合關聯問題，實現房、地信息互聯互通和房地一體化。②建立基于ETL的轉換規則，實現多種異構數據源與核心數據庫之間的轉換，解決了不同的數據類型、不同的數據結構、不同的入庫對象的整合入庫問題。

3 結 語

數據整合整體思路按照尊重歷史、充分繼承的原則，統一按照目前的有關要求和方法開展[6]。以地籍數據為基礎和宗地統一編碼為索引進行不動產數據整合[7]。完整、規范和準確的不動產登記數據是開展不動產統一登記工作的基礎，數據整合質量的好壞直接關系到不動產能否順利按照國家有關技術標準和要求進行規范化登記，而土地登記數據和房屋登記數據整合是不動產登記數據整合的主要內容。針對不動產登記數據的多源、異構、多時點、多業務、數據量大等特點，

圖2 不動產登記數據整合ETL數據模型（核心部分）

本文使用ETL技術建立不動產統一登記數據模型，對業務數據和空間數據進行抽取、清洗、轉換、裝載實現對存量不動產登記數據的再組織和加工，建立了統一的不動產登記數據庫，為不動產統一登記發證提供支撐。

[1] 武東海．不動產登記信息管理基礎平臺建設研究[J]．國土資源,2014(6)：42-43

[2] 田揚戈,邊馥苓．空間數據倉庫的ETL研究[J]．武漢大學學報（信息科學版）,2007, 32(4)：362-365

[3] 田芳,劉震．數據倉庫清洗技術討論[J]．青海師范大學學報（自然科學版）, 2005(4)：50-53

[4] 姚志鵬．數據抽取、轉換、加載描述規范的研究與運用[D]．青島：青島大學,2013：10-11

[5] 中華人民共和國國土資源行業標準．不動產登記數據整合建庫技術規范：TD/T[S]．2016：26-27

[6] 秦力．不動產數據整合初探[J]．工程技術,2016(10)：2-3

[7] 王履華,孫在宏,彭英,等．不動產登記信息數據整合及管理基礎平臺建設研究[J]．地理信息世界,2014(4)：76-82

P208

B文章編號：1672-4623（2017）06-0022-04

10.3969/j.issn.1672-4623.2017.06.006

2017-03-13。

黃云康,高級工程師，主要從事國土測繪工作。