測繪地理信息統(tǒng)計準(zhǔn)實時數(shù)據(jù)倉庫架構(gòu)的設(shè)計及應(yīng)用

仇巍巍，齊書花，高 宇，蘇 宇，朱先云，王 楠

（自然資源部信息中心，北京 100036）

1 研究背景

測繪地理信息統(tǒng)計工作是伴隨著我國測繪地理信息事業(yè)的發(fā)展壯大逐漸發(fā)展起來的，自1973 年原國家測繪地理信息局重建至今，測繪統(tǒng)計工作已連續(xù)開展近50 年，用數(shù)據(jù)記錄了我國測繪事業(yè)的發(fā)展歷程。測繪行政主管部門隨著國家機構(gòu)改革經(jīng)過數(shù)次調(diào)整，但測繪統(tǒng)計作為一項重要的基礎(chǔ)性工作一直沒有中斷，并在歷史傳承中積累了大量有價值的統(tǒng)計數(shù)據(jù)和成果。2018 年國務(wù)院機構(gòu)改革，原國家測繪地理信息局并入新組建的自然資源部，測繪地理信息統(tǒng)計也由國務(wù)院的部門統(tǒng)計調(diào)整為自然資源部的一項專業(yè)統(tǒng)計工作，成為自然資源統(tǒng)計的重要組成部分［1］。我國現(xiàn)行的測繪地理信息統(tǒng)計工作是以《自然資源統(tǒng)計工作管理辦法》和《測繪地理信息統(tǒng)計調(diào)查制度》為依據(jù)，以全面調(diào)查為主的自然資源專業(yè)統(tǒng)計工作，統(tǒng)計調(diào)查任務(wù)包括年報、半年報和季報，統(tǒng)計調(diào)查對象涉及各級自然資源主管部門及其所屬測繪地理信息單位，以及全國的測繪資質(zhì)單位。為滿足各級自然資源主管部門和社會公眾對測繪地理信息統(tǒng)計資料的需求，測繪地理信息統(tǒng)計工作利用積累的海量統(tǒng)計數(shù)據(jù)、依托互聯(lián)網(wǎng)開發(fā)了測繪地理信息統(tǒng)計網(wǎng)絡(luò)直報系統(tǒng)（以下簡稱“直報系統(tǒng)”），實現(xiàn)了數(shù)據(jù)的收集、審核、整理和分析的全流程在線管理，為滿足自然資源管理、測繪地理信息行業(yè)發(fā)展和社會公眾的需要提供了堅實的數(shù)據(jù)支撐［2］。

直報系統(tǒng)設(shè)計了面向測繪地理信息統(tǒng)計業(yè)務(wù)的準(zhǔn)實時數(shù)據(jù)倉庫架構(gòu)、主題以及存儲模型等，構(gòu)建了“多維數(shù)據(jù)模型—數(shù)據(jù)加載—數(shù)據(jù)分析”的全流程測繪地理信息數(shù)據(jù)統(tǒng)計分析體系，通過使用準(zhǔn)實時數(shù)據(jù)抽取、轉(zhuǎn)換和加載（ETL）過程實現(xiàn)從源數(shù)據(jù)到數(shù)據(jù)存儲模型的轉(zhuǎn)變，初步實現(xiàn)應(yīng)用該數(shù)據(jù)倉庫可以針對測繪地理信息統(tǒng)計數(shù)據(jù)進行多維度的業(yè)務(wù)分析。為此，本研究著重介紹針對測繪地理信息統(tǒng)計數(shù)據(jù)領(lǐng)域準(zhǔn)實時數(shù)據(jù)倉庫的設(shè)計和初步應(yīng)用成效。

2 數(shù)據(jù)倉庫

2.1 數(shù)據(jù)倉庫的概念

一般公認(rèn)的“數(shù)據(jù)倉庫”概念源自Inmon［3］在《數(shù)據(jù)倉庫》一書中的定義：數(shù)據(jù)倉庫是面向主題的、集成的、非易失性的、隨時間變化的數(shù)據(jù)集合。數(shù)據(jù)倉庫是對組織中不同來源的歷史數(shù)據(jù)進行重新整合，主要目的是構(gòu)建面向分析的集成化環(huán)境，將這些數(shù)據(jù)用于趨勢分析和生成報表。數(shù)據(jù)倉庫是面向主題的，是一個組織中很多主題域的一個合集。數(shù)據(jù)倉庫中的數(shù)據(jù)都是與主題相關(guān)的歷史數(shù)據(jù)，數(shù)據(jù)倉庫的數(shù)據(jù)通常定時更新，數(shù)據(jù)時限比一般操作性數(shù)據(jù)的數(shù)據(jù)時限要長。數(shù)據(jù)倉庫按照數(shù)據(jù)的覆蓋業(yè)務(wù)范圍可以分為組織級數(shù)據(jù)倉庫和單業(yè)務(wù)級數(shù)據(jù)集市，均通過聯(lián)機分析處理（OLAP）對數(shù)據(jù)進行分析和挖掘。其通用架構(gòu)如圖1 所示。

圖1 通用數(shù)據(jù)倉庫架構(gòu)

2.2 數(shù)據(jù)倉庫的分類

數(shù)據(jù)倉庫是為組織所有級別的決策制定過程提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合，是基于分析報告和決策支持目的而創(chuàng)建，為需要商業(yè)智能（BI）的組織提供實時分析結(jié)果、處理和保存大量異構(gòu)數(shù)據(jù)。從1990 年“數(shù)據(jù)倉庫”概念提出到現(xiàn)在，數(shù)據(jù)倉庫架構(gòu)的發(fā)展經(jīng)歷了傳統(tǒng)數(shù)據(jù)倉庫架構(gòu)、離線數(shù)據(jù)倉庫架構(gòu)、Lambda 架構(gòu)、Kappa 架構(gòu)以及基于Flink的全鏈路“流批一體”混合架構(gòu)，目的都是讓用戶能以低延時和相對低成本完成實時計算，數(shù)據(jù)倉庫逐步演變成了實時數(shù)據(jù)倉庫。

數(shù)據(jù)倉庫通常被分為離線數(shù)據(jù)倉庫和實時數(shù)據(jù)倉庫。離線數(shù)據(jù)倉庫一般是傳統(tǒng)的T+1 型數(shù)據(jù)ETL方案，而實時數(shù)據(jù)倉庫一般是分鐘級甚至是秒級ETL 方案（見表1）。離線數(shù)據(jù)倉庫一般分為操作數(shù)據(jù)層、明細層、匯總層和數(shù)據(jù)集市。其中，操作數(shù)據(jù)層保存最原始的業(yè)務(wù)數(shù)據(jù)；明細層根據(jù)主題預(yù)定義的維度表和事實表保存最細粒度的事實數(shù)據(jù)；匯總層是在明細層數(shù)據(jù)基礎(chǔ)上按照單一維度或者多維度進行組合，把關(guān)注的事實進行匯總形成寬表；數(shù)據(jù)集市即基于多個業(yè)務(wù)主題對匯總層進行加工以提供給應(yīng)用層滿足分析需求。實時數(shù)據(jù)倉庫又被細分為兩類：一類是標(biāo)準(zhǔn)的實時數(shù)倉，所有ETL 過程都通過Spark 或Flink 等實時計算分析；另一類是準(zhǔn)實時數(shù)倉，是對離線數(shù)據(jù)倉庫的升級。準(zhǔn)實時數(shù)據(jù)倉庫一定會有延遲，相比一天只統(tǒng)計一次的離線數(shù)據(jù)倉庫，準(zhǔn)實時數(shù)據(jù)倉庫要根據(jù)業(yè)務(wù)需求，通常是按照小時、分鐘、秒或者業(yè)務(wù)觸發(fā)來計算［4］。

表1 3 種類型數(shù)據(jù)倉庫對比

3 測繪地理信息統(tǒng)計體系架構(gòu)

進行數(shù)據(jù)倉庫架構(gòu)設(shè)計首先要厘清測繪地理信息統(tǒng)計體系的架構(gòu)。深入剖析我國《測繪地理信息統(tǒng)計調(diào)查制度》發(fā)現(xiàn)，測繪地理信息統(tǒng)計工作涉及要素主要包括如下方面。

3.1 統(tǒng)計對象

測繪地理信息統(tǒng)計對象覆蓋范圍廣、用戶量大、層級分明，主要分為兩類：一類是各級管理機構(gòu)，涉及部、省、市、縣四級測繪地理信息主管部門及其所屬測繪地理信息單位；另一大類是持有各等級測繪資質(zhì)證書的測繪資質(zhì)單位，并依據(jù)注冊地不同歸屬在不同的省市縣［5］。各級管理機構(gòu)和資質(zhì)單位根據(jù)統(tǒng)計調(diào)查制度進行填報，上級部門負(fù)責(zé)對下級部門填報的資料進行數(shù)據(jù)審查，即縣級、市級、省級、部級分別逐級匯總下級后進行數(shù)據(jù)審核。

3.2 統(tǒng)計內(nèi)容

測繪地理信息統(tǒng)計內(nèi)容具有維度廣、指標(biāo)復(fù)雜等特點，主要包括測繪資質(zhì)單位、基礎(chǔ)測繪、測繪地理信息管理和測繪地理信息成果提供服務(wù)等相關(guān)內(nèi)容，共涉及統(tǒng)計調(diào)查報表18 張，合計300 余個指標(biāo)。統(tǒng)計周期分為年度、半年及季度，統(tǒng)計上報截止時間要求分別為：年度統(tǒng)計為次年3 月31 日，半年和季度統(tǒng)計均為統(tǒng)計當(dāng)期結(jié)束后5 個工作日內(nèi)。其中，部分報表是將多種類型的指標(biāo)進行了整合，存在同一報表針對不同用戶有不同填報要求的情況，統(tǒng)計報表多設(shè)計為多維報表，針對不同的統(tǒng)計周期，填報內(nèi)容也有所區(qū)別［6］。

3.3 審核需求

測繪地理信息統(tǒng)計審核機制層級分明，建立了逐級審核的機制。數(shù)據(jù)質(zhì)量控制要求上級部門對下級部門數(shù)據(jù)進行數(shù)據(jù)審查，邏輯關(guān)系一般內(nèi)置于系統(tǒng)中，需要通過直報系統(tǒng)設(shè)定指標(biāo)間的邏輯關(guān)系、平衡關(guān)系進行數(shù)據(jù)準(zhǔn)確性校驗；同時，各級主管部門要通過匯總功能審核下級單位匯總數(shù)據(jù)，如未對下級數(shù)據(jù)進行匯總則可能存在無效數(shù)據(jù)。待省級以下單位全部填報、匯總、審核完成后，部級再進行匯總審核，至此填報工作才算最終完成。日常的統(tǒng)計分析和審核則依賴于數(shù)據(jù)的多維度匯總和對比，這就對數(shù)據(jù)倉庫中的數(shù)據(jù)的實時性提出了較高要求。

3.4 統(tǒng)計成果

統(tǒng)計成果主要是統(tǒng)計年報、年鑒以及季報，以此為自然資源綜合統(tǒng)計等統(tǒng)計工作提供數(shù)據(jù)；此外還要撰寫年度、季度統(tǒng)計分析報告，但統(tǒng)計分析報告一般晚于季度或者年度成果。統(tǒng)計分析報告中的圖表展示、歷年數(shù)據(jù)對比分析等需要依托直報系統(tǒng)實現(xiàn)，提高統(tǒng)計分析效率。

4 測繪地理統(tǒng)計準(zhǔn)實時數(shù)據(jù)倉庫架構(gòu)建設(shè)

根據(jù)測繪地理信息統(tǒng)計工作的特點，為了滿足低延時的業(yè)務(wù)數(shù)據(jù)需求，仔細權(quán)衡實時性、可用性以及成本之間的關(guān)系設(shè)計測繪地理信息統(tǒng)計準(zhǔn)實時數(shù)據(jù)倉庫，即數(shù)據(jù)必須完整無歧義，且對數(shù)據(jù)的實時性要求較高。

4.1 架構(gòu)設(shè)計

數(shù)據(jù)倉庫是出于分析性報告和決策支持目的而創(chuàng)建，針對測繪地理信息統(tǒng)計體系的特點，測繪地理信息統(tǒng)計準(zhǔn)實時數(shù)據(jù)倉庫架構(gòu)設(shè)計如圖2 所示。其中數(shù)據(jù)倉庫分為兩個分區(qū)：一個是歷史數(shù)據(jù)倉庫，存放靜態(tài)的、不變的數(shù)據(jù)，用于提供傳統(tǒng)數(shù)據(jù)倉庫的歷史數(shù)據(jù)查詢和分析；另一個是實時數(shù)據(jù)倉庫，存放實時數(shù)據(jù)，具有實時、易變、臨時性的特點［7］。歷史數(shù)據(jù)倉庫中存放完整的事實表和維度表，以及擁有完整的歷史數(shù)據(jù)；實時數(shù)據(jù)倉庫中則存放了和歷史數(shù)據(jù)倉庫結(jié)構(gòu)相同的事實表，但去除了索引、主鍵和相關(guān)的約束條件，實時數(shù)據(jù)倉庫只存儲最新經(jīng)過轉(zhuǎn)換后加載的數(shù)據(jù)，當(dāng)數(shù)據(jù)量到一定規(guī)模后，實時數(shù)據(jù)倉庫中的全部數(shù)據(jù)將會復(fù)制到歷史數(shù)據(jù)倉庫中，從而清空了該數(shù)據(jù)庫中的所有數(shù)據(jù)。在系統(tǒng)聯(lián)合歷史數(shù)據(jù)倉庫和實時數(shù)據(jù)倉庫進行統(tǒng)計分析時，由于實時數(shù)據(jù)倉庫缺少相應(yīng)設(shè)置，性能要低于歷史數(shù)據(jù)倉庫，但由于實時數(shù)據(jù)倉庫中的數(shù)據(jù)量較少，實時數(shù)據(jù)倉庫也可以獲得較高的性能［8］。

圖2 測繪地理信息統(tǒng)計準(zhǔn)實時數(shù)據(jù)倉庫架構(gòu)

整個數(shù)據(jù)倉庫架構(gòu)中包括兩個加載觸發(fā)器：第一個加載到實時數(shù)據(jù)倉庫的觸發(fā)器采用管理機構(gòu)用戶進行節(jié)點匯總時觸發(fā)，若下屬單位已經(jīng)填報完成且已形成有效數(shù)據(jù)，此時觸發(fā)系統(tǒng)將數(shù)據(jù)經(jīng)過轉(zhuǎn)換加載到實時數(shù)據(jù)倉庫中；第二個觸發(fā)器為實時數(shù)據(jù)倉庫的數(shù)據(jù)規(guī)模，也是影響聯(lián)合統(tǒng)計分析性能以及向歷史數(shù)據(jù)倉庫復(fù)制更新效率高低的關(guān)鍵［9］。根據(jù)實際工作情況，目前測繪地理信息統(tǒng)計年度總數(shù)據(jù)大約有800 萬條，應(yīng)用服務(wù)器CPU 為兩顆鯤鵬9 202.6 GHz 32 核，內(nèi)存128 G；數(shù)據(jù)庫服務(wù)器CPU 為兩顆鯤鵬9 202.6 GHz 32 核，內(nèi)存為256 G，數(shù)據(jù)庫使用北京人大金倉信息技術(shù)有限公司的Kingbase8。經(jīng)過測算，本研究將歷史數(shù)據(jù)倉庫加載數(shù)據(jù)的觸發(fā)點設(shè)置為實時數(shù)據(jù)倉庫規(guī)模達到5 000 條時，且實時數(shù)據(jù)倉庫向歷史數(shù)據(jù)倉庫的更新時間大約為120 s，此設(shè)置條件也使得聯(lián)合統(tǒng)計分析無論在更新還是非更新期間都能獲得較高的性能。

（1）數(shù)據(jù)源層。數(shù)據(jù)源層是指現(xiàn)有系統(tǒng)或者存儲中的內(nèi)外部業(yè)務(wù)數(shù)據(jù)。在本研究中，內(nèi)部業(yè)務(wù)數(shù)據(jù)主要是指在測繪地理信息統(tǒng)計歷年的數(shù)據(jù)；外部業(yè)務(wù)數(shù)據(jù)指的是與測繪地理信息統(tǒng)計相關(guān)的制度規(guī)章和其他文檔等。

（2）數(shù)據(jù)存儲層。數(shù)據(jù)存儲層面向分析業(yè)務(wù)主題進行統(tǒng)一建模，形成元數(shù)據(jù)，并存儲從源數(shù)據(jù)層抽取處理的數(shù)據(jù)，形成面向主題的歷史數(shù)據(jù)倉庫，同時形成了具有相同結(jié)構(gòu)事實表的實時數(shù)據(jù)倉庫。該層同時涉及兩個觸發(fā)器［10］。從數(shù)據(jù)源到實時數(shù)據(jù)倉庫需要通過節(jié)點匯總觸發(fā)器觸發(fā)ETL 過程，按照預(yù)定義的數(shù)據(jù)處理策略將數(shù)據(jù)進行處理和組織，增量更新過程則在實時數(shù)據(jù)倉庫數(shù)據(jù)量觸發(fā)器觸發(fā)時將數(shù)據(jù)更新到歷史數(shù)據(jù)倉庫中，然后清空實時數(shù)據(jù)倉庫［11］。

（3）應(yīng)用支撐層。該層為面向主題的展現(xiàn)設(shè)計層，以聯(lián)合統(tǒng)計分析服務(wù)為基礎(chǔ)，通過使用各類可視化支撐組件，準(zhǔn)確、靈活展現(xiàn)準(zhǔn)實時數(shù)據(jù)倉庫中的數(shù)據(jù)。具體展現(xiàn)形式包括即席查詢、分析圖表和分析報告等。

4.2 主題設(shè)計

設(shè)計數(shù)據(jù)倉庫最重要的是設(shè)計業(yè)務(wù)主題。主題是數(shù)據(jù)分析和應(yīng)用業(yè)務(wù)的集合，主題的設(shè)計必須根據(jù)業(yè)務(wù)需求確定。一方面，地理信息產(chǎn)業(yè)是數(shù)字經(jīng)濟的重要領(lǐng)域，因而首先要對地理信息產(chǎn)業(yè)發(fā)展情況要有所掌握；另一方面，要充分發(fā)揮測繪地理信息數(shù)據(jù)在推動高質(zhì)量發(fā)展中的基礎(chǔ)性作用，充分了解基礎(chǔ)測繪和測繪地理信息數(shù)據(jù)生產(chǎn)情況和管理情況；第三，要激活地理信息數(shù)據(jù)潛能、服務(wù)數(shù)字經(jīng)濟新業(yè)態(tài)，也要對測繪地理信息成果情況和服務(wù)情況進行分析。

測繪地理信息統(tǒng)計頻率分為季度、半年和年度，其統(tǒng)計的內(nèi)容和對象不一樣，關(guān)注的側(cè)重點也有所區(qū)別。本研究基于統(tǒng)計頻率設(shè)計了3 套主題域，具體如表2 所示。

表2 基于統(tǒng)計頻率的測繪地理信息統(tǒng)計主要主題域情況

4.3 模型設(shè)計

準(zhǔn)實時數(shù)據(jù)倉庫模型設(shè)計是在主題設(shè)計基礎(chǔ)上進行多維數(shù)據(jù)模型設(shè)計。其中事實和維度是多維數(shù)據(jù)模型設(shè)計中的核心概念，事實表示對業(yè)務(wù)數(shù)據(jù)的度量，而維度是觀察數(shù)據(jù)的角度。事實通常是數(shù)字類型的，可以進行聚合和計算；而維度通常是一組層次關(guān)系或描述信息用來定義事實。多維數(shù)據(jù)模型包括星型模型和雪花模型兩類。星型模型是以一個事實表為中心，周圍環(huán)繞著多個維度表；雪花模型是對維度進行規(guī)范化，即去除冗余屬性，規(guī)范化后維度通常會對應(yīng)多個子維度表，數(shù)據(jù)量和復(fù)雜性都會得到比較明顯的提高。結(jié)合業(yè)務(wù)數(shù)據(jù)特征和應(yīng)用場景，本研究選擇了星型模型進行業(yè)務(wù)邏輯設(shè)計。測繪地理信息統(tǒng)計數(shù)據(jù)每年大約新增1.4 G，通常大部分?jǐn)?shù)據(jù)倉庫中會針對每個主題設(shè)計一張事實表和對應(yīng)的多張維度表，因此本研究設(shè)計了3 套主題域共計11 個主題，但每個主題的維度都涉及時間、地區(qū)和專業(yè)3 個維度，總體差異較小。為了簡化模型的設(shè)計且考慮到數(shù)據(jù)處理的效率，將每套主題域進行了整合，設(shè)計了一張事實表和融合后的維度表，形成了3 套多維數(shù)據(jù)模型，這樣大大節(jié)約了模型的數(shù)量和降低了系統(tǒng)的復(fù)雜度。

時間維度具有周期性的特征，可以基于時間維度進行同比、環(huán)比、累計、時點、時期等分析，對數(shù)據(jù)的匯總、計算規(guī)則等會產(chǎn)生不同的影響。從測繪地理信息統(tǒng)計采集頻率來看，季度是年初到該季度末的值而不是當(dāng)季度的，時間維度上沒有累加的概念，所以將時間維度在3 套多維數(shù)據(jù)模型中只設(shè)置為相應(yīng)的頻率而沒有層次結(jié)構(gòu)。對于普通維度，根據(jù)業(yè)務(wù)需要設(shè)置了多個層次結(jié)構(gòu)。例如測繪單位測繪資質(zhì)等級維度分為甲級、乙級，單位類型維度分為事業(yè)單位、企業(yè)及執(zhí)行企業(yè)會計制度的事業(yè)單位；其中企業(yè)根據(jù)登記注冊類型又可進一步分為內(nèi)資企業(yè)、港澳臺商投資企業(yè)以及外商投資企業(yè)，內(nèi)資企業(yè)還可以進一步分為國有企業(yè)、集體企業(yè)、有限責(zé)任公司等多個層次，部分子層次還可繼續(xù)分層，可以針對這些維度構(gòu)建相應(yīng)的數(shù)據(jù)立方體，并對其切片和旋轉(zhuǎn)。另外，在年度主題域中，單位測繪資質(zhì)等級維度、單位類型維度、測繪業(yè)務(wù)情況維度等除了分級層次外，還增加了合計層，例如測繪業(yè)務(wù)情況維度分為合計、主要業(yè)務(wù)活動為測繪業(yè)務(wù)、主要業(yè)務(wù)活動不是測繪業(yè)務(wù)但測繪業(yè)務(wù)財務(wù)收支獨立核算、主要業(yè)務(wù)活動不是測繪業(yè)務(wù)且測繪業(yè)務(wù)財務(wù)收支未獨立核算，從而在統(tǒng)計分析時可以對這類維度進行下鉆和上卷；同時，地區(qū)維度需要分成兩類地區(qū)維度，一個包括全國、省（區(qū)市）、市、縣共四級，另一個只包括全國、省（區(qū)市）兩級。其中，季度主題域設(shè)計的多維數(shù)據(jù)模型，以及成果管理和服務(wù)年度情況主題和地圖審核年度情況主題的地區(qū)維度為后者，所以只可以進行全國、?。▍^(qū)市）兩級的下鉆和上卷；而半年主題域設(shè)計的多維數(shù)據(jù)模型，以及年度主題域設(shè)計的測繪資質(zhì)單位年度情況主題和測繪地理信息生產(chǎn)年度情況主題的地區(qū)維度均為前者，則可以針對全國、省（區(qū)市）、市、縣四級進行下鉆和上卷。最終設(shè)計的測繪地理信息統(tǒng)計準(zhǔn)實時數(shù)據(jù)倉庫中的年度主題域邏輯模型如圖3所示，根據(jù)設(shè)計的多維數(shù)據(jù)模型可以構(gòu)建任意數(shù)據(jù)多面體，選擇年度、單位類型和地區(qū)3 個維度構(gòu)建數(shù)據(jù)立方體以展示效果，有關(guān)示例如圖3 所示。

圖3 測繪地理信息統(tǒng)計準(zhǔn)實時數(shù)據(jù)倉庫多維數(shù)據(jù)模型

圖4 測繪地理信息統(tǒng)計準(zhǔn)實時數(shù)據(jù)倉庫數(shù)據(jù)立方體示例

4.4 數(shù)據(jù)加載

數(shù)據(jù)加載是將數(shù)據(jù)經(jīng)過抽取、清洗和轉(zhuǎn)換之后加載到數(shù)據(jù)倉庫的過程。首先要針對不同特征的數(shù)據(jù)制定不同的抽取策略，然后進行數(shù)據(jù)轉(zhuǎn)換，主要包括標(biāo)準(zhǔn)化、去重、合并、拆分、整合等環(huán)節(jié)，最后將處理后的數(shù)據(jù)加載到數(shù)據(jù)倉庫中。數(shù)據(jù)加載策略主要包括全量更新和增量更新兩類。全量更新即抽取所有源數(shù)據(jù)并進行相應(yīng)規(guī)則轉(zhuǎn)換，數(shù)據(jù)倉庫中數(shù)據(jù)被新數(shù)據(jù)完全替換；增量更新則只更新變化的數(shù)據(jù)，有基于時間戳、基于觸發(fā)器或者基于日志的等多種更新方式。根據(jù)測繪地理信息統(tǒng)計準(zhǔn)實時數(shù)據(jù)倉庫的架構(gòu)設(shè)計以及業(yè)務(wù)特點，采用基于觸發(fā)器的增量更新方式對有關(guān)數(shù)據(jù)的加載效率最高，也只有采用增量更新方式才能得以實現(xiàn)數(shù)據(jù)倉庫的準(zhǔn)實時性。在ETL 的策略設(shè)置中，對歷史數(shù)據(jù)不進行任何變動和處理，只針對本次需要更新的數(shù)據(jù)進行加載，加載完成后清空實時數(shù)據(jù)倉庫，從而使得實時數(shù)據(jù)倉庫重新獲得高性能［12］。

5 數(shù)據(jù)倉庫架構(gòu)的初步實現(xiàn)和應(yīng)用

基于以上所設(shè)計的測繪地理信息統(tǒng)計準(zhǔn)實時數(shù)據(jù)倉庫架構(gòu)，直報系統(tǒng)得以初步實現(xiàn)和應(yīng)用，主要包括節(jié)點匯總、綜合查詢和批量分析功能。

5.1 節(jié)點匯總

節(jié)點匯總是實現(xiàn)測繪地理信息統(tǒng)計準(zhǔn)實時數(shù)據(jù)倉庫的關(guān)鍵功能，是將數(shù)據(jù)加載到實時數(shù)據(jù)倉庫的觸發(fā)器。節(jié)點匯總對于不同任務(wù)匯總的內(nèi)容和要求有所不同：一是對于資質(zhì)單位填報，管理機構(gòu)要在下轄所有單位填報完成審核后進行匯總，直報系統(tǒng)再將匯總后的數(shù)據(jù)加載到實時數(shù)據(jù)倉庫中；二是對由機關(guān)和部分下屬單位填寫的?。▍^(qū)市）廳（局）級數(shù)據(jù)，必須在機關(guān)和下屬單位全部填寫完后首先進行省（區(qū)市）廳（局）本級匯總，形成?。▍^(qū)市）廳（局）本級的一條有效數(shù)據(jù)，此時直報系統(tǒng)并不進行實時數(shù)據(jù)倉庫加載；三是管理機構(gòu)在下級管理機構(gòu)和本級有效數(shù)據(jù)形成后進行節(jié)點匯總，此時直報系統(tǒng)將會加載數(shù)據(jù)到實時數(shù)據(jù)倉庫中。

5.2 綜合查詢

綜合查詢和批量分析都是基于準(zhǔn)實時數(shù)據(jù)倉庫進行的聯(lián)合統(tǒng)計分析，包括多維度查詢、數(shù)據(jù)鉆取分析等功能。首先選擇主題域，然后在預(yù)置相應(yīng)的維度列表中選擇維度，在主題域相關(guān)的指標(biāo)集中選擇指標(biāo)。例如在年報主題域中選擇了測繪資質(zhì)單位年度情況主題，然后可選擇單位類型維度按照國有企業(yè)、有限責(zé)任公司和私營企業(yè)進行分析，還可以從每個維度進行上鉆下鉆或者切片分析，圖5 即為在地區(qū)維度上數(shù)據(jù)下鉆分析效果。

5.3 批量分析

目前批量分析功能只實現(xiàn)了基于年報主題域以及基于年報主題域中的主題選擇分析表單和查詢單位。其中，測繪資質(zhì)單位年度情況主題中的查詢單位可以選擇單位和屬地行政區(qū)劃，測繪地理信息生產(chǎn)年度情況主題中的查詢單位可以選擇全國、省（區(qū)市），而其余主題中的查詢單位可以選擇全國、省區(qū)市（縣）。分析表單主要實現(xiàn)了測繪資質(zhì)單位年度情況主題中部分常用的分析需求，有關(guān)示例見圖6。

圖6 測繪地理信息統(tǒng)計準(zhǔn)實時數(shù)據(jù)倉庫批量分析表單選擇示例

6 結(jié)論和展望

近年來，我國地理信息產(chǎn)業(yè)由高速增長轉(zhuǎn)向高質(zhì)量發(fā)展，產(chǎn)業(yè)規(guī)模逐步擴大、結(jié)構(gòu)持續(xù)優(yōu)化、服務(wù)能力不斷增強，但數(shù)據(jù)倉庫作為BI 的重要支撐技術(shù)在測繪地理信息領(lǐng)域中應(yīng)用較少，而測繪地理信息較專業(yè)、數(shù)據(jù)形式非常多樣、服務(wù)范圍非常廣泛，經(jīng)過多年的統(tǒng)計調(diào)查制度和信息化建設(shè)，測繪地理信息統(tǒng)計數(shù)據(jù)采集功能已具備較高的自動化程度。本研究針對我國測繪地理信息統(tǒng)計數(shù)據(jù)分析需求，建立了包括季度主題域、半年主題域和年度主題域三大類度量主題域以及11 個度量主題的模型架構(gòu)，根據(jù)業(yè)務(wù)特點選擇星型模型為建模方式，設(shè)計了測繪地理信息統(tǒng)計準(zhǔn)實時數(shù)據(jù)倉庫的架構(gòu)和模型，并最終通過兩個觸發(fā)器、ETL 和聯(lián)合統(tǒng)計分析完成了整個準(zhǔn)實時數(shù)據(jù)倉庫的初步建設(shè)。

隨著國家政策不斷完善和技術(shù)的進步，我國測繪地理信息行業(yè)也有了較大的變化。2015 年6 月國務(wù)院批復(fù)同意的《全國基礎(chǔ)測繪中長期規(guī)劃綱要（2015—2030 年）》以及2022 年2 月自然資源部發(fā)布的《關(guān)于全面推進實景三維中國建設(shè)的通知》等系列政策文件都提出了要完善基礎(chǔ)測繪產(chǎn)品體系和技術(shù)手段，對原有的測繪范圍、測繪內(nèi)容和技術(shù)手段都有新的要求，使得測繪地理信息產(chǎn)品形態(tài)和服務(wù)在形式上由單一性向多元化發(fā)展、由二維轉(zhuǎn)向三維、由固定產(chǎn)品向自然資源產(chǎn)品轉(zhuǎn)型，同時也帶來了服務(wù)模式上的轉(zhuǎn)變升級，這些變化都對測繪地理信息統(tǒng)計工作提出了更高的要求［13］。

第一，隨著技術(shù)手段、產(chǎn)品形式和服務(wù)模式的變化，測繪地理信息統(tǒng)計調(diào)查指標(biāo)需要相應(yīng)更新。以地理實體為核心的新型基礎(chǔ)測繪產(chǎn)品突破了傳統(tǒng)的比例尺限制，實現(xiàn)一個地理實體只測一次，同時以地理實體為索引，按照時空進行序化、關(guān)聯(lián)和融合，形成“一庫多能、按需組裝”的新型基礎(chǔ)測繪服務(wù)模式［14］，這都要求對基于傳統(tǒng)比例尺和4D 產(chǎn)品概念設(shè)計的統(tǒng)計調(diào)查內(nèi)容進行適當(dāng)?shù)恼{(diào)整。

第二，測繪地理信息統(tǒng)計數(shù)據(jù)源的廣度要依據(jù)行業(yè)發(fā)展形勢適時增加。測繪地理信息數(shù)據(jù)和服務(wù)已經(jīng)從主要服務(wù)于政府部門逐漸泛化到各行各業(yè)，地理信息數(shù)據(jù)和技術(shù)的跨界融合發(fā)展已是大勢所趨，從最常用的導(dǎo)航到自動駕駛和高精度定位等，這都要求把包括宏觀經(jīng)濟數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)等更多類型的數(shù)據(jù)和數(shù)據(jù)源納入到測繪地理信息統(tǒng)計分析中，才能更加準(zhǔn)確地把握行業(yè)發(fā)展情況。

第三，統(tǒng)計分析手段要不斷升級優(yōu)化。隨著統(tǒng)計范圍和統(tǒng)計內(nèi)容的變化，統(tǒng)計數(shù)據(jù)倉庫中的數(shù)據(jù)類型會更加多樣化，數(shù)據(jù)量也會持續(xù)增大，現(xiàn)有的統(tǒng)計分析手段難以高效地管理和挖掘相關(guān)數(shù)據(jù)，需要對現(xiàn)有的數(shù)據(jù)倉庫模型和分析手段進行升級。

第四，統(tǒng)計數(shù)據(jù)的信息安全要重點關(guān)注。隨著實景三維等多種形式的產(chǎn)品發(fā)布，空間信息的精細化程度越來越高［15］，信息安全也是必須要關(guān)注的重點之一。一方面，地理信息安全需要在統(tǒng)計調(diào)查內(nèi)容中有所體現(xiàn)；另一方面，統(tǒng)計相關(guān)的信息化應(yīng)用也要著重加強安全防護手段，為信息安全保駕護航［16］。

通過持續(xù)地深入研究和完善測繪地理信息統(tǒng)計體系架構(gòu)、數(shù)據(jù)倉庫架構(gòu)以及挖掘分析模型，逐步形成對測繪地理信息產(chǎn)業(yè)、數(shù)據(jù)生產(chǎn)、管理和服務(wù)等方面信息的高效獲取、多維分析和有效監(jiān)測，能夠為自然資源管理和數(shù)字經(jīng)濟的高質(zhì)量發(fā)展、不斷優(yōu)化自然資源要素保障提供支撐。