大數據技術支撐下的移民搬遷信息化架構設計和應用實現

王 凱 張 帆 郭朝陽

(自然資源部陜西基礎地理信息中心, 陜西 西安 710054)

0 引言

移民搬遷是精準脫貧的主要方式之一,是一項集政策性、專業性、群眾性于一體的系統工程,是影響國家安定和發展的一個重要因素[1-2]。移民搬遷工作具有數據體量大、信息碎片化、對象關系復雜等特點,數據管理、應用、分析和挖掘的難度非常大,這就需要思考如何用更便捷、更準確地獲取、整合、管理數據,實現數據利用的最大化[3]。大數據時代的到來為解決海量數據的管理和應用提供了新的思路[4]。應用大數據技術,開展移民扶貧搬遷數據的匯集、處理、對比分析與綜合評估,并通過大數據技術開展預警、決策和分析,能夠為移民搬遷工作提供決策參考[5]。

本文在深入分析大數據相關技術的基礎上,結合移民搬遷信息管理平臺的實際業務需求,從海量數據管理、數據融合分析、數據可視化展示等方面開展了關鍵技術研究,提出了移民搬遷大數據平臺的架構設計,為移民扶貧搬遷空間數據的存儲、管理、分析和可視化服務提供了解決方案。

1 問題和需求分析

1.1 海量數據管理問題

移民搬遷工作是一項巨大的系統工程,從涉及對象的層級上看,有省級、地市、縣區、鄉鎮、社區級搬遷對象等多級對象;從涉及業務的時間過程跨度上看,既有移民搬遷總體規劃、逐年計劃、規劃地解決方案設計、評估、執行,又有搬遷前規劃、搬遷建設監管和搬遷后管理;從數據類型看,有結構化的常規數據、地理信息系統(geographic information system,GIS)空間數據,還有非結構化的文檔數據、視頻及圖像數據。如何采用大數據存儲、架構和管理技術,對這些海量的數據進行有效管理,為移民搬遷工作管理提供強大的支撐,是移民搬遷信息化工作的需要考慮的基礎性工作。

1.2 數據融合和分析問題

數據的價值在于利用,移民搬遷既包括移民搬遷對象信息、搬遷安置信息、項目信息,又包括了人口、社會經濟、扶貧政策與產業、地理環境等各類數據,如何做到搬遷工作的科學化、信息化、精準化,實現搬遷對象精準、資源整合精準、項目安排精準、資金使用精準、措施到位精準、成效鞏固精準,需要基于大數據技術,實現分布式環境下多源、異構數據的清洗、比對、統計、分析和挖掘,在海量的搬遷數據中將有價值的信息分類、匯總及分析,充分挖掘各類數據的價值,助力移民搬遷工作的精準和科學開展。

1.3 數據多維可視化展示問題

大數據時代的背景下,在繁雜多元的數據中找到精準的規律和結論,并創造價值是數據應用的基本路徑。傳統的數據展示方式往往是通過表格和數字,展示效果不夠直觀,無法讓人快速獲取需要的信息,無法滿足輔助決策應用需求。大數據可視化技術為數據的直觀展示提供了解決之道,比起使用文本或數字描述,大數據可視化技術將大量的數據和結果以更直觀、美觀的方式展示出來,讓信息易于掌握并具有意義。特別是隨著大數據可視化應用的發展,地理信息數據可視化也受到了越來越多的重視,地理信息數據的可視化,不僅可以再現和表達時空信息,更重要的是分析對象的時空格局、挖掘其演化規律,并且可以通過這些模式規律對動態變化進行模擬和預測[6-8]。

2 關鍵技術及體系架構

結合移民搬遷信息管理應用需求,引入大數據管理、處理和可視化技術,開展相關關鍵技術研究,形成移民搬遷大數據平臺的架構設計,滿足移民搬遷管理對科學管理、準確分析、輔助決策的要求。

2.1 關鍵技術研究

2.1.1分布式數據采集技術

移民搬遷涉及多源、異構的各類數據,為了實現數據的有效管理和分析,需要將分布式的各類數據進行有效匯集,形成符合一定標準的數據成果,并存儲到目標環境中,實現統一的數據管理視圖。

在采集架構上,數據采集基于分布式架構,分為Master、Worker角色,Master會根據采集任務量動態啟動、關閉Worker;在采集方式上,采用Sqoop、Logstash、DataX等多源數據采集框架,實現不同來源、不同類型的數據源采集,使用消息隊列傳輸采集的數據,使用Zookeeper保障任務穩定性、高可用性;在采集策略上,對于數據中有時間戳信息的數據進行增量采集,無時間戳信息則進行全量采集。其中,在全量數據采集時,對數據行進行MD5加密,并通過MD5值進行對比檢測數據新增、修改、刪除情況。數據采集的架構設計如圖1所示。

圖1 數據采集架構

數據采集涉及的相關技術如下：

(1)多源數據采集技術。多源數據采集框架實現分布式、多源、異構數據的匯集,主流的數據采集框架有Flume、Sqoop、LogStash等,其中,Flume主要用于采集文件,socket數據包等數據源,主要應用于海量日志信息的收集;LogStash和Sqoop主要用于傳統的數據庫(如Mysql、Postgresql)與分布式文件系統(如HDFS)之間的數據信息采集和傳遞,相比而言,LogStash在開發生態、擴展性上、易用性上更具有優勢。

(2)消息隊列技術。消息隊列即消息中間件,是分布式系統中重要的組件,主要解決應用解耦、異步消息、流量削鋒等問題。目前主流的消息隊列有Kafka、ActiveMQ、RabbitMQ等。利用消息隊列技術,可以將下層的數據采集框架與上層的消息處理解耦,數據采集框架負責數據采集,并定時寫入到消息隊列中,消息隊列負責數據的接收、存儲和提供。

2.1.2差異化數據存儲管理

通過數據匯集來的數據類型多樣,有結構化的業務數據、GIS空間數據,還有非結構化的文檔數據、視頻及圖像數據,需要面向數據存儲和應用特點,采用差異化的存儲策略,實現多源異構數據的優化存儲[9]。依據數據結構、數據量、數據特點和應用需求,在傳統空間數據庫、共享文件系統基礎上,綜合利用空間數據庫、非關系數據庫、分布式文件系統等各類管理模式,采用塊存儲、文件存儲、對象存儲等多樣化的存儲架構,進行多源異構數據綜合存儲,構建面向用戶一致透明操作的綜合數據庫,實現來源不同、格式各異、應用各具特點的數據的高效存儲和有效管理[10]。數據存儲結構設計如圖2所示。

圖2 數據存儲架構

2.1.3數據清洗和融合技術

在大數據存儲環境的基礎上,借助于大數據計算引擎,開展移民搬遷數據治理,通過對不同數據之間的動態格式轉換和對數據的清洗、分析、維護等一系列操作[11],形成統一的,可以對內服務、對外輸出數據的信息服務。數據清洗和融合的技術流程圖如圖3所示。

圖3 數據清洗融合架構

涉及的關鍵技術如下：

(1)數據清洗技術。數據清洗是按照一定的清洗規則,對數據進行規范化處理[12]。常見的數據清洗規則包括數據格式清洗、數據邏輯錯誤清洗,其中數據格式清洗是對數據格式(如時間、日期、全半角、貨幣單位等)、非法字符(如空格、全角/半角等)等進行統一處理;數據邏輯清洗是對數據重復、數據不合理值、數據相互矛盾等進行處理。數據清洗采用基于規則的清洗模式,將業務規則的抽象出來,支持自定義的數據規則擴展,并實現可插拔式的規則嵌入和清除。數據清洗基于Drools規則引擎框架,Drools規則引擎通過調用規則文件來判斷記錄是否是臟數據,并根據規則定義對數據進行處理。

(2)數據融合技術。數據融合是面向數據應用的關鍵。一方面,數據融合通過梳理各類數據之間的血緣關系,實現不同數據源、數據表、數據要素、字段、編碼規則之間的映射和關聯;另一方面,以數據流向、數據血緣關系和應用需求為依托,通過交互式操作,可靈活構建數據服務模型,提供自定義的模型化數據服務,實現基于數據模型直接建設數據應用。

2.1.4數據可視化表達技術

結合視覺傳達,新媒體設計,圖表化設計等方法,針對移民搬遷業務應用和輔助決策應用需求,基于主流的地圖引擎和可視化渲染引擎,提供二維、三維地圖、智能駕駛艙、高級圖表等多樣化的地圖可視化表達,實現集宏觀微觀于一體、動態靜態于一體、地圖表格于一體的多樣化數據表達[13-14]。可視化表達的技術架構如圖4所示。

圖4 數據可視化表達架構

數據可視化表示涉及的相關技術如下：

(1)地圖API。地圖應用程序接口(application programming interface,API)為數據可視化提供二維、三維地圖呈現、渲染和應用的框架,包括各種商業和開源的地圖API,其中,二維地圖框架主要包括Leaflet、MapboxGL、ArcGIS、OpenLayers等,三維地圖框架主要以Cesium、Threejs為代表。

(2)可視化API。可視化API為數據可視化提供形式多樣、交互靈活、動靜結合的可視化圖形和圖表應用框架,常見的可視化API包括ECharts、AntV、Deck等。通過將可視化API與地圖API集成,構建以二維、三維地圖為基底,以豐富多樣的圖表為承載的開放、跨終端時空數據可視化框架。

2.2 技術架構

基于上述關鍵技術研究,本文提出了大數據技術體系下移民搬遷數據匯聚、處理、應用的架構設計,該架構采用基于服務的設計理念,采用基礎支撐層、數據源層、數據治理層、服務層、可視化表達層等多層架構進行實現,具體如圖5所示。

圖5 平臺總體架構

基礎支撐層：基于大數據相關技術生態體系構建,包括HDFS分布式文件系統、HBase分布式數據庫以及MapReduce、Spark等并行計算處理系統,為移民搬遷大數據的有效管理和高效運算提供計算環境。

數據源：提供多源、異構的移民搬遷數據,包括搬遷業務數據、地理空間數據、人口經濟等第三方政務數據,以及圖片、文檔等數據。

數據治理層：由數據采集、數據存儲、數據清洗、數據融合四層模塊,采用基于規則和模型的數據治理策略,實現多源、異構、分布式數據的匯集、存儲、管理和融合服務。

應用服務層：以數據融合的成果為基礎,針對移民搬遷業務需求,提供聚合分析、畫像分析、行為分析等各類數據應用和分析服務。

可視化表達層：結合視覺傳達,新媒體設計,圖表化設計等方法,采用地圖引擎和可視化渲染引擎,提供開放的、可柔性定制的、跨終端時空數據展示框架,支持電腦端、移動端、大屏端等各類展示應用需求。

3 應用實踐

以上文所述的系統框架和關鍵技術為基礎,針對陜西省移民搬遷信息化管理要求,研發了陜西省移民搬遷信息管理平臺。平臺涉及全省100多萬戶約500萬人的搬遷,用戶群體包括省級、地市、縣區、鄉鎮、社區各級用戶,數據類型包括業務數據、空間數據、檔案數據等多源數據。平臺采用基于服務的設計理念,在Hadoop大數據框架的支撐下,綜合應用基于LogStash和Kafaka的數據采集技術、基于Drools數據清理和Neo4j數據融合技術,完成了多源、異構、海量數據的高效存儲和管理,構建了基于MapBox和Echarts的地圖可視化框架,實現了海量搬遷數據的匯集、存儲、清洗、融合和可視化分析。

通過平臺建設,為移民搬遷業務指導、政策決定提供科學、準確的分析手段,確保了移民搬遷“搬得出,穩得住,能致富”,為實現“精準搬遷、精細管理”奠定了堅實的基礎。平臺的功能結構如圖6所示。

圖6 平臺功能模塊

4 結束語

本文結合移民搬遷信息化工作中數據體量大、信息碎片化、對象關系復雜等突出特點和管理需求,從海量數據管理、數據挖掘分析、數據可視化展示等方面進行了關鍵技術研究,在此基礎上,提出了大數據環境下移民搬遷信息化平臺架構并予以實現,為移民搬遷工作精準、科學管理提供了技術支撐,也為后續類似信息化業務平臺建設提供了解決思路。