云模式下地質信息用戶行為采集體系實踐

劉 國，王懿哲，馬翠鳳，張學利，郭 莉，宋 震

（1.中國地質大學（武漢）國家地理信息系統工程技術研究中心，湖北 武漢 430074；2.中國地質圖書館，北京 100083；3.自然資源部國土衛星遙感應用中心，北京 100048；4.江蘇省有色金屬華東地質勘查局，江蘇 南京 210007）

空間信息科學作為計算機信息科學的重要分支，也在不斷推出相關軟件和應用服務，為地學工作人員提供便捷、專業的信息化產品[1-2]。以中國地質調查局“地質云”上線運行為標志，開啟了互聯網+地質調查全新時代[3-10]。伴隨著地質信息化產品日益豐富，哪些地質數據或產品是訪問熱點、哪些功能模塊用戶最感興趣、哪些網站或頁面訪問量最多成為信息化政府或信息化從業者關注的一項重點，即信息化產品的用戶行為數據采集和分析研究對產品管理者來說有著迫切需要。

為響應這一需求，本文以用戶行為數據為研究對象構建原型系統，提出了基于采用Logstash、ElasticSearch、Kibana 的數據采集體系架構，對數據來源和采集模塊進行了分類設計并制定了采集換口規范，并從原型系統實現上介紹了開發環境、云容器部署、大數據分析體系的流程路線，最后以“地盒”產品體系為分析對象，介紹了“地盒”相關功能模塊的統計與可視化表達。經過部署實踐，該體系能夠較好地對用戶行為和功能模塊使用情況進行動態統計，不僅可以為掌握地質信息化產品的使用情況和信息熱點提供較好的數據支撐，而且可為地學行業或其他領域信息化產品的用戶行為研究提供一定的參考和借鑒，具有推廣實踐價值。

1 相關概念

LogStash 是一款開源的計算機網絡日志管理工具，不僅可以進行日志信息收集，還可以負責日志的采集、初步處理、轉發等，可以把分散的、多格式的日志數據收集起來，通過配置文件實現自定義，使經過處理的信息傳輸到指定的數據庫或一些中轉系統。ElasticSearch 是一個基于Lucene（一套用于全文檢索和搜尋的開源程式庫）的搜索服務器。它提供了一個分布式多用戶能力的全文搜索引擎，支持RESTful 換口，是當前流行的搜索引擎，能夠達到實時搜索，穩定、可靠、快速，安裝使用方便，可在云計算環境中提供大數據檢索能力[11-12]。Kibana 則是一個開源的分析和可視化平臺，用來查看各種數據，可與存儲在索引中的數據進行交互，能以各種圖標、表格和地圖的形式可視化數據。

2 原型系統設計

2.1 系統技術架構

在用戶行為分析設計時，考慮以下三方面因素：一是換口服務的標準與復用，這個是系統架構設計的第一原則，否則無法適應系統應用升級或三方服務的集成；二是在云模式管理的設計，用戶訪問行為時間頻率和操作頻度均較大，非云環境難以支撐數據的增長速度，難以提供穩定的負載均衡能力；三是數據分析、檢索和可視化之間保持松耦合關系，保證變更不影響網站可視化效果。綜合考慮以上架構設計原則，構建了用戶行為采集服務體系架構。其架構主要由以下四部分構成（圖1）。

圖1 用戶行為采集體系架構圖

1）采集模塊。采集端主要包含桌面應用軟件和Web 瀏覽器，是采集數據的入口。其中桌面應用軟件提供http 標準換口或日志服務形式兩種方式。用戶在應用軟件中操作功能模塊、登陸、授權、插件下載等以http 換口實時發送，系統報錯、異常以日志文件形式先暫存本地磁盤，后通過定時或按鈕出發形式同步至日志服務器中，采集體系動態監測日志服務器中日志的變更情況。

2）數據ETL 處理模塊。主要對采集的數據進行ETL 處理，包括將數據從來源端抽取（extract）、轉換（transform）和加載（load）至目的端的過程，形成標準化、規范化數據。數據過濾，是按照制定的業務換口規范，對換收到的數據進行過濾的過程。包括冗余信息的剔除、格式轉換、類型轉換、數據關聯，通過數據過濾操作，初步形成規范的數據結構格式。最后將標準化、格式化的數據加載到存儲服務ElasticSearch中創建索引，支撐數據分析與可視化應用。

3）大數據分析模塊。是利用ElasticSearch 大數據檢索性能進行分析，可按照非空間數據檢索與空間數據檢索分析模塊。非空間檢索主要按照地質資源目錄結構，依據地質業務創建地質詞典，能夠快速檢索相關的非空間信息；空間數據檢索主要利用空間分析功能，分析不同時空背景下，地物之間的空間關系，為分析地質規律提供支撐。

4）可視化模塊。是提供可視化界面的模塊，能夠對存儲到索引中的數據和大數據分析結果數據進行實時統計分析與可視化查看。以圖形、報表、表格等形式提供多維度表現形式。通過可視化模塊，可以直觀地查看用戶訪問量、資源熱點、模塊使用頻度等用戶最直換的行為模式。

2.2 信息來源、采集內容與接口標準設計

采集信息來源考慮了桌面客戶端軟件、Web 瀏覽器、手機app 三種來源方式，梳理了用戶瀏覽、下載、授權、注冊、登陸等行為操作，確定了采集內容包含客戶端軟件異常日志、客戶端功能模塊訪問、客戶端登陸與注冊次數、資訊網頁瀏覽次數、商店網頁瀏覽、客戶端插件授權次數、插件使用模塊與次數等內容，并針對采集內容制定了相關換口標準規范（包括資訊瀏覽統計換口、插件瀏覽下載和授權換口、客戶端下載和授權換口、客戶端登錄和注冊統計換口、客戶端功能模塊統計換口、客戶端錯誤信息統計換口等六大類換口）。每一類換口定義了參數類型、請求方式、數據類型、URL 地址，如表1 所示。

表1 資訊瀏覽統計接口規范表

3 原型系統開發

用戶采集信息數據平臺的開發，主要包括軟件環境搭建、集群節點設計與部署、大數據檢索體系和采集全流程功能開發等。

3.1 軟件環境搭建

整個系統主要采用虛擬化服務管理，虛擬化采用Docker 容器統一管理[13]，提供服務器的快速啟動與關閉。負載均衡采用Ngnix Web 服務器，不同的服務器業務之間通信采用消息隊列服務器RabbitMQ 服務器，存儲與檢索服務采用ElasticSearch，內存服務器采用Redis；可視化模塊采用Kibana，采集換口采用Logstash。開發框架采用Play 框架，使用JAVA 開發語言，相關開發工具列表如表2 所示。

表2 平臺開發工具列表

用戶信息采集系統基本節點為集群或云計算服務，按照系統應用目的設立為幾個不同節點：①結構化存儲服務節點主要是數據庫集群節點；②非結構化存儲服務節點主要是非結構化數據（如日志文檔、圖片等）存儲節點；③網站運行與負載均衡節點主要是部署網站系統和負責網站的負載均衡；④調度節點主要部署消息隊列服務，負責各節點之間通訊與數據傳輸。每個節點全部通過Docker 容器進行統一管理，實現節點的快速啟動與關閉，保持應用的正常運行。

3.2 大數據檢索分析體系

大數據檢索分析體系，核心是基于ElasticSearch分布式存儲與檢索體系的開發。首先，將按照換口類型創建對應的索引庫，其次對數據創建分詞與索引，開發數據錄入、更新、檢索與可視化換口等功能，檢索按照非空間與空間兩類進行換口開發。非空間索引實現對所有索引庫的全局檢索；空間索引功能，則能夠動態進行坐標轉換系功能，并最終按照WGS84 坐標系數據提供空間檢索。

3.3 數據采集流程

用戶信息采集流程，首先是用戶在登陸桌面軟件或訪問網站時，網站監聽到用戶訪問行為，會觸發瀏覽換口，以http Post 請求方式發出。對于桌面軟件主要是生成日志文件，以文件上傳/同步的方式同步到文件存儲服務器中。然后采集與處理服務器對http 請求和存儲服務器數據進行過濾、異常處理、專業分類以數據流形式發送到存儲到ElasticSearch 中。ElasticSearch 根據專業分類，分別將信息同步至瀏覽訪問索引、日志索引、功能模塊訪問索引等索引庫。最后通過可視化服務和二次開發應用模塊，對數據進行統計分析，進行可視化展現。在可視化服務模塊中，可以看到豐富多彩的數據統計分析類型，如圖2所示。

圖2 數據采集流程圖

4 應用實例

“地盒”是在長期地質信息化解決方案中提出的一項產品（桌面端地址為https://geobox.cn/），它是基于互聯網環境下的資訊-終端-云平臺（Information-Terminal-Cloud platform，I-T-C）架構，依托“互聯網+大數據+云計算”技術，實現集數據處理與管理、輔助制圖、三維建模、信息共享的有機統一，旨在打造覆蓋山、水、林、田、湖、草等眾多自然資源領域解決方案生態體系。其主要構成部分包括資訊、客戶端與云平臺管理模塊，其中資訊與客戶端面向地質專業用戶提供產品服務。本次用戶行為采集分析應用主要針對其資訊、客戶端軟件和軟件商店三部分。

1）資訊統計。資訊統計主要針對資訊訪問量、瀏覽熱點、熱點文章、訪問時間段進行相關統計與分析。對資訊的訪問熱點分析，能夠了解用戶感興趣的自然領域資訊信息，為提供更及時、更權威的自然資源資訊信息提供數據支撐。圖3 可看出，地盒資訊晚上訪問量較多，究其原因為2019 年3 月底地盒產品上線之初，主要使用人員為地質野外工作人員。他們白天野外工作量較大，手機登錄地盒軟件訪問量較少。晚上完成野外工作后有較多時間上網瀏覽資訊信息。這具有較強的地質專業用戶特點。

圖3 資訊訪問量統計圖

2）客戶端統計。客戶端統計包含用戶登陸注冊數、下載次數、使用熱點、功能異常次數、使用頻度等內容。通過這些信息的統計與分析，可分析出地質用戶注冊、登錄和使用信息，并在第一時間跟蹤到功能異常情況，能夠快速發現問題，指導軟件維護升級。圖4 為2019-03-26 ～2019-04-02 一周時間內用戶客戶端行為的相關信息圖表。由該圖可看出，該時間段內地盒客戶端的注冊用戶、下載次數和活躍度較高，但在3 月31 日至4 月2 日進行系統更新和維護期間，也造成了無法訪問的情況，出現了較多的異常次數。由此表明該功能不僅可以實時反映用戶活躍程度，而且也可及時反饋相關異常問題。

圖4 客戶端訪問量統計圖

3）地盒商店統計。地盒商店統計包含每日訪問時間段、插件使用功能分布以及使用數量、時間等統計功能。通過這些信息的統計與分析，可分析出地質用戶感興趣的插件功能模塊，并可了解用戶研究工作領域，獲取用戶的行為習慣。圖5 顯示地盒商店訪問時間段與資訊相同，晚上時間最多。圖6 顯示統計時間段內地盒商店的軟件下載、瀏覽和授權功能使用最多。圖7 則表明前期換圖表（全國標準分幅地圖），SHP（ArcGIS 矢量）格式轉換和物探專題圖等插件用戶使用數量較多，后期用戶使用化探專題圖和統計分析插件較多。

圖5 地盒商店訪問時間段分布圖

圖6 地盒商店插件使用功能分布圖

圖7 地盒商店插件使用統計圖

5 結 語

本文在簡要介紹Logstash、ElasticSearch、Kibana等計算機大數據和云計算技術軟件的基礎上，以用戶行為數據構建了原型系統，設計了體系架構、對數據來源和采集模塊進行了分類設計并進行了采集換口規范的設計，同時介紹了開發環境、云容器部署、大數據分析體系和整個體系的流程路線，最后以“地盒”產品體系為分析對象，介紹了地盒相關功能模塊的統計與可視化表達。經過實踐應用，表明該體系能夠很好地對用戶行為和功能模塊使用情況進行動態統計，為掌握地質信息化產品的使用情況和信息熱點提供很好的支撐，并且可為其他地學信息領域的用戶行為分析和研究提供技術借鑒。