鐵路通信數據HBase 分布式查詢系統設計

馬雁波

（中國鐵路濟南局集團有限公司，山東濟南 250000）

近年來，人們生活水平不斷提升，出門旅行日益頻繁，隨著城市化進程的加快，公共交通工具成為人們生活中密不可分的角色，各大城市鐵路交通樞紐的建設愈發重要。鐵路通信系統是鐵路整體運作系統之間的通信橋梁，其對于整個城市交通體系的發展具有重要作用。鐵路通信系統中的查詢系統可以滿足用戶的乘坐需求，根據列車的出行時間利用通信廣播等功能為用戶提供查詢服務，因此鐵路通信數據查詢系統的設計是至關重要的。

針對鐵路通信數據查詢這一問題，相關領域學者進行了較為深入的研究。文獻[1]針對電力物聯網提出一種分布式云數據中心優化選址方法，選取云數據中心作為計算架構，同時篩選核心節點，實現數據查詢，但是云數據查詢對聯網要求較高，使用過程存在一定的局限性。文獻[2]利用物聯網研究一種分布式通信數據高效壓縮方法，確定物聯網分布式結構，通過數據轉化得到高頻系數，根據數據變換結果進行數據查詢，但是在查詢過程中需要進行多次遞歸處理，計算量大，計算過程相對復雜。

HBase 本質為一種非關系型分布式數據庫，采用Java 編程語言，可在HDFS 查詢系統中運行。為了彌補傳統方法中存在的問題，該文基于HBase 設計了一種新的鐵路通信數據分布式查詢系統。

1 系統總體設計

該文設計并搭建一個具有三節點的HBase 分布式系統，通過運行鐵路通信數據儲存模塊、數據查詢模塊，對鐵路通信數據進行分析，使鐵路通信數據分布式查詢系統達到高效運行的目的[3-4]。

系統硬件部分配置三臺服務器，其中一臺主機作為HBase 的儲存節點，另外兩臺主機作為HBase的交換節點，根據需求靈活配置三臺主機，組成分布式系統[5-6]。分布式部署模式如圖1 所示。

圖1 分布式部署模式

系統的軟件設計主要分為數據儲存模塊和數據查詢模塊，不同模塊負責的功能如下：

利用數據存儲模塊得到不同數據源的數據，引入存儲模塊的同步功能在HBase 集群數據庫中記載信息。

2 分布式系統平臺

2.1 系統平臺組件

分析HBase 生態系統組件的兼容性與集成性，根據分析結果選取該文系統平臺組件，以此搭建系統平臺。通過Linux 組件構建操作模塊，利用Java 語言選取JDK 組件，同時引入Had 組件使系統擁有集群服務，利用組件建立語言服務[7-8]。

2.2 HBase集群

通過HBase 生態模塊建立集群。集群采用完全分布式，系統內部文件使用HDFS 目錄統計，指定HBase 系統的默認路徑，配置目標文獻的使用權限，對HDFS 文件進行格式化后，完成HBase 集群的創建[9-10]。

3 數據系統架構

3.1 數據存儲模塊

數據存儲模塊結構如圖2 所示。

圖2 數據存儲模塊結構

前端輸入：主要負責處理用戶發起的通信查詢信息，由于用戶發送的信息種類很多，因此利用不同的設備采集信息，傳遞到下一單元[11-12]。

數據預處理：數據預處理模塊主要負責將采集到的信息數據進行識別分類，分析其內容、時間、類型等信息，提取主要特征并標記關鍵詞存入數據庫中，以實現根據關鍵詞對信息進行快速抓取的個性化檢索服務。預處理模塊對于數據通信十分重要，將數據按預設規則分類；其次進行殘值處理，分析數據是否正常，如果得到的通信數據為異常數據，則需要檢測數據為缺失數據還是重復數據。如果確定數據為缺失數據，則需要尋找缺失的通信信息，如果缺失十分嚴重，則需要廢棄，并反饋給全系統；若為重復數據，直接刪除。利用預處理將信息傳輸到緩沖區，其過程由式（1）表示：

其中，K表示預處理后數據值；r表示默認值；m表示缺失數據；n表示重復數據，i表示數據量；M表示臟值處理系數。

數據緩沖區：接收所有的緩存數據，建立數據緩沖隊列，對隊列中數據進行實時監控，并將數據分流與緩存，完成數據歸類[13-14]。

數據寫入單元：設定閾值，將緩存對立的通信數據與設置的閾值進行比較，如果數值已經達到閾值，則需據啟動寫入單元，進行相應的寫入操作，并生成寫入指令。

數據庫集群：通過提供支持來確保得到的鐵路通信數據能夠被長期存儲，且所有數據都能存儲在HBase 集群中。當收到外部請求時，數據庫會啟動相應的查詢功能，實時查詢信息。

3.2 鐵路通信數據查詢模塊

基于HBase 設計了新的鐵路通信數據查詢模塊，其結構如圖3 所示。

圖3 數據查詢模塊結構

前端輸入：在前端輸入數據查詢關鍵詞，設置查詢語言，統一化處理SQL查詢語言，并利用Hbase檢測相應的查詢指令，將查詢結果傳輸給檢驗單元。

校驗單元：利用校驗單元判定指標的規范程度，如果達不到規定的輸入或者讀寫方式，則需要取消相應的信息，取消過程如式（2）所示：

其中，R表示語句標準參考值。

鐵路信息查詢單元：鐵路信息查詢單元主要負責信息的交互，能夠分解信息得到更加準確的指令，從而進行指令處理。

緩存服務器：分析訪問頻率，根據得到的訪問結果進行篩選，將訪問頻率較高的信息緩存。

存儲服務器：利用分布式分析方法對數據進行存儲，并保留所有鐵路通信信息的存儲數據，方便日后鐵路通信數據分析[15]。

4 查詢關鍵技術

4.1 HBase存儲模型

建立HBase 存儲模型，提升檢索效率，解決冗余帶來的性能問題，提升數據的存儲性能。HBase 存儲模型通過HBase 存儲算法定義主鍵的檢索范圍以及主鍵值的單條記錄查詢數量，HBase 存儲函數如式（3）所示：

其中，f表示HBase 存儲算法；d表示主鍵檢索范圍；hi表示單條記錄查詢數量。

根據HBase 數據檢索策略，將數據拆分到不同的緩沖隊列中，通過并行查詢提高鐵路通信數據信息的處理策略，利用存儲模型進行信息保存，數據存儲模型如式（4）所示：

其中，q表示存儲模型；a表示緩沖隊列數量。

4.2 分布查詢策略

數據在管理過程中，負載可能存在問題，通過分布式分析進行負載控制，確保查詢過程分布查詢系統的運行效率。

分析通信數據的運行邏輯，建立邏輯片段，如式（5）所示：

對于每個邏輯片段SN，均滿足：

①完整性：得到的單個邏輯都具有映射性，如式（6）所示：

②可重構性：存在邏輯片段Sa可以被看作全局關系P進行再次分布，如式（7）所示：

③不可相交性：通信數據邏輯記錄t與鐵路通信數據邏輯片段Sa為映射關系，具有偽異性[16]。

5 實驗研究

為了驗證該文設計的基于HBase 的鐵路通信數據分布式查詢系統的實際應用效果，設計實驗，同時選用傳統的電力物聯網分布式查詢系統和數據壓縮查詢系統進行實驗對比。

實驗選取的數據來源于兩個MySQL 數據庫，設定集群在寫入過程中產生的單條記錄查詢數量逐步增加，設置為200 條、400 條、600 條……2 000 條，設定緩沖隊列數量為200 個，建立緩沖區域，得到的閾值為8 MB，隨著數據發送響應延遲時間的逐漸增加，數據寫入性能響應延遲時間和緩沖性能寫入延遲時間，也在不斷增加。根據上述實驗環境，進行數據調度，將二進制字符數據通過計算映射成固定長度的值，基于線性哈希算法的存儲調度過程如式（8）所示：

其中，b表示哈希值；A表示線性哈希算法函數；N表示全部等待隊列的個數。

同時使用傳統系統和該文系統分析不同環節的數據響應時間，設定最大通信數據量為600 GB，得到的數據寫入性能響應延遲時間實驗結果如圖4所示。

圖4 數據寫入性能響應延遲時間

數據寫入性能對于整體通信效果有極強的影響，根據圖4 可知，隨著通信數據量的增加，系統的響應延遲時間也在不斷增加，鐵路通信效果越來越差，但是該文提出的分布式查詢系統的延遲時間最短，當達到最大通信數據量600 GB 時，系統的響應延遲時間仍然低于0.2 ms，具有實時通信能力，能夠滿足用戶的通信要求，而傳統的數據壓縮查詢系統在通信數據量達到600 GB 時，響應延遲時間已經達到1.38 ms，物聯網查詢系統響應延遲時間達到1.7 ms，響應時間過長，通信質量嚴重下降，無法滿足用戶的整體通信要求。

緩沖性能寫入延遲時間如圖5 所示。

圖5 緩沖性能響應延遲時間

根據圖5 可知，在緩沖性能方面，該文提出的基于HBase 的鐵路通信數據分布式查詢系統的延遲時間與傳統系統有極大的差異，隨著通信數據量的增加，傳統系統顯現出極大的局限性，物聯網查詢系統響應時間達到1.8 s，壓縮查詢系統響應時間達到1.2 s，無法達到正常通過要求，而該文提出的查詢系統響應時間為0.1 s，在響應方面上具有極大的操作空間，確保通信結果的實時性。

綜上所述，在數據寫入性能和緩沖寫入性能方面，傳統的分布式查詢系統的查詢能力相對較差，響應時間過長，該文提出的系統能夠在短時間內實現響應，具有極強的實時性。

6 結束語

該文基于HBase 設計了鐵路通信數據分布式查詢系統，硬件部分通過組合系統組件以及建立HBase集群構建分布式系統平臺，軟件部分由數據查詢模塊以及數據儲存模塊組成的數據系統架構和三種查詢技術組成。經實驗表明，該文設計的分布式查詢系統查詢速度快，查詢準確率高，適用于如今的鐵路通信中。但該文在設計系統時未考慮系統在長時間高速運行時的可持續時間，后續將圍繞此方面進行研究。