基于商業智能系統的大數據分析平臺架構研究

肖寒

摘要：本文構建一套具有巨量數據分析計算平臺架構的商業智能系統，它整合Apache Hive、Cloudera Impala、BDAS Spark SQL使平臺支持SQL命令的巨量數據檢索能力。大數據環境要求高性能的運算，系統優化成為首要問題。因此本文所設計的最優程序通過存取單一接口后，由程序自動選擇執行性能最佳的巨量數據倉儲平臺執行工作。再則運用Memcached分布式內存存儲系統以及Apache HDFS分布式文件系統對查詢結果進行快取，因此輸入相同的SQL查詢則會經由高性能的快取系統取得檢索結果，避免重復執行巨量數據倉儲平臺所導致冗長的檢索時間。

關鍵詞：商業智能、巨量數據處理、數據倉儲、分布式文件系統

中圖分類號：TM76?文獻標識碼：A?文章編號：1672-9129（2020）09-0034-01

1?引言

近年來，企業能夠即時掌握巨量數據，便能掌握商機，巨量數據對于企業的影響日益明顯。但對于巨量數據的處理與分析，使用傳統的方法卻無法有效進行，尤其當數據量越趨于巨大，數據的存儲無法由少數的服務器或是存儲設備進行，且數據的存取所帶來的嚴重I/O延遲問題，都隨著數據的成長而更嚴重。在預估未來即將發生巨量數據問題前，利用集群架構分布式計算與存儲是近期相當熱門的解決方案，不僅具有加速運算與大量存儲的特性，更提供了高性能、高可用性的行環境，卻又相當符合經濟成本，且擁有優異的縱向和橫向擴充能力。

2?系統方案設計

本文的研究目標是在基于OpenStack上構建一套具有高性能、高可用性、高擴展性的多重巨量數據處理平臺并希望達成能與任何現存的商業智能與分析工具相容。構建的平臺可以支持SQL-like的Query命令語句對巨量數據平臺進行操作。運用Open Source的資源構建平臺。由于各種巨量數據處理平臺在執行時，所需耗用的內存容量不同，而且集群剩余的內存容量將嚴重影響各平臺的執行性能，因此本文將通過偵測集群剩余的內存容量進行自動化的平臺選擇，選出目前執行性能最佳的一組平臺，以便進行Query命令的檢索任務。利用Memcached分布式內存存儲系統進行對檢索結果進行高性能的快取，并輔以Apache HDFS作為第二層的快取，延伸快取的容量。

2.1 方案算法。為了評估在本文幾個平臺的性能，從最初在所導出的必要方程式（1），該方程式在任何指定的環境中，進行下各種命令在所有提及目標平臺上來測量平均存取時間。

緊接在任何指定的環境中的各種數據大小的文件上使用方程式（2），該方程式計算加權平均存取時間。

然后根據所有指定環境中的各平臺使用方程式（3），該方程式可導出正規化性能指標。

最后根據上面的不同測試使用4），該方程式獲得性能指標。

2.2 執行步驟。

（1）整合多重巨量數據分析平臺：本文使用CDHClouderaDistribution Including Apache Hadoop）來構建Hadoop、Hive、Spark及Impala，Spark SQL則需另外裝。多重巨量數據處理平臺內的Hive、Impala、Spark SQL是安裝在Openstack所構建出來的Virtual Machine（CentOS）中執行。

（2）平臺自動選擇程序：本文在實驗時發現當剩余內存容量在每臺服務器 2GB 以下時，Impala與Spark SQL會產生大量的分頁swap動作，導致性能極度低落。當剩余內存容量在相當充足時，Spark SQL在執行速度上領先Hive及Impala。而Impala所需的內存介于兩者之間，在達到此之間的內存剩余量可以發揮Impala最大性能。本文每臺服務器分配內存20G給集群計算使用，以集群整體內存剩余量Level 1：3%0.6G） 、Level 2：15%（3G）、Level 3：75%15G）為分界點，當剩余量低于15%時程序自動選擇Hive 進行任務，剩余量15%～75%區間時采用Impala進行任務，剩余量高于75%時采用Spark SQL進行任務。最優程序具有相當高的可擴充性，若需要新增支持的分析平臺，只需要撰寫JDBC界面程序即可，撰寫完成后的界面程序僅需放入bin數據夾即可與主程序進行連結，使用者可以通過enforced指令對新增支持的分析平臺進行SQL操作。

3?總結

通過巨量數據平臺的整合，本文發現到即使是同質性功能的分析平臺，仍會于不同的實驗環境下產生極大的性能差異。通過程序自動偵測集群狀態，并選擇最佳的平臺進行數據檢索可以大幅節省時間。在多人使用同一集群的情況下，自動選擇程序更可以妥善的選擇合適的平臺，有效避免資源競爭導致的整體性能低落問題。

參考文獻：

[1]王覓也，黃勇，畢永東，等.醫院商業智能系統的應用[J].醫療衛生裝備，2012，（1）.82-84.

[2]于洋，房坤，劉丹，等.基于Power BI的大數據分析在醫用耗材管理中的實踐[J].中國醫學裝備，2020，17（7）：145-149