企業大數據分析應用平臺及其實現

【摘 要】大數據對企業而言是亟待開發的寶貴資源?，F代化的企業在這個大數據時代，對數據的分析有很高的要求。本文構建了一個能夠滿足企業對數據進行分析的并且造價不高的系統平臺即開源大數據生態系統。這個平臺包括了從大數據的采集、存儲、分析和利用等全部過程

【關鍵詞】大數據;開源軟件;企業系統平臺

一、企業大數據分析平臺的構建目的

（一）國家政策的支持

國家將大數據視為經濟轉型升級、重新展現優勢和提高政府管理能力的重要機遇和挑戰。大數據已經上升為國家戰略，全國各級政府都在大力的推進，頒布實施多項優惠政策，扶持和引導相關產業的發展。

（二）大數據所處在的技術環境

云計算、物聯網、移動互聯網等技術的逐步成熟并且集中展現，使得大數據時代的產生，并且為此提供了數據基礎。目前大數據應用分析技術的不斷發展，造就了以開源技術為基礎的大數據平臺，多種技術協調發展的良好的技術體系，為大數據的采集、存儲、分析、利用提供了強有力的支持。

（三）應用的前景

目前來看，大數據技術日新月異，需求旺盛，整體呈現出井噴的態勢，所產生的價值越來越明顯。企業的信息管理系統顧名思義就是在任何時候都應該記錄和保存著企業在這段時間發生所有事件，尤其是重點記錄公司的主要銷售業務的變更，例如公司某一產品在一段時間內價格的波動以及銷量的高低，最好能用數據統計圖來表示一個周期內的銷售情況。通過對這些信息的分析和了解，能夠讓我們了解到企業的發展情況，以及今后企業應該如何發展，這樣做的目的不僅僅是為了企業的經濟效率考慮更重要的是企業理念的深入表現，往往一個企業的企業理念的制定會是個很長遠的目標[1]。

（四）應用的現狀

據統計，當前我國有三分之一的成規模的公司正在探索大數據應用，但目前都處在實驗階段，技術相對來說比較成熟但是經驗相對還是比較缺乏;這大部分公司已經在生產加工環節應用大數據分析，并且取得了很不錯的成果生產出良好的產品，還有一半的公司已經對大數據開始進行了解，準備開始生產運用，對大數據一點不了解的企業只有很小的一部分。大數據應用最廣的企業應該是關于互聯網方面的企業，比如說淘寶，他能夠根據你幾次的搜索記錄，為你分析出你想要的產品，盡可能的滿足你的需求。

二、關于企業大數據分析平臺的整體框架

關于開源軟件的企業大數據分析平臺的整體框架基本上分為四個層次：數據源層、數據存儲層、大數據的分析處理層以及大數據的應用層。

（一）數據源層的分析

數據源層作為開源軟件大數據平臺整體架構的第一層級，它是負責大數據分析中所需要的最基礎的數據同時它也是數據中最容易搜集到一部分的數據。企業的最基本業務就是企業本身的系統數據，從時間方面來分析，可以大體分為對時間的長短要求不急用的批處理數據和對時間要求較高的流式數據。在這個數據高度集中的互聯網時代中，企業本身的經營數據固然很重要，但是沒有與他人的對比怎能知道自己的企業同其他企業到底是誰強誰弱呢，只有在對比中才能找到問題，所以要想辦法獲得自己同行業的或者是與這個行業沾點邊的企業信息也要進行分析，尤其要重點分析同行業中比自己優秀的企業，分析出他們的優勢在什么地方，進而更好的制定出應對的措施。

（二）數據儲存層的定義

數據儲存層的最重要的功能就是存儲，能夠進行存儲的這些內容在之前都需要嚴格的審查，尤其要進行一下殺毒，防止一些不法分子通過不正當地手段來竊取我們的重要數據，又因為這些數據來自不同的部門，所以更要小心企業中一些唯利是圖的小人惡意修改數據內容，防止最后的數據不正確。在這個層級中，我們要將這個以數據庫的概念形式進行設計從而達到實現的目的。以往的傳統儲存方式都是基于手寫的模式的，也就是說，在儲存數據的時候，只會儲存提前設定好的數據，如果數據不符合存儲的要求則會在存儲的過程中發生丟棄，這就好像一個人有多大的腳他就得需要買多大的鞋，如果太小就穿不下去會擠腳，太大雖然能穿的上但是并不能夠跑步甚至趕不上不穿鞋的人，數據也有這樣的道理只有符合的數據才能夠順利地進入數據庫。數據庫存儲系統的存儲技術基于讀的模式，在儲存數據時，所有的原始采集到的數據都會原封不動的保存在存儲系統中，當這些數據需要被分析的時候，才會根據分析的需要，從數據庫中抽取所需要的數據來進行分析。例如;你的衣柜中有很多的衣服和鞋子，當你在夏天的時候你需要穿夏天穿的短袖涼鞋，這時候你可以把他們從衣柜中拿出來，冬天來臨時你就需要把羽絨服和棉鞋給拿出來，只有當你需要的時候，他才會發揮作用，數據庫中的數據也是這樣。大多數情況下，采用數據庫存儲技術，不會造成原始數據的丟失，以此能夠滿足企業數據分析在未來中的各種需要[2]。

（三）大數據分析處理層定義

在大數據分析處理層，我們會采用SQL技術來對數據湖中的數據進行交互式大數據的分析;這個方面對實時性的分析要求較高，通常采取流式數據分析技術。我們需要根據現有的數據挖掘和機器學習算法庫來對企業保存在數據庫中的數據進行分析。

（四）大數據應用層的價值所在

大數據應用層是企業大數據中最為直觀的關系到企業利益，它將會最終反映一個企業的營收的好壞。在這一層中，企業可以獲取各種生產經營類所需要的各項報表以及各種決議支持與反對的意見。采用數據可視化技術，例如可以通過扇形圖柱狀圖的分析，通過圖示讓企業的相關工作人員一眼就能看明白企業的目前的生產經營狀況，從而更好的為企業制定更加完美的發展戰略以及實現企業的高營收、高利潤的目的[3]。

三、企業應用大數據分析的關鍵因素

首先要明確用戶群體，便隨著互聯網的高速發展，大數據也在這個數據潮流中得到了前所未有的發展，這個發展背景下，大數據的群體也變得更加龐大以及更具有多樣性，大數據能否被成功應用的關鍵是大數據系統人員類型的選擇。大數據成功的重點標志是給其整體挖掘出潛在價值和機遇，所以說現在的企業應將重點放在戰略層面的用戶上，但是有相關的客戶將重點放在戰術層面上。

所以說，大數據必須要面對不一樣的客戶而建立不一樣數據，以滿足不同用戶關注重點的不同數據范圍。在這種情況下，大數據在一定的范圍內被鎖定的時候，應該按照不同人需要不同的數據范圍，進而滿足多元化的需求。與此同時，不同人也會擁有不同的興趣愛好，所以必須按照每個人關注的利益來進行涉及客戶所需要的報表，進而讓更多的人加入進來。比如，將企業所生產的所有產品都一一列出來這樣就會缺乏指定性，這關鍵是因為企業不同部門的職責不同，各部門管理者只會關注自己部門產品生產的進展情況，因此企業應該對用戶的相關數據進行整理，做到單個報表就能反映出用戶個體需要的數據結論，這樣不僅僅會滿足用戶多方面的需要，并且還能夠提高企業的管理效率和管理的質量。所以說用戶群體是企業大數據重點分析的對象。

總結：

基于開源軟件Hadoop/Spark實現的企業大數據分析應用平臺，從技術上說已經達到很成熟的地步。這些已經被企業在生產實際生活中所證明。本文中所采用的大數據分析應用平臺方案，其最主要的成本是構成人力資源方面的投入。對于企業來說，最大的挑戰還是需要招聘一些懂得大數據應用平臺領域的技術人員和數據分析師的合作，盡最大的能力挖掘出大數據對企業的價值作用。

參考文獻：

[1]任南，魯麗軍，何夢嬌.大數據分析能力、協同創新能力與協同創新績效[J].中國科技論壇，2018（06）：59-66.

[2]李丹.企業大數據分析應用平臺及其實現[J].商場現代化，2017（20）：80-81.

[3]王強，李俊杰，陳小軍，黃哲學，陳國良.大數據分析平臺建設與應用綜述[J].集成技術，2016，5（02）：2-18.

作者簡介：

黃小偉（2000-）男，江蘇，漢，大專，研究方向：大數據。

（作者單位：西南科技大學城市學院）