大數據技術在企業生產中的應用

在互聯網領域，大數據應用十分廣泛，尤其以企業為主，企業作為大數據應用的主體，數據采集、數據存儲、數據可視化、數據特征提取、數據特征選擇、數據清洗、數據分析、數據挖掘、機器學習、數據倉庫、數據安全等圍繞大數據商業價值的利用焦點已備受關注。

數據采集

從數據采集層面來看，分為結構化數據、非結構化數據、半結構化數據，來源于物聯網的設備采集數據由于成本低、獲取方式容易，成為企業大數據采集數據的主要來源之一，實時性相對強，數據量從GB、TB、PB、ZB級擴增。然而對于中小企業或許會受困于沒有數據卻又想轉型通過搭建大數據平臺來提升競爭力，企業可以研發符合市場需求的產品，從新用戶、活躍用戶、粘性用戶到留存用戶，獲取用戶的行為數據之后可以進行數據分析。此外數據采集可以有網絡爬蟲、ETL抽取等。

數據存儲

有了大量數據之后，對于數據存儲方式也提出了要求。數據存儲分為關系型數據庫存儲、分布式數據存儲，數據級別較大時可以存儲在分布式文件存儲系統中。對于搭建大數據平臺的企業來說，通常是對業務結果的數據存儲于關系型系統，對于TB級及以上數據量存儲至分布式系統中，這兩種數據可以使用Sqoop等類似的工具進行數據導入導出。

數據可視化

在實際工業生產實踐中，對于待處理的大數據，首先是數據特征探索階段，也就是做數據可視化，對數據有個初步的了解，才會知道所拿到的數據能否解決面臨的實際問題，適用于什么算法。對于無編程能力的人，只需要掌握數據分析和處理的能力，即可靈活使用可視化類工具如Tableau，通過拖拉拽形成聯動，大大縮短數據分析流程。從連接數據源、建立工作表、構建各種圖表、儀表板進行可視化展示，進行交叉分析。對于有編程能力的人可以使用R、Python進行數據可視化。

數據特征提取及清洗

數據可視化之后，需要對數據進行清洗，對數據中的噪聲進行處理以支持后續數據建模。常見的比如進行降維，提取出對實際問題相關性較高的特征因子后，再回歸到大數據，或者做相關性分析、主成分分析等。

數據分析及挖掘

數據統計及分析主要是基于存儲的海量數據進行普通的分析和分類匯總，以滿足大多數常見的分析需求。數據挖掘一般沒有預先設定好的主題，主要是在現有數據上面進行基于各種算法的計算，從而起到預測的效果，實現高級別的數據分析的需求，豐富的歷史數據是數據挖掘的先決條件。比較典型的算法有回歸、分類、聚類、關聯分析。機器學習正是如此，分為監督式學習算法、無監督式學習算法、半監督式學習算法。

機器學習

監督式學習算法是從帶標簽（標注）的訓練樣本中建立的訓練樣本中建立模式，并依此推測新的數據標簽的算法。比如回歸、神經網絡、決策樹、支持向量機、貝葉斯、隨機森林。無監督式學習算法是在學習時并不知道其分類結果，目的是去對原始資料進行分類，以便了解資料內部結構的算法。比如聚類、主成分分析、線性判別分析降維。半監督式學習算法是利用少量標注樣本和大量未標注樣本進行機器學習，利用數據分布上的模型假設，建立學習器對未標簽樣本進行標簽。

機器學習正被廣泛應用于計算機視覺、語音識別、自然語言處理等方面。其中深度學習強調模型深度，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預測更容易準確，更能夠刻畫數據的豐富內在信息，其實際應用對象不僅包含語音、圖像、視頻，同樣也包含文本、語言和語義信息。另外，卷積神經網絡是神經網絡的一種，為識別二維形狀而特殊設計的多層感知器，擅長處理圖像特別是大圖像的相關機器學習問題，對圖像平移、比例縮放、傾斜或者其他形式的變形具有高度不變性，它的布局更接近于實際的生物神經網絡，被廣泛應用。當前實現機器學習比較常見的兩種主流方式是Spark和Tensorflow框架。機器學習作為人工智能的核心，是企業搭建大數據平臺的重要節點，需要結合業務邏輯，按需選擇合適的算法模型，不斷調參調優，使機器學習服務于企業經營。

數據倉庫

數據倉庫是為了便于多維分析和多角度展示數據按特定模式進行存儲所建立起來的關系型數據庫。在商業智能系統的設計中，數據倉庫的構建是關鍵，是商業智能系統的基礎，承擔對業務系統數據整合的任務，為商業智能系統提供數據抽取、轉換和加載，并按主題對數據進行查詢和訪問，為聯機數據分析和數據挖掘提供數據平臺。海量的數據包括社交網絡、移動設備和傳感器等新渠道以及新技術使用所帶來的半結構化或非結構化的數據。大數據技術架構可分為存儲、處理、應用、展示以及整合5個部分，并可根據數據的結構化程度對相關技術進行選擇和組合。每個部分包含一些技術要素，而某些要素又可根據結構化程度共同作用形成特定的功能。

從企業角度來說，無論是數據庫、數據倉庫還是大數據都是解決不同需求、處理不同級別數據量的技術，它們之間并無沖突。針對不同需求和現狀進行技術選擇，各種技術相互補充、相互協作。目前階段對于大部分企業來說，想要開展一個全新的大數據項目似乎無從下手。從現有數據倉庫建設理論和經驗入手，引入部分大數據技術，特別是實現非結構化數據的收集、存儲和處理是一種比較可行的方法。

基于云計算的Hadoop大數據框架，利用集群的威力高速運算和存儲，實現了一個分布式運行系統，以流的形式提供高傳輸率來訪問數據，適應了大數據的應用程序。將Hadoop技術應用于對數據的采集、ETL、存儲、處理，開發提供給傳統的數據倉庫BI工具，其架構如圖所示。利用Hadoop強大的數據處理能力，將各類數據處理成結構化數據，向上提供給傳統BI工具，對數據進行分析和結果展示。

數據安全

大數據蘊藏著價值信息，但數據安全面臨著嚴峻挑戰。一方面，大數據本身的安全防護存在漏洞。雖然云計算對大數據提供了便利，但對大數據的安全控制力度不夠，API訪問權限控制以及密鑰生產，存儲和管理方面的不足都可能造成數據泄露。另一方面，在用數據挖掘和數據分析等技術獲取價值信息的同時，攻擊者也在利用這些大數據技術進行攻擊。

當然大數據也為數據安全的發展提供了機會，對海量數據的分析有助于更好地跟蹤網絡異常行為，對實時安全和應用數據結合在一起的數據進行預防性分析，可防止詐騙和黑客入侵。網絡攻擊行為留下的痕跡數據以數據的形式隱藏在大數據中，從大數據的存儲，應用和管理方面把關，可以有針對性地應對數據安全威脅。企業需要將大數據技術和安全并行，大數據才可以真正成為企業長遠發展的驅動力量。