淺談大數據技術發展趨勢

蘇毅

（河北省工業和信息化廳信息中心，石家莊 050000）

1 引言

經濟新常態階段以大數據、智能化、人工智能和互聯網為代表的新一代信息技術正在深刻改變著我們的生產方式和生活方式。大數據技術已經成為我國產業結構調整、實現科技創新的重要技術支撐。因此，在競爭日益激烈的市場環境下，如何利用大數據技術成為企業占據市場主動性的關鍵因素。隨著大數據技術在社會各領域的廣泛應用，大數據技術必將呈現出更快的發展趨勢。

2 大數據技術的概述

大數據技術是當前的“熱詞”，如《華爾街日報》將大數據時代、智能化生產以及無線網絡革命稱為引領未來繁榮發展的重大技術變革。目前，學術界對于大數據還沒有形成一個公認的定義。從技術能力角度分析，大數據是指規模超過現有數據庫工具獲取、存儲、管理和分析能力的數據集合，并同時強調并不是超過某個特定數量級的數據集才是大數據。大數據技術具有以下四個特征：①非結構化數據的超大規模。大數據相對結構化的數據要快10到50倍，而且其增長速度非常快。②大數據的異構和多樣性。大數據技術可以通過不同的形式存在，如文本、圖像以及視頻等，這些大數據數據沒有固定的模式。③大量的不相關信息。大數據實現了對未來趨勢的分析與預測，大數據信息之間沒有內在的必然性。④實時分析。大數據技術最顯著的特點就是實現了對數據庫資源信息的實時搜集，而且屬于精準化的分析處理。

結合大數據技術結構原理，大數據處理就是在復雜的數據中提煉有價值的信息。具體的大數據處理流程為：第一，大數據采集技術。數據是大數據知識服務模型的根本，大數據采集是大數據處理的基礎，大數據采集主要是通過大數據智能感知層和基礎支撐層實現的。第二，大數據預處理技術。大數據預處理技術是對已經接受的數據進行辨析、抽取以及清洗的操作。具有的流程為：①抽取，由于大數據的結構、類型不同，因此，在數據抽取的過程中需要將不同類型的數據結構轉化為單一的構型，以此達到可以快速處理數據的目的。②由于大數據信息量比較大，尤其是一些信息是我們不關注的，同時抽取的信息可能會出現錯誤，因此，需要通過大數據預處理技術過濾掉不需要的信息，以此提煉出有效的數據。第三，大數據儲存及管理技術。大數據儲存技術就是將收集的數據信息通過存儲器存儲起來，并且進行相應的管理。大數據存儲與管理是大數據技術的關鍵環節，其重點需要解決的問題就是實現對大數據信息的有效管理。該環節的關鍵是解決復雜結構化、半結構化以及非結構化大數據管理與處理技術。當然在實踐中為了滿足對數據的分析與提取，數據存儲必須要滿足以下兩個條件：存儲基本框架必須要具有穩定性，尤其是要在時間上具有穩定性；存儲子系統必須要具有可以提供查詢和分析數據的功能。第四，數據分析。數據分析是大數據技術應用的最為重要的階段與功能，數據分析的目的就是通過對海量信息的提取以便做出最科學的決策。結合大數據技術分析成果，大數據分析常用的方式為：①數據可視化。數據可視化就是通過有效的圖形傳遞信息，數據可視化在現代工業制造領域有著廣泛的應用價值，如BIM體系就是充分利用大數據技術的可視化功能。②統計分析。統計分析則是利用大數據的自動預測分析功能，按照一定的規律在海量的數據庫中自動提取相應的數據信息的過程。③數據挖掘。數據挖掘就是在海量的信息中提取出人們事前不知道的但是潛在有用的信息和知識的過程。

3 大數據技術的發展趨勢

隨著互聯網技術的不斷發展，尤其是國家將大數據技術發展作為基本戰略之一后，大數據技術在社會各領域內的應用不斷拓展，開放共享已經成為大數據資源的關鍵優勢。但是，由于大數據技術缺乏統一的規范標準，尤其當前大數據的發展存在著數據框架落后的問題，如物聯網等新技術涌入，所帶來的大量數據無法納入當下的數據框架中。由物聯網、車聯網各種各樣的物理信號所帶來數量級的有效數據，是需要面對的新數據局面[1]。因此，未來我國大數據技術發展呈現以下趨勢：①數據資源化。大數據已經成為企業占據市場的關鍵因素，大數據在社會各領域內將有更多的應用平臺，如大數據技術不僅在人們日常出行中得到廣泛應用，而且還在工業設計、生產中得到使用。因此，大數據技術必然會呈現出數據的資源化發展趨勢。②基于云的數據分析平臺將更趨完善。首先，云計算為大數據提供了可以彈性擴展、相對便宜的存儲空間和計算資源，使得中小企業也可以像亞馬遜一樣通過云計算來完成大數據分析。其次，云計算IT資源龐大、分布較為廣泛，是異構系統較多的企業及時準確處理數據的有力方式，甚至是唯一的方式。當然，大數據要走向云計算，還有賴于數據通信帶寬的提高和云資源池的建設，需要確保原始數據能遷移到云環境以及資源池可以隨需彈性擴展。③大數據的安全性日益提升。隨著大數據技術的不斷發展，大數據技術的信息共享性雖然為人們帶來了巨大的便利，但是，其存在的安全性也制約著大數據技術的實際應用。因此，大數據技術的安全性問題將成為我國大數據技術發展所必須要解決的問題之一。通過文件訪問控制來限制對數據的操作、基礎設備加密、匿名化保護技術和加密保護等技術正在最大程度的保護數據安全。④大數據分析與挖掘。在數據量迅速膨脹的同時，還要進行數據的深度分析和挖掘，并且對自動化分析要求越來越高，越來越多的大數據數據分析工具和產品應運而生，如用于大數據挖掘的R Hadoop版、基于MapReduce開發的數據挖掘算法等。

4 提高大數據技術發展的具體對策

大數據技術已經成為人們生活生產所不可或缺的重要技術支撐。河北省“大智移云”發展領導小組辦公室出臺的《河北省大數據產業創新發展三年行動計劃（2018-2020）》明確提出要大力發展大數據產業，培育發展數據經濟新動能，建設網絡強省。因此，結合相關工作實踐經驗，提高大數據技術發展需要做好以下工作。

4.1 加強大數據人才培養，提升大數據后備人才素質

基于大數據產業的快速發展，暴露出我國大數據人才不足問題，尤其是缺乏高素質大數據技術應用型人才，因此，一方面我國要加大對大數據技術人才的培訓力度，鼓勵網絡科技企業加強人才培養，定期組織員工深入到優秀的網絡企業學習深造。同時，國家要從戰略角度出發，鼓勵高校開設大數據技術專業教育，提高大數據專業人才培養速度，如高校要深入開展訂單式人才培養，通過與企業的校企合作，提高學生的實踐能力，為我國大數據技術發展培養優秀的人才；另一方面要加強人才引進力度，通過人才引進提高人才整體素質，如河北省實施“百人計劃”“巨人計劃”等引進高端大數據人才，可以有效提升河北省人才儲備質量。

4.2 健全市場培育機制，建立完善的大數據評估體系

健全市場培育機制一方面要通過政府的引導機制，如政府部門要加強對大數據技術產業的采購力度，鼓勵政府部門通過服務外包等模式依托專業企業開展政府大數據應用，降低社會管理成本。另一方面，鼓勵社會資本投入大數據產業，重點對政務數據、公共服務領域數據開展采集整理和挖掘分析。大力推動大數據應用試點示范，加快大數據推廣應用，培育大數據應用市場。

4.3 提高大數據核心技術，提升大數據技術的安全性

提高大數據技術還必須要解決大數據技術的安全性問題，積極培育發展安全咨詢、測評認證、風險評估等第三方服務機構。加強關鍵信息基礎設施安全防護，建立完善金融、能源、交通、電信、統計、廣播電視、公共安全、公共事業等重要數據資源和信息系統的安全保密防護體系，加強對涉及國家利益、公共安全、商業秘密、個人隱私、軍工科研生產等信息的保護。

總之，基于大數據技術的不斷發展，加強大數據技術的創新與發展是促進經濟結構轉型升級的必然舉措，因此，基于當前大數據技術發展現狀，我國必須要進一步加強人才培養力度，強化政策指導，建立規范的大數據產業體系，推動大數據技術的可持續發展。