陳亞飛
摘要:大數據是計算機技術,互聯網技術和通信技術發展必須面對的普遍問題。它是現階段互聯網的出現或特征。大數據已經滲透到人們生活的各個領域。我們生活在海量數據時代。大數據以其廣泛的影響力正在微妙地改變著我們社會的公共政策,信息科學和社會科學。具有極其重要的應用價值。本文簡要介紹了大數據系統的框架,技術發展并分析了其未來的發展趨勢。
關鍵詞:大數據技術;發展趨勢;公共安全;商業價值
1 大數據系統框架及技術發展研究
大數據比傳統的編程語言,編程思想和數據結構處理能力要大,但是相對于當前的數據增長,以前的技術和工具是傳統的。當遇到新技術浪潮時,當前的技術工具將成為阻礙技術發展的最大問題。因此,大數據的大小只是一個相對較大的數據。未來,大數據將遇到越來越多的問題。大數據不是一個新問題,而是一個始終存在的問題。
1.1數據分析
作為價值鏈中最重要的階段,數據分析旨在提取數據價值以便幫助人們做出決策。以下為3種常用的數據分析的方式:其一,數據可視化。通過圖形有效的傳遞信息是數據可視化的根本目標,隨著數據量的增長,傳統的電子表格已不能滿足大數據時代的要求。由于它可以幫助軟件開發、算法設計等方面的研究,可視化大數據已成為一個越來越活躍的研究領域。其二,統計分析。在應用數學中,每件事物都存在其隨機性和不確定性,而統計分析對大數據集進行描述和推理的過程。其三,數據挖掘。目前,人工智能、機器學習等相關領域均已提出了各類數據挖掘算法。數據挖掘是大數據發現模式的過程,數據挖掘算法是數據挖掘的過程中的重要課題。
1.2大數據處理
利用強大的支持平臺來判斷大數據的潛在價值稱為大數據處理。根據處理時間的長短,我們可以把大數據分析分為流處理和批處理兩種方式。流處理的理論和科技已經被研究了近10年,憑借其自身攜帶的龐大的數據,流處理可以快速分析數據導出結果,甚至其處理時間已經達到了秒、毫秒的水平。先對數據進行存儲在對數據進行分析是批處理中最常用的方式。MapReduce已被廣泛應用于生物信息學Web挖掘中,其核心思想是:首先處理已經被分成小塊的數據,然后按照其分布方式導出中間結果,從而接連導出最終結果。此外,由于該模型計算機資源接近數據源位置,因此可以很好地避免通信開銷。
1.3數據存儲
為了滿足數據平臺的數據分析和特征提取,數據存儲必須滿足以下兩個條件:其一,存儲的基礎架構必須滿足永久可靠性;其二,數據存儲子系統必須能夠查詢和分析數據。獲取大數據的主要方式有爬蟲收集、政府數據、行業數據等。總結一下獲取的方式就是程序員自身的積累再加上各個渠道內的收集。
2 大數據技術發展新趨勢
在數據持續增長的今天,開放共享成為了數據資源在數據大戰中持續保持優勢的關鍵。各類數據的共享使用不僅極大地方便了我們的日常生活更為各種產業的發展提供了機遇。但由于政府和企業之間沒有統一規范標準,就很容易降低數據的開放程度,引起商業壟斷的現象發生。而且現階段的數據安全數據質量方面都存在很大的問題,能夠熟練掌握大數據的專業人員也很少,大數據人才市場的匱乏直接影響了大數據未來的發展趨勢。筆者認為未來大數據的發展趨勢主要體現在以下幾個方面。
2.1生活便利化
大數據技術已經開始逐漸改變我們的日常生活,并逐漸普及到了各個方面,促進了城市的發展。大數據技術從傳統的、簡單的數據分析處理到現在的智能化技術,無一不為人類提供了便利。智能技術來對自己的身體質量進行檢測,比如:智能手環的出現,讓人們可以隨時了解自身的健康狀態。外出時可以通過大數據技術進行人工智能導航;在家可以使用智能家電等。在未來大數據技術將會通過對數據的分析為人類提供更多智能化的幫助。
2.2數據資源化
隨著大數據的發展,很多商業機構都對大數據表現出了相當濃厚的興趣,大數據成為當代企業搶奪的新焦點。《華爾街日報》中就曾指出大數據是想黃金、貨幣一樣的新的資產類別。谷歌、百度、騰訊等企業都通過利用大數據取得了事業上的成功,而金融電信等行業也在通過不斷地利用大數據來提升自身的競爭力。我們可以相信大數據將在不久的將來成為個人的資產,成為企業競爭的有力武器。數據資源也可以解決交通行業的出行問題,智能交通依靠大數據信息集成的優勢和組合效率,并跨越行政區域的限制,很好地配置公共交通信息資源,促進公共交通均衡性發展,對交通堵塞和交通污染排放進行隱形控制。
2.3行業方案定制化
大數據技術開始和傳統的商業進行智能化的結合,在對企業的數據進行分析處理的基礎上,將會引入更多的非數據化結構數據到其中。企業可以利用這項功能實現完整的數據化平臺,并給各個商家定制適合他們的數據服務。由于商業智能化技術更利于企業找到新的商機,所以,必定會有廣泛的應用市場。我們相信大數據技術在未來將會更智能化地解決商業中所存在的問題,對傳統金融行業產生了巨大影響,大數據金融概念的提出及實施更能體現自身的實力和潛力。如京東商城等電子商務企業已經借助平臺積淀的數據資產而進軍金融領域,將信息流、物流和資金流深度融合,為平臺上的用戶提供訂單白條等創新服務,彌補了傳統供應鏈金融信息技術服務的缺失,并且這種定制化的商業解決方案必定會在金融行業創造出更高的價值。在教育領域大數據也引發著重要變革,美國教育部門所創造的“學習分析系統”正是基于大數據所研發,它以數據和模塊聯合的框架,向教育工作者提供學生關于學習更多、更好、更精確的信息。
3 結語
綜上所述,隨著近幾年科學技術的迅猛發展,許多領域產生了海量數據,我們正生活在一個海量數據的時代。憑借其廣泛的影響,大數據正在潛移默化地改變著我們的社會。在未來的發展過程中,大數據技術開始和傳統的商業進行智能化的結合,在對企業的數據進行分析處理的基礎上,將會引入更多的非數據化結構數據到其中。另外,越來越多商業機構都對大數據表現出了相當濃厚的興趣,大數據成為當代企業搶奪的新焦點。
參考文獻
[1] 李軍.大數據:從海量到精準[M].北京:清華大學出版社,2014.
[2] 裘敬忠.探討大數據技術發展趨勢及應用的初步經驗[J].納稅,2017(17):201.
[3] 潘柱廷,程學旗,袁曉如.CCF大專委2016年大數據發展趨勢預測——解讀和行動建議[J].大數據,2016,2(1):105-113.