大數據應用的技術體系及潛在問題研究

董好偉

摘要：伴隨時代的進步，科技水平的不斷提升，目前計算機、移動通訊、互聯網有了大量應用，走進了千家萬戶，深入到社會生產與生活的各個方面，成為民眾生活中不可缺少的重要組成之一，不斷改變著人們的生活方式，改善人們的工作條件，所以世界各個國家與地區都在致力于無線網絡的建設與智能移動終端的發展，近十幾年來，我國上網人數飛速增長，人們的各種行為表現出一些規律性，基于移動網絡與智能終端的大數據也應運而生，并且隨著時間的推移，其作用越來越重要。大數據技術的應用極大地推動了我國經濟與社會的發展，所以對大數據應用的技術及潛在問題展開研究，具有十分重要的現實意義。

關鍵詞：大數據;技術體系;潛在問題

中圖分類號：TP311 ? ? ? ?文獻標識碼：A

文章編號：1009-3044（2019）15-0043-02

當大數據概念被提出之后，伴隨通訊與無線網絡技術的進步而得到飛速發展，大數據技術的應用能夠幫助我們在人們看似沒有規律沒有秩序的各種活動與行為中，找出一定潛在規律，如果將其應用于商業活動當中，就能夠充分掌握消費者的習慣特點，進而進行產品的精準研發與投放;如果將其應用于社會管理當中，就能夠幫助國家與相關機關部門制定更加科學合理，且更有針對性的政策與方針，提升社會的穩定性，構建和諧社會。然而在其發展過程中也表現出一些不足之處，只有克服這些問題，才能推動大數據技術的持續發展，更好地服務于社會。

1 解析大數據應用技術體系

目前隨著網絡與智能手機廣泛應用，上網人數急劇增加，每天都會產生大量的數據，借助傳統的辦法與手段，在規定時間內不能對其進行有效處理，并歸納成對國家與公司決策有幫助的一系列信息。但是借助于大數據技術，在較短時間內就可以在龐大的數據中提煉出有用訊息。目前，對于大數據的界定就是通過多種形式、多種渠道收集大量訊息數據，能夠實現搜集數據的動態化、實時化，較之傳統手段，其速度特別快。大數據給我們提供便利的同時，還會對我們的私人信息造成一定的泄漏風險，這也是大數據的一大重要特點。

1.1 大數據技術的構成

（1）云計算

對于大數據技術來說，其是不能單獨存在的，基于技術角度進行分析，大數據與云計算互為依托，如同事物的兩面，兩者緊密相連。云計算是建立在經濟驅動基礎上的一種分布式模型，通常情況下，其把各種網絡資源進行虛擬化處理，構建龐大數據中心，組建超級網絡計算機體系，進而形成一種平臺系統，將各種信息提供給使用者。

（2）硬件系統

根據大數據相關定義，大數據需要通過多種途徑，多種方法來獲取大量數據資源，而這些資源的獲取，則需要借助于互聯網絡、無線網絡、分布世界各地的計算機以及集成于移動終端（如智能手機、平板電腦等）之內的各種傳感器而構成。通過這些傳感元器件，就能夠獲取到使用者的各種信息，然后借助于網絡進行數據傳輸。對于大數據來說，硬件系統是其運行重要載體。

（3）信息處理程序

大數據具有強大的處理能力，其處理能力主要通過各類信息處理程序來發揮作用。這需要用到計算機編程，其中最主要的編程模型為MapReduce模型，該模型采用的是并行運算方式，具有強大的運算能力，能夠同時處理超過1TB龐大數據量。該技術的作用機理是把大量的數據進行劃分，利用網絡分散到多個子處理體系當中，充分利用網絡的云計算能力，最后再借助于網絡將信息匯總起來，從而得出相關結果。

由上可知，大數據技術通常是由云計算、硬件系統以及信息處理程序三部分構成。由這三部分共同組成了一個龐大的數據信息處理系統，由其對各種信息進行搜集，并進行深度加工處理，不斷提煉，最終形成有用信息。

1.2 大數據獲取途徑

（1）傳感器

傳感器大量應用于各種智能移動終端（如手機、平板等）以及汽車導航儀當中，傳感器能夠實時收集各類信息，例如人們的位置信息等。傳感器的普及，為應用大數據提供了必要的數據來源保障。而且傳感器應用相當廣泛，被應用于諸如醫療衛生、商業以及軍事等各個領域當中。

（2）掃碼

隨著條形碼與二維碼技術的發展與成熟，很多大中小型超市商場，乃至街頭小販、個人收付款等都會用到掃碼技術。當使用人群達到一定程度之后，就能成為一種重要的大數據來源。通過掃碼可以迅速搜集客戶的購買信息，從而掌握其購買偏好，了解其消費習慣，制定合適的商業推廣計劃。

（3）web2.0

Web2.0對被稱作第二代互聯網，通過其構建了一個平臺體系，其是由大量用戶共同參與而構建的一種平臺，記錄了用戶的一系列網絡活動行為，用戶登錄時就創建一個身份標識，用戶借助該標識暢游于各種基于網絡的軟件當中，可以在網絡上發布各種信息，感興趣者還會進行大量點擊，網絡上充斥著各種信息與話題，點擊率的高低反映了受眾的喜好程度，對其進行分析與研究，能夠為各種決策提供數據支持，方便人們的應用。

2 大數據運用階段存有的問題與應對策略

2.1 缺乏專業性人才

于大數據背景下所需要解決的首要問題分別是資金與人員，大數據方面人才的嚴重缺乏是現今大數據市場難以進一步發展的主要因素。盡管不同行業實際業務數據給后期的數據剖析奠定了一定基礎，然而科學家數量上的缺乏卻使大數據的可持續發展受到了很大限制。

大部分數據科學家均為綜合型人才，需掌握多個領域的知識，比如統計、計算機等，且能夠就不同的訊息數據實施預估價值剖析，因此，需要增強在大數據方面的人才培育。

為改進大數據人才培訓機制，需要投入更多的精力與資金支持，加大相關人才的培養力度，增強專門培訓機構的培訓能力，在高校設置相關專業，加大人才自主培訓力度。另外，還可以引進相關高端人才，利用企業融智作用促進大數據技術的發展。

2.2 安全和隱私方面

在大數據的發展過程中還存在著很多安全與隱私方面的隱患，伴隨社會經濟的快速發展，傳感器與攝像頭等監控裝備數目呈現逐年遞增的態勢，對社會公眾來說，這些設施對其具體位置情況進行了記載與監控，而經過深入研究與剖析其大量訊息數據，便能充分掌握其在出行與消費等方面的規律，進而對社會公眾的生命與財產安全產生直接危害。

另外，伴隨云計算技術的進一步發展，云設備本身還會具備一定的經濟特性，如此便可以為“僵尸網絡”創造很大的發展機會與空間，加大了密碼體系破譯的可能。且由于該項技術的發展，為人們帶來了更加便利的工作生活條件，與此同時，社會公眾對計算機的依賴性逐年提升，并會把很多個人訊息、工作訊息等儲存到網絡中，這無疑加大了訊息泄露的概率。

為克服大數據使用過程中的訊息安全問題，部分學者指出了一種K-匿名的方式，使自身和周圍多個用戶一起構成特定范疇中擁有集成性的U1性，再進行位置服務申請，便能夠對自身的準確定位進行模糊處理;當然，仍有少數學者指出能夠利用周圍K-1用戶具體位置訊息的收集與歸納工作，再利用某個訊息發出位置服務申請，便能將具體坐標進行有效隱藏。有學者運用集中信息流把控與差分隱私保護等方法，把相關數據融合到數據形成與運算的過程中，設定了保護隱私體系，利用該體系可以防止運算過程中把部分未經授權的隱私訊息數據進行泄露，并為運算結果的自主解密提供支持，如此操作能夠防止定位訊息泄露等問題的產生。

目前蘋果公司相關產品上主要以其自主開發的電子剖析污染技術為基礎，對用戶使用產品過程中形成的不同行為訊息數據采取污染與混淆處置的方式，減輕了訊息泄露的概率。而此項加密方式和手法所采用的機理實際上是一旦加密手法難以確保個人訊息的安全性，便可利用更加冗雜的訊息來對有效訊息進行干擾，如此便可以加大訊息盜取的費用，從而直接減少訊息泄露的概率。

3 結語

處于新時代背景下，大數據的快速發展既要面對很多全新的機遇，也要克服很多未知的挑戰與難題，需要提前做好更加系統化的規劃。對于大數據訊息的處置非常重要，它可以帶給企業更加快速、精準的訊息，同時還為企業創造了更大的利益，使企業經濟效益有所提升。另外，大數據的處置還會讓社會公眾的日常生活更為便捷，給民眾創造了更加優良的生活條件。所以，全方位熟悉與掌握大數據的基礎定義，標準化大數據的處置流程，增強大數據運用技術上存有問題的進一步分析，對后期落實相應的應對策略來說十分有利，同時還可提升大數據訊息的處置質量，有效提升大數據應用階段的工藝水準。目前，大數據處置流程當中，云計算屬于一項最基本的技術，然而從安全隱私角度來講，該技術仍沒有提出更加有效的保護方式。所以，針對其有效性的分析十分必要，能夠使大數據本身的安全性能有所提升。

參考文獻：

[1] 陳健. 我國大數據技術發展的政策體系研究[D].云南師范大學，2017.

[2] 張超.淺析大數據應用的技術體系和潛在問題[J].數字技術與應用，2016（8）：234.

[3] 張莉.大數據應用技術體系與潛在問題與挑戰略述[J].信息與電腦（理論版），2015（15）：66-67.

[4] 靳琦.大數據應用的技術體系及潛在問題探討[J].電子技術與軟件工程，2015（9）：199.

【通聯編輯：代影】