大數(shù)據(jù)時代背景下的計算機信息處理技術(shù)探討

摘 要計算機技術(shù)與信息技術(shù)的發(fā)展給信息社會的發(fā)展提供了動力，同時也促進了大數(shù)據(jù)時代的到來，通過對大數(shù)據(jù)的概念和特點進行分析，介紹了大數(shù)據(jù)時代計算機信息處理技術(shù)面臨的挑戰(zhàn)與機遇，并對大數(shù)據(jù)時代計算機信息處理的關(guān)鍵技術(shù)進行分析，以實現(xiàn)不斷完善計算機信息處理技術(shù)的目標。

【關(guān)鍵詞】大數(shù)據(jù) 計算機技術(shù) 信息處理

隨著信息技術(shù)、數(shù)據(jù)化的發(fā)展，對于數(shù)據(jù)與信息的生成和處理成了人們生產(chǎn)與管理過程中的重要組成部分。計算機技術(shù)的發(fā)展，促進了數(shù)據(jù)的搜索、存儲和交換技術(shù)的發(fā)展，大數(shù)據(jù)時代的到來，給人們提供了豐富的信息資源和信息處理技術(shù)。

1 大數(shù)據(jù)的概念與特點

1.1 大數(shù)據(jù)的概念

所謂的“大數(shù)據(jù)”，就是信息的數(shù)據(jù)量巨大，由于需要處理的數(shù)據(jù)十分龐大，目前的計算機主流軟件在短時間內(nèi)無法實現(xiàn)對其進行獲取、處理、存儲、傳輸、管理等方面的功能，它不僅包括數(shù)據(jù)量大，同時還包括數(shù)據(jù)比較難以處理、復(fù)雜多樣，同時在處理的過程中，還會出現(xiàn)數(shù)據(jù)處理的重復(fù)性。對于大數(shù)據(jù)的數(shù)據(jù)量大到什么程度，目前還沒有一個統(tǒng)一的標準，一般認為數(shù)據(jù)量在10TB-1PB（1TB=1024GB，1PB=1024TB）以上的數(shù)據(jù)為大數(shù)據(jù)。

1.2 大數(shù)據(jù)的特點

1.2.1 數(shù)量大

大數(shù)據(jù)的產(chǎn)生是基于大量數(shù)據(jù)信息處理而產(chǎn)生的，需要運用計算機技術(shù)處理數(shù)據(jù)的量越來越大，從TB及已經(jīng)發(fā)展到PB技術(shù)的數(shù)據(jù)處理。

1.2.2 種類多

隨著信息技術(shù)在生活應(yīng)用中普及，人們對信息的需求也越來越多樣化，信息數(shù)據(jù)的來源也變得多樣化，結(jié)構(gòu)化和半結(jié)構(gòu)化的原始數(shù)據(jù)也出現(xiàn)了多樣化，使得大數(shù)據(jù)呈現(xiàn)出多樣化的發(fā)展趨勢。

1.2.3 速度快

海量的數(shù)據(jù)，就需要高速度的對數(shù)據(jù)進行處理，這樣才能滿足使用者對信息數(shù)據(jù)的需求，如果大數(shù)據(jù)的處理出現(xiàn)滯后，將不利于信息的傳播與擴散。

2 大數(shù)據(jù)背景下計算機信息處理關(guān)鍵技術(shù)分析

2.1 DEEP WEB數(shù)據(jù)感知與獲取技術(shù)

它是利用網(wǎng)絡(luò)深層空間技術(shù)對網(wǎng)絡(luò)中的信息進行抽取、分析和集成。主要數(shù)利用信息數(shù)據(jù)的動態(tài)變化、信息的規(guī)模、數(shù)據(jù)的分布式處理與訪問技術(shù)，對網(wǎng)絡(luò)數(shù)據(jù)進行處理和分析，實現(xiàn)對數(shù)據(jù)的高質(zhì)量集成、抽取和整合。

2.2 分布式處理技術(shù)

分布式數(shù)據(jù)處理主要是由谷歌公司提出的GFS技術(shù)來實現(xiàn)數(shù)據(jù)的分布式存儲和處理。它利用存儲列的概念，以列為單位對數(shù)據(jù)進行存儲，具有數(shù)據(jù)壓縮快，循環(huán)利用效率高，采用行列混合是存儲結(jié)構(gòu)，能夠快速加載海量數(shù)據(jù)和縮短數(shù)據(jù)查詢的時間，同時也能夠高效的利用磁盤空間。目前，分布式處理技術(shù)在百度、IBM得到了廣泛的應(yīng)用。

2.3 數(shù)據(jù)高效索引

該技術(shù)是谷歌公司提出的BIGTABLE技術(shù)，目前主要集中在聚簇索引和互補式聚簇索引技術(shù)的研究。聚簇索引技術(shù)是按照索引順序技術(shù)對相應(yīng)的技術(shù)進行處理，互補式聚簇索引主要采用多副本索引技術(shù)創(chuàng)建相互補充的數(shù)據(jù)建立數(shù)據(jù)索引表，進而實現(xiàn)對數(shù)據(jù)的優(yōu)化查詢。

2.4 基于內(nèi)容信息的數(shù)據(jù)挖掘技術(shù)

基于內(nèi)容的數(shù)據(jù)挖掘技術(shù)主要是依據(jù)網(wǎng)絡(luò)搜索技術(shù)和信息實體的關(guān)聯(lián)技術(shù)對數(shù)據(jù)進行分析挖掘。例如網(wǎng)絡(luò)信息搜索的熱點排序?qū)W習算法主要針對媒體的信息量和信息數(shù)據(jù)的關(guān)注特點、短文本特征實現(xiàn)對數(shù)據(jù)的搜索等，目前常見的學(xué)習算法有逐點，逐對和逐列等幾種算法。

2.5 遺傳算法和神經(jīng)網(wǎng)絡(luò)技術(shù)

遺傳算法主要是依據(jù)生物界的進化發(fā)展規(guī)律和數(shù)據(jù)演化隨機化的數(shù)據(jù)搜索辦法實現(xiàn)對數(shù)據(jù)的搜索，遺傳尋優(yōu)辦法采用概率化，實現(xiàn)對數(shù)據(jù)搜索方向的自動調(diào)整。目前，遺傳算法技術(shù)在機器學(xué)習、信號處理與物流選址等方面得到了廣泛的應(yīng)用。神經(jīng)網(wǎng)絡(luò)主要采用生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的運行方式，模擬生物運動神經(jīng)的網(wǎng)絡(luò)行為，對數(shù)據(jù)進行分布式處理的算法。

2.6 分類和聚類分析技術(shù)

分類分析技術(shù)首先是對信息的數(shù)據(jù)點進行歸類分析，然后通過綜合之后形成新的數(shù)據(jù)點之后，對數(shù)據(jù)點進行明確的假設(shè)和客觀結(jié)構(gòu)預(yù)測，然后預(yù)測未來信息的發(fā)展。聚類分析技術(shù)主要是在沒有明確數(shù)據(jù)點的前提下，將數(shù)據(jù)集合分為若干個對象組，通過對對象組的數(shù)據(jù)進行分析，實現(xiàn)對數(shù)據(jù)的綜合查詢。分類分析和聚類分析技術(shù)在數(shù)據(jù)挖掘方面應(yīng)用的比較廣泛。

2.7 關(guān)聯(lián)規(guī)則學(xué)習和機器學(xué)習技術(shù)

關(guān)聯(lián)規(guī)則學(xué)習技術(shù)就是在復(fù)雜的數(shù)據(jù)處理過程中，通過排序、對比等方法尋找到數(shù)據(jù)之間的關(guān)聯(lián)規(guī)則，是指在數(shù)據(jù)處理的過程中，找到數(shù)據(jù)之間的關(guān)聯(lián)規(guī)則，進而能夠?qū)崿F(xiàn)對重復(fù)數(shù)據(jù)的篩選。而機器學(xué)習主要研究計算機模擬人類學(xué)習的智能技術(shù)，對現(xiàn)有的信息知識體系進行重新組織，它是人工智能的核心技術(shù)，在數(shù)據(jù)處理時，關(guān)聯(lián)規(guī)則和機器技術(shù)主要運用在數(shù)據(jù)挖掘技術(shù)中。

2.8 數(shù)據(jù)分析技術(shù)

數(shù)據(jù)分析技術(shù)在數(shù)據(jù)處理中應(yīng)用比較廣泛，它主要包括情感分析技術(shù)、網(wǎng)絡(luò)分析技術(shù)、空間分析技術(shù)、數(shù)據(jù)時域序列分析技術(shù)以及數(shù)據(jù)回歸分析技術(shù)，該技術(shù)在大數(shù)據(jù)處理中具有十分重要作用，其中，情感分析技術(shù)采用對自然語言進行編碼分析的技術(shù)，網(wǎng)絡(luò)分析技術(shù)就是基于網(wǎng)絡(luò)的特征對數(shù)據(jù)的特征進行分析。空間分析技術(shù)就是將網(wǎng)絡(luò)拓撲、幾何和地理數(shù)據(jù)編碼技術(shù)有機的融合在一起，對數(shù)據(jù)進行綜合分析的統(tǒng)計技術(shù)。

2.9 可視化技術(shù)

可視化技術(shù)主要功能是在對大數(shù)據(jù)進行分析和處理之后，能夠通過圖片、動畫、圖表等方式表示出來，便于人們進行溝通、交流與理解。例如Clustergram是可視化技術(shù)，它采用聚類分析技術(shù)，對數(shù)據(jù)進行處理，然后顯小數(shù)據(jù)集的個別成員是如何經(jīng)過數(shù)據(jù)處理后分配到大的信息集群中。

3 小結(jié)

大數(shù)據(jù)時代對計算機信息處理技術(shù)提出更高的挑戰(zhàn)和要求，需要采用比較復(fù)雜的信息技術(shù)對海量的技術(shù)進行分析，需要運用計算機技術(shù)建立真正適應(yīng)大數(shù)據(jù)時代的網(wǎng)絡(luò)系統(tǒng)和信息處理系統(tǒng)。通過對大數(shù)據(jù)處理中運用的關(guān)鍵技術(shù)進行分析，能夠為相關(guān)研究領(lǐng)域的人們提供參考。

參考文獻

[1]李春輝.“大數(shù)據(jù)”背景下的計算機信息處理技術(shù)分析[J].電子技術(shù)與軟件工程，2014（9）：33-34.

[2]呂敬全.“大數(shù)據(jù)”時代背景下計算機信息處理技術(shù)分析[J].信息與電腦：理論版，2013（6）：19-21.

[3]劉銀龍.“大數(shù)據(jù)”背景下的計算機信息處理技術(shù)分析[J].電子技術(shù)與軟件工程，2015（1）：206.2

作者簡介

孫紅云（1979-），女，山東省臨沂市人。大學(xué)本科學(xué)歷。現(xiàn)為臨沂職業(yè)學(xué)院講師。研究方向為計算機技術(shù)應(yīng)用。

作者單位

臨沂職業(yè)學(xué)院 山東省臨沂市 276017