基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究

張海浪

摘要：隨著我國(guó)科技的發(fā)展，高科技的應(yīng)用越來(lái)越廣泛，尤其是大數(shù)據(jù)的應(yīng)用，已逐漸的擴(kuò)大到商業(yè)、金融以及建筑等各個(gè)領(lǐng)域中。大數(shù)據(jù)視角下的信息管理主要是收集、整理、匯總以及分析一些數(shù)據(jù)，并且隨著我國(guó)經(jīng)濟(jì)的發(fā)展，對(duì)數(shù)據(jù)信息的使用有了更高的要求，也就對(duì)信息系統(tǒng)的關(guān)鍵技術(shù)有了更高的要求。因此本文就對(duì)大數(shù)據(jù)背景下的，信息系統(tǒng)的關(guān)鍵技術(shù)進(jìn)行研究，以此來(lái)滿足我國(guó)現(xiàn)階段社會(huì)工作的需求。

關(guān)鍵詞：大數(shù)據(jù)；信息系統(tǒng)；關(guān)鍵技術(shù)

中圖分類號(hào)：TP311.13 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2018）01-0067-01

隨著我國(guó)網(wǎng)絡(luò)技術(shù)的發(fā)展，其已逐漸的深入到我們的日常生活和工作中，成為了必不可少的一部分。目前各種信息的匯集，都已經(jīng)讓數(shù)據(jù)共享到每一個(gè)行業(yè)中，標(biāo)志著大數(shù)據(jù)時(shí)代的到來(lái)。在這樣的背景下，一定要重視大數(shù)據(jù)信息系統(tǒng)的關(guān)鍵技術(shù)，以此來(lái)推動(dòng)大數(shù)據(jù)時(shí)代下各個(gè)行業(yè)的發(fā)展，促進(jìn)我國(guó)社會(huì)的發(fā)展。

1 大數(shù)據(jù)的相關(guān)概述

1.1 大數(shù)據(jù)的概念

大數(shù)據(jù)主要是指海量的數(shù)據(jù)系統(tǒng)，利用計(jì)算機(jī)將其收集、整理以及分析。在互聯(lián)網(wǎng)行業(yè)中，其主要是指信息數(shù)據(jù)的流通，將其應(yīng)用到人們?nèi)粘Ｉ畹念I(lǐng)域中，就是需要對(duì)其進(jìn)行收集、整理以及分析等，從能做出最正確的判斷和決策。

1.2 大數(shù)據(jù)的特征

大數(shù)據(jù)視角下，數(shù)據(jù)具有價(jià)值密度低、速度快、時(shí)效高、以及類型多的特點(diǎn)。首先，在大數(shù)據(jù)視角下，信息的收集速度和處理速度不斷的加快，因此相關(guān)人員必須要有極強(qiáng)的信息收集能力和信息處理能力。其次在大數(shù)據(jù)視角下，信息共享的會(huì)更加的方便，因此相關(guān)人員必須要重視團(tuán)隊(duì)的合作，及時(shí)的掌握最新的相關(guān)技術(shù)，如云端儲(chǔ)存、云端共享等。同時(shí)大數(shù)據(jù)視角下，還要重視數(shù)據(jù)的挖掘、分析，因此大數(shù)據(jù)下，各種信息都能得到很高的融合，使得信息管理的范圍就會(huì)特別的廣，因此各種信息必須要做到專業(yè)[1]。

1.3 大數(shù)據(jù)的技術(shù)

（1）數(shù)據(jù)采集技術(shù)。大數(shù)據(jù)信息的數(shù)據(jù)采集技術(shù)，主要是從不同的數(shù)據(jù)庫(kù)信息接收信息，如產(chǎn)品客戶端、網(wǎng)絡(luò)站點(diǎn)、以及傳感器等。在采集過(guò)程中，常常會(huì)遇到高并發(fā)數(shù)的問(wèn)題，因此為了提升其分析效率，需要導(dǎo)入分布式數(shù)據(jù)庫(kù)，其可以滿足不同數(shù)據(jù)的采集需求和傳輸?shù)男枨蟆＃?）數(shù)據(jù)存儲(chǔ)技術(shù)。大數(shù)據(jù)下的數(shù)據(jù)存儲(chǔ)模塊中主要是應(yīng)用Pastgre SQL，這種技術(shù)以人機(jī)互動(dòng)為目標(biāo)，滿足了使用者的所有存儲(chǔ)需求。也有的企業(yè)會(huì)使用SQL Server來(lái)進(jìn)行數(shù)據(jù)的存儲(chǔ)，但是其屬于存儲(chǔ)的格式，可以用來(lái)更改、刪除數(shù)據(jù)庫(kù)信息，不能統(tǒng)計(jì)和分析信息。（3）基礎(chǔ)架構(gòu)技術(shù)。目前數(shù)據(jù)存儲(chǔ)過(guò)程中，數(shù)據(jù)重復(fù)率將近90%，因此為了刪除這些重復(fù)的數(shù)據(jù)，出現(xiàn)了基礎(chǔ)架構(gòu)技術(shù)，也就是分布式重復(fù)數(shù)據(jù)刪除技術(shù)。其由客戶端、元數(shù)據(jù)服務(wù)器以及數(shù)據(jù)服務(wù)器，其中客戶端，主要是用來(lái)對(duì)外信息的交互，并在交互過(guò)程中對(duì)信息進(jìn)行預(yù)處理，如提取指紋、劃分?jǐn)?shù)據(jù)塊等。而元數(shù)據(jù)服務(wù)器主要是用來(lái)維護(hù)管理元數(shù)據(jù)的存儲(chǔ)和集群，用來(lái)均衡負(fù)載。而數(shù)據(jù)服務(wù)器主要是用來(lái)引擎數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)以及管理數(shù)據(jù)。（4）數(shù)據(jù)處理技術(shù)。數(shù)據(jù)處理技術(shù)主要是處理信息，讓其產(chǎn)生商業(yè)技術(shù)。其起源于hadoop數(shù)據(jù)處理架構(gòu)，采用的是分布式文件系統(tǒng)HDFS，其可以處理千兆以內(nèi)的數(shù)據(jù)，主要是通過(guò)服務(wù)器來(lái)分布數(shù)據(jù)和處理數(shù)據(jù)，但是這種處理技術(shù)比較低效，而且編程也比較復(fù)雜。因此又產(chǎn)生了Skytree結(jié)合機(jī)器學(xué)習(xí)算法，其可以對(duì)信息進(jìn)行高級(jí)的分析，目前已廣泛的應(yīng)用在預(yù)測(cè)分析、市場(chǎng)細(xì)分以及異常識(shí)別等領(lǐng)域。同時(shí)還有Spark，一種基于Mapreduxe算法的分布式計(jì)算方式，其可以對(duì)數(shù)據(jù)進(jìn)行高效的運(yùn)算，也可以更好的用來(lái)挖掘信息。

2 基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)分析

2.1 分布式文件管理技術(shù)

大數(shù)據(jù)的基礎(chǔ)就是存儲(chǔ)數(shù)據(jù)和管理數(shù)據(jù)，目前基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)的分布式文件管理技術(shù)已廣泛的應(yīng)用在各大企業(yè)中。如Google提出的GFS文件管理技術(shù)，采用了價(jià)格比較低廉的服務(wù)器，又設(shè)置了一個(gè)具有高拓展性的文件管理系統(tǒng)，以此來(lái)將信息存儲(chǔ)到不同的服務(wù)器中，在通過(guò)共享、連接等方式來(lái)對(duì)數(shù)據(jù)進(jìn)行管理[2]。

2.2 分布式數(shù)據(jù)處理技術(shù)

大數(shù)據(jù)下采用分布式數(shù)據(jù)處理技術(shù)，可以為用戶提供跨越時(shí)間、空間的服務(wù)，用戶可以隨時(shí)來(lái)對(duì)信息進(jìn)行檢索和分析，該技術(shù)分為批處理技術(shù)和流處理技術(shù)。其中批處理技術(shù)是先將處理的數(shù)據(jù)存儲(chǔ)起來(lái)，然后在按著一定的方式將其進(jìn)行分割，并交給多個(gè)服務(wù)器來(lái)進(jìn)行處理，其淡化了數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，提高了數(shù)據(jù)的集群性。而流處理技術(shù)，主要是實(shí)時(shí)的進(jìn)入處理系統(tǒng)來(lái)對(duì)數(shù)據(jù)進(jìn)行處理，并將處理結(jié)果反饋回去，有效的提高數(shù)據(jù)處理的時(shí)效性。

2.3 分布式數(shù)據(jù)庫(kù)技術(shù)

分布式數(shù)據(jù)庫(kù)技術(shù)也是大數(shù)據(jù)下信息系統(tǒng)中常用的一種技術(shù)，其主要是用來(lái)管理數(shù)據(jù)庫(kù)。大數(shù)據(jù)下數(shù)據(jù)庫(kù)不但容量大，而且數(shù)據(jù)類型也比較大，因此在處理過(guò)程中難免會(huì)有一些差錯(cuò)，在加上大數(shù)據(jù)的價(jià)值密度比較低，因此必須要做好數(shù)據(jù)庫(kù)的管理。分布式數(shù)據(jù)庫(kù)技術(shù)主要是采用了模型來(lái)對(duì)數(shù)據(jù)信息進(jìn)行管理，其將所管理的信息看成一串字符，但是不直接對(duì)字符進(jìn)行解釋，有效的簡(jiǎn)化了數(shù)據(jù)庫(kù)系統(tǒng)[3]。

3 結(jié)語(yǔ)

綜上所述，大數(shù)據(jù)信息系統(tǒng)下，其關(guān)鍵技術(shù)可以有效的做好數(shù)據(jù)的挖掘、分析、以及處理，從而為相應(yīng)的人提供數(shù)據(jù)上的參考。未來(lái)隨著我國(guó)信息技術(shù)的發(fā)展，相信大數(shù)據(jù)下信息系統(tǒng)的關(guān)鍵技術(shù)，還會(huì)不斷的優(yōu)化，以此來(lái)為每一位用戶提供針對(duì)性的服務(wù)。

參考文獻(xiàn)

[1]禹祿君.基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究[J].湖南郵電職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2015，（3）：40-42.

[2]方世敏.基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究[J].無(wú)線互聯(lián)科技，2013，（10）：117.

[3]朱攀.基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究[J].電子技術(shù)與軟件工程，2014，（4）：216-216.