基于大數(shù)據(jù)背景探討信息處理技術(shù)

文/程欣

（湖北省天門職業(yè)學(xué)院，湖北天門 431700）

當(dāng)今的網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)出爆發(fā)性的增長趨勢(shì)，因此只有迅速升級(jí)信息處理技術(shù)，才能滿足大量數(shù)據(jù)的處理需求，同時(shí)必須借助可靠的網(wǎng)絡(luò)安全技術(shù)手段，保證大數(shù)據(jù)平臺(tái)的整體安全。這正是當(dāng)今的大數(shù)據(jù)背景。

1.大數(shù)據(jù)挖掘技術(shù)的常用方法總結(jié)

1.1 分類

所謂分類，主要目的是對(duì)數(shù)據(jù)庫中的特別組別數(shù)據(jù)的共同特點(diǎn)進(jìn)行挖掘，并且依照特定的分類方法進(jìn)行類別區(qū)分。分類的原理是，將數(shù)據(jù)庫中的數(shù)據(jù)項(xiàng)，借助特定的分類模型映射到特定類別范圍中。這一技術(shù)適用于電商等多個(gè)系統(tǒng)，此處以電商平臺(tái)為例。電商平臺(tái)利用分類方法，可以進(jìn)一步明確平臺(tái)用戶的不同屬性特征，進(jìn)而明確平臺(tái)用戶的分類，發(fā)現(xiàn)平臺(tái)用戶的購物習(xí)慣，分析平臺(tái)用戶的滿意度，等等，例如平臺(tái)用戶的年齡段、消費(fèi)額區(qū)間等。

1.2 特征

所謂特征，主要是指從數(shù)據(jù)庫中提取某個(gè)組別數(shù)據(jù)中能夠表述該數(shù)據(jù)集整體特征的特征式，這些特征式是數(shù)據(jù)特征的最直接表述。例如，電商平臺(tái)通過提取平臺(tái)用戶數(shù)據(jù)庫中平臺(tái)用戶流失因素的特征，能夠更快地發(fā)現(xiàn)平臺(tái)用戶流失的特征（或自主注銷，或長期無購物記錄）、規(guī)律與原因，例如優(yōu)惠力度不足、商品不全、商品提價(jià)等。在整理特征信息的基礎(chǔ)上，平臺(tái)能夠得出更具針對(duì)性的用戶挽留措施，開展有針對(duì)性的挽留活動(dòng)。

1.3 聚類

所謂聚類，主要是指將某個(gè)組別數(shù)據(jù)區(qū)，依照數(shù)據(jù)的異同性分為若干不同類別，體現(xiàn)出雷同性的數(shù)據(jù)要確保處于同一類別范圍；反之對(duì)于差異性的數(shù)據(jù)，則要納入不同類別中。這一技術(shù)的主要適用范圍是，對(duì)平臺(tái)用戶群體進(jìn)行類別劃分，并且完成用戶的信息整理，進(jìn)而開展相關(guān)信息的分析，包括平臺(tái)用戶的市場(chǎng)歸類、購買情況等。

1.4 回歸分析

回歸分析主要是指將特定數(shù)據(jù)映射到實(shí)值預(yù)測(cè)變量函數(shù)，進(jìn)而探索數(shù)據(jù)屬性或變量關(guān)聯(lián)的方式。其原理是利用數(shù)據(jù)的映射去闡述事項(xiàng)在數(shù)據(jù)庫中的屬性值或在時(shí)間上的特征，其主要體現(xiàn)數(shù)據(jù)序列中數(shù)據(jù)的關(guān)系以及數(shù)據(jù)序列的預(yù)測(cè)、趨勢(shì)特征等信息。在電商銷售過程中，這一技術(shù)能夠了解平臺(tái)用戶的網(wǎng)購需求等趨勢(shì)信息，防范平臺(tái)用戶的流失，進(jìn)而方便開展有針對(duì)性的銷售活動(dòng)。[1］

1.5 關(guān)聯(lián)規(guī)則

所謂關(guān)聯(lián)規(guī)則，主要是指結(jié)合某個(gè)事項(xiàng)中部分項(xiàng)的出現(xiàn)，關(guān)聯(lián)了另一些項(xiàng)，在同一事項(xiàng)中出現(xiàn)。這一規(guī)則能夠映射出數(shù)據(jù)之間隱藏的關(guān)聯(lián)，或是潛在的關(guān)系。其主要用于支持電子商務(wù)平臺(tái)的平臺(tái)用戶管理工作，通過數(shù)據(jù)庫中大量平臺(tái)用戶相關(guān)數(shù)據(jù)的整理，以及對(duì)不同數(shù)據(jù)項(xiàng)之間的關(guān)系連接，能夠找出數(shù)據(jù)潛在的規(guī)律，發(fā)現(xiàn)對(duì)市場(chǎng)營銷成果產(chǎn)生影響的相關(guān)因素。這一規(guī)則不但能夠提供基本的銷售決策支持，同時(shí)也能夠幫助發(fā)現(xiàn)營銷風(fēng)險(xiǎn)，做好風(fēng)險(xiǎn)評(píng)估，規(guī)避詐騙行為。

1.6 Web頁挖掘

隨著網(wǎng)絡(luò)的普及，網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，Web平臺(tái)的信息量越來越大，信息類型、形式也越發(fā)呈現(xiàn)出多樣化的趨勢(shì)。經(jīng)營單位通過對(duì)Web平臺(tái)的海量數(shù)據(jù)進(jìn)行挖掘與分析，能夠廣泛獲取金融、市場(chǎng)供需以及平臺(tái)用戶的許多相關(guān)信息。不同的信息有著不同的價(jià)值，對(duì)于不同信息的集中整理與分析，有利于加深相關(guān)單位對(duì)內(nèi)部經(jīng)營環(huán)境與外部市場(chǎng)環(huán)境的了解，以及明確內(nèi)部經(jīng)營信息，繼而預(yù)知經(jīng)營風(fēng)險(xiǎn)。

2.分布式數(shù)據(jù)庫的實(shí)現(xiàn)原理

2.1 分布式并發(fā)控制

分布式數(shù)據(jù)庫的事項(xiàng)管理基本任務(wù)之一便是并發(fā)控制。并發(fā)控制主要包括樂觀并發(fā)、加鎖并發(fā)與時(shí)間戳控制三種模式。這一控制方式的實(shí)際應(yīng)用，是為了確保數(shù)據(jù)庫中不同事項(xiàng)的同步、精準(zhǔn)、迅速推進(jìn)。這種控制方式能夠保證事項(xiàng)并行的透明性，其運(yùn)行原理主要是在多個(gè)事項(xiàng)并發(fā)執(zhí)行的前提下，對(duì)于串行執(zhí)行的次序進(jìn)行決策。

2.2 分布式查詢處理

分布式的查詢處理，主要的應(yīng)用目標(biāo)是保證各個(gè)節(jié)點(diǎn)上查詢動(dòng)作的合理分布以及有序運(yùn)行。這一處理方式的主要運(yùn)行原理，是對(duì)數(shù)據(jù)庫當(dāng)中高層次查詢的映射，將其轉(zhuǎn)化為本地?cái)?shù)據(jù)庫操作。在查詢解析的過程中，平臺(tái)需要首先做好拆分處理，生成關(guān)系運(yùn)算序列，用于支持代數(shù)查詢，同時(shí)要將相關(guān)數(shù)據(jù)定位在各個(gè)節(jié)點(diǎn)，完成查詢結(jié)果的匯總。

2.3 數(shù)據(jù)分片

數(shù)據(jù)分片的方式主要是指對(duì)數(shù)據(jù)進(jìn)行有邏輯的、全局性的劃分，形成多個(gè)有關(guān)聯(lián)的邏輯片段。其適用于數(shù)據(jù)庫的信息寫入過于頻繁，且數(shù)據(jù)量過大的情況。在這種情況下，數(shù)據(jù)庫受限于設(shè)備的條件而難以擴(kuò)展，因此數(shù)據(jù)處理便很難依靠一臺(tái)單獨(dú)的主機(jī)去支持。而將數(shù)據(jù)分散存儲(chǔ)于多臺(tái)設(shè)備，則能夠提升整體性能，在切分?jǐn)?shù)據(jù)的同時(shí)可以提高系統(tǒng)整體的可用性。數(shù)據(jù)切分的方式主要包括垂直、混合與水平切分三種，不同的切分方式適用于不同的情境。

2.4 分布式數(shù)據(jù)庫的目錄管理

分布式數(shù)據(jù)庫的目錄，其主要內(nèi)容包括訪問方式的描述、分級(jí)模式的描述、一致性信息以及統(tǒng)計(jì)數(shù)據(jù)等。數(shù)據(jù)庫當(dāng)中存放著大量的元數(shù)據(jù)信息，這些數(shù)據(jù)有助于系統(tǒng)更加精準(zhǔn)、高效地完成數(shù)據(jù)訪問。而且在處理數(shù)據(jù)，包括添加、去除、修正數(shù)據(jù)時(shí)，以及授權(quán)、安全管理過程中，平臺(tái)都要用到數(shù)據(jù)庫目錄。此外目錄也是多事項(xiàng)并行處理的基礎(chǔ)，目錄結(jié)構(gòu)會(huì)對(duì)其性能產(chǎn)生直接影響。其具體分類包括全局與本地混合目錄，以及分布式目錄。[2］

3.云計(jì)算技術(shù)的相關(guān)應(yīng)用

3.1 物聯(lián)網(wǎng)

在一般理解中，物聯(lián)網(wǎng)即是互聯(lián)網(wǎng)與實(shí)物之間的關(guān)聯(lián)路徑，通過傳感器、定位系統(tǒng)、掃描器等設(shè)備，實(shí)現(xiàn)對(duì)實(shí)物或是過程的連接、互動(dòng)以及監(jiān)控。物聯(lián)網(wǎng)系統(tǒng)的構(gòu)建基礎(chǔ)，其一是互聯(lián)網(wǎng)，是基于互聯(lián)網(wǎng)的網(wǎng)絡(luò)信息渠道拓展與延伸；其二是用戶管理端在實(shí)物上的延伸，進(jìn)而實(shí)現(xiàn)對(duì)于實(shí)物及其運(yùn)行過程的監(jiān)管和信息的通信。物聯(lián)網(wǎng)的業(yè)務(wù)量會(huì)隨著其運(yùn)行而呈現(xiàn)出不斷增多的趨勢(shì)，對(duì)于數(shù)據(jù)的大量計(jì)算與存儲(chǔ)需求，會(huì)使物聯(lián)網(wǎng)系統(tǒng)更加依賴云計(jì)算能力。

3.2 云安全

云安全是云計(jì)算的衍生概念，是基于云計(jì)算這一理念而產(chǎn)生的。其構(gòu)想是，隨著云平臺(tái)用戶的增加，使用過程中的異常便更容易被發(fā)現(xiàn)，因?yàn)殡S著大量用戶的加入，無論哪個(gè)網(wǎng)站受到病毒的侵襲，入侵行為都會(huì)迅速被截獲。也就是說，云安全平臺(tái)的運(yùn)行原理，是借助對(duì)于海量用戶形成的軟件行為網(wǎng)絡(luò)，密集篩查運(yùn)行過程中的異常，捕捉病毒以及其他入侵行為的信息，傳送至服務(wù)器完成數(shù)據(jù)的分析與處理，并且第一時(shí)間分發(fā)處理策略。

3.3 云存儲(chǔ)

云存儲(chǔ)與云安全同樣是基于云計(jì)算這一概念所產(chǎn)生的概念，其主要的運(yùn)行原理是借助網(wǎng)絡(luò)技術(shù)與集群應(yīng)用等功能，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)中的各個(gè)存儲(chǔ)節(jié)點(diǎn)進(jìn)行整合，并且保證其協(xié)同運(yùn)行。這一平臺(tái)能夠面向網(wǎng)絡(luò)上的海量用戶提供可靠的數(shù)據(jù)存儲(chǔ)以及訪問等服務(wù)，適用于網(wǎng)絡(luò)用戶產(chǎn)生了大量數(shù)據(jù)的情境，目的是滿足網(wǎng)絡(luò)用戶的信息存儲(chǔ)和管理需求。平臺(tái)可以將云計(jì)算平臺(tái)轉(zhuǎn)化為存儲(chǔ)平臺(tái)，進(jìn)而滿足數(shù)據(jù)的存儲(chǔ)與管理需求。

4.網(wǎng)絡(luò)安全技術(shù)

網(wǎng)絡(luò)安全技術(shù)主要適用于網(wǎng)絡(luò)環(huán)境的，用于維護(hù)網(wǎng)絡(luò)系統(tǒng)數(shù)據(jù)、軟件乃至硬件安全的防范技術(shù)。其功能實(shí)現(xiàn)目標(biāo)包括漏洞的掃描、入侵行為的檢測(cè)與預(yù)警、病毒防護(hù)、數(shù)據(jù)過濾等。大數(shù)據(jù)這一概念指代的是網(wǎng)絡(luò)數(shù)據(jù)在規(guī)模、形式、類別上的拓展。在此背景下，數(shù)據(jù)的安全防護(hù)也必定面臨著更高的要求。隨著大數(shù)據(jù)的產(chǎn)生與發(fā)展，網(wǎng)絡(luò)安全技術(shù)的創(chuàng)新是必然趨勢(shì)，并且應(yīng)當(dāng)作為一個(gè)關(guān)鍵問題來探討。[3］

5.結(jié)語

在大數(shù)據(jù)背景下，信息處理技術(shù)發(fā)展的加速是必然趨勢(shì)。隨著網(wǎng)絡(luò)數(shù)據(jù)的爆炸式增加，以及數(shù)據(jù)形式、類別的多樣化，只有不斷提升數(shù)據(jù)處理技術(shù)水平，拓展數(shù)據(jù)處理系統(tǒng)的功能，才能保證數(shù)據(jù)處理的高效性、精準(zhǔn)性。因此，本文基于大數(shù)據(jù)背景，對(duì)計(jì)算機(jī)處理技術(shù)發(fā)展趨勢(shì)進(jìn)行了總結(jié)，希望通過針對(duì)信息處理技術(shù)的廣泛探討，集思廣益，從而找到技術(shù)開發(fā)與應(yīng)用的新方向，體現(xiàn)技術(shù)優(yōu)勢(shì)，滿足新時(shí)期的數(shù)據(jù)管理需求。