大數(shù)據(jù)技術(shù)的研究應(yīng)用

綦文彬，侯宗潤

（山東省青島市第二中學(xué) 山東 青島 6856158）

1 引言

所謂大數(shù)據(jù)，從狹義上講就是難以用現(xiàn)有的一般技術(shù)管理的大量的數(shù)據(jù)的集合，具有大規(guī)模，多樣性，高效性、準(zhǔn)確性和價(jià)值性。隨著計(jì)算機(jī)技術(shù)的發(fā)展，云計(jì)算的興起，使得大數(shù)據(jù)的獲取、存儲(chǔ)、處理成為可能。大數(shù)據(jù)技術(shù)是基于網(wǎng)絡(luò)信息技術(shù)存在的，能夠利用計(jì)算機(jī)工具進(jìn)行搜索、提取和共享的海量數(shù)據(jù)集合，企業(yè)利用好大數(shù)據(jù)能夠幫助提升企業(yè)發(fā)展規(guī)模和發(fā)展質(zhì)量，政府利用大數(shù)據(jù)信息能夠提升決策的針對(duì)性和準(zhǔn)確性，更好地服務(wù)民眾。

2 大數(shù)據(jù)技術(shù)重要性

社會(huì)科學(xué)技術(shù)的不斷發(fā)展，帶動(dòng)了計(jì)算機(jī)信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的應(yīng)用，在計(jì)算機(jī)和互聯(lián)網(wǎng)有機(jī)結(jié)合應(yīng)用之后，產(chǎn)生了大量的數(shù)據(jù)信息，大數(shù)據(jù)概念也隨之出現(xiàn)。大數(shù)據(jù)處于一種抽象的名詞，跟傳統(tǒng)的數(shù)據(jù)不同，大數(shù)據(jù)依存于互聯(lián)網(wǎng)信息技術(shù)，同時(shí)規(guī)模大、類型多、價(jià)值較高。作為一門新興的技術(shù)，大數(shù)據(jù)技術(shù)的出現(xiàn)為社會(huì)不同領(lǐng)域的發(fā)展提供了新的發(fā)展方向[1]。例如說可以利用社會(huì)中產(chǎn)生的大數(shù)據(jù)來分析民生，進(jìn)行輿情監(jiān)控等工作，能夠提升政府部門工作質(zhì)量，加強(qiáng)政府部門跟人民群眾的溝通和交流。

3 大數(shù)據(jù)應(yīng)用現(xiàn)狀和面對(duì)的挑戰(zhàn)

3.1 大數(shù)據(jù)技術(shù)應(yīng)用現(xiàn)狀

目前大數(shù)據(jù)技術(shù)主要應(yīng)用于我國的社會(huì)企業(yè)和政府部門管理工作中，針對(duì)電子商務(wù)行業(yè)、交通管理工作以及醫(yī)療保障行業(yè)進(jìn)行有效應(yīng)用[2]。在電商領(lǐng)域當(dāng)中，隨著大數(shù)據(jù)信息技術(shù)的應(yīng)用，電商領(lǐng)域的運(yùn)營模式也發(fā)生了很大的變化，目前的網(wǎng)絡(luò)電商平臺(tái)主要是研究各種數(shù)據(jù)，通過數(shù)據(jù)的支持來分析出顧客的購買能力和購買需求，通過詳細(xì)的數(shù)據(jù)分析預(yù)測出未來電商的銷售情況，并根據(jù)預(yù)測的解決調(diào)整自己的經(jīng)營決策，提升企業(yè)的銷售利潤。例如說目前淘寶購物就退出了一個(gè)個(gè)性化推薦模塊、廣告投放系統(tǒng)，能夠根據(jù)淘寶用戶在平時(shí)的搜索和購買產(chǎn)品類型，搜索顧客的相關(guān)消費(fèi)數(shù)據(jù)，分析用戶的行為和喜好，并作出相對(duì)應(yīng)的廣告推薦，能夠讓推薦更加符合顧客消費(fèi)口味。目前我國大部分城市都在使用“智慧城市”的城市管理系統(tǒng)，能夠利用大數(shù)據(jù)分析技術(shù)，來幫助政府部門更好的協(xié)助管理城市建設(shè)，促進(jìn)城市管理工作的智能化發(fā)展[3]。例如說可以在系統(tǒng)當(dāng)中建立出每個(gè)人的健康監(jiān)測系統(tǒng)，然后在個(gè)人移動(dòng)設(shè)備中上傳健康信息，能夠讓系統(tǒng)針對(duì)個(gè)人進(jìn)行有效的分析，及時(shí)發(fā)現(xiàn)身體健康問題，提升社會(huì)群眾的健康發(fā)展。

3.2 大數(shù)據(jù)技術(shù)面對(duì)的挑戰(zhàn)

大數(shù)據(jù)技術(shù)的主要應(yīng)用流程分成為三個(gè)部分，數(shù)據(jù)獲取、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析，在這三個(gè)階段也有三種不同的挑戰(zhàn)。在數(shù)據(jù)獲取過程中，大數(shù)據(jù)的數(shù)據(jù)主要是從互聯(lián)網(wǎng)和物聯(lián)網(wǎng)進(jìn)行采集，不同的來源自然也在成了數(shù)據(jù)形式的不一致，面對(duì)不同樣式的數(shù)據(jù)，怎么才能夠提升利用效率呢。首先需要針對(duì)不同的數(shù)據(jù)類型建立不同的數(shù)據(jù)格式，并能夠?qū)崿F(xiàn)不同格式的相互轉(zhuǎn)化。例如說如果該數(shù)據(jù)是網(wǎng)絡(luò)文本數(shù)據(jù)，可以轉(zhuǎn)化成為json結(jié)構(gòu)數(shù)據(jù)，然后再轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，能夠讓數(shù)據(jù)的存儲(chǔ)和分析變得更加方便。目前在大數(shù)據(jù)存儲(chǔ)技術(shù)上Google和Facebook等互聯(lián)網(wǎng)企業(yè)都走在了世界前沿，建立起了新興的數(shù)據(jù)庫來滿足大規(guī)模的數(shù)據(jù)存儲(chǔ)[4]，我們要根據(jù)我國大數(shù)據(jù)的類型和特點(diǎn)，建立符合我國大數(shù)據(jù)技術(shù)應(yīng)用要求的數(shù)據(jù)庫，滿足大數(shù)據(jù)技術(shù)應(yīng)用要求。基于大數(shù)據(jù)的復(fù)雜性、多樣性，大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域顯得尤為重要，可以說是決定最終信息是否有價(jià)值的決定性因素。數(shù)據(jù)分析包括數(shù)據(jù)連接與集成、數(shù)據(jù)挖掘、數(shù)據(jù)可視化、數(shù)據(jù)報(bào)告等。建立一個(gè)集成性智能平臺(tái)，能夠?qū)⑾嚓P(guān)所有的數(shù)據(jù)，加載到諸如hadoop,spark平臺(tái)，進(jìn)行數(shù)據(jù)的自助交互分析，并形成可視化數(shù)據(jù)分析結(jié)果，讓人人都能夠快速從數(shù)據(jù)獲得決策智慧。可見簡化大數(shù)據(jù)分析的過程，是大數(shù)據(jù)技術(shù)的發(fā)展趨勢和挑戰(zhàn)。

4 大數(shù)據(jù)技術(shù)的應(yīng)用舉例

4.1 新聞業(yè)的應(yīng)用

大數(shù)據(jù)技術(shù)的應(yīng)用能夠幫助模擬顯示真實(shí)環(huán)境，發(fā)掘出新的市場需求，同時(shí)也能夠幫助促進(jìn)單位部門之間的練習(xí)，提升工作效率。在新聞生產(chǎn)行業(yè)應(yīng)用大數(shù)據(jù)技術(shù)，能夠進(jìn)一步幫助提升社會(huì)受眾的反饋價(jià)值。新聞行業(yè)應(yīng)用大數(shù)據(jù)技術(shù)，可以詳細(xì)的根據(jù)受眾需求調(diào)整發(fā)展方向，例如說趨勢預(yù)測性新聞還有數(shù)據(jù)驅(qū)動(dòng)型深度報(bào)道等，能夠提升新聞的數(shù)據(jù)呈現(xiàn)和分析能力，幫助促進(jìn)新聞事業(yè)的發(fā)展。

4.2 公共交通行業(yè)中的應(yīng)用

在交通運(yùn)輸行業(yè)應(yīng)用大數(shù)據(jù)技術(shù)，能夠促進(jìn)交通行業(yè)的智能化和發(fā)展。首先是在系統(tǒng)當(dāng)中輸入收集到的交通數(shù)據(jù)，針對(duì)交通數(shù)據(jù)進(jìn)行有效的提取，然后數(shù)據(jù)中心會(huì)在數(shù)據(jù)交換中心針對(duì)已經(jīng)提取的數(shù)據(jù)進(jìn)行處理和交換。利用計(jì)算機(jī)進(jìn)行云儲(chǔ)存、云計(jì)算，把大數(shù)據(jù)集成起來進(jìn)行存儲(chǔ)。最終利用控制中心把集成起來的大數(shù)據(jù)利用不同的色彩呈現(xiàn)出數(shù)據(jù)地圖，能夠更加明確的看出數(shù)據(jù)變化。

4.3 商務(wù)管理的應(yīng)用

現(xiàn)代社會(huì)科學(xué)技術(shù)發(fā)展對(duì)于企業(yè)的生產(chǎn)管理和商務(wù)決策提出了更高的要求。現(xiàn)代化企業(yè)市場競爭在很大程度上都已經(jīng)是智能化、網(wǎng)絡(luò)化水平競爭，逐漸依賴于社會(huì)網(wǎng)民群體、社會(huì)媒體以及社會(huì)中逐漸形成的網(wǎng)絡(luò)生態(tài)系統(tǒng)。在市場運(yùn)行過程中會(huì)產(chǎn)生大量的數(shù)據(jù)，企業(yè)很難及時(shí)的收集其中的有利信息調(diào)整營銷決策，因此在商務(wù)管理中應(yīng)用大數(shù)據(jù)技術(shù)，能夠有效促進(jìn)企業(yè)營銷的發(fā)展。

5 結(jié)語

應(yīng)用大數(shù)據(jù)技術(shù)能夠有效促進(jìn)我國各行各業(yè)的創(chuàng)新發(fā)展，提升社會(huì)發(fā)展的時(shí)效性。在未來的發(fā)展過程中，大數(shù)據(jù)的應(yīng)用會(huì)更加多樣化，滿足更多高層次應(yīng)用要求，跟其他領(lǐng)域技術(shù)的交融也會(huì)越來越頻繁，因此加強(qiáng)大數(shù)據(jù)技術(shù)的研究應(yīng)用很有現(xiàn)實(shí)意義。然而大數(shù)據(jù)也有局限性，大數(shù)據(jù)只是對(duì)過去和現(xiàn)實(shí)的歸納和總結(jié)，其本身并不具有趨勢和方向性的特征；大數(shù)據(jù)本身及其采集、使用過程都極有可能會(huì)涉及個(gè)人隱私、商業(yè)機(jī)密、公眾權(quán)益和國家信息安全，因此，要注意做好作重要信息的安全保密。