云計算與大數(shù)據(jù)的發(fā)展趨勢

摘要：本文旨在論述云計算與大數(shù)據(jù)的關(guān)系，并展望了云計算與大數(shù)據(jù)不斷發(fā)展，為人們提供通過云計算的方式提高大數(shù)據(jù)的應(yīng)用能力。

關(guān)鍵詞：云計算;大數(shù)據(jù);趨勢

1.云計算與大數(shù)據(jù)

云計算和大數(shù)據(jù)是一個硬幣的兩面，云計算是大數(shù)據(jù)的IT基礎(chǔ)，而大數(shù)據(jù)是云計算的一個殺手級應(yīng)用，云計算是大數(shù)據(jù)成長的驅(qū)動力，而另一方面，由于數(shù)據(jù)越來越多、越來越復(fù)雜、越來越實時，這就更加需要云計算去處理，所以二者之間是相輔相成的。

30年前，存儲也就是約1000GB數(shù)據(jù)的成本大約是16億美元，如今存儲到云上只需不到100美元。但存儲下來的數(shù)據(jù)，如果不以云計算進行挖掘和分析，就只是僵死的數(shù)據(jù)，沒有太大價值。目前，云計算已經(jīng)普及并成為IT行業(yè)主流技術(shù)，其實質(zhì)是在計算量越來越大、數(shù)據(jù)越來越多、越來越動態(tài)、越來越實時的需求背景下被催生出來的一種基礎(chǔ)架構(gòu)和商業(yè)模式。個人用戶將文檔、照片、視頻、游戲存檔記錄上傳至“云”中永久保存，企業(yè)客戶根據(jù)自身需求，可以搭建自己的“私有云”，或托管、或租用“公有云”上的IT資源與服務(wù)，這些都已不是新鮮事?？梢哉f，云是一棵掛滿了大數(shù)據(jù)的蘋果樹。

大數(shù)據(jù)的出現(xiàn)，引發(fā)全球范技術(shù)與商業(yè)變革。在技術(shù)上以往更多是依靠模型的方法，現(xiàn)在可以借用規(guī)模龐大的數(shù)據(jù)，用基于統(tǒng)計的方法，有望使語音識別、機器翻譯這些技術(shù)領(lǐng)域在大數(shù)據(jù)時代取得新的進展。在搜索引擎和在線廣告中發(fā)揮重要作用的機器學(xué)習(xí)，被認為是大數(shù)據(jù)發(fā)揮真正價值的領(lǐng)域在海量的數(shù)據(jù)中統(tǒng)計分析出人的行為、習(xí)慣等方式，計算機可以更好地學(xué)習(xí)模擬人類智能。隨著包括語音、視覺、手勢和多點觸控等在內(nèi)的自然用戶界面越來越普及，計算系統(tǒng)正在具備與人類相仿的感知能力，其看見、聽懂和理解人類用戶的能力不斷提高。這種計算系統(tǒng)不斷增強的感知能力，與大數(shù)據(jù)以及機器學(xué)習(xí)領(lǐng)域的進展相結(jié)合，已使得目前的計算系統(tǒng)開始能夠理解人類用戶的意圖和語境?！斑@使得計算機能夠真正幫助人類并代表人類去工作”。以往，移動運營商和互聯(lián)網(wǎng)服務(wù)運營商等擁有著大量的用戶行為習(xí)慣的各種數(shù)據(jù)，在IT產(chǎn)業(yè)鏈中具有舉足輕重的地位。而在大數(shù)據(jù)時代，移動運營商如果不能挖掘出數(shù)據(jù)的價值，可能徹徹底底被管道化和邊緣化。運營商和更懂用戶需求的第三方開發(fā)者互利共贏的模式，已取得一定共識。

2.云計算與大數(shù)據(jù)的關(guān)系

本質(zhì)上講，云計算與大數(shù)據(jù)是靜與動的關(guān)系;如果結(jié)合實際的應(yīng)用，前者強調(diào)的是計算能力，或者看重的存儲能力;但是這樣說，并不意味著兩個概念就如此涇渭分明。大數(shù)據(jù)需要處理大數(shù)據(jù)的能力（數(shù)據(jù)獲取、清潔、轉(zhuǎn)換、統(tǒng)計等能力），其實就是強大的計算能力;另一方面，云計算的動也是相對而言，比如基礎(chǔ)設(shè)施即服務(wù)中的存儲設(shè)備提供的主要是數(shù)據(jù)存儲能力，所以可謂是動中有靜。如果數(shù)據(jù)是財富，那么大數(shù)據(jù)就是寶藏，而云計算就是挖掘和利用寶藏的利器！

從技術(shù)上看，大數(shù)據(jù)與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必須采用分布式計算架構(gòu)。它的特色在于對海量數(shù)據(jù)的挖掘，但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術(shù)。云計算能盛行的原因在于互聯(lián)網(wǎng)領(lǐng)域應(yīng)用系統(tǒng)的構(gòu)建：客戶群體是不確定的，系統(tǒng)規(guī)模不確定、系統(tǒng)投資不固定、業(yè)務(wù)應(yīng)用有很清晰的并行分割特征、數(shù)據(jù)倉庫系統(tǒng)的構(gòu)建、數(shù)據(jù)倉庫規(guī)模可估算、數(shù)據(jù)倉庫的系統(tǒng)投資與業(yè)務(wù)分析的價值和回報相關(guān)、商業(yè)智能應(yīng)用屬于整體應(yīng)用、Saas模式構(gòu)建數(shù)據(jù)倉庫系統(tǒng)。大數(shù)據(jù)管理，分布式文件系統(tǒng);同時SQL支持，以HiveHADOOP為代表的SQL界面支持，在大數(shù)據(jù)技術(shù)上用云計算構(gòu)建下一代數(shù)據(jù)倉庫成為熱門話題。

云計算環(huán)境中基本計算單元的分化。企業(yè)云計算平臺上雖然有多個并行計算的CPU，但并沒有創(chuàng)造出具有超強數(shù)據(jù)處理能力的超級CPU，因此云計算平臺需要有并行運算能力的軟件系統(tǒng)。同時，當(dāng)用戶的數(shù)據(jù)全部放在云端時，雖然存儲容量可以很方便地擴充，但面對大量用戶同時發(fā)起的海量數(shù)據(jù)處理請求，簡單的數(shù)據(jù)處理邏輯已經(jīng)無法滿足需要。國內(nèi)有相當(dāng)多的電商企業(yè)使用過小型機和Oracle，并請了Oracle的專家不停優(yōu)化應(yīng)用系統(tǒng)，但由于數(shù)據(jù)量激增，業(yè)務(wù)開始受到嚴重影響，最典型的例子無疑是京東商城所發(fā)生的大規(guī)模訪問請求宕機事件，因此用戶開始逐漸放棄Oracle或者MS-SQL，并逐漸轉(zhuǎn)向MySQLX86的分布式架構(gòu)。

對系統(tǒng)穩(wěn)定性的需求，在應(yīng)對大規(guī)模訪問的時候有一些系統(tǒng)穩(wěn)定性的追求，來自很多方面，來自網(wǎng)絡(luò)穩(wěn)定性、數(shù)據(jù)庫穩(wěn)定性。對系統(tǒng)而言，需要把握一個大原則，需要消除任何單點故障。不僅是網(wǎng)絡(luò)上單點故障，還有來自呼叫中心里的單點故障，只要有單點故障一定要消除掉。因為對于電商行業(yè)而言，每一秒都是錢，電子商務(wù)業(yè)務(wù)如果宕機一個小時，損失多少是可以算出來的，電商行業(yè)需要非常全面的技術(shù)系統(tǒng)監(jiān)控報警系統(tǒng)。有時候會發(fā)現(xiàn)如果通過技術(shù)系統(tǒng)的監(jiān)控去推導(dǎo)出發(fā)生的問題已經(jīng)來不及了。

3.發(fā)展趨勢：大數(shù)據(jù)逐步“云”化

縱觀歷史，過去的數(shù)據(jù)中心無論應(yīng)用層次還是規(guī)模大小，都僅僅是停留在過去有限的基礎(chǔ)架構(gòu)之上，采用的是傳統(tǒng)精簡指令集計算機和傳統(tǒng)大型機，各個基礎(chǔ)架構(gòu)之間都相互孤立，沒有形成一個統(tǒng)一的有機整體。在過去的數(shù)據(jù)中心里面，各種資源都沒有得到有效充分地利用。而且傳統(tǒng)數(shù)據(jù)中心資源配置和部署大多采用人工方式，沒有相應(yīng)的平臺支持，使大量人力資源耗費在繁重的重復(fù)性工作上，缺少自助服務(wù)和自動部署能力，既耗費時間和成本，又嚴重影響工作效率。而當(dāng)今越來越流行的云計算、虛擬化和云存儲等新IT模式的出現(xiàn)，又再一次說明了過去那種孤立、缺乏有機整合的數(shù)據(jù)中心資源并沒有得到有效利用，并不能滿足當(dāng)前多樣、高效和海量的業(yè)務(wù)應(yīng)用需求。在云計算時代背景下，數(shù)據(jù)中心需要向集中大規(guī)模共享平臺推進，并且，數(shù)據(jù)中心要能實現(xiàn)實時動態(tài)擴容，實現(xiàn)自助和自動部署服務(wù)。

正所謂“梅雖遜雪三分白，雪卻輸梅一段香”，相比之下，私有云會比公有云在數(shù)據(jù)安全性方面有更好的表現(xiàn)，但公有云卻會比私有云有更“強壯的云架構(gòu)”。因此，從數(shù)據(jù)中心演進的角度來看，討論何種“云”并無實質(zhì)意義，而重點應(yīng)該重視的是數(shù)據(jù)中心在未來發(fā)展中所扮演的角色和出現(xiàn)的歷史性變革。

參考文獻

[1]張倩.”大數(shù)據(jù)”技術(shù)再高校檔案信息服務(wù)中的應(yīng)用探索[J].電子技術(shù)與軟件工程.2016（21）：27-31

[2]李洪民.大數(shù)據(jù)在高校的應(yīng)用與探索[J].海外文摘，2018⑶：55-57

作者簡介：李洪民（1964.02）男、漢，山東濱州、濱州醫(yī)學(xué)院網(wǎng)絡(luò)信息中心，高級實驗師、本科、研究方向：計算機網(wǎng)絡(luò)與信息技術(shù)