李壽清
(四川工商學院,四川 成都 611745)
云計算技術在大數據系統中既可以提高數據的運行效率,又可以減少運作與維護的支出,在未來必定會成為兼具廣泛性與基礎性的一種數據處理技術,同時能夠有效解決廣大用戶在海量數據運算處理和資源儲存上的問題,不斷提升互聯網及平臺的服務水平?,F代社會已經進入信息化發展的新時代,在研究維度和商業維度,數據均起到了關鍵作用。在科技的快速發展下,現代化儲存技術持續興起,大眾需要從海量的復雜化數據中挖掘所需的信息。因此,必須對大數據技術與云計算技術展開進一步的研究,以此強化甄別數據的能力。
大數據本身并不能產生價值,只有擁有了大規模的數據處理能力,并對其進行計算、挖掘和分析,將數據提煉成有用的信息,才能創造價值。云計算是一種基于互聯網的計算方式,是并行計算、網絡存儲、虛擬化等傳統計算機和網絡技術發展融合的產物。云計算技術能夠通過網絡以便捷的、所需的方式進入可配置的計算資源共享池(包括網絡、服務器、存儲、應用和服務等),并提高其可用性。云計算技術可以有效整合網絡資源,搭建處理大數據的計算平臺,高效、低成本地對大數據進行存儲與挖掘。大數據是生產資料,云計算技術是加工大數據的手段和平臺,兩者密不可分。本質上,智慧城市建設是從海量數據中挖掘城市運行所需的價值信息,并及時對各類業務場景給予“智慧化”的響應。智慧城市作為一個由多應用、多行業、復雜系統組成的綜合體,要從根本上支撐智慧城市龐大系統的高效、安全運行,必須考慮基于云計算的網絡架構?;谫Y源共享池的云計算能夠有效整合計算資源,處理更大規模的數據,并且能夠對數據進行深度挖掘,從而為政府決策、企業發展以及公眾服務提供更強大的支撐。因此,云計算技術和大數據已經成為智慧城市建設的重要基石[1-3]。
1.2.1 大數據的發展歷程
在牛津英語辭典記載中,“大數據”這一專業術語在1941 被首次使用。它的前身Hadoop 最初由雅虎公司創建,創建的目的是解決網頁搜索。此后,由于Hadoop 強大的技術含量,被Apache Software Foundation 公司引進用于開源應用程序。網絡愛好者通過開源應用可以修改并分享一些大數據。Hadoop自身不是一個獨立的產品,是由許多軟件共同組成的生態系統的一部分。這些軟件的出現實現了網絡數據信息的全面功能化,使得人們通過軟件對數據信息進行靈活和詳細的分析與篩選。
用來儲存大量數據的Hadoop 分布式文件系統(Hadoop Distributed File System,HDFS)和MapReduce技術的高性能并行數據處理系統共同組成了Hadoop的構架。Hadoop 的構架、分布式文件系統以及分布式程序設計是大數據技術的核心程序。計算機運用這些技術可以將一個復雜化的數據結構進行快速、可靠的分析并基礎化。2015 年,美國正式發布了關于促進大數據發展行動的綱要。隨著計算機科研人員的不斷精心設計和多方協調,大數據技術不斷走向成熟,逐漸形成了安全性、高效性、平穩性強且以人為本的服務大眾的數據信息項目。2016 年,大數據在技術信息含量和信息處理技術上給予了充分的肯定,我國計算機數據研究工作者對大數據進行了進一步的修改和研發,逐漸將大數據應用在工業、制作業、軍事以及醫療等各項產業,建立了跨行業計算機大數據網絡[4-6]。
1.2.2 大數據的定義
大數據一般指的是在一定時限內不能利用常規工具采集、處理、管理其相關內容的數據集合。大數據通常包含以下特點:一是具有大量的數據,超過PB 級;二是具有豐富的數據類型,如音頻、視頻、圖片以及文本等;三是具有很快的處理速度,應遵照一秒定律,可在不同類型數據中快速取得相關信息數據并進行歸納處理;四是具有很低的價值密度,在大量的數據中,有用的數據所占比例較少。
從技術視域來看,云計算與大數據息息相關。一臺單獨的計算機難以有效處理大數據,必須要利用分布式結構處理海量的數據。由此可見,若想實現數據在云計算中的應用,云計算需要進行實時分布式處理。大數據計算模式在云計算技術下出現了很大的改變,能夠通過網絡為不同的用戶提供動態化、虛擬化的數據資源。云計算資源基于用戶需要進行數據處理,幫助用戶完成對網絡資源的有效瀏覽,大幅提高網絡資源的應用率。
隨著我國邁入“互聯網+”時代,數據支持已成為智慧城市建設的基礎。在大量數據信息條件下,大數據的實用性、真實性、安全隱私等相關因素成為影響城市發展的重要瓶頸。社會大眾在采集并應用信息數據時,不局限于按照個人的喜好進行推動。在不斷的發展中,大數據已從個人、企業上升到社會層面。有效提高整體產業的專業能力與綜合素質是大數據高速發展進步的基礎條件。此外,大數據行業中的專業人才不足已成為影響企業發展的重要問題。大數據人才不僅涉及計算機人才,而且涉及數學、統計學、理化等復合型人才。人才的斷檔不能有效彌補,未來大數據的發展將面臨嚴峻的挑戰,影響智慧城市的建設。
隨著網絡技術的不斷進步,雖然網速明顯提升,但也使計算機網絡安全面臨著越來越嚴峻的挑戰。首先,網絡攻擊種類不斷增多,攻擊面越來越廣。隨著黑客技術的不斷進步,網絡攻擊手段不斷升級,如釣魚攻擊、勒索軟件攻擊、分布式拒絕服務(Distributed Denial of Service,DDoS)攻擊、零日漏洞利用攻擊以及人工智能黑客攻擊等,給網絡安全帶來了巨大的挑戰。隨著物聯網、云計算、大數據等技術的發展,網絡連接的設備數量和種類不斷增加,網絡攻擊面也越來越廣。其次,病毒傳播速度更快。由于技術的進步,數據傳輸速度更快,使網絡中的病毒和惡意軟件也能夠更快地傳播和擴散,給用戶的信息安全和網絡安全帶來更大的威脅。最后,網絡安全意識不足。使用者缺乏網絡安全知識,容易受到網絡攻擊,如通過弱密碼登錄、接收垃圾郵件等方式,使網絡攻擊者能夠輕松獲取用戶的個人信息,降低了網絡安全系數。
大數據分析以及云計算技術的充分融合促進了個性化營銷等行業的發展。新時代,人們對于信息資源越來越重視。云計算技術在營銷領域的應用,能夠為客戶關系管理和維護帶來較大的便捷性。尤其是近年來,各種電商平臺的出現,可以實時掌握消費者的消費意向,將購買動機轉化為購買行為。系統會根據消費者的信息進行綜合分析評估,自動記錄,保留消費者的瀏覽足跡,包括瀏覽點擊量、頁面信息、時間長短等內容,綜合分析用戶的購買行為以及現狀,根據相應的內容為消費者預測信息,提供相應的推送產品以及內容。在營銷領域運用過程中,雖然客戶會察覺到App 推送自己搜索過的產品,但不會泄露用戶的基本信息,還能為用戶推送感興趣的產品,實現客戶資源的有效應用。系統平臺還會針對不同類型的客戶消費意向以及客戶數據采用針對性的統計分析構建消費數據庫,充分挖掘有價值、有規律的信息,為商家營銷提供決策支持。
計算機用戶比較重視數據資源傳輸過程的安全性,充分利用云計算網絡技術對安全模式進行創新。大數據技術全面采集各種信息資源,能夠對資源進行儲存管理。信息化的資源調度過程能夠保證資源分配和儲存的合理性。隨著時代的發展,借助大數據分析以及計算機網絡技術,能夠監控數據傳輸的整個全過程,保證數據傳輸的通道安全性,建立資源優化技術體系,對虛擬技術進行數據處理,合理劃分虛擬資源,完善計算機應用以及技術服務體系,杜絕發生網絡安全問題。
一方面,采用云計算技術能夠實現政務服務的智能化和移動化管理,有利于促進“掌上政務”創新,簡化政務服務流程,打破政務服務各個業務系統之間的數據壁壘,將政務服務結為“一張網”,整合傳統的業務辦理窗口功能,統一由服務臺受理,之后進行分類,下發給對接部門,簡化業務辦理流程,盡可能實現政務服務的一次性辦理、全網通辦、100%網上申報,提高政務服務事項的審批速度和服務質量,構建和完善居民自主自助服務體系,通過多終端、多渠道隨時為廣大人民群眾提供自動化的服務咨詢、業務辦理、投訴申報等政務服務。另一方面,采用云計算技術能夠使政府各個部門之間實現政務服務信息資源的實時共享,有利于提高政府數據開發利用效率和辦事效率,促進政府和廣大人民群眾更好地進行互動。廣大人民群眾也能更好地輔助和監督政府開展社會管理,解決實質性問題。
在大數據時代,海量數據間存在某種聯系,與用戶和企業的實際需要緊密相關,但并非全部都有實用價值。因此,對這些關鍵信息進行準確過濾和存儲,對于用戶和企業都具有意義。計算機工作人員根據時代特征與企業的實際需要,將大量的數據進行有機整合,并通過智能技術篩選出具有較高應用價值的數據供用戶或企業使用,從而更好地利用這些數據降低垃圾信息的數量。在加強計算機數據存儲和篩選方面,必須大力發展數據挖掘和云計算技術。數據挖掘技術利用現代的數據處理技術,對海量、復雜的數據進行進一步處理,充分挖掘數據之間的內在聯系,然后利用計算機技術將數據靈活地運用到用戶和公司。在數據挖掘技術的支撐下,計算機資料的存儲和傳送更加有效,符合員工和公司的實際需要。云計算不但可以處理資料,還可以存儲計算機資料,對于資料的篩選有很大的幫助。
隨著信息技術的飛速發展,計算機數據存儲和傳輸技術的發展離不開計算機硬件性能與質量的提高。計算機的硬件故障通常表現為早期故障、中期故障以及晚期故障。因此,計算機專業人員要強化計算機硬件性能和質量建設,可以從2 個方面著手。一是計算機網絡的優化。當前計算機軟件和硬件質量與國際上的應用標準存在差距,對計算機技術的發展非常不利。為了使計算機網絡達到最佳化,必須大力發展計算機網絡,提高計算機硬件性能和質量。二是要加強計算機軟件和硬件質量建設的協同合作。在大數據時代,資訊存儲及傳輸技術的發展要求各方面共同努力,大力發展資訊處理技術。目前,計算機工業的發展特點及時代的變化讓很多企業承擔著資訊科技的研發工作,為大數據時代計算機數據存儲與傳輸提供了必要的支持與保障。
當前科學技術迅速發展,大數據技術以及互聯網技術得到了廣泛應用,給人們的工作生活帶來了較大的便利。大數據以及云計算屬于新興的領域,必須要完善相應的技術,明確安全風險處理,推動我國社會各項工作的發展創新。企業在進行技術應用時,要深化數據分析技術和云計算網絡技術的優勢,消除大數據分析和計算網絡技術帶來的風險,加快專業人才的培養,更好地發揮其價值,提高數據處理效率及指標,滿足企業的新時代發展要求。