云計算技術在計算機大數據分析中的應用

夏德宏

(江西水利職業學院,江西 南昌 330013)

0 引言

伴隨信息技術與互聯網技術的發展,技術升級和更新的速度不斷加快,計算機中的數據存儲量也在日益增多。作為人們工作、生產、生活必不可少的設備,計算機對于社會經濟起到了巨大推動作用。由于大數據分析是計算機的一個重要領域,并且云計算技術能夠為大數據分析提供巨大幫助,因此,研究計算機大數據分析中的云計算技術運用具有一定現實意義。

1 當前計算機大數據分析的概況

大數據通常指的是種類多、結構復雜、數量龐大的數據共同組成的集合,能夠基于相應模式應用和處理各種數據,借助數據的復用、交叉、共享、集成產生一系列智慧服務、知識資源等。大數據脫離了原有的數據結構化范疇,原有的結構化數據能夠在數據庫系統中瀏覽和查閱,而大數據中的日志文件、傳感器信息、圖像信息、視頻信息、數字信息為半結構化,部分大數據的字段甚至無法進行檢索。作為一種全新的數據形式,大數據具有多個不同的數據源,有必要采用全新的計算方法與計算技術開展針對性的分析工作。與此同時,在原有的結構化數據中,數據源產生的所有數據都以規定格式出現,而在半結構化大數據中,數據源的格式較為特殊,但其邏輯具有可理解性,這使得大數據不同部分能夠構建一定的聯系。

2 計算機大數據和云計算技術的內在關系

2.1 云計算技術

依托互聯網采用服務形式的計算方案即為云計算。云計算能夠提供各種計算資源,使用者能夠按照自身需求對計算后的資源進行查詢、瀏覽和獲取,不管是虛擬資源還是物理資源,無論是共享資源還是專用資源都包含其中。在云中,所有計算機的工作同時進行,相同計算能夠集合不同應用程序。由于云計算技術無可比擬的優點,如伸縮性強、資源使用效果好、成本低廉等,因此近些年出現了常規計算向云計算不斷發展的趨勢。

從類別來看,云包括混合云、私有云和公共云3種[1]。其中,公共云主要提供給大型組織、大型企業、公眾組織等,其供應由銷售組織來實現。私有云通常在企業內部防火墻的部位,由企業自行管理和使用,屬于企業控制、監督、管理和建立的內部云服務。混合云融合了私有云、公共云,二者的服務能夠同時使用,并且管理責任由使用方、提供方分攤。目前,公共云在研發型工作方面的應用較多,混合云、私有云的應用范圍比公共云更廣。在科學技術高速發展的當今社會,云計算技術能夠將穩定、高質的大數據分析、計算、存儲服務提供給使用者。

2.2 計算機大數據和云計算技術的關系

以技術角度來看,計算機大數據和云計算技術之間存在緊密的聯系。其中,云計算將計算過程作為重點,大數據則將計算對象作為重點。若將數據比作財富,則通過計算機大數據分析后得到的便是寶藏,而利用云計算技術可以獲取寶藏。通常來講,大數據使用一個計算機難以展開處理和分析的工作,需要結合虛擬化化技術、云存儲技術、數據庫、大數據處理技術并通過分布式架構來進行相應計算。客觀來講,云計算技術將絕佳的機遇提供給計算機大數據分析,無論是新興的多媒體資源、傳感器數據、互聯網數據還是以往的數據庫信息,都能根據需求來開展數據分析工作。

云計算應用在處理和分析大數據的過程中,會通過API、數據計算機構來制定解決方案,這些解決方案可結合高級分析、高級搜索、高級算法來使用。與此同時,信息技術領域對于模型使用較多,人們能夠通過科學統計法和海量數據實現高效率的計算機大數據分析。

3 計算機大數據分析中的云計算技術運用

計算機大數據分析中的云計算技術可應用于建立網絡分析平臺、構建數據處理系統、建立圖片處理平臺、大數據精準放置等方面。

3.1 建立網絡分析平臺

近年來,各種互聯網技術、信息技術層出不窮,并隨著時間的推移不斷更新換代,人們依賴這些技術的程度也越來越深,云計算技術便是其中之一[2]。每當網絡用戶進行網頁點擊、網頁瀏覽等操作時,計算機系統都能將該網絡用戶的關鍵數據、關鍵信息記錄下來,網絡分析平臺借助網絡用戶URL的收集實現站點樹的建立,同時按照網絡用戶所產生的行為和做出的操作針對性地與各個行業建立聯系,將計算機大數據分析得出的使用者可能感興趣的數據提供給網絡用戶。

一些網站每時每刻都會有龐大的點擊量,不管是大數據反饋、大數據分析、大數據傳輸還是大數據采集,各個流程都具有獨立的工作分支,基于云計算技術的網絡分析平臺即為將云端數據分析結果提供給網站的一個平臺。與以往的數據分析平臺相比,網絡分析平臺具有多種優勢。首先,網絡分析平臺對計算機配置的要求更低,由于需要處理的數據量十分龐大,原有的CPU、磁盤無法達到大數據分析要求,并且在市場上已有的計算機中能夠達到大數據分析要求的也相對較少,網絡分析平臺可以有效解決這一問題。其次,網絡分析平臺能夠對大數據進行標準化分析與實時查詢。基于云計算技術的網絡分析平臺借助緩存管理、數據查詢等功能開展全面的大數據管理、大數據分析、大數據處理工作,從而讓大數據科學管理得以實現。對于相同網絡平臺處理和分析的數據,無須進行二次加工和轉化處理,因此大數據分析的效率大大提高。

3.2 構建數據處理系統

借助云計算技術,應用、數據能夠向云端進行轉移,使處理數據的系統、設備、機器等減少工作量,從而減少資金投入,讓相關組織、企業的維護成本、運行成本、設備成本有效降低。運用云計算技術能夠幫助計算機構建數據處理模型,把數據流的搭建向云端遷移后,便能在云端建立數據處理公式,建立數據處理模型,構建相應的數據映射網絡。在我國,云計算技術在構建數據處理模型方面已經得到廣泛普及,如校園智慧網系統、政務數據系統等[3]。阿里巴巴集團運用云計算技術建立了飛天云平臺,該平臺是一個政務系統,能夠將良好的物理環境基于大數據處理工作,數據、信息能夠存儲于云端處理器并可隨時進行處理,還可通過大數據平臺展示、分析各種大數據,上述工作都以“云”為基礎來開展,高等院校、政府部門等僅需對校園智慧網系統、政務數據系統直接使用即可。出于對安全處理數據的考慮,數據處理系統具備云盾功能,使用者必須擁有云盾使用權限才可登錄系統,這樣一來,計算機大數據分析與開發即可高效率實現。

3.3 建立圖片處理平臺

計算機大數據分析運用云計算技術后,能夠建立一個圖片存儲平臺,用于收集、存放、處理和分析海量圖片。一些行業企業有大量圖片需求,如圖文影像查詢、管理,且圖片數量龐大,此時便需要運用云計算技術。以往數據保存的工作需要使用存儲設備劃分大數據的類別,再將不同大數據歸入不同的信息系統,根據特定方法和模式在歸檔設備中留存,若使用者有查閱需求,就要搜索系統與歸檔設備,提取所需數據的過程會十分麻煩,若存儲數據量過大,則歸檔設備出現故障后容易出現數據遺失、數據遺漏等風險。

4 結語

總而言之,研究計算機大數據分析中的云計算技術運用具有重要的意義。相關人員應對當前計算機大數據分析的概況有一個全面了解,充分把握計算機大數據和云計算技術的內在關系,能夠通過云計算技術建立網絡分析平臺、構建數據處理系統、建立圖片處理平臺、實現大數據精準放置,從而發揮云計算技術的分析優勢,更好地進行計算機大數據分析,提高數據處理、分析的效率。