試論大規(guī)模數(shù)據(jù)的計(jì)算機(jī)處理技術(shù)

張經(jīng)緯

（中國(guó)航發(fā)哈爾濱東安發(fā)動(dòng)機(jī)有限公司信息檔案中心，黑龍江 哈爾濱150066）

在計(jì)算機(jī)技術(shù)蓬勃發(fā)展的當(dāng)下，各行各業(yè)的發(fā)展都得到了一定程度的促進(jìn)。各個(gè)領(lǐng)域?qū)τ?jì)算機(jī)信息處理技術(shù)的要求也明顯提升。在計(jì)算量應(yīng)用越來越普及的當(dāng)下，網(wǎng)絡(luò)信息及數(shù)據(jù)量的計(jì)算及處理成為困擾各個(gè)行業(yè)的難題，傳統(tǒng)的運(yùn)計(jì)方式已無法滿足時(shí)代的發(fā)展，因此，對(duì)大規(guī)模數(shù)據(jù)計(jì)算機(jī)處理技術(shù)展開探究勢(shì)在必行，希望本文的研究會(huì)對(duì)大規(guī)模數(shù)據(jù)的計(jì)算機(jī)處理技術(shù)的提高起到一定的促進(jìn)作用。

1 大規(guī)模廉價(jià)計(jì)算平臺(tái)

在虛擬化技術(shù)的支撐下，可以建立大規(guī)模的廉價(jià)計(jì)算平臺(tái)，計(jì)算機(jī)的存儲(chǔ)、應(yīng)用程序以及網(wǎng)絡(luò)、計(jì)算等資源都將成為虛擬化實(shí)體。虛擬化技術(shù)可以分別應(yīng)用于計(jì)算平臺(tái)的各個(gè)節(jié)點(diǎn)處，可以實(shí)現(xiàn)對(duì)閑置計(jì)算平臺(tái)的應(yīng)用與組合。采用抽象化的方式對(duì)閑置的計(jì)算資源進(jìn)行整合，建立各自獨(dú)立存在的虛擬服務(wù)器，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)信息的單獨(dú)處理與計(jì)算。這種技術(shù)的應(yīng)用，可以使底層硬件呈現(xiàn)虛擬化的應(yīng)用態(tài)勢(shì)。

虛擬化創(chuàng)建成功后，可以進(jìn)行存儲(chǔ)及計(jì)算等各項(xiàng)資源的發(fā)布，此時(shí)可以選用與之相匹配的虛擬化處理方案，針對(duì)虛擬計(jì)算節(jié)點(diǎn)的資源池展開詳細(xì)部署，進(jìn)而實(shí)現(xiàn)具體的數(shù)據(jù)信息應(yīng)用與管理。大規(guī)模計(jì)算平臺(tái)建立，是基于云計(jì)算環(huán)境進(jìn)而大規(guī)模數(shù)據(jù)信息處理的重要環(huán)節(jié)。首先，應(yīng)針對(duì)數(shù)據(jù)處理過程中可能應(yīng)用到的各項(xiàng)資源進(jìn)行參數(shù)化配置，在部署與應(yīng)用計(jì)算機(jī)節(jié)點(diǎn)資源之前，也要進(jìn)行資源的選擇以及參數(shù)配置。在這個(gè)過程中，用戶可以根據(jù)自己的需求選擇適合的資源。資源提供者可以利用多種操作模式部置底層計(jì)算資源的屬性，進(jìn)而使用戶可以享受到具體的參數(shù)服務(wù)。參數(shù)設(shè)置完成后，應(yīng)在此基礎(chǔ)上進(jìn)行存儲(chǔ)及計(jì)算資源的部署，進(jìn)而進(jìn)行大規(guī)模數(shù)據(jù)的處理，同時(shí)，還應(yīng)對(duì)具體的計(jì)算流程進(jìn)行明確，制定合理的數(shù)據(jù)處理方案。應(yīng)在存儲(chǔ)及計(jì)算資源的配置文件中寫入相應(yīng)的參數(shù)設(shè)置信息，然后分配具體的計(jì)算流程，并在計(jì)算機(jī)的各個(gè)節(jié)點(diǎn)上進(jìn)行相應(yīng)資源的啟動(dòng)，并在管理及部署等計(jì)算節(jié)點(diǎn)處進(jìn)行處理服務(wù)的合理定制。

利用計(jì)算機(jī)進(jìn)行大規(guī)模數(shù)據(jù)處理時(shí)，應(yīng)用的軟件及硬件資源較多，因此，應(yīng)對(duì)軟件及硬件資源的使用情況進(jìn)行相應(yīng)的管理與監(jiān)督。基于網(wǎng)而實(shí)現(xiàn)部署工具與目標(biāo)計(jì)算節(jié)點(diǎn)以及計(jì)算流程的有效連接，進(jìn)而保證大規(guī)模數(shù)據(jù)處理方案的有效執(zhí)行與落實(shí)。此后，基于既定方案，采用代碼進(jìn)行存儲(chǔ)及計(jì)算資源的分配及執(zhí)行。在外部數(shù)據(jù)處理資源管理方案的基礎(chǔ)上，保證所有計(jì)算節(jié)點(diǎn)都可以進(jìn)行大規(guī)模數(shù)據(jù)的部署及執(zhí)行。監(jiān)測(cè)過程結(jié)束后，應(yīng)及時(shí)激活計(jì)算及存儲(chǔ)資源的虛擬化分配，并將整個(gè)計(jì)算流程予以合理的激活與應(yīng)用。啟動(dòng)所部署的各個(gè)計(jì)算節(jié)點(diǎn)，在網(wǎng)絡(luò)的支持下，將數(shù)據(jù)處理命令傳送至各個(gè)計(jì)算節(jié)點(diǎn)，進(jìn)而實(shí)現(xiàn)各個(gè)計(jì)算流程的部署及合理調(diào)配。整個(gè)激活過程都完成以后，在各個(gè)計(jì)算節(jié)點(diǎn)執(zhí)行具體的計(jì)算流程。

2 Map Reduce 技術(shù)的支持

基于云計(jì)算環(huán)境，可以應(yīng)用大規(guī)模廉價(jià)服務(wù)器集群進(jìn)行大規(guī)模數(shù)據(jù)處理，不僅可以采用分布式，還可以采用并行式處理數(shù)據(jù)信息。開發(fā)Map Reduce 技術(shù)時(shí)，首先要定義Map 以及Reduce 兩個(gè)端口，并讀取大規(guī)模數(shù)據(jù)信息，之后在計(jì)算機(jī)集群的作用下，運(yùn)行用戶自行編寫的程序，對(duì)大規(guī)模數(shù)據(jù)集合進(jìn)行合理拆分，將之分化成為多個(gè)不同的數(shù)據(jù)片段，進(jìn)而獲得相應(yīng)的鍵值對(duì)。之后，將數(shù)據(jù)片段分別匹配給各個(gè)Map 任務(wù)，進(jìn)而在所獲取的鍵值的基礎(chǔ)上進(jìn)行相應(yīng)的計(jì)算，得出健值對(duì)集合，并將之傳送至Reduce 當(dāng)中。如果數(shù)據(jù)信息中存在相同的健值，則在相同節(jié)點(diǎn)會(huì)誕生全新的二元組合集合。

Reduce 會(huì)將其中所包含的各個(gè)Reduce 任務(wù)分配給二元集合中的各個(gè)鍵值對(duì)，將集合片段輸入后，進(jìn)行Reduce 函數(shù)的運(yùn)行，進(jìn)而實(shí)現(xiàn)二元組鍵值對(duì)的輸出。該框架會(huì)在集群的節(jié)點(diǎn)上進(jìn)行Reduce 任務(wù)的分發(fā)，在Reduce 任務(wù)的分發(fā)過程中進(jìn)行中間結(jié)果數(shù)據(jù)片段的分配及處理。在各個(gè)階段運(yùn)行過程中，除了負(fù)載均衡機(jī)制以外，容錯(cuò)機(jī)制也會(huì)監(jiān)測(cè)數(shù)據(jù)信息的處理與執(zhí)行情況。如果出現(xiàn)錯(cuò)誤任務(wù)，會(huì)及時(shí)將之分配至其他計(jì)算平臺(tái)節(jié)點(diǎn)。一旦數(shù)據(jù)處理任務(wù)未能成功完成，將會(huì)自動(dòng)進(jìn)入重新計(jì)算環(huán)節(jié)。大規(guī)模數(shù)據(jù)處理時(shí)，Map 處于高度并行操作狀態(tài)，這有利于提高大規(guī)模數(shù)據(jù)處理的高效性。在實(shí)際的大規(guī)模數(shù)據(jù)處理過程中，其所呈現(xiàn)出的優(yōu)勢(shì)體現(xiàn)于多個(gè)層面。

在云計(jì)算環(huán)境下，規(guī)模數(shù)據(jù)信息可以達(dá)到TB、GB 等級(jí)別，可以實(shí)現(xiàn)HDFS 在Hadoop 框架中對(duì)大規(guī)模數(shù)據(jù)的有效支持，不僅可以為其提供高數(shù)據(jù)寬帶，還可以實(shí)現(xiàn)大規(guī)模廉價(jià)計(jì)算集群中節(jié)點(diǎn)處的有效擴(kuò)展。云計(jì)算環(huán)境，可以滿足大規(guī)模數(shù)據(jù)處理的要求，進(jìn)而得出良好的處理與計(jì)算效果。

3 基于云計(jì)算的大規(guī)模數(shù)據(jù)處理框架模型

在大規(guī)模數(shù)據(jù)及計(jì)算資源中，應(yīng)引入云計(jì)算以及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，在分布管理以及集中管理的廉價(jià)計(jì)算機(jī)集群的基礎(chǔ)上，建立具有較高性能的計(jì)算平臺(tái)，實(shí)現(xiàn)大規(guī)模數(shù)據(jù)處理框架模型的建立，從而使操作更加簡(jiǎn)便、性價(jià)比更高，同時(shí)其還具有可擴(kuò)展性強(qiáng)、動(dòng)態(tài)性優(yōu)勢(shì)的多重特點(diǎn)。框架模型的結(jié)構(gòu)主要有兩個(gè)級(jí)別，第一級(jí)是虛擬資源體系- 大規(guī)模廉價(jià)計(jì)算機(jī)集群，第二級(jí)則是大規(guī)模數(shù)據(jù)處理分析的處理監(jiān)測(cè)管理體系- 數(shù)據(jù)處理服務(wù)請(qǐng)求- 基礎(chǔ)架構(gòu)。前者運(yùn)用限制的計(jì)算機(jī)資源實(shí)現(xiàn)虛擬資源層以及物理設(shè)備的有效構(gòu)建，進(jìn)而實(shí)現(xiàn)底層物力資源的形成。此后，屬于同一類型的物力資源會(huì)采用虛擬化處理的方式，建立或接近于結(jié)構(gòu)相同的數(shù)據(jù)處理資源池。對(duì)于第二級(jí)結(jié)構(gòu)來說，軟件體系的作用至關(guān)重要。在第一級(jí)建立的虛擬資源體系以及大規(guī)模廉價(jià)計(jì)算機(jī)集群的基礎(chǔ)上，不僅實(shí)現(xiàn)了虛擬化回收功能，還具有負(fù)載均衡、容錯(cuò)處理等功能，同時(shí)還實(shí)現(xiàn)了配置功能，以此作為大規(guī)模數(shù)據(jù)處理的服務(wù)基礎(chǔ)。在虛擬資源的統(tǒng)一管理及調(diào)度的基礎(chǔ)上，運(yùn)用Hadoop 技術(shù)編寫數(shù)據(jù)處理接口。這一技術(shù)的應(yīng)用可以為多個(gè)學(xué)科及領(lǐng)域提供高效的大規(guī)模數(shù)據(jù)處理服務(wù)，進(jìn)而為用戶提供良好的計(jì)算平臺(tái)軟件支持，可以在各個(gè)虛擬計(jì)算節(jié)點(diǎn)中實(shí)現(xiàn)分布式并行數(shù)據(jù)的處理與計(jì)算任務(wù)，然后，以云服務(wù)的形式將最終的計(jì)算結(jié)果發(fā)送給終端用戶。在此框架的設(shè)計(jì)與應(yīng)用過程中，應(yīng)用了Hadoop 分布式開源計(jì)算機(jī)框架，其中的HDFS 分布式文件系統(tǒng)發(fā)揮了相應(yīng)的作用，同時(shí)也實(shí)現(xiàn)了Map Reduce 的有效應(yīng)用，進(jìn)而可以對(duì)大規(guī)模數(shù)據(jù)進(jìn)行相應(yīng)的處理與協(xié)調(diào)。

首先，應(yīng)構(gòu)建大規(guī)模計(jì)算機(jī)集群運(yùn)行環(huán)境。使計(jì)算節(jié)點(diǎn)映射放置于Map Reduce 中的任務(wù)，并劃分大規(guī)模數(shù)據(jù)，將之分解成多個(gè)不同的模塊，進(jìn)而統(tǒng)計(jì)數(shù)據(jù)塊的具體數(shù)據(jù)及規(guī)格等參數(shù)信息。在HDFS 功能的支撐下，可以實(shí)現(xiàn)數(shù)據(jù)塊副塊在各個(gè)計(jì)算節(jié)點(diǎn)的智能放置，并且對(duì)各個(gè)節(jié)點(diǎn)進(jìn)行角色設(shè)計(jì)。其次，將大規(guī)模數(shù)據(jù)載入到由Hadoop 提供的分布式文件系統(tǒng)，也就是HDFS當(dāng)中，利用Hadoop 將Map Reduce 中的數(shù)據(jù)處理任務(wù)轉(zhuǎn)移至各個(gè)計(jì)算節(jié)點(diǎn)。大規(guī)模數(shù)據(jù)處理時(shí)，應(yīng)用了Reduce 以及Map 函數(shù)，同時(shí)在分布化處理時(shí)還應(yīng)用了與之存在一定關(guān)聯(lián)的程序。應(yīng)用Hadoop 時(shí)，采用API 為Map Reduce 的有效運(yùn)行提供了一定的支持。最后，還要將大規(guī)模數(shù)據(jù)處理的結(jié)果反饋給用戶，通過相應(yīng)的用戶驗(yàn)證接口以及云服務(wù)平臺(tái)將大規(guī)模數(shù)據(jù)處理結(jié)果傳送至終端用戶，以滿足用戶的需求。

信息化時(shí)代的來臨，網(wǎng)絡(luò)數(shù)據(jù)及信息量種類及數(shù)量不斷提升，傳統(tǒng)的數(shù)據(jù)處理方式難以取得良好的數(shù)據(jù)任務(wù)處理效果。因此，基于云計(jì)算環(huán)境，進(jìn)行大規(guī)模數(shù)據(jù)的計(jì)算機(jī)處理處理技術(shù)的開發(fā)與應(yīng)用，可以滿足各個(gè)領(lǐng)域?qū)Υ笠?guī)模數(shù)據(jù)處理的需求，進(jìn)而提高工作效率，改善工作效果。