基于計(jì)算機(jī)集群技術(shù)的經(jīng)濟(jì)數(shù)據(jù)處理系統(tǒng)構(gòu)建

摘要：集群技術(shù)是當(dāng)下一種嶄新的技術(shù)，具有低成本、高性能和良好的擴(kuò)展性，它可以幫助人們在付出較低成本的情況下獲得可靠的相對很高的收益，集群系統(tǒng)中的核心技術(shù)是主要的任務(wù)調(diào)度。目前，集群系統(tǒng)成為構(gòu)建該性能計(jì)算機(jī)系統(tǒng)的主流方式，計(jì)算機(jī)集群系統(tǒng)是相互連接的幾個(gè)或多個(gè)獨(dú)立計(jì)算機(jī)的集臺(tái)。與此同時(shí)，我國的國民經(jīng)濟(jì)管理越來越依賴于數(shù)據(jù)的整理加工，因此如何更好地利用計(jì)算機(jī)集群技術(shù)處理經(jīng)濟(jì)數(shù)據(jù)，使其更加準(zhǔn)確且具有時(shí)效性，更好地適應(yīng)經(jīng)濟(jì)發(fā)展的需要，是我們急需解決的問題，本文在計(jì)算機(jī)集群技術(shù)的基礎(chǔ)之上著重研究它在經(jīng)濟(jì)數(shù)據(jù)處理系統(tǒng)方面的應(yīng)用和運(yùn)行方式。

關(guān)鍵詞：集群；并行計(jì)算；數(shù)據(jù)處理；統(tǒng)計(jì)信息系統(tǒng)

伴隨著經(jīng)濟(jì)社會(huì)的迅猛發(fā)展，人們對信息的需求和汲取日益增多，單一的統(tǒng)計(jì)數(shù)據(jù)處理無法滿足人們的需求，有必要將單一的統(tǒng)計(jì)數(shù)據(jù)處理發(fā)展為經(jīng)濟(jì)數(shù)據(jù)處理方向。對于經(jīng)濟(jì)數(shù)據(jù)處理系統(tǒng)構(gòu)建方面而言，在利用計(jì)算機(jī)集群技術(shù)基礎(chǔ)上，依據(jù)當(dāng)下社會(huì)和大眾的需要以及經(jīng)濟(jì)發(fā)展過程中出現(xiàn)的問題，依靠大量的準(zhǔn)確可靠的實(shí)踐數(shù)據(jù)，對經(jīng)濟(jì)管理方面的問題進(jìn)行理論模擬和政策仿真。因此，基于計(jì)算機(jī)集群技術(shù)的經(jīng)濟(jì)數(shù)據(jù)處理系統(tǒng)構(gòu)建能夠?yàn)榻?jīng)濟(jì)社會(huì)提供有價(jià)值的參考。

1.計(jì)算機(jī)集群的概念

集群技術(shù)是指一組相互獨(dú)立的計(jì)算機(jī)，在高速通信網(wǎng)絡(luò)的大背景下，組成一個(gè)完整的計(jì)算機(jī)系統(tǒng)，每個(gè)集群中的每個(gè)計(jì)算機(jī)都是運(yùn)行自己所屬程序進(jìn)程的一個(gè)獨(dú)立的服務(wù)器。目前集群系統(tǒng)大多采用的是心跳機(jī)制，通過對健康狀況的全稱監(jiān)測，有效地避開或替換故障節(jié)點(diǎn)，在故障得以修復(fù)之后再將其自動(dòng)加入集群系統(tǒng)之中，值得注意的是，整個(gè)切入和切除的過程都在幾秒鐘進(jìn)行完畢，并不影響整體運(yùn)行。在集群中，每一個(gè)提供服務(wù)的計(jì)算機(jī)都可以被稱為一個(gè)節(jié)點(diǎn)，當(dāng)一個(gè)節(jié)點(diǎn)不能使用時(shí)，集群系統(tǒng)也會(huì)自動(dòng)完成。通常來說，兩個(gè)節(jié)點(diǎn)的集群的兩個(gè)服務(wù)器都處在活動(dòng)狀態(tài)才是理想效果，如果其中一個(gè)節(jié)點(diǎn)出現(xiàn)故障不能使用，應(yīng)用程度就會(huì)自動(dòng)轉(zhuǎn)移到另一個(gè)節(jié)點(diǎn)上，這樣一來，原本屬于兩個(gè)節(jié)點(diǎn)的工作如今要靠一個(gè)節(jié)點(diǎn)來完成，解決這種問題要做出的解決方案是將另一個(gè)節(jié)點(diǎn)作為備用狀態(tài)，當(dāng)活動(dòng)節(jié)點(diǎn)出現(xiàn)狀況時(shí)，備用節(jié)點(diǎn)才開始工作，這種方案雖然可行，但是需要一定的經(jīng)濟(jì)投入。因此在集群配置時(shí)，要充分提高可用性和可縮放性。

2.計(jì)算機(jī)集群的特點(diǎn)

集群系統(tǒng)從結(jié)構(gòu)上可以分成開放式集群和封閉式集群系統(tǒng)兩種，事實(shí)上，最常采用的是可用性技術(shù)基礎(chǔ)之上的科學(xué)集群，這種科學(xué)的集群系統(tǒng)使用多個(gè)節(jié)點(diǎn)提供系統(tǒng)的冗余和服務(wù)，并且能夠相互協(xié)調(diào)工作，對于用戶而言，集群永遠(yuǎn)不會(huì)停止操作，這對高性能的海量經(jīng)濟(jì)數(shù)據(jù)處理系統(tǒng)構(gòu)建是很有必要的。

計(jì)算機(jī)集群負(fù)載均衡，通過在多個(gè)節(jié)點(diǎn)上實(shí)現(xiàn)負(fù)載均衡，極大地發(fā)揮了個(gè)節(jié)點(diǎn)的運(yùn)行速度和效率。很多企業(yè)對集群的要求很高，更注重計(jì)算機(jī)集群的使用價(jià)值，負(fù)載均衡這個(gè)特點(diǎn)使計(jì)算機(jī)集群中的各個(gè)節(jié)點(diǎn)平攤?cè)蝿?wù)，在為大量用戶處理問題時(shí)，這種特點(diǎn)就顯現(xiàn)出了優(yōu)勢，比如說對網(wǎng)絡(luò)流量的處理，當(dāng)網(wǎng)絡(luò)服務(wù)程序面臨高入網(wǎng)流量，導(dǎo)致服務(wù)器無法迅速處理時(shí)，網(wǎng)絡(luò)流量就會(huì)向系統(tǒng)中其他節(jié)點(diǎn)發(fā)送運(yùn)行的網(wǎng)絡(luò)服務(wù)程序。和科學(xué)的計(jì)算集群相比，負(fù)載均衡集群缺少跨節(jié)點(diǎn)運(yùn)行的程序，普遍情況是每個(gè)節(jié)點(diǎn)單獨(dú)行使獨(dú)立的程序和任務(wù)，所以節(jié)點(diǎn)與節(jié)點(diǎn)之間的通信和交流要通過中央負(fù)載均衡服務(wù)器。

計(jì)算機(jī)集群的特點(diǎn)還體現(xiàn)在高可用性方面，當(dāng)集群中一個(gè)系統(tǒng)發(fā)生故障時(shí)，相關(guān)軟件迅速做出反應(yīng)，將由其他節(jié)點(diǎn)代替它，次節(jié)點(diǎn)往往是主節(jié)點(diǎn)的鏡像。由于集群使得服務(wù)器的運(yùn)行速度盡可能加快，所以集群可以再多臺(tái)機(jī)器上運(yùn)行冗余的節(jié)點(diǎn)，來相互跟蹤。

3.經(jīng)濟(jì)數(shù)據(jù)處理的意義

經(jīng)濟(jì)數(shù)據(jù)處理是把經(jīng)濟(jì)數(shù)據(jù)轉(zhuǎn)換成便于觀察分析、傳送或進(jìn)一步處理的形式，從大量的原始數(shù)據(jù)中抽取、推導(dǎo)出對人們又價(jià)值的信息以作為行動(dòng)和決策的依據(jù)，科學(xué)地保存和管理已經(jīng)處理過的大量數(shù)據(jù)，以便于人們能方便而充分地利用這些寶貴的信息資源。經(jīng)濟(jì)數(shù)據(jù)處理的意義不僅體現(xiàn)在經(jīng)濟(jì)發(fā)展上，對整個(gè)社會(huì)的綜合性進(jìn)步也有重大影響。

4.基于計(jì)算機(jī)集群技術(shù)的經(jīng)濟(jì)數(shù)據(jù)處理

如何用計(jì)算機(jī)集群技術(shù)處理經(jīng)濟(jì)數(shù)據(jù)，從以下方面著手：

（1）經(jīng)濟(jì)數(shù)據(jù)庫資源的應(yīng)用。經(jīng)濟(jì)類數(shù)據(jù)發(fā)展多年，已從宏觀經(jīng)濟(jì)發(fā)展到微觀經(jīng)濟(jì)，從區(qū)域經(jīng)濟(jì)到國際經(jīng)濟(jì)，甚至從行業(yè)到企業(yè)，大量的經(jīng)濟(jì)類數(shù)據(jù)都可以作為科學(xué)研究的基礎(chǔ)，在實(shí)行具體的系統(tǒng)構(gòu)建時(shí)，用戶需要將想要計(jì)算的作業(yè)上傳到集群的服務(wù)器上，運(yùn)行并啟動(dòng)相應(yīng)程序，系統(tǒng)中的控制節(jié)點(diǎn)要負(fù)責(zé)作業(yè)分配計(jì)算，控制節(jié)點(diǎn)往往是通過監(jiān)視狀態(tài)來監(jiān)測各節(jié)點(diǎn)的運(yùn)行狀態(tài)。另外，在計(jì)算機(jī)集群上，各經(jīng)濟(jì)類數(shù)據(jù)之間的有機(jī)聯(lián)系是通過查詢、識(shí)別、比較等有效手段表現(xiàn)出來的。

（2）系統(tǒng)功能模塊。用計(jì)算機(jī)集群技術(shù)處理經(jīng)濟(jì)數(shù)據(jù)要以核心數(shù)據(jù)庫為基礎(chǔ)，向用戶提供遠(yuǎn)程數(shù)據(jù)檢測服務(wù)，在這類服務(wù)之下，用戶可通過相關(guān)條件，實(shí)現(xiàn)真正意義上的智能查詢。在模型與仿真這個(gè)版塊，收集整理現(xiàn)有的經(jīng)濟(jì)數(shù)據(jù)理論，比如管理、財(cái)務(wù)、金融等，以現(xiàn)有數(shù)據(jù)理論和實(shí)踐為信息主要來源，在計(jì)算機(jī)集群基礎(chǔ)之上實(shí)現(xiàn)有效應(yīng)用和即時(shí)維護(hù)，也可在原有條件下進(jìn)行技術(shù)改革和創(chuàng)新。在具體操作過程中可能會(huì)出現(xiàn)運(yùn)行失敗的情況，這要等到失敗的服務(wù)器重新恢復(fù)運(yùn)轉(zhuǎn)之后，在進(jìn)行網(wǎng)絡(luò)交換信息，實(shí)現(xiàn)經(jīng)濟(jì)數(shù)據(jù)處理。

（3）數(shù)字化技術(shù)。現(xiàn)如今，“數(shù)字社會(huì)”“數(shù)字經(jīng)濟(jì)”這類詞充斥了人們的日常生活，這說明作為工具學(xué)科的數(shù)字科學(xué)正在發(fā)揮巨大價(jià)值和潛能，在經(jīng)濟(jì)數(shù)據(jù)處理方面，更是要利用好這個(gè)平臺(tái)，與此同時(shí)，計(jì)算機(jī)集群發(fā)展的基礎(chǔ)是具有完善的標(biāo)準(zhǔn)體系，而經(jīng)濟(jì)數(shù)據(jù)處理的全過程都是建立在統(tǒng)一的標(biāo)準(zhǔn)之上，計(jì)算機(jī)集群技術(shù)發(fā)展的總趨勢勢必帶動(dòng)經(jīng)濟(jì)數(shù)據(jù)處理系統(tǒng)的不斷前進(jìn)，而經(jīng)濟(jì)數(shù)據(jù)處理系統(tǒng)的構(gòu)建與升級(jí)也將反作用與計(jì)算機(jī)集群技術(shù)。實(shí)現(xiàn)這種全方位電子化數(shù)字化的戰(zhàn)略目標(biāo)，也就預(yù)示著成果中技術(shù)含量會(huì)很高，經(jīng)濟(jì)數(shù)據(jù)處理工作全部在網(wǎng)絡(luò)環(huán)境下運(yùn)行，也就實(shí)現(xiàn)了相關(guān)技術(shù)的跨越式發(fā)展，同時(shí)，成果的時(shí)效性也會(huì)數(shù)倍提高。在計(jì)算機(jī)集群的幫助下，經(jīng)濟(jì)數(shù)據(jù)處理從無序轉(zhuǎn)向有序，改變了以前沒有科學(xué)規(guī)章制度和精確運(yùn)算的情況，既實(shí)現(xiàn)了資源共享，又依法保守了商業(yè)秘密或政府機(jī)密，有關(guān)資料管理業(yè)隨之走向安全化、制度化。這種堪稱為電子戰(zhàn)略化目標(biāo)的實(shí)現(xiàn)，必然會(huì)極大地促進(jìn)政府管理模式和統(tǒng)計(jì)模式制度方法的有效變革。

5.集群技術(shù)與經(jīng)濟(jì)數(shù)據(jù)處理的發(fā)展與前瞻

總的來看，經(jīng)濟(jì)數(shù)據(jù)處理之下的集群技術(shù)的發(fā)展趨勢將是高可用、不斷拓展和高性能，其中一個(gè)必然方向是計(jì)算機(jī)集群中各個(gè)節(jié)點(diǎn)共享內(nèi)存、硬盤、CPU等重要的子系統(tǒng)。撇開一般的優(yōu)勢，但從互聯(lián)網(wǎng)中心服務(wù)器的變化來分析，便可以清楚地發(fā)現(xiàn)集群結(jié)構(gòu)是中心服務(wù)器的發(fā)展趨勢。

經(jīng)濟(jì)高速發(fā)展的今天，人們對其數(shù)據(jù)的處理要求和需要也日趨強(qiáng)烈，基于計(jì)算機(jī)集群技術(shù)之上的經(jīng)濟(jì)數(shù)據(jù)處理系統(tǒng)為我國統(tǒng)計(jì)分析工具的技術(shù)革新開創(chuàng)了嶄新的局面和較為可觀的發(fā)展前景，使得技術(shù)人員很快過渡到網(wǎng)絡(luò)計(jì)算當(dāng)中，及時(shí)有效地完成吞吐量較大的科學(xué)計(jì)算和商業(yè)數(shù)據(jù)，使得經(jīng)濟(jì)數(shù)據(jù)得到更好的管理和控制，從而全方位助推國民經(jīng)濟(jì)進(jìn)步。

小結(jié)

以經(jīng)濟(jì)發(fā)展為基礎(chǔ)的現(xiàn)代化趨勢，強(qiáng)烈要求國家和企業(yè)充分重視到經(jīng)濟(jì)數(shù)據(jù)的處理系統(tǒng)，而經(jīng)濟(jì)數(shù)據(jù)龐大又很繁雜，并非單機(jī)就能解決，集群技術(shù)是一種尖端技術(shù)，目的是為了解決單機(jī)運(yùn)算能力不足這個(gè)問題，為運(yùn)算和數(shù)據(jù)統(tǒng)計(jì)提供了可靠性，降低整體方案的運(yùn)算成本，獲得規(guī)模可擴(kuò)展能力，在多元化數(shù)據(jù)信息系統(tǒng)的處理方面，與傳統(tǒng)的并行處理系統(tǒng)相比，集群系統(tǒng)有一定的優(yōu)勢，集群的風(fēng)險(xiǎn)投資小并且可以繼承現(xiàn)有軟件和硬件資源，這一點(diǎn)就大大增加了經(jīng)濟(jì)效益。利用計(jì)算機(jī)集群強(qiáng)大運(yùn)算功能和數(shù)據(jù)庫的大量儲(chǔ)存信息的能力，輔之以統(tǒng)計(jì)專業(yè)軟件和多媒體技術(shù)，這就使得經(jīng)濟(jì)數(shù)據(jù)處理形式不只停留在表面上，更有實(shí)際意義，在經(jīng)濟(jì)管理方面，可以做企業(yè)經(jīng)營管理的輔助工具，讓企業(yè)生產(chǎn)經(jīng)營管理與國際先進(jìn)水平接軌，為相關(guān)的科研機(jī)構(gòu)提供有效理論和實(shí)踐數(shù)據(jù)，為政府提供科學(xué)的決策支撐，有助于經(jīng)濟(jì)社會(huì)有效運(yùn)轉(zhuǎn)。

參考文獻(xiàn)：

[1]劉信安，李佳.基于PC集群的MPICH大規(guī)模并行計(jì)算實(shí)現(xiàn)與應(yīng)用研究[J].計(jì)算機(jī)與應(yīng)用化學(xué)，2003（5）

[2]安立奎，錢偉懿，韓麗艷.集群系統(tǒng)中基于MPI的關(guān)聯(lián)規(guī)則快速挖掘算法[J].三峽大學(xué)學(xué)報(bào)（自然科學(xué)版），2010（1）