大數據應用背景下的超級計算機設計

李欣朔

摘 要 在大數據應用時代背景當中，超級計算機迎來了前所未有的挑戰，這些挑戰主要體現在數據的計算、存儲、通信以及編程方面，因此基于大數據的實際特征以及需求來設計一個超級計算機系統是十分有必要的。本文圍繞如何基于大數據特征以及需求進行超級計算機設計、大數據時代應用背景下編程模型的設計兩個方面展開討論，對大數據應用背景下的超級計算機設計進行了分析，并提出了一些筆者自己的見解，希望能夠對大數據應用背景下的數據處理問題提供一些對策建議。

關鍵詞 大數據應用背景 超級計算機 數據處理

在電子信息技術的推動下，大數據已成為了當代潮流前線的主流技術，所謂大數據，從狹義上理解主要是指各種大規模的數據，具體來說是指難以在既定的時間范圍內使用常規軟件以及技術進行收集、統計、儲存以及管理的數據集合，必須通過新型處理模式才可將其決策力、洞察力、發現力以及流程化進行充分發揮、具有規模大、復雜程度高、實時性強、高增長率以及多元化等特征的信息資產。由此可見，大數據是一種不同于傳統數據的信息化數據資產，僅僅應用傳統的軟件或工具進行統計或管理是難以顯效的，我們必須針對大數據的特征以及需求設計一款超級計算機，用于滿足大數據的計算需求。

通過超級計算機來構建大數據處理中心，是現階段最為主流的應用趨勢。相比于傳統計算機來說，超級計算機在性能方面具有顯著優勢，可以為大數據提供高效的計算以及處理服務。超級計算機早在二十世紀七十年代初就已被很多國家作為了一種戰略性資源而進行使用，在國家經濟建設、國防安全、社會發展、科學研究等方面得到了廣泛的應用，并作出了極大的貢獻，因此現階段，超級計算機技術基本已經成為了衡量國家科技水平以及國防力量的重要指標之一。天河二號超級計算機是由我國國防科學技術大學研制而成的，它實現了每秒鐘三點山九億億次的浮點運算速度，并以此成績蟬聯五次奪得全球運行速度最快超級計算機獎項。但是，超級計算機雖然具有如此高效的運行速率，它仍然只能在自己所擅長的以科學與工程運算為主的領域中發揮作用，例如一些計算密集型的任務中。此外，超級計算機具有計算模式單一的特點，它的處理過程通常由批量處理計算、流式運算、迭代運算、圖運算等數據密集型運算方式組成，因此傳統上的超級計算機很難直接被應用在大數據的計摘 要 在大數據應用時代背景當中，超級計算機迎來了前所未有的挑戰，這些挑戰主要體現在數據的計算、存儲、通信以及編程方面，因此基于大數據的實際特征以及需求來設計一個超級計算機系統是十分有必要的。本文圍繞如何基于大數據特征以及需求進行超級計算機設計、大數據時代應用背景下編程模型的設計兩個方面展開討論，對大數據應用背景下的超級計算機設計進行了分析，并提出了一些筆者自己的見解，希望能夠對大數據應用背景下的數據處理問題提供一些對策建議。

關鍵詞 大數據應用背景 超級計算機 數據處理算以及處理中。

1如何基于大數據特征以及需求進行超級計算機設計

顯而易見，大數據的出現給人類技術帶來了極大的挑戰，而超級計算機具有十分強大的計算能力以及極其高效的數據處理能力，它將海量的信息高度集中在自己的系統當中，并通過工具媒介、數據存儲等多元化角度對這些龐大的數據進行處理、分析以及應用，由此可見，不同的超級計算機在對信息處理以及計算時所呈現出的性能水平也是有所差異的。我們之所以要通過超級計算機來實現高性能數據計算，主要目的就在于提升數據計算效率，并通過對大數據的應用來增強通信效率。在本文中，筆者將圍繞硬件和軟件兩個層面來設計大數據應用背景下的超級計算機。

1.1硬件體系結構

信息量大以及操作簡單是大數據應用的顯著特征，大數據應用能夠確保計算指令維持在一個相對來說較低的狀態，實際上間接增加了數據訪問所需的成本，由此可見，在使用超級計算機管理大數據的過程中主要存在的問題在于數據吞吐率與數據計算效率之間的失衡性。針對這一問題，我們可以重點以兩個切入點進行解決，一是針對片上緩存實施徹底優化處理。大數據應用指令等級相對較低，跳轉頻率較高，且不具備充分的局部性，再加上大數據通常只能使用一次，我們可以基于上述特點來降低指令緩存，并構建一個連接處理器與二級緩存的通道，以確保數據吞吐率與計算效率之間的失衡狀態得到相對改善；二是提高大數據計算能力。在大數據的影響下，信息逐漸呈現出高密集化狀態，這使得傳統的處理器已無法滿足信息處理需求。因此必須通過超級計算機來部署一個具備良好實時性的處理器，其中異構并行處理器是一項很好的選擇，具體來說，也就是把專業的加速器導入至通用處理器核心當中，在加速器的推動作用下，使數據處理過程中能夠實現數據并行的效果。大數據應用過程中，對于數據的處理頻率相對較高，因此必須想方設法改善節點計算效率并強化通信效率。顧名思義，大數據就是代表龐大的數據信息量，因此相應的儲存模式也較為復雜，種類繁多，其中最為常見的數據儲存模式為集中式存儲模式以及分布共享式存儲模式。為了較好地應對大數據通信頻率較高這一問題，必須通過合理的手段來提高節點與節點或與設備之間的連接效率以及。對上文內容進行總結后得知，要想有效解決大數據應用中存在的問題，其中最關鍵的環節在于加大互聯通信技術層面的研究開發力度，提高在節點連接效率優化方面的研究力度，一般可以通過兩種方式來實現，一種為研發一款軟硬件結合的多借口網絡芯片，另一種為通過光互連技術來改善數據傳送過程中的問題。

1.2硬件體系架構

在大數據中包含著海量的結構化數據、非結構化數據以及半結構化數據。這三種數據類型對應的存儲方式也各不相同，結構化數據通常使用數據庫結構實現存儲，而非結構化以及半結構化數據的存儲則更多地以依靠于不同文件與系統之間的協調與配合來實現。數據處理與數據計算是兩個完全不同的過程，在數據計算的過程中，當數據加載已經結束時，則需要對各系統之間的交互頻率進行合理地調整和控制，所以說應該選擇單一的分布式文件系統來實現。而針對大數據的處理方式則相對來說更為豐富，同時也更加復雜，其中使用頻率最高的數據處理方式有圖處理以及批處理兩種，這樣據必須得到不同文件與系統之間的良好配合已結支持。由此可見，在設計超級計算機時，單一的文化系統完全不能滿足計算機運行需求，應將多種文件組合在一起進行超級計算機系統的設計。

通過對非結構化數據的存儲模式進行深入研究后可以發現，它所使用的存儲結構通常為分布式文件系統。為了能夠進一步提升大數據的處理效率，Google對大數據儲存的文件系統進行了一定的創新，在原有基礎上設計了一款具有擴展功能的GFS文件系統，創新后的文件系統在對應用層的運用下實現了對控制流以及數據量進行分離的目的，可以說是一個真正意義上的分布式文件系統，即使面對規模龐大的數據信息，該文件系統也能夠實現高校的儲存以及處理。GFS文件系統由以下三個基本部分構成，分別為若干塊服務器、單一的主控服務器以及客戶端。本論文以GFS文件系統為出發點，對目前已研發上市且具有代表意義的阿里巴巴分支ADFS系統進行了分析。在阿里巴巴的ADFS系統中，主要針對HDFSNameNode在使用過程中暴露出來的單點故障以及內存不足等一系列問題實施優化，工作原理主要為將內存中不屬于熱點范圍內的數據轉移至外部數據庫當中，通過這種方式來緩解NalneNode所承受的內存壓力，從而提升數據的處理質量以及效率。而在對半結構化數據以及結構化數據進行研究后發現，半結構化數據以及結構化數據在存儲方式上有著十分顯著的共性特征，他們通常都優先選擇數據庫以及分布式表結構作為存儲方式，只有一些結構相對較為簡單的半結構化數據更傾向于選擇Key/Value分布式系統，其中較為典型的為亞馬遜公司的Dynamo系統以及Facebook的Cassandra系統，亞馬遜的Dynamo主要是運用Key/Value作為數據存儲模式，這一存儲模式相比于其它模式的優點在于具有強大的可擴展性以及可用性。Facebook的Cassandra系統同樣也是采用Key/Value作為數據存儲模式，通過對這一存儲模式的運用進一步實現了數據存儲可擴展性以及一致性的增強。

2大數據時代應用背景下編程模型的設計

在大數據時代這一背景下，編程模型所面臨的挑戰也是日益凸顯出來，傳統的編程模型也開始表現出一定的動力不足趨勢，并無法滿足大數據的編程要求，為了有效解決這一矛盾，必須基于大數據的特征以及需求來設計一種有別于傳統編程模型的全新的編程模型。大數據時代下的編程模型必須滿足簡單易操作的基本原則，并在此基礎上盡可能提高性能水平，構建一個清晰明確的編程抽象，確保程序員的編程工作能夠更加順暢，在這一過程中，程序員并不需要關注程序在集群中運行的具體狀態以及情況，只需要針對每一項問題進行一一解決即可。在新的編程模型中，程序員的主要工作與任務在于關注一切有待解決的問題，以此來確保編程過程中各項任務的清晰化、明了化，同時還可以使代碼后期的維護管理工作得到極大程度的簡化，使程序員的工作更加方便、簡潔、高效。此外，在構建編程模型時還應考慮到系統數據計算能力以及處理能力提升的目的，我們不僅要確保程序能夠在集群上實現高效穩定的運行，同時也要保證不同類型的作業與任務能夠在集群上并發運行，這樣可以大大提高集群內部資源的共享有效率。但是在這一模型下，我們也會面臨許多新的問題，需要后期通過探索與研究進行慢慢攻破，例如如何有效處理異構性問題、如何提升本地數據的有效利用率等。因此在基于大數據應用背景下進行新編程模型構建的同時，我們的考慮內容不能過于單一，必須綜合衡量各方面的影響與利弊，在此基礎上作出適當的取舍以及判斷，從而構建一個簡單、便捷、可靠、高效的大數據編程模型。

為了使效率得到進一步提升，超級計算機一般來說都會選擇應用并行編程模型，例如Open MP以及MPI，其中，Open MP通常會與共享存儲模式的融合而被廣泛地應用在對稱多處理器等架構的相關設備當中，而MPI所涉及的編程模型則相對來說更為復雜，一般來說需要在切換至信息通信計算模型下，要求編程工程人員針對所有的程序問題根據一定的規則進行一一分類，隨后再將這些分類號的問題映射至分布式進程集合當中。Open MP以及MPI等并行編程模型并不適用于大數據的計算以及處理過程中，因此一些規模較大的互聯網企業會根據自身公司的實際情況以及需求來研制具有針對性的大數據處理模型，這樣一來不僅可以使工作人員的工作效率得到提升，同時也在很大程度上促進了大數據應用的有效實現。

3結語

綜上所述，在大數據應用背景之下，對于超級計算機的設計可以適當導入一些高效模塊結構，例如多核結構以及眾核結構等。此外，寬帶網絡速度的提升也有利于超級計算機運行速度的改善，為其提供基本的保障條件。總而言之，在大數據時代背景之下，要想使數據處理以及計算速率得到有效提升，超級計算機的應用是必然的趨勢所在，并取消以往計算機系統中的計算密集模式，取而代之的是數據密集模式。筆者相信在大家的共同努力之下，大數據應用背景下的數據處理以及計算問題自會得以有效解決。

參考文獻

[1] 張聽，袁曉如.樹圖可視化[J].計算機輔助設計與圖形學學報，2012（9）：1113- 1124.

[2] 嚴霄鳳，張德馨.大數據研究[J].計算機技術與發展，2013（4）：168-172.

[3] 鄧楊琴，孔麗華.美國發布“大數據的研究和發展計劃”[J].科研信息化技術與應用，2012（2）：89-93.