地球物理并行計算平臺的研究

摘 要： 隨著地球物理數據處理計算量的快速增加，使得單機運算已難以滿足其計算需求。采用并行計算技術來提高處理速度是主要發展方向。為了解決地球物理數據處理中的大規模計算問題，提出基于工作站集群的并行系統架構，采用JPPF的網格計算框架，構建地球物理并行計算平臺。JPPF易于使用、代碼開源，利用其在并行任務管理和負載均衡方面的優勢，設計并實現了一個2.5維可控源音頻大地電磁正演并行系統。在實驗中對頻率并行和非并行的計算效率進行了對比。實驗結果表明在并行計算平臺硬件一定的情況下，隨著頻點個數的增多，該系統能夠較為明顯地提高計算效率。

關鍵詞： 地球物理； 網格計算； 工作站集群； 正演模型計算； 可控音頻源大地電磁

中圖分類號： TN911?34 文獻標識碼： A 文章編號： 1004?373X（2016）02?0018?04

Study on parallel computation platform in geophysics

ZHANG Wei1， 2， YANG Jin1

（1. School of Geophysics and Information Technique， China University of Geosciences， Beijing 100083， China；

2. College of Computer， North China Institute of Science and Technology， Beijing 101601， China）

Abstract： Because of the quick increase of calculated amount for geophysics data processing， it is rather difficult for one single computer to meet various kinds of computational requirements. Currently， it is a main trend to adopt the parallel computation techniques to enhance the processing speed. In order to deal with the large scale of computation work in geophysical data processing， a parallel system architecture based on workstation clusters is put forward， and JPPF grid computation framework is adopted to construct a parallel computation platform for geophysics. JPPF has open source code， and is easy to use. It is quite convenient to take its advantages in parallel task management and load balance to design and implement a forward modeling parallel system for 2.5?D CSAMT. A contrast between parallel computation efficiency and serial computation efficiency was performed in an experiment. Its results show that the system can improve its computation efficiency obviously with the increase of frequency points under a certain hardware environment of parallel computing platform.

Keywords： geophysics； grid computation； workstation cluster； forward model calculation； controlled source audio?frequency magnetotellurics

0 引 言

隨著我國經濟社會發展，能源、環境、地下水等一系列關乎國計民生的領域都有地球物理勘查的身影[1]；同時隨著電子技術和信息技術的發展，使得重、磁、電、震、放射性、測井等傳統的地球物理方法不斷發展。其中一個重要特點就是地球物理數據的的精度越來越高，信息量也成幾何級數增長，例如地震波法勘探收集的數據通常都以TB計，在海洋勘探過程中收集到的數據容量更是會突破PB級別量[2]。同時各種反演算法也不斷推陳出新，其中大多數算法對于計算機的計算能力有較高要求，地球物理的數據處理對于計算機的計算效率提出了新的要求。為了提高地球物理數據處理的計算效率，人們主要從以下兩個方面著手去解決：

（1） 提高算法本身的改進。在精度可控的情況下，對算法進行改進，提高算法效率。

（2） 對于處理平臺的改進。在硬件方面，不斷創造速度更快的計算機，提高主頻速度到多核心處理器；在軟件方面，探索并行計算的處理技術，提高計算速度。

本文主要是在處理平臺層次，對處理軟件的并行性進行研究，研究目標是利用計算機集群系統和網格計算方法設計一個具有通用性特點，能夠適應不同地球物理方法的數據處理的并行計算平臺。

1 地球物理數據處理現狀

對于地球物理數據處理而言，隨著儀器精度和操作便捷性的提升，野外采集數據的規模動輒數十GB，加之各種正反演算法也不斷演化，使得地球物理數據處理的計算量已經超出了單臺PC機的計算能力。而我國計算機的發展現狀以及固體礦產和工程地球物理勘探的投資也不足以廣泛使用高速的大規模并行計算機[3]。

目前地球物理數據處理的軟件基本上還處于單臺計算機運行的狀態，處理軟件大多是儀器設備自帶，也有第三方公司開發的優秀處理軟件。然而這些軟件通常僅限于單機運行，這主要是由于地球物理數據處理本身就很復雜，如果在去考慮并行計算和分布式的問題，就會使處理軟件本身的設計面臨巨大的挑戰，而且在地球物理數據處理軟件內部再集成并行運算會形成高度耦合的系統，這樣高度耦合的軟件系統從軟件工程的角度來看會給軟件系統后期的運行和維護帶來巨大的風險和挑戰，嚴重的耦合甚至會導致整個系統的失敗。因此，必須將地球物理數據處理軟件和并行計算平臺進行解耦，正確的系統架構如圖1所示。

圖1 地球物理數據并行處理架構

如何能夠在保證運算速度提升的情況下，又可以最大限度的利用現有計算資源便成為一個擺在地球物理工作者面前一個亟待解決的問題。基于計算機集群系統的網格計算從一定程度上解決了這個投入與產出的平衡問題。

2 并行計算機系統在地球物理數據處理中的應用

目前并行計算機系統主要有三大趨勢，對稱多處理機（Symmetric Multiprocessor，SMP），大規模并行處理機（Massively Parallel Processor，MPP）和工作站集群（COW）[4]。對稱多處理機系統（SMP）通常使用商用處理器，其采用對稱式的處理器布局和共享存儲器系統，通過高速的總線將處理器和存儲器相連，但由于采用共享存儲器，系統中的處理器數目不得超過64個[5]。例如Sun公司的Enterprise服務器。

大規模并行處理機（MPP）一般是指由成百上千個分布式處理機用高速網絡連接而成的超大型計算機系統。MPP的可擴展性很好，通常采用專用的商用處理器，計算速度一般為千億次量級，例如我國的曙光系列超計算機。工作站集群，也被稱為“非正式的超級計算機”[6]，通常是指將具有較高性能的PC機通過獨立、專門的網絡進行連接，例如Ethernet，FDDI，ATM等，從而形成一個在物理空間上相互獨立，但通過專門的軟件系統連接后卻又在邏輯上相互統一的計算平臺。

對于地球物理數據處理而言，能夠將現有實驗室中的高性能工作站互聯，充分發揮其計算效能是最經濟、最便捷的手段。因此研究工作的目標就是設計一個將若干個普通計算機通過Ethernet進行互聯接后，從系統架構上形成一個工作站集群，再通過網格計算平臺的集中調度，使其成為一個具備地球物理數據處理功能的并行計算平臺。

集成的計算與資源環境則稱為網格[7]。網格計算技術則通過將各個計算節點上的計算資源、存儲資源、通信資源進行整合從而形成一個虛擬的、并行的計算平臺。網格計算中允許節點具有高度的自治能力，各個節點資源配置基本不具有對稱性，因此往往需要一定的資源共享和負載平衡機制。網格計算消除了資源的孤島，可以最大化地使用節點的資源，使得網格內的閑置資源得以充分利用。網格計算系統主要包括：節點、系統軟件和網格應用軟件。在工作站集群的架構下，網格節點通常是指計算資源、存儲資源、網絡資源等相互獨立的完整的計算機系統，例如PC機、高性能的服務器，甚至可以使用一臺智能手機，如圖2所示。

圖2 集群模式下的網格計算節點的拓撲結構

系統軟件則是指對網格計算系統中的各種資源進行調配、各個節點的負載進行均衡的管理軟件，而且這種軟件應當具有相當的跨平臺特性，這樣才能夠保證其在各種異構網格節點上正常工作。網格應用軟件則是面向某一個特定的應用領域而專門研發的軟件，例如水利、石油、能源、飛機制造等對大規模計算和數據處理具有需求的行業。網格計算框架對于地球物理數據處理軟件而言是完全透明的，其在功能上專注于網格計算中涉及到的計算任務的劃分、任務的分配、計算結果的收集、計算節點的管理、冗余計算、異常處理等機制。

3 網格計算框架的實現與選擇

Java語言具有與生俱來的跨平臺特性，因此對于需要在異構系統上運行的網格計算框架，優先考慮Java語言實現的網格計算框架。JPPF是一個完全采用Java語言編寫，開源的網格計算框架[8]。JPPF不僅可以方便地構建網格計算的平臺，而且還支持J2EE集成，從而將網格計算框架內資源向分布式應用開放。

JPPF的網格計算的邏輯結構如圖3所示[9]。

圖3 JPPF框架的基本邏輯結構

Clinet是網格計算資源的入口點，計算任務通過Client提交到網格進行計算，并通過Client查看最終的計算結果。Server是整個網格計算的調度中心，它負責接收Client提交的計算任務，并將任務分解成獨立的計算單元，隨后根據調度算法將計算單元分配到各個Node。Node完成計算任務后會將計算結果返回給Server，Server整理計算任務后再返回給Client。Node是計算資源節點，在JPPF框架下對于Node沒有明確的軟硬件要求，只要能運行Java程序就可以，因此Node甚至可以使一臺智能手機。Client與Node之間沒有直接聯系，相互均處于黑盒狀態。Server對提交的任務全權負責，提供負載均衡、錯誤恢復、安全保障、計算任務傳輸、計算結果反饋等一系列核心功能。

JPPF還可以進行多級方式的擴展，即將多個JPPF Server進行相互連接，從而形成一個龐大的網格計算資源，拓撲結構如圖4所示。在這種拓撲結構中，發起連接的ServerA被視為一個Client，而被連接的ServerB被視為一個Node。對于單個Server其理論上可以連接3 000個Node，而在n個Server的拓撲結構中，整個網格計算資源中的Node可以達到3 000 n個。因此采用這種方式后整個網格計算的資源從邏輯上講是沒有上限的。

圖4 經過級聯后的JPPF網格的邏輯結構

4 架構設計

由于JPPF提供了網格計算中可擴展性、負載平衡、錯誤恢復等一系列核心功能，因此對于地球物理數據處理軟件而言，只需要將大規模計算任務分解后提交給JPPF計算就可以，整個JPPF對于地球物理數據處理軟件而言是透明的。圖5所示為一種基于JPPF的地球物理網格計算系統的架構。

圖5 基于JPPF的地球物理網格計算系統

整個地球物理數據并行計算系統主要分為兩大部分：地球物理數據處理框架和JPPF框架。野外采集的數據根據數據類型、地球物理方法類別、儀器的設備種類等不同條件進行數據的預處理和歸一化。處理后的數據存入數據庫或文件系統，這里統一稱之為“持久化存儲系統”。接下來，根據數據處理的具體要求和項目的實際需要，選擇合適的地球物理正反演方法，并對算法中的用到的各種矩陣、參數等進行初始化。之后就可以根據預處理好的數據和算法進行并行算法的任務分解，并經過Client提交給MainServer進行網格計算。

在網格計算框架的拓撲結構設計上，采用了星形級聯的方式，所有的并行計算任務都統一發送到MainServer進行調度和分配。由于網絡基礎條件的限制，為了防止網絡擁塞的頻繁發生，通常采取在物理空間上相近的計算機，采用1臺計算機為Server，5～10臺為Node的子網格配置方式。所有子網格中Server均連接到MainServer，作為邏輯上Node節點。從而實現并行計算任務的逐級分解。當Node完成計算工作后，計算結果也會通過逐級組合的形式，匯總到MainServer形成一個與原始并行任務對應的計算結果，再通過JPPFClient返回給地球物理數據處理框架。

5 實驗結果及分析

基于上述設計結果，進行了驗證性實驗。實驗環境采用1個Server，1個Client，5個Node構成JPPF網格計算平臺。計算機配置如下：處理器為（英特爾）Intel[?] CoreTM 2 Duo CPU T8300 2.40 GHz，內存為512 MB。地球物理數據處理框架采用Java語言編寫，實現了水平地形條件下2.5維可控源音頻大地電磁CSAMT有限單元正演算法[10?11]，經過改進后的并行算法流程如圖6所示。

圖6 CSAMT 2.5維正演并行計算程序流程圖

對于上述算法，存在3種粒度的并行性：按照頻率進行、按照波數進行、按照單元進行。以F個頻點、L個波數、N個單元的程序為例設計算單元矩陣的運行時間為U s（為使問題簡化，其他計算任務時間可忽略不計），則總計算時間T=F×L×N×U。在最理想的條件下，假設所有并行的任務同時開始，同時結束，即假設JPPF的并行計算能力無限大，可以同時進行無窮多個并行任務，則在不同粒度的并行效率分析如表1所示。可見并行性最好的第8中方法運行時間最短，而第1中方法則屬于串行算法。針對上述并行性分析，在對JPPF的并行任務分解時就涉及到8中不同的維度進行，考慮到實驗環境的網絡基礎條件和實際的計算機配置，實驗用的任務分配策略采用第5種，即僅在頻率域進行并行計算任務的劃分。

表1 CSAMT 2.5維有限單元正演算法并行性分析

實驗中采用計算了均勻半空間中的TE模式的視電阻率，頻點采用從1～8 192 Hz的范圍取值，根據頻點個數由程序自動等間隔劃分。實驗結果如圖7所示。

圖7 CSAMT 2.5維正演模型頻點并行與非并行算法比較

由圖7分析可知，隨著頻點個數的增加頻率并行計算時間和非并行計算時間的差距逐漸增大，網格計算平臺的優勢逐漸顯現。但同時也發現并行計算的時間與對照表中的理想情況存在較大差距，這主要是因為網格計算框架中Server和Client的通信質量嚴重依賴于基礎網絡的通信，當并行任務較小時，網絡通信的代價會高于并行計算帶來的收益；當并行任務增多，則會帶來網絡通信的擁塞問題，這也會對并行計算的效率產生影響。因此，對于一個硬件條件固定的網格計算平臺而言，并行任務的數量存在一個閾值，當超過或低于這個閾值時網格計算的效率都會降低，只有在此閾值附近時才能使網格計算平臺發揮最大的計算效率。

6 結 語

采用工作站集群的并行系統結構，利用開源的JPPF網格計算框架，實現了一個地球物理并行計算平臺。實驗結果顯示，利用JPPF的并行計算平臺能夠顯著提高CSAMT 2.5維正演程序的計算效率。但是，對于不同的地球物理算法，并行性任務的劃分有很大不同，在下一步的研究工作中，將研究地球物理算法并行任務的自動識別與劃分。

參考文獻

[1] 徐觀來.地球物理勘探技術發展現狀與實際應用研究[J].科技創新與應用，2014（8）：35.

[2] 李敏.高性能并行計算機的發展及其在石油勘探中的應用[J].科技導報，2014（2）：80?83.

[3] 陳金窗，戴光明.微機網絡并行計算及2.5維CSAMT正演的并行實現[J].物探化探計算技術，1997（2）：8?12.

[4] 劉羽，王家映.地球物理數據處理與并行計算[J].桂林工學院學報，2004（4）：412?416.

[5] 牛小鵬，李清寶，曾光裕.SMP對稱多處理機系統中交叉開關的設計與實現[J].信息工程大學學報，2009（2）：191?194.

[6] 武耀輝，崔永謙，時健民，等.工作站集群系統的建立與應用[J].中國石油勘探，2002（2）：57?59.

[7] 都志輝，陳渝，劉鵬.網格計算[M].北京：清華大學出版社，2002.

[8] 許力，牟曉光，馬云存.JPPF在構建高性能ETL過程中的應用[J].計算機應用，2008（z2）：223?225.

[9] Anon. A first taste of JPPF [EB/OL]. [2014?05?01]. http：//www.jppf.org/doc/v3/index.php？title=A_first_taste_of_JPPF.

[10] 葛偉男.2.5?D CSAMT有限元正演模擬[D].長沙：中南大學，2012.

[11] 馮萬杰.可控源音頻磁場測深法2.5D正演計算[D].長沙：中南大學，2012.