超級計算環(huán)境下的石油勘探數(shù)值模擬優(yōu)化策略

司道軍

摘要：石油勘探數(shù)據(jù)處理長期以來一直是超級計算機的重要應用領域。隨著石油勘探從常規(guī)勘探走向非常規(guī)勘探，勘探數(shù)據(jù)規(guī)模從TB級跨越到PB級，石油勘探數(shù)值模擬的計算量越來越大，對超級計算機的依賴越來越高。本文主要探討超級計算環(huán)境下優(yōu)化石油勘探數(shù)值模擬的幾種策略。

關鍵詞：石油勘探數(shù)值模擬超級計算

引言

石油勘探目前的主要手段是通過在地表或者海上激發(fā)人工震源，震源產(chǎn)生的地震波向地下介質中傳播，到地震波遇到地下構造時，會產(chǎn)生反射等波現(xiàn)象，當?shù)卣鸩ㄔ俅蔚竭_地表時被檢波器接收。由于勘探工區(qū)到幾百甚至上千平方公里，數(shù)據(jù)量十分龐大。同時這些海量的地震數(shù)據(jù)必須借助超級計算機的強大算力，才能得到地下復雜構造的形態(tài)，進一步指導地質專家確定可能的油氣富集區(qū)。

1并行計算優(yōu)化策略

超級計算機是將幾萬甚至幾十萬個計算節(jié)點通過高速互聯(lián)網(wǎng)絡連接起來，而每個計算節(jié)點又通常包含幾十個CPU計算核心，這些計算核心就是真正提供算力的計算單元。同時為了提高I/O效率，超級計算機往往采用功能強大的并行文件系統(tǒng)。目前依賴于底層的物理硬件，主要的并行優(yōu)化策略包括MPI并行優(yōu)化技術、多線程并行優(yōu)化技術、指令集優(yōu)化技術等。

2 MPI并行優(yōu)化計算

MPI，全稱為Message Passing Interface，即消息傳遞接口，它適用于分布式內存的計算機，而超級計算機大都是分布式內存架構的。它是在標準串行程序設計語言的基礎上，通過加入一些消息傳遞的函數(shù)構建的并行編程模型。目前在超級計算機上運行的程序主要是MPI程序。它具有可移植性高、擴展性好等優(yōu)點。MPI的程序設計以進程為獨立的計算單位，計算任務根據(jù)物理問題被分解成不同的子任務分發(fā)到不同的進程上執(zhí)行，進程間的數(shù)據(jù)傳遞通過MPI的消息傳遞函數(shù)實現(xiàn)。以石油勘探數(shù)值模擬為例，激發(fā)的人工震源往往是幾千甚至上萬炮。每一炮可以作為獨立的子任務在不同的進程上執(zhí)行。另一種劃分方式是，將每一炮要進行數(shù)值模擬的數(shù)值模型劃分為不同的區(qū)域，每個區(qū)域的計算任務在單獨的進程上執(zhí)行，根據(jù)劃分的方式又可以分為一維劃分，二維和三維MPI拓撲等方式。MPI并行方法的瓶頸在于處理進程間通信和數(shù)據(jù)I/O。針對通信問題，可以采用異步通信將計算和通信重疊，提高計算效率，針對I/O問題，可以采用MPI-IO替代串行10，充分利用超級計算機的并行文件系統(tǒng)的吞吐效率。采用一維方向數(shù)值模型剖分的MPI并行技術，我們實現(xiàn)了80%的并行效率，120CPU核心并行相比12CPU核心并行，MPI加速比達到8倍。如圖l所示。

3多線程編程技術

MPI適用于分布式內存的并行計算機系統(tǒng)，而多線程模型適用于共享式內存的計算機系統(tǒng)。超級計算機計算節(jié)點之間是分布式內存，而節(jié)點內部的不同CPU核心是共享內存的形式，因此超級計算機并行優(yōu)化技術既可以采用MPI并行技術，也可以采用多線程優(yōu)化技術，常用的多線程編程模型有OpenMP、Pthreads等。下面以OpenMP為例闡述多線程優(yōu)化技術。超級計算機每個節(jié)點內的核心共享主板上的內存，人們日常使用的多核心筆記本電腦、臺式機、工作站也是這種結構，因此多線程優(yōu)化技術也有廣泛的適用性。相比MPI并行編程，程序員不必處理復雜的進程間的數(shù)據(jù)通信，對代碼改動量較小，特別是OpenMP編程模型，程序員只需在計算量加大的for循環(huán)等部分加上一些指導語句即可。但是由于是共享內存，OpenMP等多線程優(yōu)化技術需要小心處理線程間數(shù)據(jù)的共享和私有，避免數(shù)據(jù)競爭。通常一個優(yōu)化的較好的多線程代碼，只需少量的代碼改動，數(shù)值計算的效率就可以實現(xiàn)近線性的加速效果。我們采用OpenMP并行編程技術，在12線程的情況下，取得了相比單線程10倍的加速比。如圖2所示。

4指令集優(yōu)化

我們都知道計算執(zhí)行程序時是通過底層指令集對數(shù)據(jù)的操作實現(xiàn)的。計算機內有很多寄存器，通過單指令多數(shù)據(jù)（SIMD）操作，當需要多個數(shù)據(jù)執(zhí)行相同的操作時，SIMD指令可以大大提供程序的執(zhí)行效率。Intel等廠商提供了SSE、AVX等多種指令集，可以用來對程序進行指令集優(yōu)化。相比前面提到的MPI并行編程和OpenMP多線程編程，指令集優(yōu)化抑制性較差，依賴于具體的硬件，而且對程序員的要求較高，需要對代碼做大量的改動工作。但是對于像傅里葉變換等用途較廣的底層數(shù)學庫，具有較高的價值。英特爾提供的MKL數(shù)據(jù)庫就采用了指令集優(yōu)化等手段。采用SSE等指令集對代碼改寫，我們取得了1.8倍的加速效率（理論上最高為4倍）。

5結束語

超級計算機節(jié)點之間為分布式內存結構，節(jié)點內為共享式內存結構，節(jié)點之間采用高速互聯(lián)網(wǎng)絡進行信息傳遞，這種復雜的系統(tǒng)結構可以綜合采用指令集優(yōu)化、多線程優(yōu)化、MPI并行優(yōu)化技術等，充分挖掘超級計算機的潛力。本文通過基本理論介紹和實際數(shù)據(jù)測試，闡述了如何利用超級計算機對石油勘探數(shù)值模擬進行優(yōu)化。

參考文獻

[1] Poyraz E，Xu H，Cui Y.Application-specific I/O optimizationson petascale supercomputers[J]. Procedia Computer Science， 2014，29： 910-923.

[2] Komatitsch D， Martin R. An unsplit convolutional perfectlymatched layer improved at grazing incidence for the seismic waveequation[J]. Geophysics， 2007， 72（5）： SM155-SM167.

[3]Kjolstad F B，Snir M. Ghost cell pattern[C]//Proceedings of the2010 Workshop on Parallel Programming Patterns. ACM， 2010：4.

[4]莫則堯，袁國興.消息傳遞并行編程環(huán)境MPI[M].科學出版社，2001.