CPU/GPU疊前逆時偏移處理系統總體方案設計及部署

[摘 要] 疊前逆時偏移技術作為大慶油田“十二五”期間物探技術領域重點攻關的核心技術，是目前地震成像領域的一項前沿性技術，可實現復雜波場的準確成像。2012年，由中石油股份公司投資，引進了HP公司生產的386節點的CPU集群和42節點的GPU集群，并安裝了GeoEast地震處理軟件和Lightning逆時偏移軟件，為解決大數據量地震成像問題，提供了有效保障。本文主要介紹這次引進的面向大慶油田地震處理資料應用領域的基于Linux系統的CPU/GPU集群系統的方案設計與實現的方案。

[關鍵詞] 疊前逆時偏移；CPU/GPU集群；設計；部署；地震成像

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2013 . 21. 028

[中圖分類號] F270.7；TP315 [文獻標識碼] A [文章編號] 1673 - 0194（2013）21- 0047- 02

1 引 言

目前，國內外所有行業的信息化、數字化建設突飛猛進，各種應用軟件及科研手段日益依賴于各種有效的信息渠道（數據中心、信息通道），通過這種高度的信息化、數字化方式，生產效率得到前所未有的提高，企業效益（收益）豐厚，企業資源得到很好的積累與保護，企業資源得到合理使用與規劃，企業競爭力增強。作為高性能運算應用的主要領域，石油地震數據處理系統要求計算機系統運算性能與運行穩定性極高的計算環境。作為核心技術的代表和戰略決策的參謀部，大慶油田勘探開發研究院承擔著大慶探區24萬平方千米的油氣勘探重任，為了不斷適應今后企業的市場需求和強化自身的競爭力，擁有運行穩定、技術先進、性能優異的CPU/GPU集群處理系統來滿足勘探技術要求是非常必要的，特別是提升大慶油田疊前深度偏移和疊前逆時偏移的處理能力。

2 CPU/GPU集群系統的總體架構設計

本次引進的CPU/GPU集群系統由偏移處理集群、常規處理集群、GPU集群、管理節點、刀片機箱、集群軟件及機柜組成；該集群系統的核心是268臺 HP BL460c G7刀片服務器作為偏移處理CPU節點、56臺 HP Proliant DL160G6作為常規處理CPU節點，42臺SL390作為逆時偏移CPU節點/逆時偏移GPU節點，15臺DL380G7服務器作為管理控制節點，配備先進的Extreme BDX8萬兆網絡交換機、兩臺4萬兆IB交換機用來提升高性能計算系統的計算能力，進而提升大慶油田地震資料處理系統中疊前深度偏移的處理能力，使之能夠滿足現在及未來幾年內研究院生產任務的高性能計算需求。具體的拓撲示意圖如圖1所示。

3 CPU/GPU集群系統的軟件架構

在CPU集群上安裝GeoEast常規處理軟件（256個CPU許可），在GPU集群（總共84個GPU）上安裝GeoEast-Lightning逆時偏移成像軟件。配置用于疊前逆時偏移計算的速度建模軟件及配套的地震處理軟件。

根據GeoEast地震處理軟件、GeoEast-Lighting逆時偏移軟件對操作系統安裝環境的要求，確定了RedHat Linux操作系統版本、內核版本及系統環境配置需求，保證新集群系統的快速安裝部署。

剩余的節點，安裝升級的Paradigm處理軟件，包括：GeoDepth2D/3D建模與深度域成像系統、三維各向異性克希霍夫疊前深度偏移（費馬/程函旅行時間/波前重建）、3D TTI 三維各向異性克希霍夫疊前深度偏移等模塊。系統軟件結構如圖2所示。

4 CPU/GPU集群系統特點

4.1 計算節點處理器效率高

隨著新的勘探技術的不斷應用和開發，一些非常規處理的技術必須使用計算性能極高的計算機系統來實現。針對大慶勘探開發研究院高性能數據處理計算機系統在特殊處理應用（疊前深度偏移應用）上存在計算性能不足的問題，CPU/GPU集群系統計算節點的配置在核數和主頻方面都要高于現有系統的配置（2C6核2.8GHz）。

4.2 計算節點大容量內存的需求

現有系統的疊前深度偏移處理能力不足，其主要原因是計算節點的內存太小，所以新計算節點的物理內存盡量大一些，CPU核數與內存的比例最佳實踐比例為1 ∶ 4，這樣能更好地發揮CPU的性能（12核48G內存）。

4.3 集群管理簡單、維護方便

計算機集群系統是一個由多個節點組成、采用多種并行計算技術構成的復雜的計算機系統，這種集群計算機系統要想實現穩定、高效地處理地震作業，不僅要解決各個節點之間的通訊和延遲問題，而且還必須有高效、界面豐富、維護容易的管理和診斷軟件。比如實現系統的并行安裝和配置；上百個服務器的批量開關機；動態監視系統資源使用情況等。

4.4 靈活方便的擴展性需求

新系統除了具有較高的性能且便于管理外，應該還具有靈活、方便的擴展性，隨著業務的發展，用戶可以在原有設備基礎上，增加少許投入，在不影響現在應用運行的基礎上實現系統硬件平臺的升級。特別是將來擴展服務器設備時，除了硬件本身的費用，還應突破軟件的限制，降低總體采購的成本。

5 CMU集群部署管理工具

HP CMU （Cluster Management Utility） 的集群管理工具是面向Linux集群的產品，可以管理相應的I/O、計算節點和管理節點，進行日常監控與備份、Clone工作，也可以通過廣播方式發送并行命令，惠普集群的操作系統都是通過惠普提供的CMU來進行安裝和維護的，通過Backup功能，備份操作系統的鏡像，通過Clone功能，將相應LogicGroup中的鏡像克隆到節點。不同的鏡像文件屬于不同的LogicGroup。當節點發生硬盤故障，需要恢復操作系統時，只需要確定該節點屬于哪個LogicGroup，選中后，用該LogicGroup中的鏡像進行Clone就可以了。

6 結束語

這次引進的CPU/GPU疊前逆時偏移處理系統，根據總體方案設計，完成了新集群系統的硬件設備安裝、操作系統環境和地震處理軟件部署，實現新引進集群與已有的處理系統的高效集成應用。并針對新引進的CPU/GPU處理集群系統的硬件、網絡、存儲及地震處理軟件進行總體架構設計和優化配置，建立了滿足疊前逆時偏移處理的計算平臺，該集群的投產，將大大提高地震處理成像精度，對實現大慶油田“原油4 000萬噸持續穩產應穩定到2020年、油氣當量重上5 000萬噸”的目標提供強有力的技術支持。

主要參考文獻

[1]高俊峰.高性能Linux服務器構建實戰：運維監控、性能調優與集群應用[M].北京：人民郵電出版社，2012.

[2]余洪春.構建高可用Linux服務器[M].北京：機械工業出版社，2012.