數值模擬并行處理技術及應用研究

李中建 劉靖安 馬玉霞，李 謳 朱玉澎

(中石化河南油田分公司石油勘探開發研究院，河南 南陽 473132) (中石化河南油田分公司南陽石蠟精細化工廠，河南 南陽 473132) (中石化河南油田分公司石油勘探開發研究院，河南 南陽 473132) (中石化河南油田分公司通信公司，河南 南陽 473132)

數值模擬并行處理技術及應用研究

李中建 劉靖安 馬玉霞，李 謳 朱玉澎

(中石化河南油田分公司石油勘探開發研究院，河南 南陽 473132) (中石化河南油田分公司南陽石蠟精細化工廠，河南 南陽 473132) (中石化河南油田分公司石油勘探開發研究院，河南 南陽 473132) (中石化河南油田分公司通信公司，河南 南陽 473132)

并行數值模擬是高含水后期調整挖潛，提高水驅采收率的重要手段之一。簡述了數值模擬并行處理技術，介紹了構建高性能的計算平臺、構建數據安全存儲區域網的思路和做法以及運用高性能計算實現百萬節點并行數值模擬處理的應用實例。

并行計算；數值模擬；油藏

油藏數值模擬的核心是求解大型偏微分方程組形成的大型稀疏線性代數方程組，這類問題需要大量的計算時間，計算費用高昂。是適合于在各種并行計算機上求解的并行計算問題。高性能并行計算機的出現使油藏數值模擬技術進入了一個嶄新的階段。油藏數值模擬并行技術研究已經成為一大研究熱點。并行處理在高性能計算方面應用很廣，近幾年在石油勘探開發中的地震資料處理方面應用迅速。數值模擬并行處理技術與計算機技術的發展是緊密相關的，如開發后期采集數據量的劇增帶來地質資料處理計算量的劇增。為獲得準確的地下剩余油分布情況，應采取更為復雜的數值模擬處理技術如多維多相數模處理技術等，而這些都需要大量的計算機計算。以往，囿于計算機設備的限制，許多先進的精細數模、三次采油、稠油熱采、大規模整狀油藏并行數模處理技術無法得到充分應用，影響了石油勘探開發的發展。近年來，一些咨詢公司的油藏數值模擬軟件已推出并行版，如ECLIPSE及VIP并行軟件。而國外許多石油公司及咨詢公司用并行處理技術來降低生產成本，提高工作效率。我國自“九五”期間就開展了多項包括國家“863”計劃在內有關并行計算的重大科研項目。中科院、國家智能計算中心、清華大學、南京大學等均開展了油藏數值模擬并行計算研究。這些并行數模軟件在應用上不斷挑戰大型油田開發過程和多層厚油層的精細數值模擬，軟件系統也逐步得到完善，功能也越來越強大[1-2]。

目前，人們對并行數值模擬的優勢已有了充分的認識。它不僅有助于油田開發大型一體化流程的實現，同時更能夠提高油藏模擬的精細度；節約計算時間，加快決策速度；優化方案設計，提高油田開發整體效益。所以并行處理技術將是油藏數值模擬應用發展的主要方向。我國石油行業先后引進了一些并行計算機和并行處理系統，如大慶、勝利等油田已在科研生產中發揮很大作用。并行處理技術必將成為大規模科學計算的主要工具，而并行數值模擬技術也得到更為廣泛的應用。

1 建立油藏數值模擬高性能計算并行處理環境

要解決河南油田后期開采階段細分調整、稠油熱采方案編制、三次采油潛力評價及規劃等的精細油藏描述、精細數值模擬及整裝油藏大規模計算、并行處理問題，縮短數模處理周期和處理精度,必須進一步加強油藏描述、數值模擬技術的綜合配套，利用多節點并行計算機的高性能計算解決數值模擬處理過程中求解大型偏微分方程組形成的大型稀疏線性代數方程組類大量的計算問題，以適應當前以及今后生產和科研的需求。并行計算環境需要解決以下3個方面的問題：

1)構建高性能的計算平臺 并行計算可稱為高性能計算或超級計算，它把并行計算處理的大任務依據并行算法的要求，分解為多個子任務，然后分給并行機不同處理單元，通過并行計算、協同合作而快速求解。并行計算的主要目標是提高求解速度、擴大處理規模。基本條件是硬件(并行機)、并行算法設計、并行編程環境。 硬件(并行機)是IBM p5 570服務器。它技術先進、性能超強。具有同步多線程、獨特的可伸縮性和構建塊封裝技術的 IBM POWER5TM處理器，非常適合于服務器整合項目、數據庫與應用程序服務。p5的并發多線程(SMT)技術可以大幅提高處理能力,將并行處理性能發揮到最佳；p5的虛擬化技術可以根據策略自動調整每個分區負載；虛擬引擎(VE)將IBM現有的邏輯分區功能提高到了一個新的水平，能夠為客戶提供跨平臺的異構虛擬和系統管理功能。

綜合考慮數值模擬未來幾年的發展，筆者應用IBM p5 570并行機，2臺SUN Blase2500 UNIX工作站,6臺DELL P670 PC工作站和2套并行數值模擬軟件Landmark. VIP、Schlumberger ECLIPSE構建了高性能的計算平臺。

2)構建高性能的大容量數據安全存儲 并行計算在處理作業過程中將產生大量的中間計算結果和最終計算結果，這些階段性的數據需要占用大量的在線存儲空間，這其中一些數據是可以被刪除的，但也有一部分數據需要長時間保存，以便進行后續的數據計算，所以數值模擬高性能并行運算的存儲容量必須配置達到10TB左右。

數值模擬高性能并行運算的每個節點就是一個服務器，系統整體效率的發揮是通過多個節點協同并行工作達到的，通常每個節點所配置的磁盤存儲容量有限，一般只能滿足操作系統的安裝、極少部分的用戶數據的存儲，大量的數據需要存儲在大容量的磁盤陣列上，由于不可能為每個節點配置一個大容量的存儲系統，所以大部分的時候采用了多個節點共用一個磁盤陣列方式來為計算節點提供數據支持。前兩年引進的計算機系統中，大多沒有充分的考慮數據I/O的復雜性，只是簡單的配置了一定數量的存儲系統，所以這些系統目前就暴露出存在I/O瓶徑的問題，因此，更好地解決高性能并行運算存儲問題是高性能計算環境的一個關鍵。

通過上述分析可知，并行計算在數據處理過程中需求大容量的存儲系統，對于高性能并行運算平臺通常需要10TB左右的高速在線存儲，以支持頻繁進行的I/O，還需要4TB的近線存儲，作為中間計算結果、成果數據、原始數據的存儲以及用戶數據的備份。而且，還須將這些存儲納入統一規劃的存儲區域網絡(SAN)，實現為多個服務器、用戶提供數據的存儲子系統。

3)計算平臺、存儲系統、用戶終端高度融合 高性能的計算平臺必須充分地融合，才能為用戶提供高性能的計算服務。在高性能計算平臺內部，主力的IBM p5 570大型機、SUN Blase2500工作站, DELL P670 微機工作站要通過SAN存儲區域網絡共享存儲池中的存儲，這就需要建立高性能的存儲區域網，規劃一個簡單的SAN環境是必要的，構成一級網絡環境。為了是用戶使用高性能計算平臺，需要改造或者建立TCP/IP網絡環境，使之成為主干千兆的二級網絡環境，加入企業局域網絡供用戶使用。

存儲層面采用存儲管理戰略，通過存儲管理平臺，使用統一的存儲管理工作站通過同一窗口和界面進行所有存儲資源的管理。通過圖形化的界面，實現數值模擬高性能并行運算關鍵數據資源開放的、簡單的、自動化的管理。

2 百萬節點并行數值模擬的實現

并行計算應用配套的是ECLIPSE和VIP并行數值模擬軟件，兩者都是世界上較為領先水平的油藏數值模擬系統，并行性能穩定，速度快，效果好。有較高的并行加速比和并行效率。這次并行計算采用8CPU并行Eclipse05版，它具有一整套無縫模擬工作流程，可以完成從網格建模到自動歷史擬合，到開發預測，生產優化的一系列功能。在大模型模擬運算方面具有無可比擬的優越性。下面以河南油田一個區塊(Ⅴ下層系)為例，介紹高性能計算實現大規模并行數值模擬的過程和方法。

1)并行數值模擬的目的 運用并行數值模擬技術及油藏工程方法，對剩余油進行定量化描述，研究特高含水期油藏剩余油分布規律,為完善Ⅴ下層系開發井網與注采系統、調整產液結構、改善油田開發效果、進一步提高采收率提供科學的挖潛依據。

2)應用實現內容方法 ①針對Ⅴ下層系油層多，儲層物性差異較大，非均質嚴重，平面、層間矛盾突出的特點，確定數值模擬范圍、建立雙河Ⅴ下層系主體區精細三維油藏地質模型，模型的總網格數為308×203×35=2188340，是河南油田有史以來數據量最大的地質模型，充分體現儲層的非均質性；②根據精細地質研究細分層系儲量，進行地質儲量擬合；③搜集整理基礎資料，結合生產動態監測對合采井劈產，進行生產歷史擬合；④運用并行數值模擬技術，對剩余油進行定性、定量化描述，根據剩余油分布規律，結合儲層物性、動用狀況與井網現狀等，利用三維定量化模型開展特高含水期開發單元重新劃分與組合研究, 設計井網組合方案。針對Ⅴ下層系存在的問題及潛力，進行10年數值模擬開發指標預測對比，提出最優調整部署方案。

3)并行計算技巧(分塊歷史擬合、整體并行計算) ①把斷層作為封閉邊界，嚴格滿足定解條件；②在油藏地質模型中選取有代表性的分區做詳細歷史擬合，得到的參數作為總體模型的基礎參數；③每小塊單獨歷史擬合；④將每小塊擬合的結果放入并行數據中，做整體并行計算，主要工作是調整邊界數據，最終得到整體并行計算結果。

4)技術指標效益 IBM P570 16CPU服務器并行應用環境安全、穩定，滿足了多用戶Eclipse并行數值模擬軟件高效運行、并行處理高性能計算的需要。擬合指標的計算值與實際值吻合較好，單元歷史擬合符合率達96%以上；單井擬和符合率達75%以上。進行組合單元內注采井網的整體優化部署及開發水驅效果數值模擬預測對比。優化方案延長穩產期6年，增產原油10.04×104t，提高采收率1.76%，綜合含水率降低0.97%。

[1]車學林，李翠玲，趙國忠，等.百萬節點油藏數值模擬技術應用[J].大慶石油地質與開發，2002(3):32-35,86.

[2] 曹建文，潘峰，姚繼鋒，等.并行油藏模擬軟件的實現及在國產高性能計算機上的應用[J].計算機研究與發展，2002(8)：78-85.

[編輯] 洪云飛

10.3969/j.issn.1673-1409(N).2012.06.031

TE319

A

1673-1409(2012)06-N093-03