大規模水閘非線性有限元并行計算研究

張向陽，秦忠國(河海大學工程力學系，江蘇南京210098)*

大規模水閘非線性有限元并行計算研究

張向陽，秦忠國
(河海大學工程力學系，江蘇南京210098)*

借助開源的PETSc并行數值算法包，使用C ++編寫了一個基于消息傳遞模式的非線性彈性有限元的并行計算程序.程序通過多次調用PETSc中的求解器組件KSP完成了Duncan-Chang雙曲線模型的并行有限元分析.最后通過一個實際工程水閘模型進行測試，結果表明多線程的計算效率比單線程的計算效率要高，四個進程的加速比達到了1.91.同時也表明，通過借助于成熟的數學工具箱進行非線性有限元并行程序開發是可行的，有效的.

非線性有限元;增量法;并行程序; PETSc

0 引言

由于工程技術和工業制造領域的不斷進步和發展，在預測模型的構造和模擬［1］、大型實際工程的計算與數值仿真、計算流體動力學、全球氣象預報［2］、圖像處理、非線性的動力學系統等領域中都對計算的精度和速度提出了極高的要求.對這些重大的科學計算問題進行非線性有限元數值仿真時，模型網格經常達到幾百萬甚至更多，計算量大且時間較長，再加上計算機內存容量的限制，工程分析人員不得不縮小計算規模，導致計算結果的可靠性降低.當前，采用并行有限單元法［3］可以很好的解決這些問題，即提高大型工程的求解規模和加快求解速度.

隨著并行計算的發展，一些優秀的并行算法包引起了科研人員的關注.這些并行算法包提供并行的數據結構和成熟的算法及標準的調用接口.基于所編譯得到的可移植可擴展科學計算工具箱PESTc( Portable Extensible Toolkits for Scientific Computing)［4］，使用C ++語言編寫了面向對象的非線性彈性有限元分級加載的并行求解程序.程序采用Duncan-Chuang雙曲線本構模型，其求解方法為增量法中的初始剛度法，并用實際工程算例進行測試.

1 并行有限元的設計及實現

1.1科學計算工具箱PESTc的介紹

PETSc是由美國Argonne國家實驗室Staish Balay等人開發的科學實驗計算工具箱.PETSc的數據結構主要包括向量Vec、矩陣Mat、結構網格DA等［5］.PETSc工具箱中的方程組求解器組件主要有三種:線性方程求解器( KSP)、非線性求解器( SNES)、時間步進求解器( TS).其中KSP是關鍵，SNES和TS都是以此為基礎的.基于這三個求解器，用戶可以開發自己的應用程序.

1.2有限元并行化的策略

并行計算要解決計算時存儲空間的不足和問題求解時間長的兩大難題［11］.目前分布式環境的并行策略有基于系統方程組求解的并行有限元、并行EBE法、并行子結構法、結構非線性分析與動力分析的并行算法等.其中有限元并行子結構法的基本思想是:將大規模的問題分解為若干個小問題，由各個處理器負責一個或多個小問題的計算［6］，計算過程中處理器之間進行必要的數據交換，最后由各個處理器協調工作得出整體解［7］.

該并行程序設計的方法是:從讀入數據后，到得到非線性問題的位移解的過程，都完成了并行化處理，使用并行子結構法的思想［12］，但是不形成子結構，而是把結構的總體數據信息劃分為大概相同的子塊，分配到各個進程當中去，各個進程預先估算所需要的存儲空間，并創建存儲空間.組集總體剛度矩陣時，每個進程當中都分發一份單元結點總體信息，這樣就消除了在形成總體剛度矩陣時，各個進程之間的通信壓力.程序的并行處理主要針對初始應力場計算和分級加載計算過程，這兩個過程有明顯的界限，但是都被并行化處理，最后得到位移、應力解在進程中保存結果.

1.3并行程序的分析及設計

非線性彈性是由本構關系的非線性引起，即應力σ與應變ε矢量之間不再是線性關系.用增量形式寫出其本構關系［8］:

物理方程

式中: DT表示為切線彈性矩陣.

圖1 程序的總體流程圖

再考慮到非線性彈性有限元的幾何方程和平衡方程可得:

式中: KT( u)是切線剛度矩陣，它是節點位移u的函數; ce是選擇矩陣.

程序采用Duncan-Chang雙曲線本構模型，要考慮初始應力場的計算和荷載的分級加載求解，其程序計算流程如圖1所示［9］.程序從讀入數據到得到位移解的過程中均實現并行化處理，特別是在初始應力場計算、分布加載求解步驟上予以高度并行化處理.因為這兩個部分所耗時間占整個程序的耗時比重比較大，通常能占到整個程序運行時間的百分之八十［10］，所以該程序的并行效率是比較高的.

2 算例分析

2.1計算模型及運行環境

對某水閘系統進行三維非線性有限元的靜力分析，工況為水閘系統的完建期，所受荷載為重力荷載.通過此算例主要測試該求解程序的并行加速效果，測試環境為一臺普通的32位臺式機，操作系統為Windows 7，處理器為四核Intel( R) Core( TM) i3 －2120CPU，主頻3.3 GHz，可使用內存3.03 GB.

水閘系統由鋼筋混凝土閘身和軟土地基兩部分組成.其中閘身的材料特性如下:彈性模量為2.7e10 Pa，泊松比為0.167，密度為2 500 kg/m3.地基材料參數采用Duncan-Chang雙曲線模型來確定，其中K =3.5e3，表示初始彈性模量的基數; n取0.5，反應E隨σ增長的關系;φ=30°; c = 0.3 kPa; Rf為破壞比，值為0.8; G為初始泊松比的基數，值為0.3; F為泊松比隨圍壓增長降低的速率，值為0.01; D為泊松比隨應變的增長關系，值為10.0; Ku為土體卸載的參數，值為4.2e3.將水閘系統模型離散為101 748個單元(八節點六面體單元)，總節點數為112 670個.

2.2計算結果及分析

水閘系統的有限元模型如圖2所示，對上述有限單元網格模型進行1～4個進程的非線性有限元靜力計算.首先計算初始應力場，然后將荷載平均等分為10級來施加，其計算結果如表1所示，取得了明顯的并行加速效果，其四個進程計算的加速比和效率達到1.91和0.48.

圖2 水閘系統的有限元模型

表1 1－4進程并行計算結果

計算過程中，程序的兩個主要并行部分初始應力場計算和分級加載計算過程的運行時間，加速比和效率如表2所示，并繪成折線圖，如圖3、4所示，其加速效果也較為明顯.

表2 兩個主要部分的并行計算時間及加速效果

圖3 進程個數隨時間變化的關系圖

圖4 初始應力場及分級加速計算的關系圖

對于用有限單元法分析一個實際問題時，方程組的求解耗時通常會占到百分之八十的比重.在上述計算過程中，每次求解都包含了11次的線性方程組的求解，即初始應力場的計算和10次加載計算.得到求解方程的相關信息如表3所示，可見解方程的耗時能達到整個求解過程時間的86%以上，該程序采用PETSc工具箱中的并行求解器，取得了較好的效率和明顯的加速效果.

表3 解方程占整個求解時間的信息

對該水閘系統有限元網格模型進行不同數目的分級加載計算，計算進程數都為4，得到的計算結果如表4所示.由每次計算得到的位移最大值可知，計算的結果是符合初始剛度法對于Duncan-Chang模型的結果規律，即分級數目越多，計算結果從上方趨于精確結果.但要得到比較精確的結果，還需要更大的計算量，也從側面說明并行計算對于這樣非線性問題的精確求解的重要性.

表4 不同荷載步時的計算總耗時和位移最大值

3 結論

通過借助于PETSc提供的高層應用開發平臺，使用面向對象語言C ++，編寫了一個非線性彈性有限元的并行計算程序，并對該程序進行了測試.結果顯示，該程序取得了明顯的并行加速效果，其四個進程計算的加速比和效率分別達到了1.91和0.48.同時也表明借助于PETSc并行數值算法包來開發非線性有限元并行程序，可以不用考慮并行數據的分布存儲結構和復雜的通信問題，降低了因程序并行化帶來的編程困難，縮短了并行程序的開發周期，提高了程序的實用性.

［1］KARTAM N，FLOOD I.Construction simulation using parallel computing environments［J］.Automation in Construction，2000，10( 1) : 69-78.

［2］XIE J，YANG C，ZHOU B，et al.High-performance computing for the simulation of dust storms［J］.Computers，Environment and Urban Systems，2010，34 ( 4) : 278-290.

［3］BABU?KA I，ELMAN H C.Some aspects of parallel implementation of the finite-element method on message passing architectures［J］.Journal of Computational and Applied Mathematics，1989，27( 1-2) : 157-187.

［4］張健飛.采用PETSc的有限元并行計算實現與優化［J］.計算機工程與應用，2010，46( 10) : 57-59.

［5］高懷玉，張峰，秦忠國.基于PETSc的有限元高性能求解方法［J］.河海大學學報(自然科學版)，2013，41 ( 4) : 365-370.

［6］張健飛，姜弘道.有限元子結構并行算法的性能分析［J］.力學與實踐，2002，24( 5) : 35-37.

［7］胡寧，張汝清.有限元子結構并行算法的效能分析［J］.應用力學學報，1993，10( 1) : 124-128.

［8］任青文.非線性有限單元法［M］.南京:河海大學出版社，2000: 7-30.

［9］姜弘道，張健飛，秦忠國，等.工程科學中的高性能計算［M］.北京:科學出版社，2013.

［10］MICHAEL J Q.MPI與OpenMP并行程序設計［M］.北京:清華大學出版社，2004: 34-40.

［11］姜弘道.水利高性能計算的進展［J］.水利水電科技進展，2006，26( 2) : 70-76.

［12］謝旻.高可用MPI并行編程環境及并行程序開發方法的研究與實現［D］.長沙:國防科學技術大學，2007.

Study of Nonlinear Finite Element Parallel Computing based on Large-Scale Lock

ZHANG Xiangyang，QIN Zhongguo
( Department of Engineering Mechanics，Hehai University，Nanjing 210098，China)

With the help of the open source PETSc parallel numerical algorithm package，C ++ is used to write a nonlinear elastic finite element parallel computing program based on the model of message passing.The procedure is completed in parallel finite element analysis of Duncan-Chang hyperbola model by the KSP solver component repeatedly calls in PETSc.Through a practical engineering of sluice model to test，the result show that the calculation efficiency of multi thread is higher than the calculation efficiency of single thread，and the accelerate ratio of the four processes reach 1.91.It also show that using the mature mathematical toolbox to development nonlinear finite element parallel program is feasible and effective.

nonlinear finite element; incremental method; parallel program; PETSc

A

1673-9590( 2016) 01-0040-04

2015-03-16

張向陽( 1991－)，男，碩士研究生;

秦忠國( 1961－)，男，教授，博士，主要從事計算力學及工程仿真、水工軟件開發、高性能計算的研究

E-mail: 339681123@ qq.com.