CPU-GPU耦合的多尺度模擬應用

孫以環（湖北工業大學，湖北 武漢 430068）

CPU-GPU耦合的多尺度模擬應用

孫以環（湖北工業大學，湖北 武漢 430068）

簡要介紹了多尺度問題與研究方法。論述了常見多尺度問題的模擬計算方法與研究進展，對現有研究的局限性和存在的問題進行分析，指出了進一步研究多尺度模擬與計算的必要性。離散顆粒模型（DPM）在顆粒流體系統的模擬中已經得到了廣泛的應用，但DPM對大規模系統進行模擬時計算量巨大，嚴重制約了它的應用。而近年迅速發展的圖形處理器（GPU）以其強大的計算能力和良好的并行性為離散顆粒模型的發展應用提供了另外一種途徑。

多尺度；模擬；DPM；應用

化學工程是一門擁有接近百年發展史的學科，它的發展和進步對整個化學工業的發展和興起起到了巨大的推動作用，到目前為止，化學工程的服務對象不單是化學工業，而且已經擴展到材料、冶金、能源、生物、環境等諸多過程工業。世界工業化的發展和繁榮離不開化學工程，因此化學工程學科也在不斷擴大其科學內涵，向著更為交叉學科發展起來，尤其應用于研究物質在各個學科轉化過程中，向著化學、生物等學科中物質運動、傳遞和反應及其相互關系為科學內涵的過程工程學科間轉移。目前，化學工業在我國整個國民生產中占據非常重要的比例，過程工業的產值約占工業總產值的一半，并且占據工業總稅收的l/3，由此可見化學工程學科的發展不僅在科學領域有著重要的意義，而且在我國國民經濟中起著同樣舉足輕重的作用。

多尺度現象幾乎出現在所有的自然科學和實際工程應用中，因此對于多尺度問題模擬與計算研究的課題在材料科學、化學、力學和生物學等許多領域中屢見不鮮。隨著社會的不斷發展，人們對于材料的要求也在不斷的提高，材料設計系統也逐漸趨向于細致化和復雜化， 因此，原本用于單一尺度的模型顯示出其固有的局限性，單一尺度模型其中的一個主要的局限性就是它的精度無法滿足實際應用的需要。除此之外，單一尺度模型的局限性還表現在對微觀尺度上的力學性能的忽略，而微觀上被忽略的力學性能往往會對模型的合理性有非常重要的影響。例如，在建筑中常用到的混凝土，其微觀結構對宏觀性能(如尺寸大小穩定性、強度以及耐久性等) 有著至關重要的影響，可是現如今所經常使用到的混凝土模型遠遠沒有反映微觀結構對其宏觀性能的影響。此外，為了克服有些單一尺度量級的模型是半經驗的，研究者們就開始從微觀尺度模型上著手。而將微觀尺度量級的模型使用在整個系統上，卻給建模和計算帶來極大的復雜程度，不僅有可能無法實現， 而且對于有用信息的提取也是件十分困難的事情。因此，本文將對一個能夠克服上述困難的有力工具——多尺度模型進行探討。

1 多尺度模擬概念

上世紀50～60年代，“三傳一反”原理廣泛應用于各個學科和工業上，已經成為是化學工程的基石，“三傳一反”原理本質上是一種宏觀的表述，其科學內涵僅限于宏觀上數學和物理歸納。實際上，化學工程討論的范圍同時涉及到很寬的時間和空間尺度上，時間上從分子化學間振動的納秒(〈10-4 s)到工業過程所需的幾天，空間上從分子或顆粒的納米(〈10-9 m)到工廠的米或千米（〉10km）。如果要對某一尺度進行控制，則需要在另一尺度中尋找可操作的手段。現如今，化學工程已開始慢慢傾向于生物學科、醫藥學科、納米顆粒、材料學科、環境等學科和過程，而我們傳統化學工業依然存在過程調控、放大和優化等復雜問題。因此，從分子尺度到宏觀過程尺度的多尺度關聯將逐漸在化學工程中得到應用。傳統的“三傳一反”將面臨著巨大的新的挑戰，必須要換一個角度，從新的角度來認識化學工程的現象和規律[1]。不均勻時空多尺度結構是化學工程眾多現象中突出的特征，并且不均勻時空的多尺度結構慢慢得到研究人員的關注[2]。李靜海等[3]最早提出了能量最小多尺度作用模型，并且已成功預測了快速流化床中局部稀密兩相不均勻分布和密相的聚團尺寸以及氣固流型。這項研究表明了用多尺度方法是非?？尚械?，也預示其對化學工程進行量化具有可行性，并將在未來化學工業有一定的發展勢頭?；瘜W工程中的現象可歸納為以下4種過程：流動、傳遞、分相和反應；6種尺度：分子、納微米、單元(顆粒、液滴、氣泡)、聚團、設備、工廠。

多尺度法可歸納為：（1）把總過程分解為若干不同尺度的子過程；（2）研究不同尺度下各個子過程；（3）對不同子過程以及子過程之間的相互聯系進行研究；（4）采用物理化學過程手段，對系統產生多尺度結構的控制機理分析和歸納；（5）將這些不同子過程的研究結果綜合起來，解決總過程的問題?？墒沁@些步驟的實施存在很多難題，難點分為：（1）選擇有代表性的尺度以及尺度空間，可以表達過程的結構特征；（2）不同尺度間的相互聯系的分析；（3）多過程多尺度綜合的方法和規則。多尺度模擬考慮空間和時間的跨尺度與跨層次特征，并將相關尺度禍合起來，提高模擬和計算效率，分析出有用的微觀信息，是求解各種復雜的材料和工程問題的重要方法和技術。抓住不同時空條件下材料或者系統的物理響應特征是多尺度模擬的目標，并要對其性能或者使用壽命進行預測，掌握較小尺度的結構與性能對材料或者系統宏觀行為的影響。

目前，按照連接尺度的范圍大小，多尺度模擬主要包括納觀、微觀、細觀和宏觀等主要尺度的模擬。一般情況下，納觀尺度上常運用量子力學（quantum mechanics，QM）理論，微觀尺度上常運用分子動力學（moleeular damies，MD）理論，而細觀和宏觀尺度運用連續介質力學（continuum mechanies，CM）理論，但細觀尺度比宏觀小得多并且有一定的隨機性，還需要結合統計學方法。

對多尺度模擬建模的策略常有以下兩種：一種策略是先在較低的尺度上進行建模，分析總結，尋找其中的規律和法則，然后再將規律放入高尺度模型中，這個過程是一個從小尺度到大尺度的遞階過程。采用這種策略的方法一般稱作信息傳遞的多尺度方法(information-passing multi-scale methods )或遞階的多尺度方法(hierarehical multi-seale methods ) 。另一種策略是在不同尺度上同時進行建模， 并把區域進行劃分，將區域分成不同尺度定律控制的區域， 這些區域可以重疊也可以不重疊，并且在區域之間交界連接。在第二種策略中， 區域之間的連接也是一個重要問題。采用這種策略的方法一般稱作一致 的多尺度方法(coneurent multi-seale methods)。

2 CPU-GPU 耦合的多尺度模擬應用

顆粒軌道模型由于能夠得到微觀尺度上單個顆粒的具體信息，對于探索顆粒流體系統中的復雜流動行為能夠提供十分有益的幫助，同時在實際工程應用中表現出巨大的潛力[4-7]。但由于工業裝置均規模較大而且具有復雜的邊界，同時工業過程伴有復雜的流動和傳熱以及反應，應用顆粒軌道模型依然需要大量的處理時間。

最近幾年，圖形處理器(GPU)的發展很大程度上提高了計算機圖形處理的速度以及圖形質量。并且同時，圖形處理器繪制流水線的高速度和并行性以及近年來發展起來的可編程功能，方便了圖形處理以外的數字圖像處理和通用并行計算，并且，近年來人們關注的新的熱點問題聚焦在使用GPU對傳統的通用計算和圖像處理算法和進行并行加速[8-12]。針對顆粒軌道模型中最耗時的顆粒相間作用，利用 GPU進程間快速便捷的通信，可以減少傳統并行機進程間通信和管理的損耗；同時GPU的執行時間和粒子規模為次線性關系，不僅提高了算法的運算速度而且大大增加計算的規模。本文針對傳統并行顆粒軌道模型在實際應用中的缺點，結合GPU的高速并行性，提出了一種多尺度并行顆粒軌道模型，而這種模型則是基于GPU加速，并且減少了計算時間，解決了計算的粒子規模問題，極大提高了顆粒軌道模型的運算速度。

2.1 計算方法

2.1.1 CPU-GPU 耦合的多尺度計算模式

文獻提出的基于GPU加速CPU-GPU耦合的多尺度并行顆粒軌道模型，其計算結構示意圖如圖1所示。在宏觀尺度上由主節點進行任務劃分，進而基于區域分解法在介觀尺度上的流體相運動方程在CPU上并行求解，而微觀尺度上的計算量大的顆粒相間作用以及粒子搜索等在GPU中加速并行執行。

圖1 CPU-GPU耦合的多尺度計算結構的示意圖

2.1.2 CPU-GPU 耦合的多尺度計算流程

根據上述的CPU-GPU耦合的多尺度計算模式所建立的計算模型的流程如圖2所示。首先上層的CPU主節點讀入整體計算區域和計算參數以及初始計算條件，完成初始化后進行負載調度和計算區域分割，并將分割后的任務分配到各個CPU節點。計算過程中每次迭代計算完成后，中層的各個CPU節點的流量殘差要歸約收集到上層的CPU以進行收斂判斷。然后中層的CPU節點接到任務后進行流體動量方程的求解，流體動量方程的求解完畢后則計算在此流場下顆粒所受到的曳力，并發送到GPU，然后進行下一個時間步的計算。最后下層的GPU將中層的CPU的顆粒相計算區域作為一個柵格，其中所包含的每個顆粒的運動方程利用一個線程進行并行求解。顆粒運動方程的求解過程主要包括：（1）交換該柵格和相鄰柵格的重疊區域的粒子的信息；（2）搜索定位每個顆粒的所在元胞，并確定其鄰居顆粒的信息；（3）進行顆粒碰撞過程的計算；（4）根據顆粒碰撞所受到的合力，并將更新后的顆粒速度和位置信息發送到中層GPU，然后進行下一個時間步的計算。

圖2 CPU-GPU耦合的多尺度計算的流程圖

2.2 流態化不同流型過渡的模擬

基于上述的CPU-GPU耦合的顆粒軌道模型的計算流程，有文獻對具有不同反應器幾何結構而具有相同平均空隙率和入口氣速的三種不同工況下的氣固流態化系統進行了模擬研究。模擬中對于氣相，入口處以固定的氣速進入，對于固體邊壁采用無滑移邊界條件，上端的出口采用自由出流邊界條件處理，顆粒初始隨機在整個管內分布。三種工況下的顆粒的非均勻結構的動態演化過程的模擬結果分別如圖3～5所示。正如李等[13]所提出的設備尺寸的改變同樣會導致流動結構的突變即所謂的放大效應，本文的模擬結果展示了在不同系統具有相同氣速和空隙率的情況下，隨著設備尺寸的改變，兩相流動的流型由節涌流態化向湍動流態化和快速流態化過渡的過程。

圖3 近似節涌流態化的動態演化過程圖

圖4 近似湍動流態化的動態演化過程

圖5 近似快速流態化的動態演化過程

2.3 流態化系統的大規模模擬

基于CPU-GPU耦合的顆粒軌道模型的計算模式，對包含50萬個顆粒的氣固流態化系統進行了模擬研究。模擬中對于氣相，入口處以固定的氣速進入，對于固體邊壁采用無滑移邊界條件，上端的出口采用自由出流邊界條件處理，顆粒初始隨機在整個管內分布。模擬結果如圖6所示。由圖6可以看出，模擬結果復現了具有軸向上，上稀下濃，而徑向上，中間稀兩邊濃的非均勻結構特征的稀密相共存的環核結構的形成過程，同時展示了顆粒的團聚過程由小的團簇逐漸發展為帶狀團聚物進而發展為顆粒群的過程。

圖6 大規模顆粒流體系統的非均勻結構的動態演化過程

綜上所述，針對顆粒軌道模型中顆粒計算量過大而限制其應用的問題，利用求解顆粒運動方程的離散單元法良好的并行性，同時結合GPU的超強計算能力，提出了一種基于GPU加速的多尺度并行顆粒軌道模型，并詳細論述了該模型的多尺度計算結構的實現。先以設備尺度變化而導致的流動結構的突變作為算例進行了模擬研究，模擬結果展示了在不同系統具有相同氣速和空隙率的情況下，隨著設備尺寸的改變，兩相流動的流型由節涌流態化向湍動流態化和快速流態化過渡的過程。進而對包含有50萬個顆粒的氣固流態化系統的非均勻結構的動態演化過程進行了模擬研究，復現了具有軸向上，上稀下濃，而徑向上，中間稀兩邊濃的非均勻結構特征的稀密相共存的環核結構的形成過程，同時展示了顆粒的團聚過程由小的團簇逐漸發展為帶狀團聚物進而發展為顆粒群的過程。

3 存在問題及結論

由于自身理論體系的問題，多尺度分析方法缺乏系統性和完整性。雖然在解決一些實際問題時，多尺度分析方法很有成效，但其針對性很強，一般都是一對一的解決方法，對于普通的模型缺少適用性。多尺度模擬當今研究的難點和重點仍然是不同尺度區域間的連接以及低尺度建模理論。大型商用計算程序還沒有和多尺度模擬與計算有效結合起來，還沒能夠有效實現，基本上要靠研究人員編寫計算程序或者采用一些發達國家沿用的理論和設別，多尺度方法的發展與應用在這種現狀下很難進行下去。此外，多尺度方法的最終目標之一還是要建立連接納米尺度、微米尺度、細觀尺度和宏觀尺度等全尺度模擬的理論與方法。此外， 這種方法還需要進行大規模的普及，吸引更多的研究者和專家加入，實現這些目標對復雜材料、生物學、化學、力學以及系統設計等領域有重要意義。

[1] 張鎖江, 張香平. 分子工程與過程工程[M]．北京: 化學工業出版社，2004. 36 - 49．

[2] 李靜海, 郭慕孫. 過程工程量化的科學途徑-多尺度法[J]. 自然科學進展, 1999, 9 (121)：1073 - 1078．

[3] 李靜海．顆粒流體兩相流多尺度方法和能量最小模型[D]．北京：中國科學院化工冶金研究所，1987．

[4] Hoomans B P B，Kuipers J A M ，Briels W J, van Swaaij W P M. Discrete Particle Simulation of Bubbleand Slug Fclrmation in a Two-dimensional Gasfluidized: a Hard-sphere Approach[J]. Chem. Eng. Sci., 1996,51: 99 - 108.

[5] 0uyang J, Li J H. Particle-motion-resolved Discrete Model for Simulating Gas-Solid Fluidization[J]. Chem.Eng. Sci., 1999, 54: 2077 - 2083.

[6] Tsuji Y, Kawaguchi T, Tanaka T. Discrete Particle Simulation of Twodimensional Fluidized Bed[J]. Powder Techno1., 1993, 77: 79 - 87.

[7] Xu B H，Yu A B. Numerical Simulation of the Gas-Solid Flow in a Fluidized Bed by Combining Discrete Particle Method with Computation Fluid Dynamics[J]. Chem. Eng. Sci., 1997, 52: 2785 - 2809.

[8] Li J, Kuipersa J A M. Gas-particle interactions in dense gas-fluidized beds[J]. Chem. Eng. Sci.，2003, 58:711-718.

[9] Belleman Robert G., Bedorf Jeroen, Zwart Simon F. Portegies. High performance direct gravitational N-body simulations on graphics processing units II: An implementation in CUDA[J]. New Astronomy, 2008,13(2): 103 - 112.

[10] van Meel J A, Arnold A, Frenkel D, Zwart S F Portegies, Belleman R G. Harvesting graphics power for MD simulations[J]. Molecular Simulation, 2008, 34(3): 259 - 266.

[11] Anderson J A, Lorenz C D, Travesset A. General purpose molecular dynamics simulations fully implemented on graphics processing units[J]. Comput. Phys., 2008, 227(10): 5342 - 5359.

[12] 多相復雜系統國家重點實驗室多尺度離散模擬項目組. 基于GPU 的多尺度離散模擬并行計算[M]. 北京: 科學出版社, 2008.

[13] Li J, Kwauk M. Exporing complex systems in chemical engineering－the multi-scale methodology[J]. Chem.Eng. Sci, 2003, 58: 521 - 535.

The Multi-scale Simulation Application of the Coupling of CPU-GPU

This paper briefly introduces the multi-scale problem and its research methods, discusses the research on the multi-scale simulation calculation method and the research progress, and points out the limitations of current researches and the existing problems, making further research on the multi-scale simulation and calculation very necessary. Discrete particle model (DPM) in the numerical simulation of particle fluid system has been widely used, but the DPM of large-scale system generates a huge computation and has seriously restricted its application. In recent years, the rapid development of the graphics processing units (GPU) with its powerful computing capacity and good parallelism provides another way for the development and application of discrete particle model.

Multi-scale; Simulation; DPM; Application

B

1003-0492(2015)05-0096-04

TP391

孫以環（1983-），女，江蘇沐陽人，湖北工業大學儀器儀表工程專業碩士研究生在讀，現就職于中國石油天然氣運輸公司長慶運輸分公司。