基于EMMS范式的離散模擬及其化工應用

徐驥，盧利強，葛蔚，李靜海

（中國科學院過程工程研究所多相復雜系統國家重點實驗室，北京 100190）

?

基于EMMS范式的離散模擬及其化工應用

徐驥，盧利強，葛蔚，李靜海

（中國科學院過程工程研究所多相復雜系統國家重點實驗室，北京 100190）

摘要：化工過程通常涉及化學、化工、過程系統工程3個層次，而每個層次又包含微尺度、介尺度和宏尺度，如化工層次的顆粒、顆粒團和反應器尺度。每個層次中的微尺度單元都自然適用離散模型，即通過跟蹤每個單元的運動獲得整個體系演化的宏觀規律。但由于單元數量巨大，工程模擬往往依賴經過統計平均的連續介質模型。由此帶來的精度問題，特別是忽略了介尺度結構的問題，隨著對化工過程效率和綠色度等要求的提高而日漸突出。介紹了通過問題、模型、軟件和硬件結構的一致性提升離散模擬的精度、能力和效率的方法、進展及其在復雜分子體系、顆粒流、氣固流態化等方面的應用，展示了通過離散模擬實現虛擬過程工程的可能性。

關鍵詞：離散模擬；EMMS范式；多相流；多尺度；顆粒；虛擬過程工程

2015-09-18收到初稿，2015-11-30收到修改稿。

聯系人：葛蔚。第一作者：徐驥（1984—），男，副研究員。

Received date: 2015-09-18.

引 言

化工過程普遍涉及化學、化工和過程系統工程3個層次，如圖1所示[1]。在每個層次中又可以劃分為3個典型的尺度：微(單元)尺度、宏(系統)尺度以及兩者之間的介尺度。微尺度用以描述系統中運動的最小時空單元，如考慮顆粒濃度分布時反應器中的單個顆粒；宏尺度代表所考慮的整個系統，如此時所涉及的反應器總體；介尺度則用以描述由微尺度單元在運動過程中形成的時空不均勻結構。由于介尺度結構的存在及其重要影響，宏尺度與微尺度間的關聯往往難以借助既有的統計力學和熱力學方法獲得。因此無論對理論還是應用研究，從精確的微尺度模擬復現介尺度和宏尺度行為都是不可或缺的重要手段[1]。

然而，每一層次上單元尺度（上一層次的單元尺度同時也是下一層次的系統尺度）的研究方法，如分子動力學(molecular dynamics, MD)和離散單元法(discrete element method, DEM)，目前還存在計算規模小、速度慢、理想化假設較多和尺度間耦合困難等問題，難以滿足上述需求。近年來的研究表明，通過保持問題、模型、軟件和硬件結構的一致性，即EMMS范式[2]，可以極大地提高離散模擬的精度、能力和效率(ACE, 即accuracy, capability, efficiency)[3-4]。并可能帶來以交互與實時模擬，及其與實驗、測量、控制及可視化等系統緊密耦合為特征的化工模擬新模式，即虛擬過程工程(virtual process engineering, VPE)。

本文將重點介紹本研究團隊在上述EMMS范式下建立大規模高精度離散能力的整體思路，所建立的模擬平臺的基本框架、功能和性能，并介紹其在復雜分子體系、顆粒流和氣固流態化等領域的典型應用。還將介紹通過多尺度離散模擬構建VPE系統的初步嘗試，最后將展望離散模擬方法和VPE的發展方向。

圖1 化學工程涉及的3個層次和其中的多尺度結構[1]Fig. 1 Multi-level, multi-scale hierarchy of chemical engineering[1]

1 基于EMMS范式的離散模擬

能量最小多尺度(energy-minimization multiscale, EMMS)模型最早針對氣固流態化系統提出[5-6]，通過稀密相的劃分和穩定性條件的引入封閉了含介尺度結構參數的多尺度流動模型，現已擴展應用于氣液、氣液固和湍流等體系[7-8]，由此形成了以不同的控制機制在競爭中協調為核心的穩定性條件的一般表達[1,9]，并通過擬顆粒模擬(pseudo-particle modeling, PPM)[10]等離散模擬方法在多個系統中得以驗證[11-12]。在此過程中，通過抽象不同離散模擬方法的共性[13-14]，逐步建立了其通用模擬平臺[15]，進而提出了EMMS范式，即通過離散模擬與介尺度模型結合提高計算精度與效率[2]。該范式的核心內容包括兩方面：一是從整體到局部、從分布到演化的建模方法；二是保持問題、模型、軟件和硬件結構一致性的計算模式[3]。基于EMMS范式可以建立更精確、快速和高效的模擬方法。下面分別從模型、軟件和硬件3方面闡述該平臺的構建思路，并說明如何在每個方面描述或建立其多尺度結構。

1.1 多尺度離散模型的構建

盡管化工過程涉及不同層次的多個尺度(圖1)，但對每個尺度幾乎都能建立相應的離散模型。這是多尺度離散模擬的第1層含義。首先在各層次的單元尺度，可以建立直觀而自然的離散模型。在原子和分子尺度，從經典力學的角度看原子間主要存在兩體或多體間的有勢作用，可以用MD模型較好地描述[16]；而在顆粒尺度，宏觀的顆粒間碰撞、摩擦和變形等也可以最終分解為離散點間的作用，以DEM[17]建模；在反應器尺度，過程系統工程中也廣泛采用各單元設備模型，通過輸入輸出參量的耦合建立離散的網絡模型。其次，為了解決實際系統中單元數量巨大、計算規模受限的問題，還可以在上述模型基礎上發展相應的粗粒化方法。如考慮分子團之間能量轉化的耗散粒子動力學(dissipative particle dynamics, DPD)[18]模型，和對原子/分子間碰撞做統計(隨機)處理的直接模擬Monte Carlo (direct simulation Monte Carlo, DSMC[19])與擬顆粒模擬[10]。而從顆粒尺度出發，也相應地存在粗顆粒(coarse grain model)[20-21]和網格中的粒子(particle in cell, PIC)[22]等模型。這些模型的存在為構建完整的化工過程多尺度離散模擬體系提供了可能。

如圖2左側模型(modeling)部分所示，多尺度離散模擬的另一層含義是在某一尺度的離散單元間可以存在不同尺度的作用，它們可以包括如下作用。

（1）近程作用(short range interactions)，如MD中分子間的范德華力(van der Waals forces)以及DEM中顆粒間的接觸作用或碰撞(contacts/ collisions)等，也包括各自獨立的單元狀態更新(updating)等。

（2）長程關聯(long range interactions)，如復雜的聚合物[24]和生物[25]分子中多個原子間的約束作用(constraints)和靜電力中的長程部分(long range electrostatic forces)[26]。而非平衡態體系的建模還涉及外場作用(external forces)[25]。類似地，在黏性顆粒、濕顆粒及顆粒流體系統中也存在靜電等長程力和流體流動等外場作用。而在復雜形狀顆粒的組合模型中，其成員顆粒間相對位置的控制也屬約束作用。

（3）全局約束(global constraints)，在非平衡過程中，離散單元間在穩定性條件的驅動下通過上述短程和長程作用還會形成全局與介尺度結構(global distribution)。盡管單純由動力學角度也可以從底層描述這些結構的形成，但從計算角度看，直接利用這些結構的特征首先從總體上分布和約束單元的演化則可以大大減少計算量，提高模擬精度和速度。因此在計算中將全局約束也看作一種獨立的作用，并以此優化計算的初始條件與負載平衡(load balance)操作等。

這種多尺度作用模式的存在就要求在離散模擬的軟件和計算硬件設計中同樣考慮多尺度結構和邏輯，而這也正是EMMS范式的核心思想之一。

1.2 軟件框架

盡管不同時空尺度的離散模擬方法具有各自的特點，但從計算角度分析，計算量最大的部分一般是單元間的相互作用，尤其是近程作用，通常會消耗50%～70%的計算量[27]。而這種近程作用在算法上的共性為建立離散模擬的統一軟件平臺提供了可能[13, 15, 28-29]。而在考慮了模擬對象的多尺度結構與穩定性約束后，體現EMMS范式的多尺度離散模擬平臺為實現虛擬過程提供了有效途徑。

圖2 基于EMMS范式的離散模擬平臺三層結構[23]Fig. 2 Three layers of discrete simulation platform based on EMMS paradigm[23]

根據這一思路，將離散模擬方法的軟件實現分為3個層級，如圖2中間“軟件”(software)部分所示。軟件的上層部分對應模型的全局約束，負責軟件運行的整體控制。包括優化模擬的初場分布；軟件運行過程中的負載均衡，即減少大規模并行計算時由于計算量分布不均造成相互等待和計算效率的損失。該類計算大多屬于全局優化問題，往往涉及矩陣和圖的全局操作并涉及幾乎所有并行進程，計算復雜度高。但其調用頻率較低、計算量較小，主要集中在計算開始時，因而由結構復雜而數量較少的上層計算硬件執行。

中層部分的軟件對應模型中的長程關聯部分的計算，其計算量適中但是操作比較復雜，而且往往涉及不同節點間大量的數據交換。在目前常見的分布式并行計算系統中，節點間的通信量隨著節點數目的增加迅速增大，嚴重限制了大規模并行計算的效率。如MD中常用的約束(constraints)算法SHAKE[30]涉及迭代計算，通常需要多次并行通信；而LINCS[31]方法盡管無須迭代，但也受到并行通信速率的限制。而計算長程靜電作用的PME (Particle Mesh Ewald)方法[32-33]則涉及全局通信。外場作用(external forces)為與其他方法（如連續介質模型）預留了耦合接口，從而將離散模擬拓展至多相流等體系，但它通常也涉及復雜的通信和數據交換。由此可見中層軟件對并行度和通信速率與帶寬等具有較高要求。

軟件的底層部分負責處理模型中的近程作用(short range interactions)。因為涉及系統演化的細節，需要求解每一個單元的運動，其計算量通常最大。但從算法設計和軟件實現角度分析，該部分模型的計算操作相對簡單，主要是對大量常微分方程的數值積分，具有良好的數據局部性和可加性，并且經常可以對大量數據執行相同的操作。MD中范德華力(van der Waals forces)和LJ(Lennard-Jones) 勢[34]，以及DEM中描述顆粒間碰撞(contacts/ collisions)的Hertz作用[35]等的計算均具有這樣的特點。而運動單元的迭代更新(updating)由于通常不涉及數據通信也具有此特點，這些特點可以保證大規模并行計算的高效性。

1.3 硬件系統

根據上述軟件實現的特點，建立了相應的基于EMMS范式的多尺度硬件體系結構[36]。這里以近年來構建的多尺度超級計算系統Mole-8.5E[37-39]為例，介紹該體系結構的一種初步實現。如圖2右側的硬件(hardware)部分所示，該系統的上層和中層節點采用CPU進行復雜的計算和通信；同時中層和底層的節點分別采用MIC (many integrated core)[40]和GPU[41]提高計算能力。這3層結構分別對應于多指令多數據多核 (multiple instruction multiple data (MIMD) multicore)、多指令多數據眾核 (MIMD manycore) 和單指令多數據眾核(single instruction multiple data (SIMD) manycore) 3類處理器架構，也分別對應了軟件的三層結構中的操作。與傳統上單純基于CPU的超級計算系統相比，即使對于通用計算，它在效費比和效能比上也具備顯著的優勢[38]，而對EMMS方式下的離散模擬則可獲得數量級的提升[36]。目前該系統已在一系列基礎和工業應用研究中得到成功應用。

2 平臺實現

除了構建基于EMMS范式的離散模擬方法與軟硬件框架，為了在化工基礎研究與工業應用中更好地發揮其能力，還應進一步建立系統的模擬平臺。該平臺應具備完善的前后處理能力和良好的易用性，并能與其他方法和軟件耦合或建立高效方便的接口。近年來一個覆蓋圖1中從分子到反應器5個尺度的統一的離散模擬平臺正在構建中，并已經實現了對一些體系的離散模擬，包括材料[42]、生物大分子[43]、顆粒流[44]、氣固體系[21]、液固體系[45]等方面。其主要的技術和功能特點如下。

圖3 非規則模擬區域的并行分割Fig. 3 Parallel decomposition of irregular simulation domains

（1）為適應實際化工裝置的結構復雜性，在實現近程、長程、約束、外場作用等模型的CPU、GPU或MIC計算[21, 24, 42, 45-48]的基礎上還發展了兩級區域分解并行算法。如圖3所示的循環流化床，實際需要模擬的區域僅為流化床內部，而常用并行算法對流化床占據的整體空間進行劃分 [圖3(a)]，浪費了大量計算資源。新算法[圖3(b)]首先根據裝置的有效區域劃分第1級子區域[圖3(b)中的1～11]，再根據它們各自的顆粒分布進行2級劃分，實現了計算資源的有效利用。由于區域分割與負載平衡等操作可以在頂層節點執行，這樣的精細分割并不會對計算本身產生較大影響，保證了平臺的效率和實用性。

（2）為處理實際化工過程中離散單元的復雜結構，實現了簡單形狀單元組合[49]、多邊形或樣條曲線(面)近似、解析表達等非規則幾何描述方式。由此可以處理如填料、催化劑、礦石以及聚合物和生物大分子等多種復雜單元。

（3）鑒于多種處理器及通信模式耦合的多尺度計算中數據交換受到一些瓶頸環節的制約(如GPU-CPU及GPU-GPU之間)，采用了多種計算與通信、計算與存儲訪問以及不同部分的計算間重疊的優化設計，最大限度縮短了計算中的等待時間，提高了并行效率[50]。

（4）為滿足多相體系模擬的需求，離散模擬平臺可以作為固相求解器與求解流體等其他相的方法或軟件耦合，形成離散-連續耦合模擬平臺。目前支持的流體求解方法包括有限體積法(finite volume method)、格子Boltzmann方法(lattice Boltzmann method, LBM)，耦合方法包括顆粒軌道模型(discrete particle method, DPM)和浸入邊界法 (immersed boundary method, IBM)等，可耦合的軟件有Fluent和OpenFOAM等。

目前，離散模擬平臺中的MD和DEM模塊已經形成注冊軟件[51-53]，其中DEM模塊DEMms已開放使用(詳見http://159.226.63.40/demms[53])。借助團隊面向多尺度離散模擬建立的Petaflops級高效能超級計算系統Mole-8.5E[37-39]，離散模擬平臺已能處理單元數高達109～1011量級的工業體系，并可達1010步/秒以上的粒子更新速率。在對聚合物、硅材料和顆粒混合等過程的模擬中其計算效能可達到原先基于CPU的相應軟件的10倍左右[24, 46, 50, 54-55]。

3 應 用

基于EMMS范式的離散模擬及其軟硬件平臺的建立為它在基礎研究以及工藝、過程和裝備開發中的應用提供了條件。下面介紹的一些典型實例表明離散模擬已經能夠突破理論與實驗室研究的范疇，成為一種有效的工業和工程模擬手段。

3.1 材料和生物體系的MD模擬

圖4 材料和生物體系的MD模擬Fig. 4 MD simulation of material and biological systems

離散模擬平臺拓展了MD方法的模擬能力，從而能夠直接從原子尺度進行材料、生物領域內一些宏觀體系的模擬。如圖4(a)所示，在硅納米線的導熱研究中，通過CPU與GPU耦合計算實現了從微觀（10-10m）模型到宏觀現象（10-3m）的直接計算，完整復現了其尺度效應。模擬體系含有約1100億個原子，跨越了7個空間尺度量級，相對之前的CPU計算加速比達到650多倍，并實現了國內首個Petaflops級的應用計算，計算峰值達到單精度1.87 Petaflops[42]。在生物體系的研究中，實現了完整流感病毒（H1N1）在溶液中的動態結構的模擬，體系含有3億多個原子，計算速度最高可達相同進程數通用CPU軟件的32.6倍[54]，是當時生物體系模擬中規模最大、結構最復雜的原子層次模擬，有望為抗流感藥物的設計提供有力工具。

3.2 顆粒流模擬

顆粒物料是化工過程中最常見的原料和產品之一，因此對顆粒的輸送、混合、傳熱等過程的模擬具有廣泛的工業應用。同時，由于對此類體系還缺乏有效的介尺度模型和連續介質描述，其理論研究也是多個領域關注的熱點[57]，而模擬將為此提供有力手段。DEM是目前顆粒體系模擬的最主要方法。對于簡單的光滑顆粒，在DEM模擬中已能實現工業規模的滾筒混合或輸送設備的準實時模擬。如對一個長13.5 m、直徑1.5 m、含960萬個毫米級顆粒的工業規模滾筒混合器的模擬[46]，采用30 塊C2050 GPUs，約能達到物理演化速度的1/60。

利用這樣的能力，實現了某工藝中試裝置的螺旋混合-輸送器在不同結構和操作參數下的混合指標[58]與停留時間分布[59]的模擬。其中結構參數包括螺距、進料口位置和輸送器長度等，而操作條件包括轉速和物料添加速率等。另外通過計算顆粒間在接觸面上的導熱[60]還可獲得其中的溫度分布，圖5為一組模擬結果的快照（在http://159.226.63.40/ demms上可看到其動態演示）。模擬結果與可測量的出口粒徑分布等實驗結果符合良好，而模擬還能提供實驗中難以測量的內部動態過程，從而為了解混合機理、優化裝置結構等提供重要參考。與實驗相比，其費用低、速度快、效果好的優勢非常突出。

3.3 兩相流的直接數值模擬

為了深入了解多相反應器中介尺度結構形成的底層機理，以及微化工和過程強化等領域精細的流動、傳遞和反應過程，能夠精確解析每個顆粒周圍流場的直接數值模擬 (direct numerical simulation, DNS)[47, 61-62]已成為重要的研究手段。該模擬幾乎不依賴經驗模型，準確性和可靠性都明顯優于其他模擬方法，但是其計算量巨大，嚴重限制了其適用范圍。前述離散模擬平臺以及多尺度超級計算系統的應用顯著拓展了DNS的時間和空間尺度，為研究更接近于真實的化工過程提供了可能。

在圖6(a)、(b)的氣固兩相流的模擬中，應用LBM求解氣相[63]，DEM求解固相顆粒，實現了宏觀體系的DNS[47]，模擬的空間尺度達到了10-1m。在11.5 cm×46 cm的二維體系模擬中，顆粒數最大超過100萬個 [圖6(a)]；在0.384 cm×1.512 cm× 0.384 cm的三維體系模擬中，顆粒數超過10萬個[圖6(b)]，而之前典型的DNS顆粒數在103量級[65-67]。其計算速度在單塊C2050 GPU上即達到了E5520 CPU單核的60多倍，而且具有較好的并行性，拓展到672塊GPU時仍然具有近乎線性的加速比[2]。

圖5 顆粒在螺旋輸送器中的混合與溫度分布Fig. 5 Particle mixing and temperature distribution in screw conveyor

在圖6(c)的攪拌釜模擬中，應用有限差分方法并結合IBM[68]和大渦模擬(large eddy simulation, LES)[69]求解流體，DEM處理固相顆粒，已經可以模擬實驗室規模的攪拌反應釜。如圖6(c)所示，該攪拌釜外形尺寸為f 48 mm×48 mm，具有圓柱形壁面，內置一套六葉斜槳，并含4731個1.5 mm顆粒。在5123的流體網格下可以獲得釜內流動與傳熱過程的細節，并考察如有效曳力系數和傳熱系數等對工業反應釜設計至關重要的參數。目前在嘗試更大規模的攪拌反應釜模擬，顆粒數達到136300個，網格數達13443≈2.4×109個，使用512塊GPU計算時，估計能在1個月內獲得穩態結果[64]。

3.4 氣固反應器的離散顆粒模擬

在面向工業裝置的多相體系模擬中目前普遍采用連續介質方法，如顆粒流體系統的雙流體模型(two-fluid model, TFM)[70-71]等。但由于固相作為連續介質處理的困難，特別是忽視介尺度結構帶來的誤差，其模擬精度與工程需求還有很大差距[72]。現在隨著離散模擬速度與精度的提高，特別是一系列粗粒化模型的提出[21]，顆粒離散模擬與流體連續介質模擬相結合的DPM有望帶來很大改觀[20, 21, 72-74]。

如通過流動開源求解器OpenFOAM與離散模擬平臺的耦合，實現了如圖7(a)所示的某氣固反應器中顆粒停留時間分布(residence time distribution, RTD)的DPM模擬。其計算速度達到650 s·d-1，模擬的物理時間達6800 s。而之前雙流體模擬的物理時間也僅為幾十秒到幾分鐘[75]，且很難準確計算RTD。根據Kunii等[76]的分析，單一尺寸顆粒形成的密相流化床中顆粒近似處于完全混合狀態。而比較模擬結果與全混流時的RTD[圖7(b)]可以發現兩者確能很好符合。

3.5 虛擬過程工程的初步示范

以上述高效離散和離散-連續耦合模擬方法和平臺為基礎，已能建立VPE的演示系統，即將計算機模擬與在線控制、實時數據處理相結合，實現高精度的化工過程模擬，實時、在線地比較模擬與實驗數據，并動態觀察結果[77]。VPE將從模擬角度改變化工過程的研發模式，幫助工程人員更精確、高效地實現化工過程的預測、優化、仿真和培訓[2]。

圖6 兩相流的直接數值模擬Fig. 6 DNS of two-phase flow

圖7 氣固反應器的DPM模擬Fig.7 DPM simulation of a gas-solid reactor

首先實現了兩股射流體系（圖8）的VPE演示，其模擬速度可完全達到實際物理演化速度[78]。在模擬過程中，可以在線改變操作參數，如射流速度、方向、顆粒屬性等，實時地獲得模擬結果，并根據模擬結果進一步優化操作條件。事實上，除了作為VPE的演示，該系統還可用于如多噴嘴撞擊流反應器[79]及顆粒混合過程等的研究中。

在氣固循環流化床(circulating fluidized bed, CFB)反應器中，嘗試了提升管的VPE[21, 23]。如圖9所示，用戶通過拖動裝置圖上的紅色矩形框可以調整顯示區域（右側當前顯示的是提升管底部的模擬結果）。右下方為速度控制、顯示窗口，可以拖動滑動條來減小或增大操作氣速，左上方為系統統計的軸向空隙率的實時分布。該模擬采用21萬個粗顆粒，在12個進程并行時可以達到1/40的實時速度，在線可視化速度為5幀/秒。如圖10所示，其軸向[圖10(a)]和全床瞬時空隙率分布[圖10(b)]、底部4 m的床層內顆粒的瞬時分布[圖10(c)]和不同高度上徑向的空隙率分布[圖10(d)]均能與實驗數據吻合并且復現合理的顆粒團聚現象。盡管離實現完整的VPE系統其效果仍有較大差距，但對于教學和培訓等目的，該系統已能發揮實際作用。

圖8 兩股顆粒流實時模擬[78]Fig. 8 Snapshot from realtime simulation of two streams of granular flows[78]

4 總結與展望

本文的論述表明基于EMMS范式的多尺度離散模擬通過保證問題、模型與軟硬件的結構一致性可以顯著提高模擬的精度、速度與效率，從而為實際化工過程的模擬帶來新的可能，并推動虛擬過程工程的最終實現。為實現這一目標，今后的研究應集中于以下幾方面。

（1）離散模擬在實際應用中還需解決很多問題，包括非規則單元結構與變形的更高效處理，以及單元間的聚并與破碎等動態過程的處理。對于運動與傳熱、傳質、反應等過程的耦合，目前的處理大多借鑒了連續介質模型，還缺乏能充分利用離散單元特性的簡便而高效的方法，值得深入研究。

（2）在通過模型降低離散模擬的計算量方面，從離散角度深入研究介尺度結構的形成機理，從而建立離散模擬粗粒化的通用理論，進而構建多尺度的離散模擬模型，是一條有效途徑。盡管近些年計算能力的飛速發展極大地拓展了離散模擬的時空尺度，但與許多化工過程的模擬需求仍相去甚遠，粗粒化是降低計算量的最有效途徑之一[21, 80]。粗粒化的尺度是該方法的核心問題，尺度過小則加速效果不明顯；尺度過大，特別是超過了介尺度結構的特征尺度，則會引起較大的失真。因此，基于介尺度科學的粗粒化方法應得到重視，而其本身也是統計力學與熱力學的前沿課題。

圖9 氣固循環流化床的虛擬過程工程演示[23]Fig. 9 Demo of VPE for gas-solid CFB riser[23]

（3）在提高離散模擬的計算能力方面，未來超級計算機的發展將與應用緊密結合，在歸納計算對象共同結構和邏輯特征的基礎上，實現問題、模型、軟件、硬件結構和邏輯一致性將是最合理的發展方向，一旦取得突破將對廣泛的科學和工程領域產生重要影響，但這需要計算機科學和工程科學的無縫結合。多尺度離散模擬本身已覆蓋了寬廣的應用領域，而其軟硬件設計又符合統一的框架，這就為其專用計算平臺的建立提供了必要與可能。目前專門針對MD設計的Anton[81-82]等專用系統的應用面還較狹窄，而Mole-8.5E系統目前的實現還在節點層次，借用了既有的處理芯片。如何從更底層的芯片和軟件體系結構設計出發建立更高效和通用的計算平臺是實現虛擬過程等長遠目標的技術保證。

圖10 VPE模擬結果與實驗數據的對比Fig. 10 Comparison of the VPE simulation results with experimental measurements

（4）在拓展離散模擬的應用方面，與連續介質模型的耦合是重要的手段之一，而兩者的變量間的映射是沒有很好地解決但又對模擬精度與效率有重要影響的問題。這方面的研究涉及從離散到連續的統計力學處理，以及從連續到離散的約束條件等深刻的理論問題，需要多學科的交叉研究。

EMMS范式與多尺度離散模擬的發展已經預示了VPE的可能性，但其最終實現還有賴于介尺度科學、多尺度建模和模擬軟硬件系統的極大發展。同時也需要與實驗和測量技術、可視化與控制技術、人機交互技術等的有效集成。這將是一個多學科和多種技術交叉融合的前沿領域，需要不同學科的長期密切的合作才能實現。盡管還有這些艱巨的工作，多尺度離散模擬最終將帶來化學工程基礎研究與應用開發手段的革命性變化，為建立更高效而綠色的化學工業做出貢獻[77]。

致謝 感謝狄升斌在液固攪拌釜直接數值模擬、戚華彪在顆粒流模擬方面提供的幫助。感謝國家杰出青年基金（21225628）、重點基金（91434201），中國科學院重大專項（XDA07080102）以及交叉研究團隊的資助。

References

[1] LI J H, GE W, KWAUK M. Meso-scale phenomena from compromise—a common challenge, not only for chemical engineering [J/OL]. http://arxiv.org/abs/0912.5407.

[2] GE W, WANG W, YANG N, et al. Meso-scale oriented simulation towards virtual process engineering (VPE)—the EMMS Paradigm [J]. Chemical Engineering Science, 2011, 66(19): 4426-4458.

[3] 李靜海, 黃文來. 探索介科學：競爭中的協調原理[M]. 北京: 科學出版社, 2014. LI J H, HUANG W L. Towards Mesoscience: the Principle of Compromise in Competition[M]. Beijing: Science Press, 2014.

[4] LI J H, HUANG W L. Towards Mesoscience: the Principle of Compromise in Competition[M]. Berlin: Springer, 2014.

[5] LI J H, TUNG Y, KWAUK M. Method of energy minimization in multi-scale modeling of particle-fluid two-phase flow[M]// BASU P, LARGE J F. Circulating Fluidized Bed Technology. Pergamon, 1988:89-103.

[6] 李靜海. 兩相流多尺度作用模型和能量最小方法[D]. 北京: 中國科學院化工冶金研究所, 1987. LI J H. Multi-scale modeling and method of energy minimization in two-phase flow [D]. Beijing: Institute of Chemical Metallurgy, Chinese Academy of Sciences, 1987.

[7] LI J H, ZHANG J Y, GE W, et al. A simple variational criterion for turbulent flow in pipe [J]. Chemical Engineering Science, 1999, 54(8): 1151-1154.

[8] GE W, CHEN F G, GAO J, et al. Analytical multi-scale method for multi-phase complex systems in process engineering—bridging reductionism and holism [J]. Chemical Engineering Science, 2007, 62(13): 3346-3377.

[9] LI J H, GE W, WANG W, et al. Focusing on the meso-scales of multi-scale phenomena—in search for a new paradigm in chemical engineering [J]. Particuology, 2010, 8(6): 634-639.

[10] GE W, LI J H. Pseudo-particle approach to hydrodynamics of gas/solid two-phase flow[C]// Proceedings of the 5th International Conference on Circulating Fluidized Bed. Beijing: Science Press, 1996: 260-265.

[11] GE W, LI J H. Macro-scale phenomena reproduced in microscopic systems—pseudo-particle modeling of fluidization [J]. Chemical Engineering Science, 2003, 58(8): 1565-1585.

[12] GE W, LI J H. Simulation of particle-fluid systems with macro-scale pseudo-particle modeling [J]. Powder Technology, 2003, 137(1/2): 99-108.

[13] GE W, LI J H. Conceptual model for massive parallel computing of discrete systems with local interactions [J]. Computers and Applied Chemistry, 2000, 17(5): 385-388.

[14] GE W, MA J S, ZHANG J Y, et al. Particle methods for multiscale simulation of complex flows [J]. Chinese Science Bulletin, 2005, 50(11): 1057-1069.

[15] 唐德祥. 粒子模擬并行計算通用平臺的設計與初步應用[D]. 北京:中國科學院過程工程研究所, 2005. TANG D X. A general method of parallel computation for particle methods and its preliminary applications[D]. Beijing: Institue of Process Engineering, Chinese Academy of Sciences, 2005.

[16] ALDER B J, WAINWRIGHT T E. Molecular Dynamics by Electronic Computers[M]. New York: Wiley, 1956.

[17] CUNDALL P A, STRACK O D L. A discrete numerical-model for granular assemblies [J]. Geotechnique, 1979, 29(1): 47-65.

[18] HOOGERBRUGGE P J, KOELMAN J. Simulating microscopic hydrodynamic phenomena with dissipative particle dynamics [J]. EPL (Europhysics Letters), 1992, 19(3): 155-160.

[19] BIRD G A. Approach to translational equilibrium in a rigid sphere gas [J]. Physics of Fluids, 1963, 6(10): 1518-1519.

[20] TSUJI Y, TANAKA T, ISHIDA T. Lagrangian numerical-simulation of plug flow of cohesionless particles in a horizontal pipe [J]. Powder Technology, 1992, 71(3): 239-250.

[21] LU L Q, XU J, GE W, et al. EMMS-based discrete particle method (EMMS-DPM) for simulation of gas-solid flows [J]. Chemical Engineering Science, 2014, 120: 67-87.

[22] ANDREWS M J, OROURKE P J. The multiphase particle-in-cell (MP-PIC) method for dense particulate flows [J]. International Journal of Multiphase Flow, 1996, 22(2): 379-402.

[23] GE W, LU L Q, LIU S W, et al. Multiscale discrete supercomputing – a game changer for process simulation? [J]. Chemical Engineering & Technology, 2015, 38(4): 575-584.

[24] XU J, REN Y, GE W, et al. Molecular dynamics simulation of macromolecules using graphics processing unit [J]. Molecular Simulation, 2010, 36(14): 1131-1140.

[25] XU J, HAN M Z, REN Y, et al. The principle of compromise in competition: exploring stability condition of protein folding [J]. Science Bulletin, 2015, 60(1): 76-85.

[26] PERUTZ M. Electrostatic effects in proteins [J]. Science, 1978, 201(4362): 1187-1191.

[27] PLIMPTON S. Fast parallel algorithms for short-range molecular dynamics [J]. Journal of Computational Physics, 1995, 117(1): 1-19.

[28] GE W, LI J H. General approach for discrete simulation of complex systems [J]. Chinese Science Bulletin, 2002, 47(14): 1172-1175.

[29] 王小偉. 可疊加近程作用粒子系統模擬的并行計算框架及通用化研究[D]. 北京: 中國科學院過程工程研究所, 2008. WANG X W. A framework for parallel simulation of particle systems with pair-additive local interactions — toward a general approach[D]. Beijing: Institute of Process Engineering, Chinese Academy of Sciences, 2008.

[30] RYCKAERT J-P, CICCOTTI G, BERENDSEN H J C. Numerical integration of the cartesian equations of motion of a system with constraints: molecular dynamics of n-alkanes [J]. Journal of Computational Physics, 1977, 23(3): 327-341.

[31] HESS B, BEKKER H, BERENDSEN H J C, et al. LINCS: a linear constraint solver for molecular simulations [J]. Journal of Computational Chemistry, 1997, 18(12): 1463-1472.

[32] DARDEN T, YORK D, PEDERSEN L. Particle mesh Ewald: an N·log(N) method for Ewald sums in large systems [J]. The Journal of Chemical Physics, 1993, 98(12): 10089-10092.

[33] ESSMANN U, PERERA L, BERKOWITZ M, et al. A smooth particle mesh Ewald method [J]. The Journal of Chemical Physics, 1995, 103(19): 8577-8593.

[34] LENNARD-JONES J E. Cohesion [J]. Proceedings of the Physical Society, 1931, 43(5): 461-482.

[35] HERTZ H. Miscellaneous Papers [M]. JONES D E, SCHOTT G A, trans. London, UK: Macmillan, 1896.

[36] LI B, ZHOU G Z, GE W, et al. A multi-scale architecture for multi-scale simulation and its application to gas-solid flows [J]. Particuology, 2014, 15(0): 160-169.

[37] WANG X W, GE W. The Mole-8.5 Supercomputing System[M]. Chapman & Hall/CRC, 2013.

[38] WANG X W, GE W, HE X F, et al. Development and application of a HPC system for multi-scale discrete simulation-Mole-8.5[C]// International Supercomputing Conference. Germany, 2010.

[39] GE W, XU J, XIONG Q G, et al. Multi-scale Continuum-Particle Simulation on CPU–GPU Hybrid Supercomputer[M]. Heidelberg, Berlin: Springer, 2013.

[40] Intel. Molecular dynamics optimization on Intel? many integrated core archi-tecture (Intel? MIC)[OL]. 2013. http://software. intel.com/en-us/articles/molecular-dynamics -optimization-on -intel -many-integrated- core-architecture-intel-mic

[41] NVIDIA CUDA. Compute Unified Device Architecture-CUDA Programming Guide.[M]. Santa Clara, CA: 2006.

[42] HOU C F, XU J, WANG P, et al. Petascale molecular dynamics simulation of crystalline silicon on Tianhe-1A [J]. InternationalJournal of High Performance Computing Applications, 2013, 27(3): 307-317.

[43] 徐驥. GPU加速度的大分子體系分子動力學方法——實現與應用[D]. 北京: 中國科學院過程工程研究所, 2012. XU J. GPU accelerated MD simulation for macromolecular systems[D]. Beijing: Institute of Process Engineering, Chinese Academy of Sciences, 2012.

[44] QI H B, XU J, ZHOU G Z, et al. Numerical investigation of granular flow similarity in rotating drums [J]. Particuology, 2015, 22(0): 119-127.

[45] DI S B, GE W. Simulation of dynamic fluid-solid interactions with an improved direct-forcing immersed boundary method [J]. Particuology, 2015, 18: 22-34.

[46] XU J, QI H B, FANG X J, et al. Quasi-real-time simulation of rotating drum using discrete element method with parallel GPU computing [J]. Particuology, 2011, 9(4): 446-450.

[47] XIONG Q G, LI B, ZHOU G Z, et al. Large-scale DNS of gas-solid flows on Mole-8.5 [J]. Chemical Engineering Science, 2012, 71: 422-430.

[48] XIONG Q G, LI B, XU J. GPU-accelerated adaptive particle splitting and merging in SPH [J]. Computer Physics Communications, 2013, 184(7): 1701-1707.

[49] KRUGGEL-EMDEN H, RICKELT S, WIRTZ S, et al. A study on the validity of the multi-sphere Discrete Element Method [J]. Powder Technology, 2008, 188(2): 153-165.

[50] 戚華彪. 基于GPU的離散模擬在顆粒流動與混合機理研究中的應用[D]. 北京: 中國科學院過程工程研究所, 2014. QI H B. Application of GPU-based discrete simulation to the study of flow and mixing mechanisms of granular materials[D]. Beijing: University of Chinese Academy of Sciences, 2014.

[51] XU J, REN Y, GE W, et al. Mole-MD V1.0[CP]. 2010SRBJ0465, Chinese Software register, 2010.

[52] XU J, QI H B, GE W, et al. DEMMS V2.0[CP]. 2013SRBJ0125, Chinese Software register, 2013.

[53] XU J, QI H B, GE W, et al. DEMMS V3.0[CP]. 2014SRBJ0786, Chinese Software register, 2014.

[54] XU J, WANG X W, HE X F, et al. Application of the Mole-8.5 supercomputer: probing the whole influenza virion at the atomic level [J]. Chinese Science Bulletin, 2011, 56(20): 2114-2118.

[55] REN X X, XU J, QI H B, et al. GPU-based discrete element simulation on a tote blender for performance improvement [J]. Powder Technology, 2013, 239: 348-357.

[56] YUAN F-W, TUAN H-Y. Supercritical fluid-solid growth of single-crystalline silicon nanowires: an example of metal-free growth in an organic solvent [J]. Crystal Growth & Design, 2010, 10(11): 4741-4745.

[57] GUO Y, CURTIS J S. Discrete element method simulations for complex granular flows [J]. Annual Review of Fluid Mechanics, 2015, 47(1): 21-46.

[58] LACEY P M C. Developments in the theory of particle mixing [J]. Journal of Applied Chemistry, 1954, 4(5): 257-268.

[59] LEVENSPIEL O. Chemical Reaction Engineering[M]. New York: Wiley, 1998.

[60] VARGAS-ESCOBAR W L. Discrete Modeling of Heat Conduction in Granular Media[M]. Pittsburgh: University of Pittsburgh, 2002.

[61] WANG L M, ZHOU G Z, WANG X W, et al. Direct numerical simulation of particle-fluid systems by combining time-driven hard-sphere model and lattice Boltzmann method [J]. Particuology, 2010, 8(4): 379-382.

[62] XIONG Q G, LI B, CHEN F G, et al. Direct numerical simulation of sub-grid structures in gas-solid flow—GPU implementation of macro-scale pseudo-particle modeling [J]. Chemical Engineering Science, 2010, 65(19): 5356-5365.

[63] LADD A J C. Numerical simulations of particulate suspensions via a discretized Boltzmann equation(Ⅰ): Theoretical foundation [J]. Journal of Fluid Mechanics, 1994, 271: 285-309.

[64] 狄升斌. 基于浸入邊界法的復雜流動多尺度模擬[D]. 北京：中國科學院大學, 2015. DI S B. Multi-scale modeling and numerical simulation of complex flows based on immersed boundary method[D]. Beijing: University of Chinese Academy of Sciences, 2015.

[65] DEEN N G, KRIEBITZSCH S H L, VAN DER HOEF M A, et al. Direct numerical simulation of flow and heat transfer in dense fluid–particle systems [J]. Chemical Engineering Science, 2012, 81: 329-344.

[66] MA J S, GE W, WANG X W, et al. High-resolution simulation of gas-solid suspension using macro-scale particle methods [J]. Chemical Engineering Science, 2006, 61(21): 7096-7106.

[67] MA J S, GE W, XIONG Q G, et al. Direct numerical simulation of particle clustering in gas-solid flow with a macro-scale particle method [J]. Chemical Engineering Science, 2009, 64(1): 43-51.

[68] PESKIN C S. Flow patterns around heart valves: a numerical method [J]. Journal of Computational Physics, 1972, 10(2): 252-271.

[69] SMAGORINSKY J. General circulation experiments with the primitive equations [J]. Monthly Weather Review, 1963, 91(3): 99-164.

[70] GIDASPOW D. Multiphase Flow and Fluidization: Continuum and Kinetic Theory Description[M]. New York: Academic Press, 1994.

[71] ANDERSON T B, JACKSON R. Fluid mechanical description of fluidized beds. Equations of motion [J]. Industrial & Engineering Chemistry Fundamentals, 1967, 6(4): 527-539.

[72] XU M, CHEN F G, LIU X H, et al. Discrete particle simulation of gas-solid two-phase flows with multi-scale CPU-GPU hybrid computation [J]. Chemical Engineering Journal, 2012, 207: 746-757.

[73] XU M, GE W, LI J H. A discrete particle model for particle-fluid flow with considerations of sub-grid structures [J]. Chemical Engineering Science, 2007, 62(8): 2302-2308.

[74] XU B H, YU A B. Numerical simulation of the gas-solid flow in a fluidized bed by combining discrete particle method with computational fluid dynamics [J]. Chemical Engineering Science, 1997, 52(16): 2785-2809.

[75] SYAMLAL M, PANNALA S. Multiphase Continuum Formulation for Gas-Solids Reacting Flows[M]. Hershey, New York: Engineering Science Reference, 2011.

[76] KUNII D, LEVENSPIEL O. Fluidization Engineering[M]. 2nd ed. Stoneham, MA (United States): Butterworth Publishers, 1991.

[77] LIU X H, GUO L, XIA Z J, et al. Harnessing the power of virtual reality [J]. Chemical Engineering Progress, 2012, (7): 28-32.

[78] XU J, LI X X, HOU C F, et al. Engineering molecular dynamics simulation in chemical engineering [J]. Chemical Engineering Science, 2015, 121: 200-216.

[79] CHEN W C, GAO Y. The effect of reducing coal slurry particle size on operation of multi-nozzle oppositely placed coal-water slurry gasification system [J]. Chemical Fertilizer Industry, 2015, 42(2): 36-38.

[80] SAKAI M, KOSHIZUKA S. Large-scale discrete element modeling in pneumatic conveying [J]. Chemical Engineering Science, 2009, 64(3): 533-539.

[81] SHAW D E, DENEROFF M M, DROR R O, et al. Anton, a special-purpose machine for molecular dynamics simulation [J]. SIGARCH Comput. Archit. News, 2007, 35(2): 1-12.

[82] SHAW D E, GROSSMAN J P, BANK J A, et al. Anton 2: raising the bar for performance and programmability in a special-purpose molecular dynamics supercomputer[C]//Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis (SC14). Piscataway, NJ, USA: IEEE Press, 2014: 41-53

Discrete simulation based on EMMS paradigm and its applications in chemical engineering

XU Ji, LU Liqiang, GE Wei, LI Jinghai
(State Key Laboratory of Multiphase Complex Systems, Institute of Process Engineering, Chinese Academy of Sciences, Beijing 100190, China)

Abstract:Chemical engineering systems typically involve three levels of chemistry, chemical engineering and process system engineering. Each level consists of micro-, meso- and macro-scales, such as the particle, particle cluster and reactor scales in the chemical engineering level. The evolution of the micro-scale elements is naturally described by discrete simulation. However, due to the large number of elements existing in these systems, engineering simulations are mostly based on continuum methods which describe their statistically averaged behaviors and overlook the effects of meso-scale structures, leading to low accuracy and predictivity. This review will explain how this problem can be tackled in a systematic approach that keeps the structural consistency of the problem, physical model, software and hardware, and will demonstrate how discrete simulations with high accuracy, capability and efficiency can be carried out for engineering systems, such as complex molecules, granular flow, and gas-solid fluidization. Realization of virtual process engineering (VPE) is prospected finally.

Key words:discrete simulation; EMMS paradigm; multiphase flow; multiscale; particle; virtual process engineering

Corresponding author:Prof. GE Wei, wge@ipe.ac.cn

中圖分類號：TQ 018

文獻標志碼：A

文章編號：0438—1157（2016）01—0014—13

DOI：10.11949/j.issn.0438-1157.20151468