基于高精度流線生成的交互流場可視化①

安逸菲,單桂華,李 觀,劉 俊

1（中國科學院 計算機網絡信息中心,北京 100190）

2（中國科學院大學,北京 100049）

流場可視化是科學可視化的重要研究方向,幫助優化和理解復雜的科學、工程等流體模擬與觀測數據,因此廣泛應用于氣候建模,空氣動力學,湍流燃燒、計算流體力學等領域研究中.基于積分計算的流線可視化方法是最常用的揭示流場特征走向的方式,它是流場的一種稀疏表示[1].流線的計算需要先在放置種子點,再根據向量場計算種子點的軌跡路徑,軌跡計算需要采用數值估計的方法求解,如龍格庫塔法[2].

流線可視化的質量很大程度上影響了對于流場形態與特征的理解,過少的流線可能會遺漏流場重要的特征,但過多的流線會產生計算浪費,同時具有遮擋、聚集等問題.因此關于如何合理放置種子點的研究也是流場可視化的熱門方向,其目標是在少量的計算下盡可能地去準確覆蓋展示流場[3-7].另一方面基于交互的選取種子點的方式可以給予用戶更多的自由度去控制生成的可視化結果,從而幫助用戶更快的探索和了解流場信息.但由于流線生成的計算代價非常大,現有方法多在大規模集群機器的計算支持下,通過并行計算的方法來生成大量流線[8],這種方式會受到設備計算能力的限制,給用戶帶來不便.

對于大規模流場,用戶難以需要獲取全部數據,因此實時了解流場數據情況,可以幫助用戶快速選擇所需區域進行后續分析.目前的流場可視化系統常采用并行計算的方式加速粒子追蹤,對計算資源的需求較高,單機的實時性較差,且需要存儲整個流場數據.而許多相關研究學者并沒有集群計算設備的支持,從而大大降低了可視化系統的效率和交互性.缺少輕量級的交互可視化系統,給用戶快速了解流場整體情況提出了較大挑戰,除感興趣區域外,用戶需要保存大量冗余數據,影響進一步深入研究,降低研究效率.

為此,本文基于深度學習方法設計了流線的超精度重建算法,通過對于流線進行超精度提升的方式,極大地降低了流線的計算量,以此實現流線實時的可視化生成,使得用戶在交互的同時,可以實時查看對應的高精度流線結果,提升用戶對于大規模流場的探索效率,且避免了對大規模計算資源的需求.此外,可視化系統也對流場進行多維度信息展示,顯示其對應的特征分布與屬性信息,為研究人員提供可靠的流場可視化分析與特征分析,提高研究效率.

本文的主要貢獻如下:

（1）提出基于深度學習高精度流線映射算法,可將流場中稀疏的低精度流線映射為高精度流線,避免大量的積分計算.

（2）設計交互式流場可視化系統,幫助用戶實時觀測流場特征,快速探索流場數據.

（3）通過界面中多個視圖的數據聯動及交互,多維度展示流場信息,進行特征分析.

1 國內外研究現狀

1.1 流線放置算法

生成有代表性的流線去有效表示流場一直是流場可視化的重要研究方向.算法主要可分為3類:基于密度、基于特征和基于相似度計算[9].

基于密度的方法會傾向于生成一個統一分布的流線來描述整個流場.Hultquist等[10]首先提出通過保持流線之間的距離來放置種子點.Jobard等[11]通過設置閾值距離dsep,使得每一個候選種子點都在現有流線的閾值外,且當積分流線進入現有流線的閾值范圍時,停止流線計算.Turk等[12]將流線能量量化為函數形式,并通過低通濾波器將能量優化為最小值來得到最優的流線集合.

基于特征的算法更傾向于將種子點放置在流場的特征區域（如臨界點位置）來覆蓋用戶可能的感興趣區域.Verma等[13]提出了一種基于臨界點的放置模板來捕捉流場的行為特征,通過Voronoi圖將流場分為包含相似特征的區域并放置種子點.Liu等[14]提出了一種均勻分布的流線算法（ADVESS）,通過雙對列的方法來對Verma等[13]所生成的后選種子點進行補充.

基于相似度的算法會計算流線間的相似性并從中選出有代表性的流線.Chen等[15]首先提出了相似距離度量的方法來減少并行相似流線,包括計算最近點的歐拉距離和流線走向.Hong等[16]提出層次化的流線捆綁算法,使用MCPD[17]來作為流線的相似性度量,自底向上地合并相似的流線直到達到停止條件.

1.2 基于深度學習的科學可視化

隨著深度學習在許多領域應用的巨大進步和成功,在科學可視化領域,應用深度學習算法解決傳統問題的研究越來越多.

其中,Hong等[16]提出基于LSTM的方法預測粒子追蹤所要用到的數據塊,從而達到計算的負載均衡.Han等[17]通過將生成流線進行自編碼的方式達到對流場數據的約簡.He等[18]提出基于深度學習的算法對集合可視化的參數空間探索.也有部分工作研究關于科學數據的超精度算法,如Han等[19]提出對時變數據進行時間上的超精度提升,而Zhou等[20]和Guo等[21]分別對體數據和向量場數據進行空間超精度生成.但關于流線數據的超精度生成尚未被研究過,同時也是這篇工作的主要內容.

1.3 交互流場可視化系統

交互流場可視化已經有20年的發展歷史,其可以給用戶更多的自由度去控制生成的可視化結果.

Schulz等[22]提出了對于車身空氣動力學模擬進行可視化的交互系統,并且通過優化數據結果與插值方法提升了粒子追蹤效率.Laramee等[23]開發了一種手工放置種子點的工具,并向用戶提供了多種交互方式,可以對種子點平面進行旋轉、平移、縮放等操作.Laramee[24]也開發了另外一個交互系統Streamrunner,來解決3D流線可視化的遮擋問題.

2 系統流程設計

實時流場可視化系統（如圖1）主要由3部分組成:臨界點檢測模塊,高精度流線生成模塊,流場可視分析模塊.臨界點檢測模塊基于Poincarre Bendixon指數,在檢測流場臨界點的同時標記了臨界點類型,便于后續進行統計分析.高精度流線生成模塊包含算法的主要內容,包括模型的訓練階段和推斷階段:在訓練階段,在臨界點處放置種子點生成訓練數據對來計算損失并進行反向傳播,優化模型參數; 而在推斷階段,直接放置稀疏種子點進行粗粒度的快速流線繪制（如將最小步長設為2個網格長度）,后由模型生成高精度流線,得到更精細稠密的流線可視化效果.流場可視分析模塊整合之前的所有數據后,提供給用戶可交互的呈現和探索方式,便于用戶快速了解流場結構及特征信息.系統工作流程如流程1所示.

圖1 交互流場可視化系統流程

3 高精度流線生成算法

3.1 算法及任務概述

神經網絡由于其特有的非線性映射特性,已經在多個研究任務和領域內被證實其學習復雜依賴的能力.傳統的插值或回歸算法,如線性插值或ARIMA模型都假定數據之間線性依賴關系,無法進行非線性映射.同時,插值等方法往往只能處理單變量數據,當流場內需要進行多條流線數據的高精度生成時,無法同時處理,也就無法學習到流線之間的空間關系.近年,Transformer[25]在序列學習任務中被廣泛使用,其僅依賴attention機制去捕捉輸入序列的全局依賴性,避免了RNN模型中需要反復循環計算的限制,大大提高了模型效率.然而也有研究者提出Transformer由于采用自注意力機制在處理長跨度依賴時收效甚微.因此,我們采用MUSE（MUlti-ScalE attention）模型[26],其將卷積操作與注意力機制結合,提出了并行多尺度計算的注意力模型.

MUSE同樣使用encoder-decoder結構,encoder將一個序列數據{x1,x2,···,xn}作為輸入,將其編碼為隱向量表示 z,而decoder用來生成輸出序列{y1,y2,···,yn}作為模型結果.算法核心為MUSE模塊,如圖2所示,其包括3個主要部分:自注意力機制（self-attention）用來捕捉全局特征,深度可分離卷積（depth-wise seperable convolution）來捕捉局部特征,和一個基于位置計算的前向網絡來捕捉單個輸入的特征.模塊接受上一層i?1的輸出作為輸入,輸出可表示為:

圖2 MUSE模塊結構

模型的encoder是由多層MUSE模塊組成,并采用了殘差學習機制和歸一化層（layer normalization）.Decoder也具有相似的結構.

同時交互流場可視化系統對實時性要求較高,由于MUSE操作的可并行性,大大提高了計算速率,加速了模型的推斷時間,使得應用時可以快速生成大量流線數據.

首先,將稀疏的流線集合SL輸入模型,經過多層MUSE模塊組成的encoder進行編碼,再由decoder在輸出層輸出高精度流線集合SH.本算法在與原始高精度流線數據比較中可達到較高的準確性,并且提高了高精度流線生成的效率,增強交互可視化的實時性.

3.2 數據集生成

數據集可分為訓練集和測試集,其中訓練數據對包含輸入的稀疏流線與輸出的稠密流線.對于每個流場,首先進行基于Poincarre Bendixon參數的臨界點檢測,對于不同的臨界點類型,采用Verma等[13]的種子點模版放置稠密的種子點,如圖3所示.

圖3 不同臨界點的種子點模板

對該模板生成的稠密種子點進行精細的流線計算,可得到高精度的流線真值SH作為模型所需的訓練輸出; 在此基礎上,對于流場中每個臨界點區域,求出第一步生成的種子點的中心,作為稀疏的種子點集合,并進行粗粒度的流線計算,得到點數遠小于上述精細流線的粗糙流線SL,作為模型的訓練輸入,以此作為模型的訓練數據對.

3.3 損失函數

4 交互式可視化系統

4.1 可視化系統介紹

本文在基于深度學習的流線高精度生成基礎上,開發了包含流線繪制,統計信息展示的交互流場可視化系統,通過不同視圖之間的數據聯動,對流場所具有的臨界點位置分布,特征屬性分布,統計信息以及流場結構進行交互可視化展示,用戶可通過交互選擇感興趣的時空區域,自由生成所需的可視化結果,了解流場目標區域的特征信息,提高用戶對流場數據分析效率,避免獲取到大量不需要的冗余數據.系統可滿足用戶不同的分析需求:

（1）選擇流場內某一區域進行流線可視化,展示流場特征結構分布.

（2）查看當前時刻流場,或選擇區域內流場的臨界點個數,及統計對應類型分布.

（3）查看流場自身屬性及信息量信息.

4.2 可視化屬性選擇

本文所用到的流場及臨界點屬性如下:

（1）渦度

（2）流線曲率

流線曲率可以用來描述流線的彎曲程度[27].

（3）扭矩

扭矩可以表現流線的扭轉程度[27].

（4）向量場信息熵

對于任意的變量x∈{x1,x2,···,xn},如果我們知道取值的概率p（xi）,我們可以計算其包含的信息熵.

將其應用的向量場,我們首先對向量進行分桶,得到其對應的直方圖,這樣,對于每一個在桶xi內的向量,可以計算它取值的概率為:

其中,C（xi）為桶xi內的向量個數.這樣,我們可以用式（7）計算得到向量場的信息熵[28].

4.3 可視化設計（視圖介紹:需求+設計/交互+作用）

圖4展示了流場交互可視化系統的設計視圖,系統的流場可視化主要有4個部分組成:高精度流線可視化,流場速度量和旋度量等值面視圖,向量場信息量視圖,臨界點特征統計圖.各個部分可以通過用戶選取不同的時間和空間區域進行聯動變換,用戶可以通過上方的時間軸選擇不同時刻的流場,不同視圖從各個維度展示流場信息.

4.3.1 高精度流線可視化

流線可視化視圖展示了當前選擇區域的高精度流線,流線圍繞在臨界點區域,由第2節所述算法生成.如圖4（a）所示,我們在展示高精度流線的基礎上,用戶可以使用上方的時間軸組件選擇不同時間的流線進行展示,同時可以使用鼠標對視圖內的流線進行拖拽,變化觀察角度,或者放大縮小當前視圖,對局部進行觀察.

4.3.2 流場等值面視圖

如圖4（b）所示,流場等值面視圖是對了流場中所具屬性進行等值面繪制,如速度量和渦度量,并以顏色框形式將識別出的臨界點進行標注,用戶可通過選擇不同屬性的等值面,了解流場區域的某一屬性的整體分布情況.我們將屬性分為標量值（如鹽度等）和向量的大小（如速度量）.同時,視圖可以提供關聯分析,了解某一屬性與臨界點位置及數量的關系.

圖4 可視化系統界面

4.3.3 向量場信息量視圖

向量場信息量視圖描述出流場內的不確定性及向量極角值的分布情況.如圖3（c）所示,當前流場區域的信息熵會以下方折線圖形式展示,y坐標軸是對應的時刻.用戶點選某一時刻時,該時刻在折線圖上被標記高亮,同時上方展示該時刻的向量直方圖,采用極性坐標直方圖的形式,向量依據極角被分進60個桶內進行數量統計,用戶可以觀測到不同極角值下向量的數量分布情況.

4.3.4 臨界點特征統計視圖

如圖4（d1）所示,通過極坐標熱力圖,按天數展示了流場內臨界點個數分布的變化情況.可以快速看到不同臨界點類型在整個時間范圍內的分布.

同時,如圖4（d2）所示,臨界點特征統計視圖對當前所選流場區域內在不同時刻的臨界點類型及對應個數進行了統計,臨界點類型包括鞍點,螺旋/中心和交點,分別用不同的顏色表示.視圖采用堆疊柱狀圖形式,x坐標軸代表流場的時刻,y坐標軸為臨界點個數,臨界點總數以折線形式展示.用戶可以通過下方時間軸選擇某一范圍內的時刻進行展示,通過鼠標懸浮,用戶可以得到具體的臨界點數量.通過時間線的橫向比較,用戶可以查看流場內特征情況的變化趨勢.

5 實驗分析

5.1 實驗數據集

本文采用的數據集如表1所示,其中,Smoke數據集由煙霧模擬程序生成[29],分別進行了二維和三維的模擬,每一個模擬可以產生200個時間步長.紅海數據集來自Scivis Contest 2020發布的比賽數據集,涵蓋了一個月的紅海海域模擬數據,區域范圍為30°E-50°E,10°N-30°N,空間分辨率為 0.04°×0.04°（4 km）,其本身是三維數據,深度為50,由于海洋流場運動多為平流運動,我們對其從z軸方向進行了數據切片,生成實驗數據.

表1 實驗數據集

5.2 模型結構及訓練

我們將基于PyTorch實現MUSE模型,采用多頭注意力模型[25]作為我們的自注意力模型,注意力頭數為4,模型包含12個殘差模塊作為編碼器,對應的有12個殘差模塊作為解碼器,隱藏維度為1024.我們在兩個NVIDIA GTX 1080Ti GPU上進行模型訓練,batch設為32,對于單個卷積核,核大小為7,對于動態卷積核,核大小為3.初始學習率為0.001,采用warmup機制來調整學習率,warmup更新率為4000.

5.3 評價指標

對于第2節中所提到的高精度流線生成算法,我們采用MCPD（Mean of the Closest Poiny Distancing）來比較其與原始高精度流線之間的距離誤差.

MCPD常用來作為軌跡線之間的相似性度量,對于其中一條流線,計算其每個點到另外流線上最近點的距離并求平均.

其中,Si（j）為一條流線,即一組點 pk（l）的集合,且有:

MCPD越小,流線越相近.

而為了衡量所生成流線對于原始流場的代表性與描述準確性,我們采用量化方式評價流線質量,即通不同方式生成的流線去重建向量場.如果流線可視化成功展示了流場內的大部分信息,那么所重建的流場應該具有較小的誤差[26,29-31].

我們使用Gradient Vector Flow（GVF）[32]來重建向量場,其使用高斯平滑權重且不斷迭代優化向量場直至擴散方程收斂.

PSNR（Peak Signal-to-Noise Ratio）衡量了流場中每個坐標點上向量之間的平均誤差.通過比較生成向量場與原始向量場的PSNR,我們可以有效評價流線質量.

其中,MAX（v）是向量場中最大值與最小值的差.

越高的PSNR代表兩個流場越相近,即重建的準確率越高.

由于PSNR只針對衡量向量場中單個向量之間的誤差,無法評價流場之間特征情況的差距,為此,我們定義了一個新的評價指標CPd,即對重建的向量場再次進行臨界點檢測,與原始流場中的臨界點進行對比分析,求出對應臨界點的距離,作為定量評價標準之一,流場之間的誤差CPd即為流場內臨界點距離的和并對臨界點個數進行規范.

5.4 結果分析

為了衡量高精度流線生成算法的準確性與高效性,我們將線性插值方法作為比較的baseline,并與原始經過積分計算的高精度流線進行比較分析,分別從定性與定量角度,從精確度、還原性與時間效率評價算法模型.

5.4.1 定量分析

如表2所示,我們將生成的高精度流線與初始計算的低精度流線所重建的向量場進行對比分析,可以看到,高精度流線對于原始流場的涵蓋更高,描述更準確,因此通過流線重建的向量場從PSNR與CPd指標上與原始向量場更為接近,這也說明了高精度流線生成的必要性,可以向用戶更準確的描述流場.

表2 比較低精度流線,插值與MUSE生成算法

此外,我們也對比了插值方法生成的高精度流線與MUSE模型所生成的高精度流線的對應指標.可以看出,模型的生成的流線與原始高精度流線更為接近,MCPD更小.通過流線重構向量場,比較與原始向量場的PSNR與CPd指標,可以看到,相比于線性插值方法,模型所得到的向量場更加接近原始向量場,檢測到的臨界點位置也更加準確.

如表3所示,我們對比分析了模型生成流線與采用龍格庫塔4.5階積分運算的時間效率與種子點個數的關系.

表3 模型時間效率對比分析

從表3中可以看出,由于MUSE繼承了Transformer可并行的優勢并進行了并行計算優化,且由于流線為模型一次性全部輸出,模型的推斷時間與流線密度關系不大,因此,種子點個數越多,深度學習模型的效率優勢越大.

5.4.2 定性分析

圖5對比展示了初始計算的低精度流線,模型所生成的流線,和原始高精度流線結果.從上到下依次為紅海海域局部流場數據,二維煙霧流場數據與三維煙霧流場數據.

圖5 高精度流線生成可視化

可以看到,從流線可視化的角度來看,在3個數據集上,盡管模型所生成的流線仍具有一定的粗糙性,但都能夠較為準確的還原出原始的高精度流場及對應的特征.且由于種子點增多和流線精度提升,相比于低精度流線,模型生成的高精度流線對于流場特征的描述更為準確和清晰,如在紅海海洋流場數據中,一些低精度流線沒有很好展示的螺旋結構和鞍點結構,在高精度流線中都能夠被很好地還原.

6 可視化案例分析

基于本文所提的流場可視化交互系統,選擇紅海數據集對紅海海域進行可視化分析,多維度分析其流場特征.

6.1 高精度流線可視化

圖6顯示了紅海海域的切片流線可視化結果,顏色由速度量進行渲染,并由紅色框圈出流場內臨界點位置,用戶可以點選選擇不同深度的切片流場,或者通過鼠標拖拽操作選擇某一區域的流場進行流線繪制.

圖6 紅海區域內高精度流線可視化

從高精度流線與關鍵情況可以看出,紅海海域的渦旋（即臨界點）更多的分布在海岸附近,尤其是紅海北部渦旋數量更多.而南部的亞丁灣區域,渦旋分布數量較少,但可以從流線看出渦旋結構都較大,包含有3個較大的螺旋渦,以及分布在周圍的鞍點區域.

6.2 流場屬性等值面分析

根據流場的不同屬性可以進行等值面繪制,由于海洋流場數據的特殊性,用戶可以選擇查看其速度,渦度大小的等值面,也可以查看溫度、鹽度的等值面數據.如圖7所示,圖7（a）-圖7（d）分別為海洋流場的鹽度、溫度、速度量、渦度量的等值面繪制,臨界點在圖上被圈出,臨界點的顏色由該位置的速度量進行映射,用戶可以觀察到流場中不同屬性的分布情況,及其與臨界點生成的相關性.

從圖7（a）可以看出,紅海海域北端,即蘇伊士灣區域和亞喀巴灣區域鹽度更高,且紅海整體海域越靠北等值面顏色越深,即鹽度越高; 從紅海的中部海域可以看出,海岸邊鹽度要高于中心鹽度,對應的關鍵數量也更多; 而南部的亞丁灣海域鹽度較低,根據其顏色深度的分布情況也可以看出明顯的渦旋結構,說明洋流中鹽的濃度遷移與洋流或湍流運動具有極大的相關性,氣旋渦.

從圖7（b）中可以看到海域的溫度分布,紅海海域的北端和南端溫度都較低,而中部的溫度較高.且中間東部海域要比西部海域溫度更高.從溫度的等值面繪制中也可以可看到一些渦旋結構與臨界點位置正好對應,例如,在氣旋渦作用下,將海底冷流帶入上方暖流,使得渦旋內部溫度相比于周圍更低,在反氣旋渦的作用下,將暖流傳遞到下方冷流,使得渦旋內部溫度較高.

圖7（c）,圖7（d）分別為海域的速度值與渦度值得等值面映射,可以看到,渦度較高的位置會有臨界點的分布,此時的流場得旋轉程度更高,更容易形成螺旋/中心圓形狀的臨界點特征.

圖7 紅海海域不同屬性等值面

6.3 流場信息量分析

圖8展示了流場內向量信息熵隨時刻的變化情況,可以看到,流場整體信息包含量有隨時間逐漸減少的趨勢,但同時也會有波動震蕩,整體信息熵在2-8之間.

圖8 紅海某一區域內流場信息熵

圖9展示了流場內向量的分布情況,為更好地分析其與流場特征結構的關聯,我們將其與高精度流線視圖并列展示.可以看到,流場內具有臨界點特征時,流場向量更傾向于具有較多變化性,即直方圖更傾向于呈現均勻分布的特征,對應的熵也就越大.

圖9 紅海某一區域內向量極角分布與流線可視化

6.4 臨界點特征分布

為對所選流場內的臨界點特征信息進行量化展示,圖10展示了流場內臨界點類型及對應個數分布隨時間變化的趨勢.可以看到,隨著時間的演變,臨界點數量呈現一個先減少后增多的趨勢.且從堆疊柱狀圖上可以看到,相比于鞍點和螺旋結構的臨界點,交點結構的臨界點區域較少,而螺旋結構的臨界點數量較多.

圖10 紅海某一區域內臨界點特征分布情況

7 結論與展望

文本將深度學習中進行序列映射學習的MUSE模型應用到流線的高精度生成任務中,避免了大量的粒子追蹤積分計算,大大提高流線生成的效率,同時相比于簡單的線性插值計算,生成流線更接近于原始流線,且對向量場描述更加準確.在此基礎上,使用算法生成的高精度流線,結合流場特征檢測,信息論分析等方法,開發了流場實時交互可視化系統,用戶可通過交互選取所需時空域快速查看流場信息,了解流場特征,幫助用戶選擇自己所需的數據進行后續進一步深度分析.本文使用Scivis Contest 2020所提供的紅海海域流場及屬性信息作為案例,展示了系統對于流場結構,特征分布,信息量分析等多維度關聯分析的高效性與準確性,驗證了系統可以有效對于大規模流場進行快速實時的可視化說明與分析,提高用戶的工作效率,簡化復雜的分析流程.

本文的工作局限于對于流場的流線可視化,需要對不同時刻的流場進行多次流線計算,增加了數據讀取的I/O操作,之后,我們可以考慮進行跡線的分析與高精度生成,進一步提高可視化效率,提供更多的交互分析操作,幫助用戶了解流場的時序變化情況.另一方面,本系統可以用于原位可視化中對于數據模擬的實時監督,幫助用戶了解當前模擬數據情況,是否產生模式坍塌,以及是否要及時停止模擬.這樣,就需要進一步提高系統的數據讀取速率,結合多分辨率的數據結構來優化系統效率.