基于拓撲分析的交互式體繪制系統

郭 全，王 雷，楊利素，張勝男

(山東理工大學 計算機科學與技術學院, 山東 淄博 255049)

基于光學特性的體繪制是三維重建的主流實現技術。體繪制通過模擬光線在體數據中的傳輸過程，借助傳遞函數，計算光線傳輸路徑上的體素為最終呈現圖像所做的貢獻[1]。傳遞函數用來指定體素的顏色值和透明度，其設計的好壞決定了重建圖像的質量。

目前，已經有很多學者在傳統的一維和二維傳遞函數基礎上，結合梯度、曲率、紋理等諸多圖像特征來指導傳遞函數的設計，而且取得頗為有效的成果[2-5]。 然而，體數據的不同特征通常有相同的標量值，空間分布并不相同。已有的方法很難區分這些特征所屬的區域，只能模糊體數據各部分的邊界。拓撲分析能夠提供區分物質邊界的方法，常見的拓撲分析方法有Reeb圖、Morse-Smale復形、輪廓樹[6-8]。輪廓樹相對其他幾種方法更具有實用性。而且，在現有的體繪制系統中，一旦傳遞函數設定之后，就只能對繪制的圖像進行旋轉、平移操作，無法實時動態改變顯示效果[9]。

針對這些問題，本文借助輪廓樹拓撲結構，采用新的渲染模式，以實現可實時交互的體繪制系統。輪廓樹拓撲能夠對體數據各部分進行區域劃分，同時，對劃分后的分段進行處理，動態顯示全局或局部的圖像，這對醫學診斷、監控等有很大的幫助。

1 交互式體繪制系統

本文的體繪制系統是基于光線投射的體繪制[10]。其體繪制的過程如下，首先，對預處理后的體數據進行分類，然后對分類后的數據指定適當的傳遞函數，傳遞函數賦予體素不同的顏色和透明度，最后從視點發射射線進行重采樣，得到投影圖像[11]。

1.1 總體流程

圖1描述了系統總體流程。首先將獲取到的體數據進行預處理，通過輪廓樹構建算法，可以得到一棵完整的輪廓樹。體數據的數據集通常很大，得到的輪廓樹會含有較多分支。使用拓撲簡化方法，將輪廓樹簡化到一定的閾值，不僅能夠去除不必要的分支，還能夠方便后續尋找有意義的輪廓樹分支。然后進行常規的體渲染。為每個輪廓樹分支指定單獨的傳遞函數，利用基于GPU的光線投射算法，得到理想的渲染效果。指定傳遞函數是可重復操作，通過手動選取合適分段，可以得到預期的效果。

圖1 系統總體流程Fig.1 The overall flow of the system

1.2 圖像預處理

為了減少噪聲對最終圖像的干擾，通常需要對體數據進行圖像三維濾波處理。高斯濾波是常見的平滑濾波方法，由于邊緣信息對體繪制很重要，本文采用的圖像預處理方法是在高斯濾波的基礎上，加入各向異性擴散算法[12]來增強邊緣信息。

各向異性擴散是一種非線性濾波算法，其公式為

?tf=div[g(|fσ|2)f]

(1)

式中：f代表圖像的像素；(·)代表圖像梯度操作；g(·)代表邊緣函數，其形式為

(2)

式中：k代表g(·)的下降速率，當|f|→時，g(|f|)→0。

高斯函數是一種正態分布函數，常用來表示概率分布，其形式為

(3)

1.3 輪廓樹構建

1.3.1 輪廓樹的定義

令d維實數域的連續標量數據場為F，即f∶Rd->R。不失一般性，在本文的討論中假定d=3。F的函數范圍是f的最小值和最大值的間隔[fmin,fmax]。對于一個標量值h∈[fmin,fmax]，水平集L表示數據場中函數值相等的集合，L(h) = {(x)|f(x)=h}。x是臨界點的充分必要條件是df(x) = 0。當h沿著fmin到fmax不段增加，水平集的拓撲結構體只會在F的臨界點處改變[13]。同一個水平集上的點連接起來構成一個輪廓。用節點表示輪廓，水平集在臨界點處不斷改變而形成的一個輪廓集合，就是輪廓樹，它代表了輪廓之間的內在聯系[14]。

輪廓樹是由一系列節點連接而成。圖2表示水平集隨標量值h變化的演變和對應的輪廓樹。(a)闡釋了隨著標量值的增加，水平集從一個實心立方體到四個小碎塊的演變過程。(b)是對應的輪廓樹，從上到下，(9, 10)合并形成一個耳環狀物體(6)，(7, 8)亦同，(5, 6)連接成(4)，(4)到(3)形成一個封閉的立方體，(3)分裂成內層邊界(1)和外層邊界(2)。

(a)演變過程 (b)輪廓村圖2 水平集的演變及其對應的輪廓樹Fig.2 The evolution of the level set and its corresponding contour tree

1.3.2 輪廓樹的構建算法

輪廓樹的構建算法包含以下幾個步驟[15]。

1) 對標量場F的所有頂點按照標量值大小排序, 并存儲到堆棧；

2) 掃描兩次數據集, 一次從大到小掃描創建連接樹, 一次從小到大掃描創建分裂樹；

3) 合并連接樹和分裂樹, 形成輪廓樹。

1.4 渲染模式

目前，基于GPU的體繪制的輸入通常是一個完整的數據集。隨著醫學設備的升級，產生的數據分辨率越來越高，而且體渲染的交互過程中需要CPU和GPU之間的通信。 這加重了CPU的負擔。在Deferred Contexts模式(以下簡稱DCRM)產生之前，GPU一直使用Immediate Context渲染模式(以下簡稱ICRM)，DCRM可以將調用顯卡的繪圖操作分散到多個CPU核當中，因而會有較好的性能提升。結合快速輪廓樹算法，得到一棵完整的輪廓樹，輪廓樹的每個分支對應數據的一個分段。當前基于輪廓樹的體繪制，使用的是ICRM進行體渲染，對于體積較大的數據來說，實時交互渲染效率低下。為了達到較為理想的渲染效率，本文結合輪廓樹分段以及DCRM的優勢，設計了可實時交互的渲染方法。這兩種方式的對比如圖3所示。從圖3可以看出，ICRM方法將整個體數據作為輸入，交給CPU的一個核去處理，處理結束后，數據傳給GPU渲染顯示。DCRM方法將數據分成若干個段，然后每個分段交由獨立的CPU核處理，每個CPU處理的數據再傳給GPU顯示，這樣能夠減輕CPU的負擔，加快處理速度。分段處理的另一個優點是，可以選擇性地指定某個分段顯示或不顯示，這樣能夠更方便地找到感興趣的區域，利于醫學診斷。

圖3 ICRM和DCRM方式對比Fig.3 The comparison between ICRM and DCRM

值得注意的是，由于改進后的渲染獨立計算分段體數據，光線投射算法需要對投射光線路徑上的所有顏色點進行合成，因此，需要對原有的顏色合成方式進行修改。在新的分段渲染方式下，對需要渲染的分段，顏色合成方式為

(4)

(5)

同理可得出最終的透明度。

2 系統實現與分析

本文程序使用QT和DirectX11實現，系統平臺是Dell M4800，處理器為I7 4810m，16G內存，Quadro k2100m顯卡。實驗使用的數據集來自The Volume Library。使用可視化的用戶界面驗證基于拓撲結構的體繪制方法的有效性。

本文實現的系統界面如圖4所示，整體界面分為左中右三個部分。左邊面板上部為數據源的信息，中部為傳遞函數設計界面，下部為拓撲分析的設置。中間面板上部為最終圖像的顯示區域，下部為輪廓樹的展示區域，可手動選取節點之間的連線。右邊面板上部是光照設定部分，下部是顯卡的運行信息。

圖4 本文系統界面Fig.4 The system interface

為了驗證本文實現系統的有效性，從實時性、交互性兩個方面進行分析。

1)實時性，使用Foot、Tooth、Head、Nucleon 4組數據，測試本文方法和傳統方法的渲染幀頻。

作為對比，傳統的方法選用廣泛使用的基于GPU的光線投射算法。 表1是4組數據的幀頻對比結果。由表1可知，使用本文基于拓撲的DCRM比傳統的ICRM方法有60%的提升，幀數略有波動，但是基本維持在一個小范圍內。通常人眼可接受的刷新頻率為24 fps，本文采用的方法基本能夠達到要求。

表1 幀頻結果比較
Tab.1 The result comparison

數據集數據體積/px運行幀頻/fps傳統方法本文方法Foot256x256x25613～1522～24Tooth256x256x16120～2232～35Head256x256x22518～1929～33Nucleon41x41x4170～74108～110

2)交互性，動態選取輪廓樹分支，并對渲染的結果進行詳細分析，以Foot、Nucleon數據集為例。

Foot的分析如圖5所示。(a)分別顯示了未采用分段(左)、采用不同分段(左中和右中)以及背景噪聲(右)的渲染結果?？梢钥闯?，未經分段繪制的圖很難區分數據的不同部分和物理內部的結構。由于數據會有噪聲影響而且不同結構可能會有相同標量值，導致各個部分很難界定邊界。通過輪廓樹渲染，可以得到不同分段的繪制結果。選取不同分段進行組合設定不同傳遞函數，就能夠構造出理想的效果。 (b)給出了不同組合得到的結果。

Nucleon的分析如圖6所示。從圖6(a)得知，分段可以很明顯地區分出各個部分，通過一系列分段和傳遞函數的組合就能夠得出圖6(b)中的結果。

(a) 不同分支的體繪制結果

(b) 分支組合的渲染結果

圖5Foot的渲染分析

Fig.5RenderinganalysisofFoot

(a)不同分支的體繪制結果

(b) 分支組合的渲染結果

圖6Nucleon的渲染分析

Fig.6RenderinganalysisofNucleon

3 結束語

本文實現了基于拓撲結構的交互式體繪制系統，其優勢在于輪廓樹拓撲和DCRM渲染模式的結合使用。輪廓樹拓撲結構能夠對體數據進行區域劃分，并結合多核處理器計算子區域的分裂樹和連接樹，進而合成輪廓樹。在輪廓樹分段的基礎上，采用DCRM可以有效地加速輪廓樹分支的渲染，靈活操作輪廓樹，交互性強。實驗證明，相比傳統的體繪制系統，本文實現的系統較大程度地改善了渲染圖像的質量，而且系統實時性、交互性強， 簡單易用。未來研究方向將繼續優化系統的時間和空間效率，同時在現有的體繪制系統基礎上，設計自動化傳遞函數，盡可能地減少不精確的人為操作。