基于數據驅動的卷積神經網絡電容層析成像圖像重建

孫先亮，李健，2，韓哲哲，許傳龍

（1 東南大學能源與環境學院火電機組振動國家工程研究中心，江蘇 南京210096；2東南大學復雜工程系統測量與控制教育部重點實驗室，江蘇南京210096）

引 言

電容層析成像技術（electrical capacitance tomography，ECT）[1]可通過測量管道外電極陣列間的電容向量來重建管內多相介質分布，從而實現多相流動可視化。ECT技術具有非侵入、成本低、響應速度快、適用范圍廣和安全性能高等優點[2]，廣泛用于絕緣介質的多相流動過程檢測[3]，如流化床[4]、氣力輸送[5]等。圖像重建是ECT 系統的一個重要環節，電極對間電容與介質分布之間存在非線性關系，且求解過程中已知的電容測量值數量遠少于截面剖分網格數，因此ECT 圖像重建是一個病態問題的求解過程[6]。

近年來已提出了多種用于ECT 圖像重建的算法，主要可分為線性模型和非線性模型兩類算法[7]。線性模型的算法是最早用于ECT 圖像重建的算法，根據計算得到的靈敏度矩陣和測量獲得的電容向量，可使用非迭代算法（LBP[7]、SVD[8]、Tikhonov[9]等）或迭代算法（Landweber[10]、Gauss-Newton[11]、共軛梯度法[12]等）計算介質分布。這類算法將介質分布與電容向量之間的非線性關系簡化為線性關系，再加上兩相流本身是一個復雜多變的系統，致使通過線性模型算法進行多相流介質分布的圖像重建存在較大困難，重建圖像容易失真[13]。非線性模型算法如模擬退火算法[14]、遺傳算法[15]、機器學習算法[16]等，可直接實現介質分布與電容向量的非線性映射。特別是機器學習領域中的深度學習算法，使用由多重非線性變換構成的處理層對數據進行高層抽象，可智能優化介質分布和電容向量之間的復雜非線性映射，能有效解決ECT 系統的“軟場”問題，逐漸被用來解決ECT圖像重建問題，Zheng等[17]使用自編碼神經網絡實現了對分層流、環核流、核心流等典型流型的ECT 圖像重建并取得了較好的重建結果。卷 積 神 經 網 絡（convolutional neural networks，CNN）[18-20]通過特有的卷積特征提取過程可以得到圖像中的關鍵信息，相比于其他深度神經網絡更適合于圖像數據處理[21]。Jin 等[22]將CNN 用于X 射線及磁共振（MRI）的層析重建，并從理論上證明了CNN 可以有效應用于層析圖像重建。Tan 等[23]將CNN 用于電阻層析成像圖像重建，Hamilton 等[24]將CNN 用于電阻抗層析成像圖像重建，均取得了比傳統算法好的重建結果，本文在此基礎上將CNN 網絡應用于ECT圖像重建。

深度學習通過學習數據集的特征，從而對未學習過的樣本進行預測，所以數據集的豐富程度對深度學習模型訓練結果具有至關重要的影響。目前大部分基于深度學習的層析成像重建模型效果不理想的一個重要原因就是缺乏合理有效的數據集構建方法。用于ECT 圖像重建的神經網絡所使用的數據集可由數值模擬的方式生成，但大多僅包含簡單的層流、環狀流等典型流型[25-26]，導致獲得的模型難以應用于復雜的氣固兩相流動過程。Guo 等[27]利用Landweber 算法對采集的流化床實測電容數據進行圖像重建，從而建立了樣本數據，然而其通過實驗獲得的數據集所涵蓋的動態范圍有限，訓練的機器學習模型無法對樣本之外的流動狀態進行預測。為了保證深度學習ECT 圖像重建模型具有較強的泛化能力，要求所用的數據集應包含符合兩相流流動形態的流型數據，但目前這方面的研究仍然欠缺。

本文采用數值模擬的方法建立了具有典型流型和隨機流型的數據集，構建了用于ECT 圖像重建的卷積神經網絡模型，接著用該模型對所建立的數據集進行了學習和訓練，然后將訓練結果用于ECT的圖像重建，并對重建結果進行了分析和比較。最后，通過典型流型和流化床內顆粒分布的測量實驗對該方法的可行性進行了驗證。

1 基于卷積神經網絡的ECT 圖像重建方法

1.1 數據集的建立

本文數據集采用有限元數值分析[28]的方法使用MATLAB 編程自動生成。首先對傳感器參數和固體顆粒性質參數進行初始化，采用8電極傳感器，管道的內徑和外徑分別為50 mm 和60 mm，管道和固體顆粒為有機玻璃，相對介電常數為3.4，空氣相對介電常數為1.0。然后對管道內部、壁面和屏蔽層進行網格剖分，測量截面被劃分為834個三角形網格，如圖1 所示，假設每個網格內固相顆粒濃度均勻且其相對介電常數與濃度線性相關[29]，即其濃度為n時，相對介電常數為ε= 2.4n+ 1。最后生成多種流型分布，進而對不同流型分布下的電極對間電容進行有限元數值求解，從而獲得電容向量-介質分布數據集。

圖1 管道截面網格剖分Fig.1 Pipe cross-section meshing

為使數據集涵蓋的范圍更廣，本文生成了包含典型流型和隨機流型的數據集。典型流型是氣固兩相流流動過程中較穩定狀態下經常出現的流型，其介質分布界面明顯，主要有分層流、環狀流、核心流、多核流等流型。但在實際的氣固兩相流動過程中，典型流型只有在流動狀態較為穩定的情況下才出現，更多時候呈現的是無序的隨機流型，這些流型氣固界面模糊，邊緣曲線形狀復雜，這也是數據集構建的主要難點。

本文中典型流型生成參考Zheng 等[30]提出的基于參數的方法，對于每種流型，找出其描述參數，如分層流中的傾斜角、流型厚度，設定其閾值后隨機生成這些參數，則可以確定測量截面中每個網格濃度為0 還是1，得到相應的流型圖像，共生成了20000組典型流型樣本。

圖2 隨機流型生成過程Fig.2 Generation process of random flow pattern

隨機流型生成采用隨機噪聲濾波的方法，如圖2 所示。首先生成200×200 的隨機數矩陣[圖2（a）]；然后使用均值濾波器對其進行多次濾波使其平滑[圖2（b）～(d）]；多次濾波后，矩陣的最大值與最小值會向其均值靠攏，需要將其線性放大至0～4.4，然后將超出空氣和有機玻璃范圍的介電常數進行截斷，保證其內部有濃度為0 或1 的連通區域[圖2（e）]；將管道測量截面外的像素擦除[圖2（f）]，按照網格劃分對每個三角形網格內的所有像素值求平均值[圖2（g）]，完成一個隨機樣本的生成。隨機流型樣本生成后，由滿管濃度減去對應三角形網格內的濃度，得到與其對應的互補流型[圖2（h）]，這樣可保證樣本總體平均濃度為0.5。隨機流型樣本共40000組，其中20000組直接生成，其余為互補樣本，保證樣本分布均勻且覆蓋范圍廣。

1.2 基于卷積神經網絡的ECT圖像重建

卷積神經網絡通常由輸入層、卷積層、池化層（也稱下采樣層）、全連接層及輸出層組成。卷積神經網絡一般用于圖像特征提取，其輸入為一個表示灰度或彩色圖像的矩陣，網絡的前半部分一般是交替設置的卷積層和池化層，即一個卷積層連接一個池化層，池化層后再連接另一個卷積層，從而組成特征提取器不斷降低數據特征維度，以從中提取不同層次的特征。后半部分通常連接全連接層進行分類或回歸以展示網絡處理結果。

CNN 網絡通過卷積層逐層提取圖像特征，CNN網絡對圖片進行處理時，處于前面的層級學習邊緣、顏色、紋理等簡單特征，后面層級通過簡單層級進行組合形成復雜的特征，進而在最后一層學習到圖片的分類或回歸特征。通過CNN 網絡進行ECT 正向計算時，管道內介質分布可看作一幅圖像，而對應的電容向量可以看作是網絡經過多層卷積學習后在電容方面的特征，卷積神經網絡可以較好地應用于ECT 正問題，即從圖像得到特征的過程。而ECT 圖像重建正好相反，是從電容向量到介質分布的過程，因此需要對現有卷積神經網絡進行一定的改進，使其能夠滿足ECT 圖像重建的需求。本文設計的網絡結構如圖3 所示，主要由輸入層、上采樣層、卷積層、全連接層和輸出層組成。

在輸入層，由于本文實驗中采用8 電極ECT 傳感器，將所有電容值歸一化后轉換為一個8×8 的矩陣作為輸入矩陣。在經典的CNN 網絡中，需要使用池化層對數據進行降維，而在ECT 圖像重建中由于輸入數據維度遠小于輸出數據，輸入層后需要將池化層改為上采樣層，以實現數據維度擴充。卷積層是卷積神經網絡的核心層，其功能是對輸入數據進行特征提取，每個卷積層包含若干個卷積核，卷積核的權重系數對其在輸入層的可見范圍進行加權求和再加上偏置值，即可得到該卷積核的輸出值，再經過激活函數處理即可得到該層的輸出值。上采樣層擴充后的輸入經卷積層處理后得到8 個16×16 的特征圖，將其展平為一個1×2048 的一維矩陣作為全連接層的輸入。由于本文通過網格劃分將圓形測量截面劃分為834 個三角形網格，故通過全連接層進行兩次降維后輸出一個1×834 的矩陣，與網格劃分中每個三角形網格內的固體顆粒濃度相對應。

因ReLU 函數計算簡單且可以避免訓練過程中的梯度消失的問題，故選其作為激活函數，定義如下

即對于激活函數的輸入x，若非負則輸出其本身，若小于0則輸出0。

損失函數最小化是神經網絡的訓練目標，損失函數越小，模型預測值就越接近真實值。本文采用原始圖像與重建圖像的均方差作為損失函數，其定義為原始圖像與重建圖像對應像素間的距離（平方和）

圖3 用于ECT圖像重建的CNN網絡結構Fig.3 Modified CNN network structure for ECT image reconstruction

式中,yi與y?i分別為原始介質分布和重建介質分布圖像中第i個網格內的顆粒濃度值。

為了防止模型在訓練過程中的過擬合，在每個卷積層和全連接層后均增加了dropout[31]處理。dropout 是指在深度神經網絡的訓練過程中，對于每個神經網絡單元，按照一定的概率將其舍棄。這樣每次訓練相當于訓練了原網絡的一個子網絡，兩個神經元不一定每次都出現在同一次迭代過程中，使得網絡權值的更新不依賴于有固定關系的神經元的共同作用，增加了網絡模型的魯棒性。

將所有樣本混合并打亂順序，按9∶1 的比例分為訓練集和測試集兩部分，使用訓練集對建立的卷積神經網絡進行訓練，訓練完成后使用未參與訓練的測試集對網絡性能進行檢驗。圖4為有無dropout處理時網絡模型在訓練集和測試集上的損失函數隨訓練步數的變化情況。對于未采用dropout 處理的網絡模型，在經過初步訓練后訓練集的損失函數已低于測試集，此后訓練集的損失函數一直在下降；但對于測試集，損失函數在訓練次數較少時呈下降趨勢，在經過約30 步后開始回升，這表明網絡訓練次數太多，出現了過度擬合。經過dropout處理的網絡模型，在訓練過程中測試集的損失函數一直低于訓練集，且二者均呈下降趨勢，并趨于穩定。這主要是因為在訓練期間，dropout 會關閉部分節點，使得訓練所使用的是原網絡的一個子集，有效防止了過擬合。但網絡結構因此變得相對簡單一些，訓練準確率將受到一定影響，在測試期間將dropout 關閉，允許使用神經網絡的所有節點，可使測試集的準確度有所提升。

圖4 網絡模型損失函數隨訓練過程的變化Fig.4 Loss function of network model changes with training process

2 重建算法檢驗

2.1 圖像重建評價指標

為了評價卷積神經網絡的圖像重建效果，選取了相對圖像誤差、相關系數和相含量誤差三個指標對其進行定量分析，并與LBP 和Landweber 算法的重建結果進行比較。此外還對三種算法的重建時間與抗噪能力進行了比較分析。

相對圖像誤差（e）為重建介質分布與原始介質分布的相對誤差，可表示為

相關系數（r）用來衡量重建介質分布與原始介質分布之間的線性相關程度，其定義為

式中，cov( )表示協方差，Var( )表示均方差。

相含量表示氣固兩相流中被測截面上固體顆粒的平均體積濃度，相含量誤差（p）定義為通過重建獲得的相含量與原始介質相含量間的差值

一般來說，相對圖像誤差越小，相關系數越大，相含量誤差越小，算法的圖像重建質量越高。

圖5 典型流型的成像效果Fig.5 Image reconstruction for typical flow patterns

2.2 典型流型的圖像重建

圖5 為LBP、Landweber 和改進的CNN 模型三種方法對典型流型的成像效果比較?？梢钥闯觯篖BP算法對分層流、環狀流、核心流以及雙核流均容易出現介質分布邊緣模糊現象，重建獲得的顆粒分布失真較為明顯；Landweber 算法成像效果總體要優于LBP 算法，但對核心流和雙核流而言，在邊界位置與原圖相比仍存在較大誤差。此外Landweber 算法多次迭代后會在管壁附近產生少量噪聲；LBP 算法和Landweber 算法在管壁附近成像效果較好，而對中心區域的成像效果較差。相比較而言，使用CNN 方法重建時，盡管氣固兩相邊界處仍有部分噪聲，但其總體的介質分布形狀大小均與原圖非常接近，圖像重建效果最好。表1 給出了三種重建算法對幾種典型流型進行圖像重建的相對圖像誤差、相關系數和相含量誤差?？梢钥闯鯨BP 算法在分層流和雙核流中表現略優于Landweber 算法，而在環狀流和核心流中Landweber 算法表現更好，但二者總體表現相差不大；而采用CNN 方法對四種流型進行圖像重建的三個指標均遠優于LBP 和Landweber算法。

表1 典型流型的評價指標Table 1 Evaluation indexes for typical flow patterns

2.3 隨機流型的圖像重建

對于隨機流型的重建效果評價，選取了一個簡單連通流型和一個復雜多孔流型及它們的互補流型，比較了CNN 模型與LBP 和Landweber 算法的圖像重建效果，結果如圖6所示?？梢钥闯觯簩τ谶吘壞：?、顆粒分布復雜的隨機流型，LBP算法只能大致重建出顆粒的分布情況，對局部細節基本無法重建；Landweber 算法可以較好地反映流動形態，但仍存在局部失真情況；CNN 算法能夠較好地還原隨機流型的內部細節，在整體介質分布上更接近原圖，表明CNN算法有較強的泛化能力。表2給出了三種重建算法對選取的介質分布進行圖像重建獲得的相對圖像誤差、相關系數和相含量誤差。通過比較可以發現：LBP與Landweber算法對四個介質分布進行重建時，在三個指標上表現比較接近；CNN 模型對每個成像單元的誤差更小，流型形狀與原圖更相似，總體上成像效果要優于LBP 和Landweber 算法，然而在對流型1b 和流型2b 進行重建的相含量誤差略大于其他兩種算法，但誤差最大值僅為1.39%，準確度仍然較高，處于可以接受范圍內。

圖6 隨機流型的成像效果Fig.6 Image reconstruction for random flow patterns

表2 隨機流型的評價指標Table 2 Evaluation indexes for random flow patterns

2.4 重建時間

重建算法的計算速度決定了其能否直接應用于電容層析成像系統的實時重建，因此需要對重建算法的計算效率進行評估。LBP 算法和Landweber算法一般使用CPU 根據電容向量逐幀進行計算；CNN 算法由于其算法特殊性可用GPU 進行加速計算，且可將多個樣本同時載入顯存以進行批量處理，其耗時遠少于對樣本數據逐幀進行重建所耗的時間。本文使用的CPU 為intel i9-9900K，GPU 為NVDIA GeForce RTX 2070，基于Windows 平臺對三種算法重建耗時進行了分析與比較，如表3 所示。可以看出：CNN 算法進行逐幀成像計算時，每幅圖像的重建時間為10122.3 μs，而Landweber 算法為15806.1 μs，CNN 算法相比Landweber 算法重建時間略有優勢。而CNN 算法在批量成像時，每幅圖像的重建時間僅為114.5 μs，與LBP 算法相差無幾。這表明，CNN 算法可以與Landweber 算法一樣進行實時在線成像，而在離線分析時，可以達到更快的成像速度。

2.5 抗噪性能

在實際測量過程中，硬件設備測量到的電容值包含一定的噪聲，因此需要對圖像重建算法的抗噪性能進行分析。為此，對2.3 節中四種隨機流型的電容值增加高斯噪聲后分別使用LBP、Landweber 和CNN三種算法進行重建，檢驗算法的抗噪能力。

表3 圖像重建時間Table 3 Time consumption of image reconstruction

圖7為CNN算法在不同信噪比時對四個隨機流型的重建結果，對應的相對圖像誤差見表4?？梢钥闯觯盒旁氡葹?0 dB 時，CNN 算法重建嚴重失真；信噪比為20 dB 時，流型1a、1b 較為接近空管或滿管，CNN 算法的重建效果不佳，而流型2a、2b相含量適中，重建結果與原圖已相差不大。信噪比超過30 dB 時，相對圖像誤差不超過2%，表明噪聲對算法的重建效果已影響不大。

圖7 CNN算法在不同信噪比時的重建結果Fig.7 Image reconstruction of CNN at different SNR

圖8 三種算法在不同信噪比下的重建效果Fig.8 Image reconstruction of methods at different SNR

表4 CNN算法在不同信噪比下的相對圖像誤差Table 4 Relative image error of CNN at different SNR

表5 三種算法在不同信噪比下的相對圖像誤差Table 5 Relative image error of methods at different SNR

圖8比較了不同信噪比下三種算法對流型2a的重建結果，對應的相對圖像誤差見表5。LBP 算法本身誤差較大，對噪聲不敏感。Landweber 算法和CNN 算法在信噪比大于30 dB 時重建效果與無噪聲時相差不多。整體而言，CNN 算法在信噪比大于20 dB 時重建效果要優于LBP 和Landweber 算法不加噪聲時的重建效果，表明CNN 算法對噪聲的抗干擾能力較強，有良好的泛用性，能較好地應用于實際測量中。

3 實驗結果與討論

3.1 靜態測量實驗

為了測試基于卷積神經網絡ECT 圖像重建方法的泛化能力和實用性，首先進行了靜態實驗測試。ECT 測量系統如圖9 所示，主要包括電容傳感器陣列、電容數據采集系統和計算機三部分。電容數據采集系統可實時采集電容傳感器陣列的電容數據，并通過USB 數據線傳輸至計算機，在計算機內完成圖像重建。靜態實驗中，設置了分層流、環狀流、單核流和雙核流四種典型流型。ECT 系統傳感器管道和測試介質材料均為有機玻璃。

實驗過程中，ECT 測量系統每秒采集100 組電容數據，這里隨機選擇一段時間內的8 幀圖像對重建結果進行評價，如圖10 所示。對于分層流，CNN模型成像效果略優于Landweber 算法，這主要是因為Landweber 算法對噪聲較為敏感，易在遠離氣固分界線的像素上產生噪聲。Landweber 算法對邊壁附近成像效果較好，在實際測量環狀流時Landweber 和CNN 模型均能獲得滿意的重建圖像。對于核心流和雙核流，CNN 模型重建效果明顯優于Landweber 算法，這也和數值模擬結果相一致。為了分析測試結果的離散性，對四種典型流型測量結果的相關系數進行了比較，如圖11 所示?？梢钥闯觯簩Τ谁h狀流之外的三種流型，CNN 方法在圖像重建的相關系數上都要高于Landweber，但二者對環狀流重建的相關系數均大于0.9，圖像重建質量都很高。綜合四種流型的重建結果和相關系數，CNN 圖像重建的質量總體上要優于Landweber 算法，顯示了CNN模型在ECT圖像重建上的優越性。

3.2 循環湍動流化床實驗

圖9 ECT靜態實驗系統Fig.9 Setup of static experiment

圖10 靜態實驗中CNN網絡與Landweber算法成像效果Fig.10 Reconstruction results with modified CNN network and Landweber in static experiments

圖11 靜態實驗中兩種算法的相關系數Fig.11 Correlation coefficients of two algorithms in static experiments

為了進一步驗證CNN 網絡的泛化能力和實用性，本文將ECT 系統用于循環湍動流化床內顆粒分布的可視化測量，對不同初始加料高度下顆粒流化特性進行了重建，并與Landweber 算法重建結果進行了對比。循環湍動流化床裝置如圖12所示，主要由流化段、擴大段、氣固旋風分離裝置、測量管以及U 形返料器構成。在流化實驗過程中，固體顆粒從U 形返料器進入流化段底部，經流化風流化后進入擴大段，再經二級氣體的加速，被吹入氣固旋風分離器，顆粒經分離后通過測量管返回到U形返料器，從而實現循環利用。流化段管道內徑為50 mm、外徑為60 mm、高為1000 mm，擴大段管徑200 mm、高1800 mm，分布器為開孔率0.5%的不銹鋼板。實驗室流化風由壓氣機提供，其氣流量最高可達20 m3/h。流化顆粒為玻璃粉，平均粒徑112 μm，堆積密度為1354 kg/m3。由于石英玻璃粉的介電常數為4.9，不同于有機玻璃，因此這里將需要將原先得到的數據集進行重新計算和模型訓練，這樣才能夠實現流量顆粒濃度分布的準確測量。

圖12 循環湍動流化床Fig.12 Setup of cyclic turbulent fluidized bed

圖13 為氣流流量Q=15 m3/h，傳感器測量高度H=100 mm 時，不同初始加料高度下流化床內顆粒在測量截面的濃度分布，為了增強可視化效果，對三角剖分網格進行了平滑處理。可以看出，初始加料高度從L=50 mm 上升到L=100 mm 的過程中，固體顆粒濃度總體呈上升趨勢，且管道中心的顆粒濃度要低于管道壁面處，這也與實際情況吻合。另外，CNN 模型和Landweber 算法重建結果基本一致，證明了卷積神經網絡ECT 圖像重建方法對氣固兩相流動中顆粒介質分布重建的可用性。

4 結 論

圖13 不同床高下顆粒濃度分布重建結果Fig.13 Particle concentration distribution at different feeding heights

本文提出了基于數據驅動的卷積神經網絡電容層析成像圖像重建方法。通過計算機數值模擬隨機生成了典型流型20000 組和隨機流型40000組，并計算了與之對應的電容向量，從而建立了“電容向量-介質分布”數據集，利用該數據集對建立的卷積神經網絡進行了訓練及測試，并進行了典型流型的實驗驗證。結果表明CNN 模型圖像重建效果要優于傳統的LBP 和Landweber 圖像重建算法。為了測試建立的神經網絡模型的泛化能力和實用性，將CNN 模型用于測量湍動流化床的顆粒濃度分布，獲得的圖像重建結果與Landweber 算法相一致，進一步證明了基于卷積神經網絡的ECT 圖像重建方法在實際測量中的可用性。