基于生成對(duì)抗網(wǎng)絡(luò)的超聲數(shù)據(jù)壓縮方法研究?

李澤宇 王黎明 聶鵬飛 韓星程 武國強(qiáng) 馬 文

（中北大學(xué)信息與通信工程學(xué)院 太原 030051）

1 引言

隨著社會(huì)的不斷發(fā)展，無損檢測(cè)技術(shù)在現(xiàn)代工業(yè)等領(lǐng)域起到了至關(guān)重要的作用。超聲檢測(cè)是常用的無損檢測(cè)方法，具有較高穿透性等優(yōu)勢(shì)［1］。在超聲檢測(cè)中，由于探頭數(shù)量多、采樣頻率高，大量的超聲數(shù)據(jù)被存儲(chǔ)下來。由于數(shù)據(jù)量龐大，存儲(chǔ)下來需要大量的空間，因此研究合適的超聲數(shù)據(jù)壓縮方法已成為急切需求。關(guān)于超聲數(shù)據(jù)的壓縮算法早已有研究，如哈夫曼編碼、LZW 算法、游程編碼等，這些壓縮算法雖然能夠壓縮數(shù)據(jù)，使其能夠便于存儲(chǔ)和傳輸，但面對(duì)當(dāng)今數(shù)量巨大的數(shù)據(jù)，越來越顯得力不從心。

近年以來深度學(xué)習(xí)技術(shù)取得迅速發(fā)展，尤其是生成對(duì)抗網(wǎng)絡(luò)（GAN）［2］的出現(xiàn)，因其優(yōu)秀的性能，該網(wǎng)絡(luò)一經(jīng)提出就成為熱點(diǎn)研究領(lǐng)域。為了進(jìn)一步提高數(shù)據(jù)的壓縮比，本文研究了基于生成對(duì)抗網(wǎng)絡(luò)的超聲數(shù)據(jù)壓縮的方法。實(shí)現(xiàn)了更高壓縮比的超聲數(shù)據(jù)壓縮。最后進(jìn)行仿真實(shí)驗(yàn)，展示了本文方法在提高超聲數(shù)據(jù)壓縮能力方面優(yōu)越的性能。

2 生成對(duì)抗網(wǎng)絡(luò)模型

本文以GAN、CNN 和LSTM 模型為基礎(chǔ)，建立模型。此模型主要由兩部分組成，分別是生成器和鑒別器組成。網(wǎng)絡(luò)模型如圖1所示。

圖1 生成對(duì)抗網(wǎng)絡(luò)模型

2.1 生成器

生成器的網(wǎng)絡(luò)主要由CNN 和LSTM 網(wǎng)絡(luò)構(gòu)成。由于生成器網(wǎng)絡(luò)和編碼器互為鏡像，因此以介紹編碼器為主。編碼器網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 編碼器結(jié)構(gòu)

編碼器由兩個(gè)一維卷積層、4 個(gè)卷積塊和LSTM 模塊組成，其中每個(gè)卷積塊由1個(gè)卷積層和1個(gè)下采樣層組成。通過多層的卷積和下采樣，可以達(dá)到將數(shù)據(jù)降維的效果［3］。

卷積層通過卷積核，從輸入中抽取重要特征，形成特征向量。其運(yùn)算表達(dá)式為

式中，Yk，Yk-1為第k層，第k-1層的特征向量；Mk為卷積核；bl為偏置。

通過卷積操作，從輸入的數(shù)據(jù)中提取出具有代表性的特征，通過激活操作進(jìn)行非線性變換，得到更適用于壓縮的特性。本文使用常見的ELU函數(shù)。

由于數(shù)據(jù)特征的維度比較高，會(huì)造成訓(xùn)練網(wǎng)絡(luò)出現(xiàn)過度擬合的情況，因此常常通過加入下采樣層來提高網(wǎng)絡(luò)運(yùn)算速度，減少訓(xùn)練時(shí)間并能有效防止訓(xùn)練過擬合［4］，下采樣層輸出為

其中S 為下采樣的規(guī)則，本文使用平均池化。平均池化的表達(dá)式為

由于LSTM 網(wǎng)絡(luò)能夠從每組序列中提取出數(shù)據(jù)的特點(diǎn)，常被用來處理序列數(shù)據(jù)，其能夠很好地存儲(chǔ)遠(yuǎn)程時(shí)間依賴性信息，建模數(shù)據(jù)之間的短時(shí)依賴或者是長(zhǎng)時(shí)依賴［5］。

LSTM 網(wǎng)絡(luò)結(jié)構(gòu)包含一個(gè)細(xì)胞存儲(chǔ)單元和3 個(gè)控制信息增減的門（遺忘門、輸入門、輸出門）［6］。LSTM結(jié)構(gòu)如圖3所示。

圖3 LSTM結(jié)構(gòu)

LSTM 結(jié)構(gòu)中的“遺忘門”ft決定要從細(xì)胞存儲(chǔ)單元中舍棄哪些信息。舍棄多少由sigmoid 函數(shù)的輸出決定，1 表示“全保留”，0 表示“全舍棄”。“輸入門”it：決定要往細(xì)胞存儲(chǔ)單元中存儲(chǔ)哪些新的信息，“輸入門”中的sigmoid 網(wǎng)絡(luò)決定需要保留哪些新的信息，tanh 網(wǎng)絡(luò)決定了需要更新多少隱藏狀態(tài)信息；結(jié)合“遺忘門”和“輸入門”的輸出，可以對(duì)細(xì)胞存儲(chǔ)單元中的信息進(jìn)行更新，“輸出門”O(jiān)t決定了要從細(xì)胞存儲(chǔ)單元中輸出哪些信息，與之前的門類似，會(huì)先由sigmoid 函數(shù)產(chǎn)生一個(gè)介于0～1 之間的數(shù)值來確定輸出哪些細(xì)胞存儲(chǔ)單元中的信息。

生成器網(wǎng)絡(luò)具體參數(shù)如表1所示。

表1 生成器網(wǎng)絡(luò)具體參數(shù)

2.2 鑒別器

鑒別器是同一時(shí)間下對(duì)生成的數(shù)據(jù)和真實(shí)的數(shù)據(jù)進(jìn)行鑒別，鑒別器的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 鑒別器網(wǎng)絡(luò)結(jié)構(gòu)

圖5 原始信號(hào)和壓縮還原后信號(hào)對(duì)比圖

圖6 有效信號(hào)部分

圖7 噪聲部分

MS-STFT 鑒別器網(wǎng)絡(luò)的輸入是一個(gè)實(shí)部和虛部連接的復(fù)值STFT。每個(gè)鑒別器都有一個(gè)二維卷積層（內(nèi)核大小為3×8），然后是隨著膨脹率不斷增加的二維卷積（1，2和4），步長(zhǎng)為2。膨脹二維卷積后是一個(gè)卷積核大小為3×3 的二維卷積。最終的二維卷積核大小為3×3和步長(zhǎng)為1提供了最終的預(yù)測(cè)。

鑒別器的采用Leaky ReLU作為激活函數(shù)。

3 模型訓(xùn)練

模型的訓(xùn)練分成兩個(gè)部分，一部分介紹模型中的損失函數(shù)，另一部分介紹整個(gè)模型的訓(xùn)練過程。

3.1 損失函數(shù)

重構(gòu)損失包含了時(shí)域損失和頻域損失。時(shí)域損失函數(shù)如下：

對(duì)于頻域上的損失，本文采用多時(shí)間尺度的mel 頻譜圖上L1 和L2 損失之間的線性組合。頻域損失函數(shù)如下：

其中Si是64-bins的梅爾頻譜圖，e=5,…,11，α表示L1和L2之間的平衡標(biāo)量系數(shù)集，αi=1。

生成器的對(duì)抗損失函數(shù)如下：

其中，K為鑒別器數(shù)量。

生成器的相關(guān)特征匹配損失函數(shù)如下：

其中，Dk是鑒別器，L 是鑒別器層數(shù)，K 是鑒別器數(shù)量。

鑒別器損失函數(shù)如下：

其中，K是鑒別器數(shù)量

整個(gè)模型的訓(xùn)練，就是為了將生成器訓(xùn)練為優(yōu)化以下?lián)p失。

其中，λt,λf,λg,λfeat為各項(xiàng)的平衡系數(shù)。

3.2 訓(xùn)練過程

一次模型訓(xùn)練分為兩部分，分別訓(xùn)練鑒別器和生成器。

在對(duì)鑒別器和生成器訓(xùn)練的過程中，需要先對(duì)鑒別器進(jìn)行訓(xùn)練，讓其學(xué)會(huì)分辨真假，此時(shí)從生成器接收到的數(shù)據(jù)標(biāo)簽都為假，以此計(jì)算損失函數(shù)并更新鑒別器中的參數(shù)。然后開始訓(xùn)練生成器，鑒別器接收來自生成器的假數(shù)據(jù)來計(jì)算損失函數(shù)，此時(shí)標(biāo)簽全為真，目的是希望生成器的數(shù)據(jù)能夠向真實(shí)數(shù)據(jù)不斷靠攏。

訓(xùn)練中整個(gè)參數(shù)更新的方法采用Adam算法。

4 實(shí)驗(yàn)結(jié)果分析

4.1 數(shù)據(jù)集

本文使用超聲數(shù)據(jù)來自于實(shí)驗(yàn)室自制的數(shù)據(jù)集。將數(shù)據(jù)集中的數(shù)據(jù)分割為長(zhǎng)度一致的數(shù)據(jù)，得到共21065條數(shù)據(jù)。

4.2 性能評(píng)估

本文方法的性能評(píng)估主要是與傳統(tǒng)壓縮方法進(jìn)行比較和一些壓縮評(píng)價(jià)指標(biāo)。

從表2 中可以看出與傳統(tǒng)方法相比，本文方法有著良好的壓縮率。

表2 各類方法壓縮比比較

本文方法屬于有損壓縮方法，因此需要對(duì)解壓后的數(shù)據(jù)進(jìn)行評(píng)估，本文采用了以下幾種評(píng)估方法，對(duì)該壓縮方法進(jìn)行評(píng)估。

1）相對(duì)均方根誤差（R2MSE）；2）信噪比（SNR）；3）相關(guān)系數(shù)（R）；4）均方誤差（RMSE）；5）平均絕對(duì)誤差百分比（MAPE）。

根據(jù)表3，得出用本文方法對(duì)超聲信號(hào)進(jìn)行壓縮并還原后的效果還比較好，經(jīng)分析造成R2MSE較大的原因?yàn)槌曅盘?hào)中的噪聲還原時(shí)產(chǎn)生的誤差較大。

表3 本文方法的評(píng)價(jià)指數(shù)

5 結(jié)語

為了研究出高保真的超聲數(shù)據(jù)壓縮方法，本文提出了生成對(duì)抗網(wǎng)絡(luò)和LSTM，卷積網(wǎng)絡(luò)結(jié)合的模型，通過三種網(wǎng)絡(luò)結(jié)合的方式來提高壓縮比和還原度。

經(jīng)過試驗(yàn)，本文的方法能夠合成出與真實(shí)數(shù)據(jù)近似度較高的數(shù)據(jù)，在模型合成數(shù)據(jù)誤差等方面都有著良好的性能。

本文的不足之處在于使用的數(shù)據(jù)集過于單調(diào)和網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜。改進(jìn)的思路是通過擴(kuò)大數(shù)據(jù)集，訓(xùn)練優(yōu)化網(wǎng)絡(luò)參數(shù)。同時(shí)還需不斷試驗(yàn)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)。