基于條件生成對抗網絡的舌體圖像分割?

劉 明 王亞剛

（西安郵電大學計算機學院 西安 710121）

1 引言

中醫歷史悠久，在亞洲乃至全球已經是一種補充與替代西方醫學的治療手段，中醫理論認為舌體的不同區域對應著人體的不同內臟器官，不同舌體區域的不同顏色特征對應著人體不同的身體狀態。目前在計算機輔助診斷系統中需要重現中醫對舌體的辨別，從獲取的面部圖像中準確獲取舌體圖像是前期工作中最為關鍵的一步。

目前已經提出了許多針對舌體圖像的分割方法。姜朔，胡潔等提出了基于Otsu閾值法與形態學自適應修正［1］的舌像分割方法。這種方法相對于傳統的自動閾值選取法（Otsu）方法及灰度投影-Otsu方法，分割的準確率有了很大的提升。但是，這種方法在利用形態學自適應修正的過程中多次開啟運算，使用了過多的時間，導致總體分割所使用時間較長，最終使得舌體分割的效率有所降低。吳佳，張白水等所提出的將分水嶺變換與主動輪廓模型［2］結合的方法，在分割過程中分割精度得到進一步提高，但是對于舌體上紋理較為復雜的舌頭并不能進行有效準確的分割。

綜上所述，雖然這些方法能夠在一定程度上提升分割效果，但是仍然存在著不同的問題，很難找到一個效果好并且適用性廣的方法。所以尋找一種魯棒性好，舌體分割準確且運算速度較快的方法仍是計算機輔助診斷中的一個難點所在。針對上述問題，本文設計一種可分離式條件生成對抗網絡模型用于分割舌體，該模型不僅解決了舌體分割適用性差問題，而且在分割精度與運行速度上能達到理想效果。

2 基于神經網絡的分割方法

近年來，深度學習發展迅猛，神經網絡結構在不斷地更新與優化，其在圖像分割領域的應用也不斷擴大。圖像分割的主要任務就是將像素點歸類，從而實現圖像的分割。Shelhamer［3］等設計完成了端到端的圖像分割網絡FCN，它解決了傳統CNN網絡在分割時對區域多次特征提取導致分割速度慢的問題。Olaf Ronneberger［4］等提出的U-Net網絡通過使用淺層網絡定位目標深層網絡分類目標相組合的方式來進行圖像分割。在國內的學者中趙兵［5］使用卷積網絡對葡萄病災害圖像進行圖像分割，通過不斷卷積池化進行信息提取然后使用反卷積操作獲取分割結果。鄧金成［6］將全卷機網絡與空洞卷積相結合提高網絡獲取圖像信息能力，從而實現放射治療中的圖像分割。

針對舌體圖像中舌體與唇部邊緣界限模糊，使用方法適用性差，分割運行時間較長等問題，本文提出一種基于條件生成對抗網絡的舌體圖像分割方法。目前生成對抗網絡［7］在許多方面已經取得很好的應用效果，桑亮［8］針對相機成像時圖像模糊問題，利用生成對抗網絡復原模糊圖像。何子慶［9］使用生成對抗網絡對圖像進行識別。通過與現有方法對比，本文方法具有以下優點：1）在分割中引入分割網絡與判別網絡，通過對抗訓練能夠提升分割結果。2）在網絡中引入可分離卷積與殘差結構，在提升分割效果的同時，提升網絡運行速度。3）在模型訓練成功后，加入形態學優化算法提高分割圖像質量。

3 基于條件生成對抗網絡的舌體分割方法

生成式對抗網絡模型最早在2014年由Good?fellow提出，它是一種生成式模型，而條件生成對抗網絡則在原始的對抗模型中加入約束條件，通過附加信息來獲得更加準確的完成圖像翻譯等工作，該網絡模型主要由生成器（G）與判別器（D）兩個子網絡框架構成。

圖1 舌體分割網絡基本框架

生成對抗網絡的最終目的是生成一個能夠從隨機噪聲z到輸出圖像y之間的映射模型。而條件生成對抗網絡則是觀察圖像x與隨機噪聲z到輸出圖像y之間的映射模型。相比于生成對抗網絡，條件生成對抗網絡加入圖片標簽來約束兩個子網絡。子網絡中G訓練的目的是學習樣本分布，使得生成樣本盡可能地接近于人工標注樣本，最終讓判別器無法區分數據是生成器生成還是人工標注樣本。子網絡D訓練的目的是對人工標注樣本與原始圖像組成的正樣本組合D(x，y)值接近1，使生成器生成圖像與原始圖像組成的負樣本組合D(x，G(x，z))的值接近0。整個模型的優化方向是需要最大化判別器鑒定正確的概率，同時最小化生成器生成出來的樣本數據被鑒別出來的概率。其目標函數可以表示為

其中x為輸入的人體面部圖像，y為人工分割的標準舌體圖像，函數D(x，y)表示輸入圖像來自人工分割的概率，D(x，G(x，z))表示輸入圖像來自生成器的概率。

為了使生成器生成的舌體圖像能夠更加接近人工標定的標準分割舌體圖像，本文在損失函數中加入L1［10］距離：

將原有的目標函數與L1距離函數相結合得到新的目標函數如下：

為了平衡兩個目標函數，設置λ為100。

G和D是兩個相對抗的訓練過程。首先固定G訓練D，然后固定D訓練G，如此循環，最終兩個子網絡能力都能得到提升。當G生成的樣本圖像被D判定為人工標注圖像時就結束訓練，此時新輸入的圖像經過G后，G生成的圖像就可以當做正確的分割圖像使用。

4 可分離條件生成對抗網絡

舌體圖像的分割與普通自然圖像的分割不同：1）舌體圖像邊緣界定模糊，需要提取更多邊緣信息來進行準確分割。2）在中醫智能化階段不僅僅需要高精度也需要高效率，設計的網絡需要同時兼備這兩種要求。而傳統的分割算法與現有的語義分割算法不能同時滿足高精度與高效率的要求，基于上述目標與挑戰，本文設計了一種高效的條件生成對抗網絡模型，稱為可分離條件生成對抗網絡（SC?GAN），改進的方法主要有以下三點：

1）可分離卷積結構

在神經網絡中，隨著網絡層數的加深，雖然網絡模型的效果越來越好，但是參數的大量增加導致運行所占用的計算資源與存儲資源也會遞增，并且會增加訓練所需要的時間，為了在可以減少網絡模型參數的情況下不影響最終的分割效果，本文使用可分離的卷積結構［11］代替標準的卷積，通過將標準卷積分解為深度卷積與逐點卷積的方式如圖2（b），達到減少計算量加快網絡模型收斂速度的效果。

模塊A為標準卷積結構，將大小為Di×Di×N大小的特征圖作為輸入，目的為輸出一個大小為Do×Do×M大小的特征圖，其中步幅為1，填充為0。模塊B為可分離卷積結構，首先使用N個k×k×1大小的單通道卷積核對輸入特征圖進行一對一的單獨處理，即就是每個卷積核處理一個特征，得到Do×Do×1大小的特征圖，然后將這些特征圖進行堆疊，得到Do×Do×N大小的特征圖。第二步使用大小為1×1×N大小的卷積核進行1×1卷積，經過1×1×N的卷積后得到大小為Do×Do×1的特征圖，為了得到有M層通道數的特征圖，需要經過M次1×1的卷積，最終得到大小為Do×Do×M的特征圖，模塊A的計算成本為M×K×K×K×Do×Do對于同樣的變換，使用模塊B的方式所使用的計算成本為

圖2

2）加入殘差網絡結構

使用神經網絡時，為了能夠獲得更多的圖像特征信息，往往會使用池化操作，特征圖的尺寸大小會逐漸變小，所以邊緣特征在傳播中會逐漸消失，而傳統的上采樣操作僅僅只對最終映射得到的結果進行上采樣，用來得到與輸入相同尺寸的圖像，往往忽略了圖像中的淺層信息，這種方式在舌體分割中是不利的。而且隨著網絡模型層數的不斷加深，往往會出現梯度消失的問題。所以設計的網絡需要既能夠準確標記舌體輪廓又能檢測舌體邊緣信息特征。這里使用殘差網絡［12］的結構，在可分離卷積操作中使用殘差結構，通過使用跳躍鏈接增加網絡權重敏感性，增加對細小特征的獲取能力，完成準確分割。帶有分離殘差結構的生成器結構由兩個可分離卷積構成，每個可分離卷積層是由3×3深度卷積與1×1的逐點卷積組成，同時加入short?cut與1×1的瓶頸層將殘差塊的輸入與輸出連接。

如圖3所示，提出的網絡中的生成器中將原始的卷積結構改變為可分離卷積結構并加入殘差模塊，首先使用卷積池化操作，通過使用最大池化層將不同的帶有跳躍連接的可分離卷積層連接起來，池化層的目的主要是減少內存消耗，同時提高網絡感受野的大小，其窗口大小設置為2×2，通過每一次的池化操作翻倍卷積核的數量，直到512停止，然后使用上采樣操作，上采樣可以認為是卷積的逆操作，通過使用這一操作將之前獲得的特征圖恢復到原尺寸大小，在上采樣操作中同樣使用BN［13］操作ReLU［14］激活函數與帶有跳躍連接可分離卷積結構。

圖3 生成器網絡結構

判別器網絡如圖4所示，相較于生成器網絡其網絡結構較為簡單，其目的是區分輸入數據的真假進行二分類判別，通過不斷地使用卷積獲得更小的特征圖譜，由于層數較少并未使用殘差結構。判別器中包含2×2卷積層，BN層與ReLU激活函數，在網絡的512通道層最后使用sigmod［15］函數激活，輸出0或1的判別結果。

圖4 判別器網絡結構

3）基于形態學優化

當可分離條件生成對抗網絡訓練結束后，生成器生成的樣本圖像就可以被當做正確的舌體分割結果，這時將生成器產生的樣本通過使用形態學的方法進行進一步優化得到最終分割結果。通過形態學的優化可以減少舌體邊緣更加平滑，能夠去除舌體內部的孔洞區域。操作過程如下：

Step1.首先將生成器產生樣本圖像進行二值化處理，并選擇接近舌體輪廓形狀的橢圓形結構對二值化后的圖像進行多次腐蝕操作，然后對其使用同樣次數的膨脹操作。

Step2.需要將第一步得到的二值圖轉變為布爾型數組，首先將舌體區域作為主體部分，通過去除小的連通區域可以去除被誤分的背景噪點，然后進行取反操作，將舌體背景作為主體部分，通過去除小的連通區域去除舌體內部孔洞。通過這步操作即可得到完整精確的分割結果所對應的布爾類型數組。

Step3.將第二步得到的具有分割信息的布爾類型數組與原始圖像進行相乘操作，這樣就可以獲得最終優化后的精確分割圖像。

5 實驗結果與分析

實驗的目的是研究出一種高效準確的舌體圖像分割方法。實驗是在cpu內存：20G；顯卡：NVID?IA DGX-1；開發環境：python3.5，神經網絡訓練使用Tensorflow深度學習框架。訓練中使用Adam優化器（β1=0.5，β2=0.99，ε=1e-7），學習率lr=0.001，mini-batch=1。為了提高網絡的泛化性能，在生成器（G）的上采樣層都加入了Dropout［16］，將keep_prob設置為0.5每次刪除50%節點，一共進行1500次的迭代訓練。由于目前沒有用于舌體分割的公開數據集，所以本文通過臨床采集的方法進行數據收集整理，主要包括志愿者移動端采集與專業舌像采集儀器進行采集。

神經網絡訓練需要學習大量數據樣本，在數據量不足的情況下，為了增加訓練效果，于是本文引入圖像增強［17］的方法擴充數據量。常見的數據增強方法包括：翻轉變換，crop變換，旋轉變換，像素顏色變換，PCA白化與ZCA白化等。為了能夠保留更多的原始圖像信息，本文并未使用多規則變換去處理數據，只引入翻轉變換與平移變換。由于本文數據集中獲取的圖像大小沒有統一，所以首先將圖像統一裁剪到512×512×3大小，通過數據增強方法使訓練數據從263張數據圖像增強到1000張數據圖像，具有一定的規模性，能夠增強網絡泛化能力［18］，避免在后面訓練時產生過擬合現象［19］。

本文使用精確度（Precision，P），召回率（Re?call，R）、F-measure（F）等針對圖像分割的指標進行定量評價。

其中TP為被正確分割的舌體像素數目，FP為被錯誤分割成舌體像素的背景像素，FN為被錯誤判定為背景的舌體像素。

圖5 本文算法分割實驗結果對比圖

選取Ostu算法、Kmeans算法兩種傳統算法，以及同樣基于深度學習的U-net算法、CGAN算法與本文算法進行對比。為了證明本文算法的普適性，選取不同類型的舌體進行試驗，由于移動設備采集圖像受環境干擾較多，分割難度往往較大，所以下面主要展示這類分割結果。前四行舌像來自志愿者使用移動設備采集，由于采集數據尺寸不同需要經過人工裁剪再分割，第五行為舌像專業采集儀器采集。從圖5中可以看出，本算法分割的舌體圖像很大程度上避免了像素點的漏分與錯分的情況，對不同類型的舌像都能得到較為理想的分割結果，表明了該算法具有較高魯棒性與準確性，能夠滿足后續識別工作的要求。

表1 不同分割算法結果比較

P值越高代表算法對舌體區域錯分的概率越低，R值越高代表算法對舌體區域漏分率越低，從表1中可以看出基于深度學習的U-net算法、CGAN算法以及本文算法都能夠得到較高的F值與P值，驗證了基于深度學習的方法在舌體圖像分割領域的可行性。相比于原始CGAN算法，本算法在P值上提升1.03%，R值上提升1.51%，使得總的F值提升1.36%，每張圖像處理所用時間減少0.2s。在分割精度與速度上均優于U-net算法與傳統算法。

本文算法是在條件生成對抗網絡下實現的，并在后續加入形態學方法進行優化，為了驗證形態學方法的效果，將算法拆分成兩部分進行實驗結果驗證。從表2可以看出由于加入形態學的優化，使得舌體邊緣會有細微變化，導致精度略微降低，但由于實際分割過程中舌體會出現空洞［20］與噪點的情況，所以加入形態學的方法是有必要的。

表2 加入形態學優化結果對比

6 結語

本文針對舌體邊緣細節界限模糊，分割方法魯棒性差，速度慢等難點提出了一種應用于舌體分割領域的可分離條件生成對抗網絡模型。所提模型在條件生成對抗網絡的基礎上使用U型網絡思想設計生成器網絡，之后結合可分離卷積與殘差網絡，使模型能更迅速、準確地得到分割圖像，最后加入形態學的方法來進一步優化分割圖像。實驗證明，與傳統分割算法以及其他神經網絡分割算法相比，本文算法在不同數據中獲得了更好的效果，保留了舌體圖像更多邊緣細節。本算法能夠為整一套中醫自動化診斷提供準確的前期數據處理，后期利用更多數據的訓練，數據集的擴充，分割的準確率會逐步提高。本算法靈活性強，另外未來會使用本文算法對更多圖像進行有效分割，擴展本文算法的應用性。