一種基于改進SegNet 模型和融合注意力機制的苗族服飾圖案分割算法

譚永前， 曾凡菊

（凱里學院，貴州 凱里 556011）

苗族服飾以其色彩鮮艷，圖案豐富，每個紋樣都有不同寓意以及作為苗族巫文化的代表而有著較高的藝術和審美價值。苗族服飾上各式各樣的圖案傳承了本民族文化，也因此具有類似文字的表達功能。但是，隨著時代的變遷，苗族服飾圖案所代表的文字功能和蘊含的特殊含義也被蒙上了一層神秘的面紗，至今也無法被完全解讀，這也正是苗族服飾圖案的獨特魅力所在。因此，研究苗族服飾圖案的分割對弘揚和傳承民族文化以及對苗族服飾圖案進行數字化保護都有著重大意義。

圖像的語義分割是指從圖像像素級別的角度對圖像中不同類別的對象進行分割，并對分割出的不同類別對象進行標注的過程，體現在視覺效果上就是同一類別的物體使用同一個顏色進行標簽標注，不同顏色代表不同類別的物體。語義分割已被廣泛應用于無人駕駛[1]、智能交通[2]、安防、醫療影像分析[3]、視頻分析等領域。傳統圖像分割方法主要依靠提取圖像的灰度、紋理結構、顏色、空間信息、幾何形狀等低層特征來指導分割，分割精度較低，無法滿足實時需求。Long 等人基于卷積神經網絡（Convolution Neural Networks，CNN）首次提出基于深度學習的端到端的像素級別的全卷積[4]（Fully Convolutional Networks，FCN）語義分割網絡。之后又有相關研究者在FCN 算法基礎上做了改進和創新，衍生出了很多算法，如U-Net 算法[5]、DeepLab 算法[6-8]、DANet 算法[9]等經典算法。基于深度學習的圖像語義分割網絡模型在圖像的分割精度和效率上較傳統圖像分割方法都有了顯著提高，逐漸成為語義分割領域主流的研究方向。

1 語義分割研究現狀

1.1 傳統語義分割

對圖像進行分割主要是為了便于后期對圖像的各種再處理，傳統的圖像分割方法主要有以下幾個方面：第一，基于閾值的分割[10]，核心思想是通過相應的準則函數計算獲得圖像的最優灰度閾值，把圖像中所有像素的灰度值逐一與最優灰度閾值進行比較，依據對比結果把相應的像素劃分到相應的類別中完成圖像的分割。閾值分割僅僅利用了圖像的灰度這一特征，單一特征無法準確地反映出圖像的全局信息，導致有時無法獲得連續的分割區域，分割效果不理想。第二，基于區域的分割[11]，核心思想是利用準則函數確定圖像中的一個區域（或像素）為其基礎區域（種子像素），再根據區域（像素）的一些特征，把具有相似性質的區域（像素）集中起來合并成分割區域。區域分割方法對圖像中的噪音較敏感，因此容易導致選取的區域有空洞。第三，基于邊緣檢測的分割[12]，核心思想是利用不同區域的邊緣特征信息會發生突變的特點來確定某個像素是否處于一個目標的邊界上。第四，基于小波變換的分割[13]，基本原理是利用小波變換把圖像分解為各層次的小波系數，再對小波系數設置閾值門限，最后利用閾值分割出圖像的不同區域。第五，基于馬爾科夫隨機場的分割[14]，該方法是一種基于統計的分割方法，基本原理是在馬爾科夫模型上利用目標函數的最優解完成圖像的分割。第六，基于遺傳算法的分割[15]，基本原理是在定義的圖像分割子集中進行優化遺傳算法，找到最優解，經過迭代可以得到較好的解決方案。

1.2 基于深度學習的語義分割

繼Long 等人[4]提出FCN 語義分割網絡模型之后，DeepLab[16-17]、PSPNet[18]和SegNet[19]等模型也被相繼提出并被應用于語義分割領域。DeepLab[16-17]系列通過不斷改進模型，采用了“編碼器-解碼器”這種含膨脹可分離卷積的架構，不僅優化了網絡模型的性能，還使圖像中較多的低層信息得到了保留。PSPNet[18]采用金字塔池化模塊對多尺度信息進行聚合，并加入附加損失，取得了較好的效果。SegNet[19]同樣使用“編碼器-解碼器”的架構，并在非線性上采樣時采用最大值池化，最后對上采樣映射進行卷積，提高了圖像分割的分辨率。基于深度學習的語義分割技術可以實現端到端的訓練，且較傳統分割技術能獲得更精確的分割結果，逐漸成為語義分割領域主流的研究方向，并受到了研究者們的廣泛重視。鑒于深度學習的語義分割技術在語義分割領域的優勢，本文也將重點討論在苗族服飾圖案分割中使用基于深度學習的語義分割技術。

2 改進SegNet 模型和融合注意力機制的苗族服飾圖案分割算法

苗族服飾具有紋樣獨特、元素復雜、紋理細小繁多等特點，使用傳統分割算法對苗族服飾圖案進行分割的難度較大，分割精度也不高，使用基于深度學習算法對苗族服飾圖案進行分割的研究鮮有報道。針對上述問題，本文利用深度學習有擬合復雜函數能力這一特點，嘗試利用深度學習算法模型與注意力機制模塊相結合，通過對SegNet 模型進行減少卷積層，降低內存消耗，嵌入注意力機制模塊。改進后的算法模型相對于傳統算法，苗族服飾圖案的分割精度有了一定提高。

2.1 相關理論基礎

本文借鑒了SegNet[19]算法模型思想以及Woo 等[20]提出的注意力機制模塊（Convolutional Block Attention Module，CBAM），SegNet 算法模型如圖1 所示，該模型的編碼器與解碼器由對應的5 部分組成，共有13 個對應的卷積層，最后的卷積層連接激活函數采用Softmax。

圖1 SegNet 模型體系結構

Woo 等[20]提出的CBAM 在算法運行中可以增強圖像的有效特征，同時抑制無效特征。它包括通道注意力模塊（Channel Attention Module，CAM）和空間注意力模塊（Spatial Attention Module，SAM）2 部分。編碼器對圖像進行特征提取后的輸出作為CBAM 注意力機制模塊的輸入，CBAM模塊在通道和空間2 個維度上產生注意力特征圖信息，然后2 種特征圖信息在與之前原輸入特征圖進行相乘進行自適應特征修正，產生最后的特征圖，如圖2 所示。

圖2 CBAM 注意力模塊

CAM 實現流程如下：首先對輸入特征圖E 分別進行平均池化和最大池化操作；其次把池化后的結果輸入到共享人工神經網絡模塊（Artificial Neural Network，ANN）中進行處理，并對處理后的2 個結果進行相加；再次取一個Sigmoid 之后得到特征圖F，如圖3 所示。

圖3 通道注意力模塊

SAM 實現流程如下：首先把輸入特征圖F 與原輸入進行乘法操作后進行最大池化和平均池化操作；其次將產生的2 個特征圖進行拼接（concat）；再次對拼接結果進行卷積操作后取Sigmoid 得到特征圖M，如圖4 所示。

圖4 空間注意力模塊

2.2 本文方法

本文對SegNet 算法模型進行了如下改進：改進后的SegNet 算法模型由原來相對應的13 個卷積層改為相對應的8 個卷積層；編碼器由原來的5 部分組成改為4 部分組成，與之對應的解碼器也由5 部分組成改為4 部分組成；模型最后的激活函數由Softmax函數改為非線性Sigmoid 函數。同時，為了對前景圖和背景圖進行更精確的分割，以及使模型將感興趣的特征從局部關聯到全局，本文把Woo等[20]提出的CBAM注意力機制模塊嵌入到SegNet 模型中，改進后的算法模型如圖5 所示。

圖5 改進的SegNet 模型

3 實驗結果與分析

3.1 實驗環境

本文模型是基于TensorFlow 2.3.0，Keras 2.4.1 深度學習框架，使用Ubuntu 18.04 系統，Python 3.7 編程語言及相關軟件工具包實現。使用的GPU 顯卡為GeForce GTX 2070Ti，顯存為8G，使用Adam 梯度下降訓練網絡，Epochs 設置為40，BatchSize 設置為8，學習率為1.0×10-5，最小學習效率為1.0×10-8，迭代次數設置為800，隨機梯度下降法作為模型的優化器，損失函數為交叉熵損失函數，如式（1）：

其中，n表示圖像尺寸，a表示圖像標簽，y表示樣本預測輸出。

3.2 數據集

由于目前還沒有專門用于針對苗族服飾圖案分割訓練的數據集，本文所用數據集來源于北京服裝學院民族服飾博物館和對貴州黔東南州的黃平谷隴、凱里朗德、雷山西江等苗寨服飾的拍攝整理。在北京服裝學院民族服飾博物館網站上下載了308 張原始苗族服飾圖像，通過裁剪等手段整理篩選共得到像素為512×512 的彩色圖案490 張；對貴州黔東南部分苗寨的苗族服飾進行了多角度拍攝，通過裁剪處理等手段獲得像素為512×512 的彩色圖案510 張。用以上2 部分合計1000 張苗族服飾圖案作為數據集，從中選取600 張作為訓練數據集，400 張作為測試數據集。利用文獻[21]的方法制作獲得苗族服飾圖案的人工標簽，從而完成本文數據集的制作。

3.3 評價指標

為了對本文所提模型的有效性進行評測以及和其他分割模型進行對比，本文使用語義分割領域常用的5 個評價指標對實驗數據進行客觀評價。5 個評價指標分別如下：精確率（Precision）、召回率（Recall）、交并比（Intersection over union，IOU）、Dice 系數（Dice similarity coefficient，DSC）、像素精度（Pixel accuracy，PA）[21]。

Precision表示對于給定的測試數據集，所有正確被預測的樣本數占所有實際被預測樣本數的比例。查準率值越高，表示模型檢測效果越好。其計算公式為：

Recall表示對于給定的測試數據集，所有正確被預測的樣本數占所有應該預測到的樣本數的比例。召回率值越高，表示有更多的正類樣本被模型預測正確，模型的效果越好，召回率僅關注正樣本的分類情況，可以在一定程度上反映模型的靈敏度（Sensitivity）。其計算公式為：

IOU表示分割結果像素與人工標簽像素的重疊率，取值范圍是0～1，當分割結果像素與人工標簽像素完全重疊，此時交并比值為1，分割效果最理想。其計算公式為：

DSC表示分割結果與人工標簽區域的重疊面積的兩倍除以兩幅圖像的總像素數，取值范圍為0～1，分割結果最理想取值為1。其計算公式為：

PA表示對于給定的測試數據集，分類器正確分類的樣本數與總樣本數之比，用來評估模型的全局準確度，值越接近1，表示模型性能越好。其計算公式為：

以上各式中的真正例（True Positives，TP）表示給定的數據集中，被正確預測的服飾圖案像素數量；假正例（False Positives，FP）表示給定的數據集中，服飾圖案像素被錯誤預測的像素數量；假反例（FalseNegatives，FN）表示給定的數據集中，服飾圖案背景像素被預測為服飾圖案像素的數量；真反例（True Negatives，TN）表示給定的數據集中，服飾圖案背景像素被準確預測的像素數量。

3.4 實驗結果分析

本文從可視化的視覺感知上和語義分割客觀定量評價指標兩方面對分割結果進行評測。圖6 是本文算法與傳統網絡模型SegNet[19]和FCN[4]的可視化視覺分割結果對比，表1 是對圖6 中的實驗進行客觀定量評價后各個評價指標的統計結果。

圖6 不同模型分割結果視覺效果對比

從圖6 對比結果可以看出，本文算法加入了輕量級的CBAM 注意力機制模塊，使得本文所提算法模型可以基于圖像信息的權重去度量服飾圖案中各種信息特征的重要性，使網絡模型更加關注于圖像的有用信息而忽略無用信息，減少圖像中空間信息的損失，降低損失率；同時，使用二分類交叉熵損失函數作為損失函數，提高了服飾圖案細小紋理的分割精度。FCN[4]忽略了高分辨率的特征圖，算法得到的結果不夠精細，分類沒有考慮像素間的關系，導致邊緣信息丟失。SegNet[19]算法在FCN 基礎上進行了改進，該算法只存儲了索引信息，相對于FCN 算法，節省了空間和參數，提高了訪問效率，對輪廓信息、幾何信息的保留比較好，保持了高頻信息的完整性；但SegNet 算法對低分辨率的特征圖進行反池化的時，會忽略臨近信息，導致邊緣信息丟失，影響了分割精度。由圖6 分割結果對比可知，本文算法模型在分割細節方面效果要優于SegNet 和FCN。從表1 對各評價指標的統計可以看出，本文所提算法模型各評價指標要優于SegNet和FCN，這與圖6 中的視覺效果保持一致。為了進一步驗證本文算法的有效性，我們對本文算法與傳統算法在分割細節上進行了局部放大對比，如圖7 所示。

圖7 分割細節局部放大對比

從圖7 分割細節局部放大對比可以看出，SegNet算法模型在分割過程中出現分割不完整，圖像中間出現了較多的空洞，這些都是分割不準確表現；FCN 算法模型在分割過程中出現了漏分割現象，導致出現較多的孤點沒有完全被分割，圖像的邊界像素部分的分割也出現了分割不完整情況。SegNet 和FCN 算法模型在對服飾圖案和圖案邊界像素進行分割時出現了過分割、漏分割以及分割不完整現象，本文算法模型沒有出現類似情況，取得了較好的分割結果。

本文針對苗族服飾圖案紋樣繁多，圖案細小紋理復雜，傳統圖像分割算法無法取得理想分割效果的問題，提出了一種在改進SegNet 模型中嵌入注意力機制的算法模型。該模型通過減少卷積層在一定程度上降低了內存消耗；通過在模型中嵌入CBAM 注意機制模塊，模型可以更好地將感興趣的特征從局部級別關聯到全局級別，模型的分割性能得到了提高；為了提高對服飾圖案細小紋理的分割精度，減少細小紋理細節的丟失，本文使用二分類交叉熵損失函數作為損失函數，提高了服飾圖案細小紋理的分割精度。實驗結果表明，改進后的算法模型相對于傳統相關算法，對苗族服飾圖案的分割精度有了一定的提高。本文算法模型對背景比較單一的苗族服飾圖案進行分割時能取得較好的分割效果，但面對背景較復雜且圖案色彩變化較多的圖像時，容易出現漏分割、邊界像素分割不準確等現象，分割效果不理想。如何進一步提高苗族服飾圖案中細小紋理的分割精度以及提高背景復雜且圖案色彩豐富的苗族服飾圖案的分割精度，將是后續的研究重點。