融合MultiDeepPPL的苗族服飾分割研究

覃琴 顏靖柯 王鑫 王慧嬌 王琴

摘要： 針對基于深度學習的苗族服飾圖像語義分割模型存在提取過程中服飾掩碼擬合質量不高的問題，文章提出一種基于漸進式注意力學習的多尺度深度學習金字塔模型（Multi-scale Deep learning pyramidal network of progressive attentional learning，MultiDeepPPL）分割苗族服飾。首先，設計了一種密集跨級連接網絡，充分利用多尺度方式提取特征的特性，融合不同尺度特征;然后，嵌入了一種漸進式注意力學習金字塔結構，從不同的特征圖中遷移相似性與跨尺度相似性，并采用空域注意力和3D卷積對前述特征進行融合。實驗結果表明，所提模型在苗族服飾數據集上平均交并比（Mean Intersection over Union，MIoU）達到0.873，類別平均像素準確率（Pixel Accuracy，MPA）達到0.943，Dice相似系數達到0.912，召回率（Recall）達到0.895 1。上述評估指標結果表明，文章所提方法明顯優于當前其他語義分割算法，為少數民族文化的研究提供了一種有效可行的方法。

關鍵詞： 苗族服飾;語義分割;空域注意力;3D卷積;多尺度

中圖分類號： TS941.19;J523.6 ? ?文獻標志碼： A ? ?文章編號： 1001-7003（2022）01-0078-10

引用頁碼： 011112DOI： 10.3969/j.issn.1001-7003.2022.01.012

少數民族將自己的宗教文化、圖騰文化體現在服飾的紋樣和建筑的裝飾上，這樣不僅起到美化自身的作用，還能夠傳達特殊的文化意義[1]。中國少數民族種類繁多，民族服飾多姿多彩，如何正確、高效地分割少數民族服飾的圖案，對于輔助研究人員研究少數民族文化具有重要的意義。雖然已經有學者對民族服飾圖像進行了研究，但在民族服飾圖像分割的自動優化[2]、提取、分類[3]、識別等方面的研究還很少，這影響了研究者從大量民族服飾圖像中快速檢索和識別。

在服飾分割的研究領域中，近期的研究側重于采用深度神經網絡對時尚服飾圖像進行分割。Liang等[4]基于主動模版回歸（ATR）模型，利用深度神經網絡學習每個語義區域的位置和可見性，生成掩碼模版系數和服飾分割形狀的參數，得到很好的分割結果。Khurana等[5]基于SegNet模型[6]，提出了一種用于時尚服飾圖像分割的雙階段深度神經網絡架構。該架構第一階段使用全卷積網絡分割出了服飾圖像，第二階段利用Gabor提取服飾紋樣特征，確定服飾類型。Guo等[7]利用CPN網絡、MFN網絡、CRN網絡從粗到細分割服飾。Liu等[8]基于K最鄰近（k-nearest neighbor，kNN）的方法，提出了具有參數匹配的卷積神經網絡（M-CNN）來預測圖像中特定語義的最佳匹配區域置信度和位置信息。雖然目前基于神經網絡的語義分割模型的研究在時尚服飾數據集上取得了一定的成功，但是少數民族服飾區別于時尚服飾，具有以下特點：1） 服飾圖案結構復雜;2） 服飾飾品繁多，同時存在很多小飾品;3） 同一款式服飾飾品之間顏色細節屬性差異不大。從而使得少數民族服飾分割仍然存在以下問題：1） 由于少數民族服飾的結構復雜，現有的分割模型難以描述少數民族服飾的局部細節;2） 少數民族服飾色彩鮮明、紋理圖案多樣、款式種類繁多、飾品豐富，如何解決分割模型提取高層視覺語義屬性與低層特征語義屬性之間的鴻溝，成為提高分割準確率的關鍵。

針對上述問題，以苗族服飾圖案研究為例，提出了一種基于MultiDeepPPL的苗族服飾分割模型。在這項工作中，不僅設計了一個簡單又強大的密集跨級連接網絡，使模型能夠更好地描述少數民族服飾局部細節，而且設計了一種漸進式注意力金字塔結構，該結構能夠遷移和融合少數民族服飾之間自相似性與跨尺度相似性的特征，從而提升模型分割民族服飾的準確度。

1 基于MultiDeepPPL的苗族服飾分割模型

首先，從整體上描述MultiDeepPPL模型，并詳細介紹密集跨級連接網絡中不同尺度的特征密集連接;然后，介紹漸進式注意力學習金字塔結構;最后，闡明設計的輔助分支結構。

1.1 網絡結構

本文模型設計的具體結構如圖1所示。模型主體采用了編碼-解碼的架構，并設計了密集跨級連接網絡和漸進式注意力學習金字塔結構，提高了模型的分割精度。編碼器模塊，模型首先將輸入的服飾圖片經過卷積的3次下采樣操作，每次下采樣操作特征圖的長和寬縮小2倍，通道數擴大2倍，然后將卷積輸出的特征圖逐層傳入不同尺度的特征層進行特征融合。解碼器模塊，先將編碼器和解碼器的特征層進行密集跨級連接，使模型提取服飾多尺度特征信息，接著采用金字塔結構融合特征局部與全局信息，最后解碼器進行3次反卷積逐步恢復高分辨率圖像，得到語義分割結果。解碼器結構與編碼器結構對稱，解碼器每次利用反卷積操作，將特征圖尺寸擴大2倍，通道數縮小2倍。為了進一步提升小物體的分割效果，以及加強對網絡梯度消失的監督，本文提出了輔助分支結構，該結構在解碼過程中分別提取三次反卷積的輸出特征，如圖1（c）所示。利用1×1卷積層中將特征通道減少為7，并將卷積的結果進行融合，最后利用SoftMax對特征圖進行分類，解碼器和編碼器實現了“端到端”的輸出。

另外，該模型使用了Mosaic數據增強[9]的方法，將四張圖像合成一張圖像，不僅豐富了檢測物體的背景，使得模型能夠在復雜環境下進行識別，而且能使模型提取四張圖像特征信息。模型還引入了Label Smoothing[10]對真實樣本標簽添加懲罰因子，懲罰標簽置信度分布，形成新樣本分布。通過對真實樣本平滑處理，軟化真實標簽與其他類別的相對距離。在激活函數的選擇上，模型使用了ACON激活函數[11]代替Relu激活函數，它可以自適應選擇激活的單元數，避免模型無法精準描述浮點數造成的模型預測精度損失。

本文模型創新性地設計了密集跨級連接網絡、漸進式注意力學習金字塔結構（PPL）、輔助分支結構。密集跨級連接網絡是將編碼器和解碼器的網絡層中不同尺度的特征進行合并連接，使每一層網絡層包含高視覺語義特征和淺語義特征，得到豐富的特征表示。漸進式注意力學習金字塔結構是將反卷積和卷積操作得到的特征進行物體相似外觀和相近位置的特征提取，該方式能有效地融合全局和局部的特征信息，提高對圖像全局特征的利用率。輔助分支結構能夠學習中層和淺層的潛語義特征，學習到更多鑒別信息，有利于小目標的分割。

1.2 密集跨級連接網絡

在苗族服飾分割的實驗過程中，發現了很多小飾品的輪廓沒有被很好地分割、外觀相似的物體也存在分類錯誤等問題，這些問題與模型不同尺度下獲得的感受野語境和整體信息都有關，因此，具有合適尺度的模型可以極大增強模型復雜場景下的分割能力。為了對多模態特征進行特征提取的增強，使模型更加有效地捕獲上下文信息，進一步避免丟失不同表征之間關系的語義信息。本文在編碼器和解碼器的路徑上考慮多尺度特征信息，并設計了密集跨級連接網絡來融合不同尺度的特征圖。密集跨級連接網絡能夠通過使用密集跨連接策略達到控制模型對不同尺度特征學習能力的目的。MultiDeepPPL中密集跨級連接網絡采用了兩級結構，在第一級結構中編碼器會將低尺度和中等尺度的特征圖進行融合，在第二級結構中將融合后的結果作為整體再與高尺度特征圖進行融合。該網絡增加了對全局特征的關注，保留了更多的細節特征。密集跨級連接網絡具體實現如下：首先，在編碼器路徑上將下采樣的輸入與前特征層輸出連接，經過兩次卷積運算，并行高語義特征在編碼器上;然后，在解碼器路徑上將編碼器路徑和解碼器路徑的特征連接在一起，通過漸進式注意力學習金字塔結構提取自相似性特征，并聚合相似物體外觀、位置特征。值得注意的是，對于連接不同尺寸和通道數的特征，采用了最大池化（3×3、5×5、9×9）和卷積（3×3），確保分辨率相同和通道數一致。

1.3 漸進式注意力學習金字塔結構

上文利用密集跨尺度連接網絡已經對不同尺度的特征進行了充分融合，然而苗族服飾圖片背景復雜度高、拍攝光照不均勻、物體類別之間存在難分類和錯誤分類的情況，會導致語義分割模型精度低。因此，本文設計了漸進式注意力學習金字塔結構，如圖2所示。該結構能對場景中受光照和背景影響大的物體的深度信息區域進行互補，提取到相似外觀和相近位置物體特征，降低物體的分割錯誤率。MultiDeepPPL模型中共設置了5個漸進式注意力學習金字塔結構，每個漸進式注意力學習金字塔結構輸入包括了一對相同大小的跨尺度特征層。漸進式注意力學習金字塔結構主要利用了金字塔結構漸進式學習自相似性與跨尺度特征信息，在完成特征信息提取后賦予特征像素級權重，并通過3D卷積[12]聚合所有特征信息。MultiDeepPPL模型中采用不斷卷積和反卷積的方法，有效地使得每一級下采樣操作的特征圖都通過漸進式注意力學習金字塔結構進行遷移學習，達到提取跨尺度相似性的目的。

在漸進式注意力學習金字塔結構中，首先采用了可變形卷積[13]，可變形卷積可以學習到更多不規則的自相似性特征，計算方式如下式所示：

（FD2）m=FDconv（Fm1，（Fi2，EAP））（1）

式中：FDconv表示可變形卷積運算，Fm1表示當前第m層輸入的特征圖，Fi2，EAP表示前i層漸進式注意力學習金字塔結構輸出的特征圖。

可變形卷積學習的偏移offset，會根據輸入的Fm1和Fi2，EAP進行計算，計算方式如下式所示：

（ΔP）m=FC（Fm1（Fi2，EAP））（2）

式中：ΔP表示m層的可變卷積偏移， ?表示通道連接，FC表示卷積運算。

然后，漸進式注意力學習金字塔結構通過Softmax生成Mask特征級掩碼，Mask用于漸進式注意力學習金字塔結構聚集學習最相關的特征，計算方式如下式所示：

（Mask）m=Softmax（FC（Fm1）-FC（（Fi2，EAP）m））（3）

利用式（3）所計算的注意力掩碼Mask進一步與可變形卷積的輸出相乘焦聚更多的相關特征。在完成卷積后，生成的特征被視作殘差信息，會映射到Fm1特征圖，得到輸出結果，輸出特征的計算方式如下式所示：

Fm=Fm1+FC（Fm1（Mask）m（FD2）m）（4）

式中：表示矩陣元素乘法運算，計算自相似性特征和跨尺度相似性特征;在執行完可變形卷積，模型完成了自相似性和跨尺度相似性特征提取，完成自相似性和跨尺度的特征為Fm。

最后，本文對提取到的特征采用像素級運算集成權重和3D卷積計算融合提取的特征。對于像素級運算集成權重，采用了空域注意力機制計算權重，計算方式如下式所示：

（Θ）m=Sigmoid（FC（Fm1）T⊙FC（Fm））（5）

式中：⊙表示矩陣元素點積運算，T表示矩陣的轉置，Fm表示上述提取的自相似性和跨尺度相似性提取的特征。

空域注意力機制計算的權重會將輸入的特征進行加權融合，并采用額外融合卷積層來聚合注意力調制的特征，計算方式下式所示：

=Θm（Fm）（6）

Ffusion=FC（[1，2]）（7）

另外，漸進式注意力金字塔結構中還加入3D卷積將計算融合特征F3D，并將F3D和Ffusion特征相加進行最后調制，計算方式如下式所示：

Fmsa=F3D+Ffusion（8）

漸進式注意力學習金字塔結構利用由粗到細的方式提高了信息聚合的有效性。

1.4 輔助分支結構

MultiDeepPPL模型的深層卷積感受也大，特征映射具有較強的語義特征信息，有利于分割識別大目標，但是隨著網絡的加深，深層卷積映射的特征中小目標特征信息容易丟失。苗族服飾分割任務中輸入的圖片通常包含大小不同的目標。在這種情況下，只使用深層的特征映射進行預測，很可能導致較小的目標分割精度不高，而中層和淺層的特征映射包含更多的特性信息，能讓模型學習到更多鑒別信息，有利于小目標的分割。受此啟發，本文基于淺層、中層和深層的特征信息的融合作為分割結果，提出了輔助分支結構，如圖3所示。該結構加深了對小目標特征的提取，能夠對輸出結果分割效果的提升起到一定的作用。輔助分支結構定義編碼器中Layer 6、Layer 7、Layer 8作為輔助分支結構的輸出，其中Layer 6和Layer 7對應淺和中層網絡，雖然它們只包含較淺的語義信息，但是包含了更多的小目標特征信息;而Layer 8對應深層網絡，包含了更多的高語義特征信息，能夠對復雜背景的大物體進行分割。首先，解碼器根據不同層次的深度卷積層Layer 6、Layer 7、Layer 8劃分不同的階段，獲得不同語義的特征信息，每個階段通過反卷積得到相同大小的特征圖，并經過卷積得到不同階段的不同類別置信系數;然后，將不同置信系數的通道進行連接，同時將它們的特征信息交叉輸入到漸進式注意力學習金字塔結構（PPL），使網絡能夠合理利用不同階段學習的特征，專注有效特征提取，丟棄冗余特征;最后，將漸進式注意力學習金字塔結構聚合的多層特征輸入到SoftMax分類器實現最終的輸出。輔助分支中采用漸進式注意力學習金字塔結構，可以漸進式遷移學習不同分支獲得的結果的重要權重，降低了網絡深度選擇特征的難度，緩解深層網絡造成的網絡退化。

2 實驗及結果分析

首先，采集實驗數據;然后，搭建實驗操作平臺，并設置神經網絡的超參數并設置實驗評價指標;最后，對改進的語義分割模型進行實驗對比。

2.1 苗族服飾數據集

目前沒有專門用于少數民族服飾圖案分割公開數據集，大多數研究者是在少數民族部落實地拍攝來進行相關研究。本文選取了苗族服飾作為研究對象，苗族服飾資源豐富，它是所有少數民族服飾中相對較華麗的服飾。Zhang等[14]將苗族服飾圖案分為三類：幾何紋、動物紋、植物紋。幾何紋蘊含著苗族人民對美好生活的追求，對和平的向往;動物紋表達了他們希望和動物和平相處;植物紋表達了他們對大自然生活的喜愛。

本文數據集依托于貴州西江千戶苗寨拍攝獲得，包含了幾何紋、動物紋、植物紋采集整理（圖4），該數據集分別從不同的角度進行圖像拍攝，構建苗族服飾圖像庫共計12 500條樣本，取10 000張圖像作為訓練樣本，2 500張圖像作為測試樣本，樣本分布如表1所示。

2.2 設 置

本文在GPU1060Ti，Ubuntu18.04，基于Python3.6、TensorFlow1.13、Keras2.3.1環境上完成。模型訓練數據都采用了苗族服飾數據集，訓練策略采用了Mosaic數據增強、Label Smoothing、ACON激活函數，并使用交叉熵（CE）損失函數來訓練網絡。CE損失函數定義如下：

LCE（p，）=1wh∑w-1x=0∑h-1y=0（p（x，y）log（（x，y）））+（1-p（x，y））log（1-（x，y））（9）

式中：w和h是圖像的尺寸，p（x，y）對應于圖像的像素的標簽，（x，y）表示模型輸出的預測概率。

實驗模型設置了批尺寸為14的Adam梯度下降和1e-3的學習率進行訓練網絡。該模型訓練的迭代次數設置為200。另外，本文采用MIoU、MPA、Dice相似系數、Recall、所提出模型的參數數量和推理時間（分割圖案花費的時間）作為分割效果的評價指標，MIoU、MPA、Dice相似系數、Recall的值越大表示網絡預測效果越好，參數量和推理時間越少，模型效率越高。

對于基線模型比較，本文模型與Berg等[15]、Yamaguchi等[16]、SegNet[6]、Khurana等[5]、SCN-152[17]、ACNet[18]、CTNet[19]、AttentionUnet[20]、SGNet[21]進行了比較。另外，對于本文模型的所有貢獻進行了消融實驗驗證。

2.3 不同金字塔結構可視化

熱力圖可視化可以清晰顯示金字塔結構對圖片中不同特征信息的提取效果，因此對測試集上的苗族服飾特征應用熱力圖可視化的方法可以直觀地證明所設計的漸進式注意力學習金字塔結構的優勢。為了獲得合適的熱力特征圖，本文可視化了模型最后一層卷積操作的輸出特征，如圖5所示。漸進式注意力學習金字塔結構（PPL）能抑制更多的無關背景干擾和保留更多細節特征，有助于獲得更好的分割性能。即它能以金字塔結構遷移學習自相似性與跨尺度特征信息并進行特征聚合，相比SPP模塊[22]、ASPP模塊[23]、RFB模塊[24]更關注目標區域，確保了更好的性能。

2.4 消融實驗

本文在苗族服飾數據集上評估了MultiDeepPPL模型的各結構性能，將其實驗結果進行對比（表2）。由表2可見，在基礎網絡（Base）中添加密集跨級連接網絡（DFCN）提高了Dice相似系數和MIoU、MPA、Recell的性能;添加輔助分支（MS）能略微提高網絡的性能。與沒有添加漸進式注意力學習金字塔結構（PPL）的相比，具有漸進式注意力學習金字塔結構的模型顯著提高了評價指標，這也進一步證明了漸進式注意力學習金字塔結構可以保留足夠的信息。綜合運用以上方法，明顯提高了模型的性能，表明了它們的協同作用。最后，本文比較了改進后的模型參數和推理時間，從結果上顯示雖然參數有所增加，但推理時間并沒有明顯增加，說明改進后的模型是可以接受的。

圖6為MultiDeepPPL模型中損失函數在測試集和訓練集的部分迭代變化，共迭代200次。由于苗族民族服飾圖片訓練的背景復雜，曲線呈現明顯振蕩，但最終趨于擬合。

另外，本文展示了3種不同風格的苗族服飾分割結果實例，如圖7所示。由圖7（c）可見，基礎網絡（Base）對苗族服飾圖像粗略分割結果，所選的實例存在分割不準確的現象;由圖7的上面和下面可見，由于苗族服飾中存在袖子、上衣、褲子等的紋理顏色過于相近，小尺寸飾包的特征不豐富，導致模型分割結果出現錯誤。為了解決上述問題，本文在Base基礎上添加了密集跨級連接網絡（DFCN），模型獲得更加準確的分割結果。由圖7中間可以看出，由于苗族服飾的飾品銀項圈背景復雜度高，導致模型分割精度不高，本文在Base+DFCN添加漸進式注意力學習金字塔結構（PPL）能夠遷移學習銀項圈的自相似性和跨尺度特征，更好提取復雜服飾特征。由圖7上面可以看出，在Base+DFCN+PPL中加入輔助分支結構（MS），輔助分支結構可以在一定程度上加強小物體飾包的分割精度。

2.5 其他模型比較

在苗族服飾數據集上，為了驗證所提出模型的可行性和效率，將MultiDeepPPL模型與Berg等[15]、Yamaguchi等[16]、Khurana等[5]、SegNet[6]4種傳統方法進行了性能的比較（表3）。由表3可見，本文所使用的MultiDeepPPL模型的MPA較之前的傳統方法有明顯的提升，說明密集跨級連接網絡和漸進式注意力學習金字塔結構能夠使所在的模型有明顯的改善。

在苗族服飾款式上，本文比較了Yamaguchi的模型和本文模型的F1分數，如圖8所示。本文模型不僅對簡單的大標簽袖子、上衣、裙子、護腿、褲子分割效果提升明顯，而且模型對復雜的小標簽飾包、銀項圈、銀冠、銀角、腰帶等分割效果也有較大的提升。

另外，本文與其他6個先進的深度學習模型進行了比較，如表4所示。本文模型在Dice相似系數、MIoU、MPA、Recell四種指標均優于現有比較的模型，它的具體數值為0.912、0873、0.943、0.895。將MultiDeepPPL與其他多尺度編碼-解碼架構的模型相比，如與AttentionUnet模型相比，本文模型在Dice相似系數、MIoU、MPA、Recell分別高了10.06%、6.2%、8.9%、7.58%，這得益于編碼器和解碼器中加入密集跨連接網絡和漸進式注意力學習金字塔結構，使得模型對多尺度特征融合取得了更佳的效果。另一方面，本文模型相比于SGNet、AttentionUnet、CTNet參數量和預測時間均有減少，如與SGNet模型相比，MultiDeepPPL模型在參數量上減少了68.76 M，預測時間減少了0.04 s，說明本文的模型效率上也優于當前大部分模型。

2.6 可視化結果

圖9為不同模型在苗族服飾數據集上的可視化結果，其中（a）為真實少數民族服飾圖片，（b）為語義標簽圖，（c）為SGNet的語義分割結果，（d）為AttentionUnet的語義分割結果，（e）為本文MultiDeepPPL模型的語義分割結果。雖然AttentionUnet和SGNet對易分辨的大物體分割效果好，如上衣、裙子等，但是對小飾品和顏色相近的服飾圖案分割效果不理想。而本文模型不僅在大物體分割能達到上述模型的分割效果，同時對小尺度的服飾，以及顏色相近的服飾圖案能提取出明顯的分割特征，如紅色框的飾包、黃色框的腰帶、紫色框的護腿、綠色框的項鏈。說明了本文模型的密集跨級連接網絡和漸進式注意力學習金字塔結構能有效利用苗族服飾的多尺度特征，進行相似性、跨尺度相似性和互補性特征提取，并融合全局信息提高分割效果。

3 結 論

針對目前深度學習模型分割苗族服飾精度差、分割難等問題，本文提出了基于MultiDeepPPL的苗族服飾圖案分割模型。首先，設計了密集跨級連接網絡，該網絡充分提取了苗族服飾中不同尺度的特征信息，加強了模型提取特征能力;然后，嵌入了漸進式注意力學習金字塔結構，不僅遷移學習自相似性和跨尺度相似性，而且能對特征進行聚合;最后，通過對比實驗，本文模型取得了良好的分割效果，證明了MultiDeepPPL模型可以幫助少數民族文化研究者進行自動和準確地分割苗族服飾圖案飾。但是其他少數民族數據集（如壯族服飾、白族服飾等）數據量有限，導致模型訓練擬合程度不高，分割精度較差，下一步的研究準備基于無監督的物體分割，憑借少量的數據訓練擬合程度更高的模型。

《絲綢》官網下載

中國知網下載

參考文獻：

[1]張云婕. 侗族傳統服裝藝術研究[D]. 長沙： 湖南師范大學， 2019.

ZHANG Yunjie. Research on the Traditional Costume Art of Dong Nationality[D]. Changsha： Hunan National University， 2019.

[2]HUO P， WANG Y， LIU Q. A part-based and feature fusion method for clothing classification[C]//Pacific Rim Conference on Multimedia. New Delhi： Springer， 2016： 231-241.

[3]SUN Y， LIU Q. Attribute recognition from clothing using a Faster R-CNN based multitask network[J]. International Journal of Wavelets， Multiresolution and Information Processing， 2018， 16（2）： 1-13.

[4]LIANG X， LIU S， SHEN X， et al. Deep human parsing with active template regression[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2015， 37（12）： 2402-2414.

[5]KHURANA T， MAHAJAN K， ARORA C， et al. Exploiting texture cues for clothing parsing in fashion images[C]//25th IEEE International Conference on Image Processing （ICIP）. New York： IEEE， 2018： 2102-2106.

[6]BADRINARAYANAN V， KENDALL A， CIPOLLA R. Segnet： A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（12）： 2481-2495.

[7]GUO J， SU Z， LUO X， et al. Conditional feature coupling network for multi-persons clothing parsing[C]//Pacific Rim Conference on Multimedia. New Delhi： Springer， 2018： 189-200.

[8]LIU S， LIANG X， LIU L， et al. Matching-cnn meets knn： Quasi-parametric human parsing[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 1419-1427.

[9]ALY G H， MAREY M A E R， EL-SAYED A S， et al. YOLO V3 and YOLO V4 for masses detection in mammograms with resnet and inception for masses classification[C]//International Conference on Advanced Machine Learning Technologies and Applications. Cham： Springer， 2021： 145-153.

[10]SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 2818-2826.

[11]MA N， ZHANG X， LIU M， et al. Activate or not： Learning customized activation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Online： IEEE， 2021： 8032-8042.

[12]LIU G， MITRA D， JONES E F， et al. Mask-guided convolutional neural network for breast tumor prognostic outcome prediction on 3D DCE-MR images[J]. Journal of Digital Imaging， 2021， 34（3）： 630-636.

[13]DAI J， QI H， XIONG Y， et al. Deformable convolutional networks[C]//Proceedings of the IEEE International Conference on Computer Vision. Honolulu： IEEE， 2017： 764-773.

[14]ZHANG C， WU S， CHEN J. Identification of miao embroidery in southeast guizhou province of china based on convolution neural network[J]. Autex Research Journal， 2021， 21（2）： 198-206.

[15]YAMAGUCHI K， KIAPOUR M H， ORTIZ L E， et al. Parsing clothing in fashion photographs[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Providence： IEEE， 2012： 3570-3577.

[16]YAMAGUCHI K， HADI K M， BERG T L. Paper doll parsing： Retrieving similar styles to parse clothing items[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Portland： IEEE， 2013： 3519-3526.

[17]LIN D， ZHANG R， JI Y， et al. SCN： Switchable context network for semantic segmentation of RGBD images[J]. IEEE Transactions on Cybernetics， 2018， 50（3）： 1120-1131.

[18]HU X， YANG K， FEI L， et al. Acnet： Attention based network to exploit complementary features for RGBD semantic segmentation[C]//2019 IEEE International Conference on Image Processing （ICIP）. New York： IEEE， 2019： 1440-1444.

[19]XING Y， WANG J， CHEN X， et al. Coupling two-stream RGBD semantic segmentation network by idempotent mappings[C]//2019 IEEE International Conference on Image Processing （ICIP）. New York： IEEE， 2019： 1850-1854.

[20]LI C， TAN Y， CHEN W， et al. ANU-Net： Attention-based nested U-Net to exploit full resolution features for medical image segmentation[J]. Computers & Graphics， 2020， 90： 11-20.

[21]CHEN L Z， LIN Z， WANG Z， et al. Spatial information guided convolution for real-time RGBD semantic segmentation[J]. IEEE Transactions on Image Processing， 2021， 30： 2313-2324.

[22]HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2015， 37（9）： 1904-1916.

[23]AHMAD P， JIN H， QAMAR S， et al. RD 2 A： Densely connected residual networks using ASPP for brain tumor segmentation[J]. Multimedia Tools and Applications， 2021： 1-26.

[24]LIU S， HUANG D. Receptive field block net for accurate and fast object detection[C]//Proceedings of the European Conference on Computer Vision （ECCV）. Munich： Springer， 2018： 385-400.

Abstract： There are a wide variety of costume patterns in China， which are the carriers of national culture. Ethnic minorities reflect their religious culture and totem culture in costume patterns and architectural decoration， not only for self-beatification but also for conveying special cultural significance. Ethnic minorities have experienced regional migration and cultural integration in the process of evolution， resulting in great changes and differences in costume patterns in different periods and regions， as well as complex structures and various categories of the same-style ethnic costumes with different details and attributes. Miao costumes， characterized by complex structure， bright colors， diverse textures and patterns， various styles and rich ornaments， were selected as the example to conduct further studies. Since it is difficult to segment the local details of Miao costumes and distinguish the high-level visual semantic attributes from low-level feature semantic attributes using current semantic segmentation models based on deep learning， a new model MultiDeepPPL was proposed in this paper to improve the above-mentioned shortcomings of deep learning， enhance the efficiency of Miao costume pattern segmentation and provide a new perspective for minority culture research and dissemination.

To address the problem of low quality of clothing mask fitting in the extraction process of semantic segmentation model of Miao costumes based on deep learning， a new multi-scale deep learning pyramidal network of progressive attentional learning （MultiDeepPPL） was proposed for the segmentation of Miao costumes. Firstly， a dense cross-level connection network was designed adopting a two-level structure. In the first-level structure， the low-scale and medium-scale feature images were fused in the encoder; in the second-level structure， the fused results were fused as a whole with high-scale feature images. Then， a pyramid structure of progressive attentional learning was embedded， which could input a pair of cross-scale feature layers of the same size into the pyramid structure to progressively learn self-similarity and cross-scale feature information. After the feature information was extracted， the features were assigned with pixel-level weight， and all the feature information was aggregated by 3D convolution. The model can fully extract the feature information of Miao costumes of different scales， strengthen its feature extraction ability， learn self-similarity and cross-scale similarity， and aggregate the features. The experimental results have shown that the Mean Intersection over Union （MIoU） and Mean Pixel Accuracy （MPA） of the proposed model reached 0.873 and 0.943 on the Miao costumes data set， respectively. Dicesimilarity coefficient reached 0.912， and Recall reached 0.895 1. The results of the above evaluation indicators show that the proposed method is obviously superior to other existing semantic segmentation algorithms， and it provides an effective and feasible method for the study of ethnic culture.

The MultiDeepPPL model proposed in this paper has achieved good segmentation effects in the segmentation of Miao costumes， indicating that this model can help researchers automatically and accurately segment Miao costumes patterns. However， other ethnic minority datasets （such as Zhuang costumes and Bai costumes， etc.） are relatively insufficient， resulting in low model training fitting degree and poor segmentation accuracy. It is planned to train an efficient model based on unsupervised object segmentation with a small amount of data in the subsequent research.

Key words： Miao costumes; semantic segmentation;spatial attention; 3D convolution; multiscale