改進(jìn)UNet++的瓷器文物顯微氣泡分割

摘要 對(duì)瓷器文物顯微氣泡的分割，可以更加清晰地觀察瓷器表面微觀氣泡的形態(tài)、數(shù)量以及分布規(guī)律，進(jìn)而輔助文物專家進(jìn)行瓷器碎片分類和文物鑒定等工作。但瓷器顯微圖像中氣泡復(fù)雜多變，大小及分布不均勻，現(xiàn)有圖像分割方法難以適應(yīng)瓷器顯微氣泡特征。因此，該文提出一種基于卷積激活單元的網(wǎng)絡(luò)AGUNet++，該網(wǎng)絡(luò)重新設(shè)計(jì)密集跳躍連接，節(jié)點(diǎn)間采用Z字形連接方式，充分提取圖像語(yǔ)義特征，防止信息丟失;同時(shí)，在卷積單元的密集跳躍連接處，結(jié)合注意力門(mén)控模塊Attention Gate提出卷積激活單元CAU，增強(qiáng)與瓷器文物顯微氣泡分割任務(wù)相關(guān)的氣泡區(qū)域?qū)W習(xí)，抑制不相關(guān)的區(qū)域;在訓(xùn)練過(guò)程中對(duì)每一層子網(wǎng)絡(luò)的輸出采用深度監(jiān)督和交叉熵?fù)p失，有效增強(qiáng)瓷器文物顯微氣泡特征提取能力，細(xì)化分割結(jié)果。該方法在SD-saliency-900以及PRMI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與經(jīng)典圖像分割網(wǎng)絡(luò)相比，AGUNet++在MIoU、Precision、Recall和F1分?jǐn)?shù)中均有一定的提升，表現(xiàn)出更好的分割效果。

關(guān)鍵詞 瓷器文物顯微圖像;顯微圖像分割;UNet++;注意力門(mén)

中圖分類號(hào)：TP391.41" DOI：10.16152/j.cnki.xdxbzr.2025-01-011

Microscopic bubbles segmentation of porcelain relicsbased on improved UNet++

LIU Yangyang1，2， GENG Guohua1，2， LIU Xinda1，2， LI Zhan1，2，" LU Zhenghan1，2

（1.National and Local Joint Engineering Research Center for Cultural Heritage Digitization， Northwest University，Xi’an 710127， China; 2.Institute of Visualization Technology， Northwest University， Xi’an 710127， China）

Abstract The segmentation of microscopic bubbles of porcelain relics can provide a clearer observation of the morphology， quantity， and distribution of micro bubbles on the surface of porcelain， which is of great significance in assisting relic experts in classifying porcelain cultural relic fragments and identifying porcelain cultural relics. However， the bubbles in porcelain microscopic images are complex and varied， with uneven size and distribution. Existing image segmentation methods are difficult to adapt to the characteristics of porcelain microscopic bubbles.Therefore， a network named AGUNet++based on convolution attention unit is proposed. This network utilizes a zigzag connection approach between nodes to fully extract image semantic features and prevent information loss. Meanwhile， a convolution attention unit is introduced by combining the dense skip connection of the convolution unit with the attention gate. The CAU enhances the learning of bubble regions relevant to the task of microscopic bubble segmentation in porcelain artifacts while suppressing irrelevant regions. Deep supervision and cross entropy loss are applied to the output of each sub network layer during the training process， which effectively enhance the ability to extract microscopic bubble features in porcelain artifacts and refine the segmentation results. The experimental results of this method on the SD-saliency-900 and PRMI demonstrate that AGUNet++exhibits certain improvements in MIoU， Precision， Recall， and F1-score， showing better segmentation performance compared to classical image segmentation networks.

Keywords porcelain relics micro image; microimage segmentation; U-Net++; attention gate

在近一個(gè)世紀(jì)的考古發(fā)掘歷程中，眾多瓷器文物的出土為研究中國(guó)古代社會(huì)提供了豐富的實(shí)物資料。這些瓷器文物不僅是中國(guó)古代生產(chǎn)力發(fā)展的象征，也是中華文明進(jìn)步的重要標(biāo)志。瓷器的器型、釉色、表面紋飾及其微觀特征等元素，共同構(gòu)成了不同歷史時(shí)期瓷器器物的獨(dú)特風(fēng)格和特點(diǎn)。鑒于出土瓷器文物及碎片的數(shù)量龐大、種類繁多且分布廣泛，對(duì)其進(jìn)行系統(tǒng)的修復(fù)和鑒定不僅具有深遠(yuǎn)的學(xué)術(shù)價(jià)值，也對(duì)文化遺產(chǎn)的保護(hù)與傳承具有不可替代的意義［1-2］。

瓷器文物由于其本身精細(xì)且易碎，傳統(tǒng)的手工復(fù)原和拼合存在諸多問(wèn)題，計(jì)算機(jī)輔助虛擬復(fù)原能夠有效避免人為因素的干擾，不受時(shí)間和空間的限制，可高效安全地完成文物復(fù)原，避免文物的二次破壞［3-4］。進(jìn)行瓷器文物的復(fù)原工作之前，對(duì)大量瓷器文物碎片進(jìn)行精確分類是一項(xiàng)技術(shù)要求極高的任務(wù)，且人工分類費(fèi)時(shí)費(fèi)力，而計(jì)算機(jī)輔助瓷器碎片分類方法可識(shí)別其類別，輔助碎片拼接和鑒定等后續(xù)任務(wù)［5］。鑒定瓷器文物的真?zhèn)?、確定其產(chǎn)地（窯口）、斷定其制作年代以及評(píng)估其歷史價(jià)值，是瓷器文物鑒定的基本任務(wù)［6］。這些任務(wù)不僅是學(xué)術(shù)研究的需要，更是國(guó)家文化遺產(chǎn)保護(hù)與傳承的戰(zhàn)略需求。

瓷器文物鑒定領(lǐng)域主要采用2種方法：直觀鑒定（目鑒）與科學(xué)鑒定（科鑒）。直觀鑒定依賴于專家的經(jīng)驗(yàn)和直觀感受，而科學(xué)鑒定則通過(guò)科學(xué)儀器和技術(shù)手段進(jìn)行分析［7］。在傳統(tǒng)方法中，直觀鑒定占據(jù)主導(dǎo)地位，但其準(zhǔn)確性往往受限于鑒定者的專業(yè)知識(shí)和經(jīng)驗(yàn)。隨著現(xiàn)代科技發(fā)展，利用電子顯微鏡觀察瓷器釉面各相（玻璃相、氣相、晶相）的顯微結(jié)構(gòu)，在新的維度上為瓷器文物的鑒定提供了參考［8］。在瓷器文物的修復(fù)過(guò)程中，對(duì)大量瓷器碎片進(jìn)行分類是一項(xiàng)基礎(chǔ)且關(guān)鍵的工作［9-11］。然而，傳統(tǒng)的人工分類方法不僅耗時(shí)耗力，而且由于瓷器碎片外觀的相似性，分類的準(zhǔn)確性往往難以保證。針對(duì)這一問(wèn)題，瓷器文物顯微圖像中的氣泡提取技術(shù)顯示出其獨(dú)特的價(jià)值。顯微圖像分析能夠揭示瓷器碎片的微觀氣泡結(jié)構(gòu)，這些結(jié)構(gòu)特征可以作為輔助分類的重要依據(jù)，從而提高分類的效率和準(zhǔn)確性［12-13］。因此，瓷器文物顯微圖像中的氣泡提取不僅對(duì)瓷器文物碎片的分類具有重要的輔助作用，而且對(duì)于瓷器文物的鑒定也具有重要的參考意義。通過(guò)顯微圖像分析，可以更全面地理解瓷器的微觀特征，為瓷器文物的科學(xué)鑒定提供更為堅(jiān)實(shí)的基礎(chǔ)。

瓷器顯微氣泡的形成與燒制過(guò)程中的多個(gè)環(huán)節(jié)密切相關(guān)，如用料、粉碎、腐泥、煉泥、成型、涼坯、上釉、燒制等，每一個(gè)步驟都對(duì)氣泡的形成有直接影響。由于古代燒制瓷器的工藝多為私人作坊所掌握，生產(chǎn)技術(shù)各不相同，因此，即便是同一作坊生產(chǎn)的瓷器，其顯微氣泡的特征也會(huì)存在顯著差異［14］。這種差異性為瓷器的鑒定和研究提供了重要的線索。

在現(xiàn)代科技的幫助下，研究人員開(kāi)始利用先進(jìn)的圖像處理技術(shù)來(lái)分析這些顯微氣泡的特征。李慶武等提出一種利用小波分析對(duì)瓷器顯微圖像進(jìn)行去噪處理的方法［15］，并通過(guò)分水嶺分割技術(shù)對(duì)去噪后的圖像進(jìn)行分割，從而提高了圖像分割的效果，這種方法不僅能夠清晰地展示瓷器顯微圖像中的氣泡結(jié)構(gòu)，還為后續(xù)的氣泡特征分析提供了高質(zhì)量的圖像基礎(chǔ)；朱順龍則通過(guò)對(duì)不同年代耀州瓷顯微圖像的氣泡進(jìn)行數(shù)據(jù)曲線分析［16］，探究了不同年代瓷器顯微圖像氣泡的區(qū)別，為耀州瓷的顯微鑒定提供了科學(xué)依據(jù)，這種分析方法不僅有助于識(shí)別不同年代的瓷器，還能夠揭示不同生產(chǎn)技術(shù)和工藝對(duì)瓷器氣泡特征的影響；劉國(guó)高進(jìn)一步提出了一種基于快速曲波變換的方法［17］，對(duì)瓷器顯微圖像進(jìn)行去噪和數(shù)據(jù)增強(qiáng)，這種方法不僅能有效去除圖像中的噪聲，還能增強(qiáng)圖像的局部特征，使得氣泡的邊界更加清晰，隨后，他們采用分水嶺算法對(duì)瓷器顯微圖像中的氣泡進(jìn)行分割，進(jìn)一步提高了氣泡識(shí)別的準(zhǔn)確性。

傳統(tǒng)圖像分割算法雖然一定程度上提升了圖像的分析效果，但具有對(duì)噪聲魯棒性低、難以獲取高級(jí)語(yǔ)義信息等缺點(diǎn)。與傳統(tǒng)圖像分割算法相比，基于深度學(xué)習(xí)的圖像語(yǔ)義分割算法對(duì)每個(gè)像素點(diǎn)類別進(jìn)行更精確分類，能夠充分提取語(yǔ)義特征信息。隨著深度學(xué)習(xí)技術(shù)的出現(xiàn)，圖像分割領(lǐng)域迎來(lái)了新的發(fā)展機(jī)遇。Long等提出用于圖像語(yǔ)義分割的全卷積網(wǎng)絡(luò)（fully convolutional network，F(xiàn)CN）作為一種典型的深度學(xué)習(xí)圖像分割框架［18］，該框架不含全連接層，可適應(yīng)任意尺寸的輸入圖像;Ronneberger等提出經(jīng)典圖像分割網(wǎng)絡(luò)U-Net［19］，該網(wǎng)絡(luò)屬于一種特殊的FCN網(wǎng)絡(luò)，以更快速、更少的圖像進(jìn)行訓(xùn)練，但在下采樣過(guò)程中容易丟失特征信息；基于U-Net網(wǎng)絡(luò)，Zhou等提出一種全新的UNet++網(wǎng)絡(luò)架構(gòu)［20］，將U-Net網(wǎng)絡(luò)的嵌套密集跳轉(zhuǎn)連接進(jìn)行拼接，實(shí)現(xiàn)更高效的信息傳輸；為充分學(xué)習(xí)不同層級(jí)相鄰節(jié)點(diǎn)間的語(yǔ)義信息，Su等提出了不同于密集跳躍連接的融合上級(jí)特征信息的ZUnet++網(wǎng)絡(luò)［21］，節(jié)點(diǎn)的輸入既包括上采樣的深層特征，也包括下采樣的淺層特征，從而更全面地學(xué)習(xí)不同層級(jí)相鄰節(jié)點(diǎn)間的語(yǔ)義信息；Ardiyanto提出一種高效的表面缺陷檢測(cè)ESD-Net網(wǎng)絡(luò)［22］，利用GhostNet融合塊來(lái)代替?zhèn)鹘y(tǒng)編碼器解碼器網(wǎng)絡(luò)中的所有卷積運(yùn)算，降低網(wǎng)絡(luò)的計(jì)算復(fù)雜性，取得精確的分割精度，使用增強(qiáng)的跳接連接和全局輔助層GAL以融合多尺度上下文語(yǔ)義特征信息，提高效率和邊緣計(jì)算兼容性。隨后，為放大圖像關(guān)鍵特征信息而抑制無(wú)關(guān)特征信息，提高信息傳輸效率［23］，注意力機(jī)制被提出，使得模型能夠更好地抓住數(shù)據(jù)中的根本模式，提升泛化能力。注意力機(jī)制最早出現(xiàn)在自然語(yǔ)言中，后被成功引入計(jì)算機(jī)視覺(jué)研究［24］。Chen等提出將共享網(wǎng)絡(luò)應(yīng)用到語(yǔ)義分割領(lǐng)域［25］。常用的2種經(jīng)典注意力類型有乘性注意力［26］和加性注意力［27］，乘性注意力計(jì)算速度快，節(jié)約內(nèi)存，但加性注意力在大維度輸入特征上表現(xiàn)更好［28］。

盡管這些基于深度學(xué)習(xí)的圖像分割方法在場(chǎng)景理解、工業(yè)缺陷檢測(cè)、醫(yī)學(xué)圖像分析、遙感等數(shù)據(jù)集上取得了顯著的成果［29-30］，但目前國(guó)內(nèi)外針對(duì)瓷器文物顯微數(shù)據(jù)集上的圖像分割提取的研究仍然較少。這表明，將深度學(xué)習(xí)技術(shù)應(yīng)用于瓷器顯微圖像的分析和鑒定，還有很大的發(fā)展空間和潛力。與其他圖像分割數(shù)據(jù)集相比，瓷器顯微氣泡數(shù)據(jù)更具有其自身特點(diǎn)。由于瓷器顯微圖像數(shù)據(jù)采集難，且氣泡標(biāo)注需要依靠專業(yè)人員進(jìn)行，因此瓷器顯微圖像數(shù)量樣本較少。

本文基于U-Net網(wǎng)絡(luò)框架，將基于深度學(xué)習(xí)的圖像分割算法應(yīng)用在瓷器文物顯微圖像數(shù)據(jù)集中，針對(duì)瓷器文物顯微圖像中氣泡結(jié)構(gòu)邊界模糊、容易黏連等問(wèn)題，基于UNet++網(wǎng)絡(luò)框架，提出基于卷積激活單元的網(wǎng)絡(luò)AGUNet++。該模型在節(jié)點(diǎn)間采用Z字形連接方式來(lái)充分提取語(yǔ)義特征，防止信息丟失。同時(shí)，在卷積單元的密集跳躍連接處結(jié)合注意力門(mén)控模塊提出卷積激活單元，增強(qiáng)與瓷器文物顯微氣泡分割任務(wù)相關(guān)的氣泡區(qū)域?qū)W習(xí)，抑制不相關(guān)的區(qū)域，以獲得更準(zhǔn)確、細(xì)致的分割結(jié)果。最后在工業(yè)檢測(cè)領(lǐng)域的帶鋼表面缺陷數(shù)據(jù)集SD-saliency-900以及瓷器文物顯微氣泡圖像數(shù)據(jù)集PCRI上驗(yàn)證了分割準(zhǔn)確性。

1 相關(guān)工作

1.1 FCN

全卷積網(wǎng)絡(luò)FCN通過(guò)顯示每個(gè)像素的分類結(jié)果來(lái)實(shí)現(xiàn)對(duì)任意大小輸入圖像的像素級(jí)分類。FCN網(wǎng)絡(luò)將傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)CNN架構(gòu)的全連接層換成卷積層，在得到的特征圖上加入反卷積進(jìn)行上采樣，將特征數(shù)據(jù)恢復(fù)到與輸入圖像大小相同的尺寸，使得網(wǎng)絡(luò)能夠處理任意尺寸的輸入圖像。FCN經(jīng)典架構(gòu)如圖1所示。

1.2 U-Net

U-Net網(wǎng)絡(luò)由編碼器和解碼器2部分組成（見(jiàn)圖2）。編碼器由多個(gè)卷積塊組成，用于提取圖像的低級(jí)特征;解碼器在結(jié)構(gòu)上相對(duì)于編碼器是對(duì)稱的，由多個(gè)反卷積塊組成，用于學(xué)習(xí)圖像的高級(jí)語(yǔ)義信息。此外，U-Net還通過(guò)級(jí)聯(lián)的跳躍連接將編碼器和解碼器中的相應(yīng)層連接在一起，能捕捉多尺度特征信息，但是U-Net只有一個(gè)端到端的路徑，在使用過(guò)程中不是很靈活，多次卷積和上采樣會(huì)損失語(yǔ)義信息。其次，跳躍連接非常簡(jiǎn)單，上采樣路徑處的節(jié)點(diǎn)僅從該相同級(jí)別接收跳躍連接。

1.3 UNet++

UNet++引入深度監(jiān)督、嵌套和密集的跳躍連接來(lái)抓取不同層次的特征，提升模型靈活度，增強(qiáng)特征傳播和融合能力，從而提高分割的精度和魯棒性，UNet++網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3中，Xi，j是1個(gè)卷積單元，其中i表示第i個(gè)下采樣層，j代表當(dāng)前跳躍連接層中第j個(gè)卷積層，xi，j表示卷積單元Xi，j的輸出，X0，0是原始圖像輸入的初始節(jié)點(diǎn)。圖3中卷積單元的輸出xi，j可用公式（1）表示，

xi，j=[JB（｛] H（D（xi-1，j）），"""""" j=0

H（［（xi，k）j-1k=0，U（xi+1，j-1）］）， jgt;0（1）

式中：xi，j表示卷積單元的輸出；H（）表示卷積操作和激活函數(shù)；U（）表示上采樣；［］表示拼接操作。當(dāng)j=0時(shí)，節(jié)點(diǎn)只接收來(lái)自前1個(gè)下采樣層的輸入;當(dāng)jgt;0時(shí)，節(jié)點(diǎn)接收j+1個(gè)輸入，包括跳躍連接和上采樣層的輸入。跳躍連接結(jié)合深層和淺層的語(yǔ)義信息，加強(qiáng)信息傳輸，提高語(yǔ)義分割的準(zhǔn)確性。

2 研究方法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

UNet++網(wǎng)絡(luò)結(jié)構(gòu)中的卷積單元Xi，j接收來(lái)自下一層的上采樣和同層的密集跳躍連接信息，但缺乏多尺度語(yǔ)義信息。本文改進(jìn)UNet++網(wǎng)絡(luò)框架中的同層相鄰卷積單元的密集跳躍連接方式，結(jié)合注意力門(mén)控模塊（attention gate，AG）提出基于卷積激活單元（convolution attention unit，CAU）的網(wǎng)絡(luò)結(jié)構(gòu)AGUNet++，如圖4所示。

該網(wǎng)絡(luò)主要包括Z形跳躍連接以及由卷積單元Xi，j和注意力門(mén)控模塊AG組成的卷積激活單元CAU，Z形跳躍連接將原本與同層相鄰卷積單元的連接方式改為與上一層卷積單元下采樣后的輸出相連，充分提取圖像多尺度語(yǔ)義特征;注意力門(mén)控模塊可增強(qiáng)與瓷器文物顯微氣泡分割任務(wù)相關(guān)的氣泡區(qū)域特征的學(xué)習(xí)，抑制非氣泡區(qū)域特征的學(xué)習(xí)，自動(dòng)聚焦不同形狀和大小的瓷器文物顯微氣泡特征。

2.2 卷積激活單元

AGUNet++網(wǎng)絡(luò)中的卷積激活單元CAU由卷積單元Xi，j和加性注意力門(mén)控模塊AG組成，CAU網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。其中，卷積單元Xi，j的基本結(jié)構(gòu)如圖5（a）所示，分別由2組1×1卷積Conv 1×1、歸一化BN和激活函數(shù)ReLu組成。注意力門(mén)控模塊如圖5（b）所示，將第i層的卷積單元輸出xi，j和第i+1層的卷積單元輸出xi+1，j經(jīng)過(guò)上采樣后，分別經(jīng)過(guò)2個(gè)1×1×1卷積操作后將其相加，以增強(qiáng)特征區(qū)域。接著使用激活函數(shù)ReLU后再次執(zhí)行1×1×1卷積操作得到特征矩陣。再將特征矩陣經(jīng)過(guò)激活函數(shù)Sigmoid后得到權(quán)重圖α（α∈［0，1］），其中瓷器文物顯微氣泡特征趨近于1，非氣泡特征趨近0。最后對(duì)權(quán)重圖α經(jīng)過(guò)三線性插值重采樣器與原始特征圖進(jìn)行相乘得到注意力門(mén)模塊的輸出，來(lái)增強(qiáng)輸入圖像中氣泡特征表示。注意門(mén)控模塊的公式定義如公式（2）和（3）所示。

qlatt，i=ψT［σ1（WTx xli+WTg g+bxg）］+bψ（2）

αl=σ2［qlatt （xl，g;Θatt）］ （3）

式中：σ1是線性激活函數(shù)ReLU;σ2是激活函數(shù)Sigmoid;Wx和Wg均表示1×1卷積；bxg和bψ為偏置項(xiàng)；ψ為卷積操作。

2.3 損失函數(shù)

損失函數(shù)用于描述模型輸出值與真實(shí)值的差距。模型通過(guò)反向傳播更新各個(gè)參數(shù)，降低損失值，使模型輸出值更靠近真實(shí)值。瓷器顯微圖像的氣泡分割是背景和氣泡的二分類問(wèn)題，實(shí)驗(yàn)數(shù)據(jù)較少，因此需要較為快速的收斂，同時(shí)為使該網(wǎng)絡(luò)在更多環(huán)境下可訓(xùn)練，選擇交叉熵?fù)p失作為損失函數(shù)。

對(duì)AGUNet++網(wǎng)絡(luò)中每個(gè)深度監(jiān)督的子網(wǎng)絡(luò)得到的輸出結(jié)果（x0，1，x0，2，x0，3，x0，4）經(jīng)過(guò)1×1卷積和Sigmoid激活函數(shù)進(jìn)行預(yù)測(cè)，將這些預(yù)測(cè)結(jié)果的平均值與真實(shí)標(biāo)簽進(jìn)行比較來(lái)計(jì)算損失，而不僅僅從最后一層輸出計(jì)算損失，從而加速收斂速度，緩解梯度消失。

將AGUNet++網(wǎng)絡(luò)的4個(gè)輸出（x0，1，x0，2，x0，3，x0，4）的損失函數(shù)相加求平均，得到的平均損失函數(shù)L如公式（4）所示，其中Lk是輸出節(jié)點(diǎn)x0，k對(duì)應(yīng)的損失函數(shù)。公式（5）為二元交叉熵?fù)p失函數(shù)（binary cross-entropy loss，BCE）。

L=[SX（]1[]4[SX）]∑[DD（]4[]k=1[DD）]Lk" （4）

L=-1N∑Ni=1［yi logi+（1-yi）log（1-i）］（5）

式中：N是樣本數(shù)；yi表示真實(shí)值；i表示預(yù)測(cè)值。

3 實(shí)驗(yàn)設(shè)計(jì)

3.1 數(shù)據(jù)集

1）SD-saliency-900數(shù)據(jù)集是工業(yè)檢測(cè)領(lǐng)域?qū)ｉT(mén)針對(duì)帶鋼表面缺陷進(jìn)行檢測(cè)的公開(kāi)數(shù)據(jù)集。該數(shù)據(jù)集包含3類缺陷，每類300張，一共900張帶鋼表面圖像及其對(duì)應(yīng)缺陷的標(biāo)注圖像，每張照片的分辨率為200×200。

2）PRMI數(shù)據(jù)是基于文化遺產(chǎn)數(shù)字化國(guó)家地方聯(lián)合工程研究中心收集的大量瓷器文物碎片進(jìn)行采集的，部分碎片如圖6所示。針對(duì)瓷器碎片樣本，使用艾尼提高清顯微鏡（3R Anyty）對(duì)瓷器文物碎片顯微結(jié)構(gòu)進(jìn)行拍攝采集，將放大200、400、600倍的成像進(jìn)行對(duì)比，最終選取清晰度更高、顯微氣泡更明顯的600倍成像作為標(biāo)準(zhǔn)，構(gòu)建瓷器文物顯微圖像數(shù)據(jù)集。PRMI數(shù)據(jù)集可用于考古領(lǐng)域瓷器碎片分類、修復(fù)、辨真?zhèn)?、朝代分析、窯口判斷等任務(wù)，為瓷器文物修復(fù)、分析與鑒定提供了新的角度。實(shí)驗(yàn)室采集了600張640×480像素的瓷器文物顯微圖像，并邀請(qǐng)文物專家對(duì)瓷器文物顯微圖像中的氣泡結(jié)構(gòu)使用labelme軟件進(jìn)行標(biāo)注。在做好的成對(duì)數(shù)據(jù)集中，選取450張瓷器顯微圖像對(duì)作為訓(xùn)練集，150張圖片對(duì)作為測(cè)試集，部分?jǐn)?shù)據(jù)對(duì)如圖7所示。

3.2 實(shí)驗(yàn)細(xì)節(jié)

本文算法基于Pytorch框架實(shí)現(xiàn)， 使用GeForce GTX 3060顯卡對(duì)模型進(jìn)行訓(xùn)練。本文將輸入圖像的尺寸大小統(tǒng)一處理為256×256。 模型訓(xùn)練epoch為200， 初始學(xué)習(xí)率為0.001， 使用Adma優(yōu)化器，參數(shù)β1為0.9，β2為0.999，選擇交叉熵作為損失函數(shù)對(duì)模型進(jìn)行優(yōu)化。

3.3 評(píng)價(jià)指標(biāo)

為更客觀體現(xiàn)本文氣泡分割方法在瓷器文物顯微圖像氣泡分割中的優(yōu)越性，引入混淆矩陣表示每個(gè)像素類別分類正確或錯(cuò)誤的數(shù)量（見(jiàn)表1）。其中模型將顯微圖像中的氣泡正確預(yù)測(cè)為氣泡，表示為T(mén)rue Positive（TP），將氣泡錯(cuò)誤預(yù)測(cè)為背景，表示為False Negative（FN）;將背景錯(cuò)誤預(yù)測(cè)為氣泡，表示為False Positive（FP）;將背景正確預(yù)測(cè)為背景，則表示為T(mén)rue Negative（TN）。

量化指標(biāo)采用常用的精確率（Precision）、召回率（Recall）和平均交并比（mean intersection over union）進(jìn)行評(píng)價(jià)分割。

精確率（Precision）又叫查準(zhǔn)率，表示預(yù)測(cè)結(jié)果為正例的樣本中實(shí)際為正樣本的比例。當(dāng)反例被錯(cuò)誤預(yù)測(cè)成正例（FP）的代價(jià)很高時(shí)，適合用精確率。根據(jù)公式可知，精確率越高，F(xiàn)P越小。計(jì)算公式如式（6）所示，

Pr=TP[]TP+FP（6）

召回率（Recall）又被稱為查全率，表示預(yù)測(cè)結(jié)果為正樣本中實(shí)際正樣本數(shù)量占全樣本中正樣本的比例。當(dāng)正例被錯(cuò)誤的預(yù)測(cè)為反例（FN）產(chǎn)生的代價(jià)很高時(shí)，適合用召回率。根據(jù)公式可知，召回率越高，F(xiàn)N越小。計(jì)算公式如式（7）所示，

Re=TP[]TP+FN（7）

F1分?jǐn)?shù)（F1-Score），又稱為平衡F分?jǐn)?shù)（Balanced Score），它被定義為精確率和召回率的調(diào)和平均數(shù)。計(jì)算公式如式（8）所示，

F1=2×Pr×Re[]Pr+Re（8）

平均交并比體現(xiàn)模型對(duì)每一類預(yù)測(cè)的結(jié)果和真實(shí)值的交集與并集的比值，求和再平均的結(jié)果，為語(yǔ)義分割的標(biāo)準(zhǔn)度量。計(jì)算公式如式（9）所示，

MIoU=1[]k+1∑k[]i=0TP[]FN+FP+TP（9）

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出的改進(jìn)的AGUNet++網(wǎng)絡(luò)模型的有效性，分別在工業(yè)檢測(cè)領(lǐng)域公共數(shù)據(jù)集SD-saliency-900以及本文提出的數(shù)據(jù)集PRMI上進(jìn)行圖像分割實(shí)驗(yàn)，并將實(shí)驗(yàn)預(yù)測(cè)結(jié)果分別與其他經(jīng)典網(wǎng)絡(luò)模型的實(shí)驗(yàn)預(yù)測(cè)結(jié)果進(jìn)行對(duì)比。接著在PRMI數(shù)據(jù)集上對(duì)不同層的卷積單元Xi，j處結(jié)合不同數(shù)量的注意力門(mén)控模塊AGs進(jìn)行實(shí)驗(yàn)，將得到的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果分別從可視化定性實(shí)驗(yàn)和客觀定量指標(biāo)進(jìn)行評(píng)價(jià)。

4.1 定性實(shí)驗(yàn)

圖8展示了PRMI數(shù)據(jù)集在不同網(wǎng)絡(luò)模型中對(duì)測(cè)試樣本的預(yù)測(cè)結(jié)果，以PRMI數(shù)據(jù)集中3組顯微氣泡圖像為例，圖8為原始?xì)馀輬D像、真實(shí)人工標(biāo)注圖像、U-Net、Attention U-Net、UNet++、ZUNet++和AGU-Net++網(wǎng)絡(luò)預(yù)測(cè)出的分割結(jié)果，圖中紅框和綠框標(biāo)記了預(yù)測(cè)結(jié)果差異較大的氣泡部位，并將結(jié)果在圖像下方進(jìn)行放大。

從圖8可以看出，測(cè)試樣本經(jīng)過(guò)不同網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽圖像進(jìn)行對(duì)比，其中U-Net、Attention U-Net、UNet++、ZUNet++模型對(duì)氣泡中心或邊緣的預(yù)測(cè)性能較差，且存在錯(cuò)誤預(yù)測(cè)情況。而本文提出的AGU-Net++網(wǎng)絡(luò)能更準(zhǔn)確地分割出原瓷器顯微圖像中的氣泡結(jié)構(gòu)。

在不同層的卷積單元Xi，j處添加注意力門(mén)控模塊AGs可得到不同數(shù)量的卷積激活單元CAU，圖9為添加不同數(shù)量AGs的模型氣泡分割可視化結(jié)果。圖中給出3張瓷器文物顯微氣泡圖像的預(yù)測(cè)結(jié)果，可以看出，添加5個(gè)注意力門(mén)控模塊AGs的預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽值最接近，其他幾種情況均存在過(guò)度預(yù)測(cè)或漏預(yù)測(cè)等情況，AGUNet++（w／5AGs）網(wǎng)絡(luò)預(yù)測(cè)結(jié)果更準(zhǔn)確，細(xì)節(jié)信息更豐富。

4.2 定量實(shí)驗(yàn)

如表2所示為工業(yè)檢測(cè)領(lǐng)域中帶鋼表面缺陷數(shù)據(jù)集SD-saliency-900的圖像分割結(jié)果，經(jīng)典網(wǎng)絡(luò)的分割結(jié)果來(lái)自文獻(xiàn)［15］，可以看出，本文提出的改進(jìn)的AGUNet++網(wǎng)絡(luò)在SD-saliency-900數(shù)據(jù)集上的MIoU為0.856，分割性能最佳。

表3展示了在PRMI數(shù)據(jù)集上采用不同方法的各量化指標(biāo)數(shù)值。可以看出，本文改進(jìn)的AGUNet++網(wǎng)絡(luò)模型在MIoU、Precision、Recall和F1分?jǐn)?shù)達(dá)到0.866 2、0.921 8和0.932 9和0.927 3。對(duì)比U-Net、Attention U-Net、UNet++和ZUNet++網(wǎng)絡(luò)，本文提出的AGUNet++網(wǎng)絡(luò)模型在MIoU、Precision和F1分?jǐn)?shù)均有一定提升。表4所示為是否添加以及添加不同數(shù)量的注意力門(mén)控模塊AGs的網(wǎng)絡(luò)預(yù)測(cè)結(jié)果的評(píng)價(jià)指標(biāo)，加粗項(xiàng)代表最優(yōu)結(jié)果?？芍诰矸e單元處添加5個(gè)注意力門(mén)控模塊的AGUNet++網(wǎng)絡(luò)模型在測(cè)試集上的MIoU、Precision、Recall和F1分?jǐn)?shù)最高，表現(xiàn)最佳。

5 結(jié)語(yǔ)

瓷器在燒制過(guò)程中隨著溫度變化會(huì)產(chǎn)生不同的氣泡結(jié)構(gòu)，分析其氣泡結(jié)構(gòu)對(duì)瓷器分類和鑒定具有重要的指導(dǎo)意義，瓷器文物顯微圖像的氣泡結(jié)構(gòu)具有體積小、邊界模糊等特點(diǎn)。針對(duì)瓷器文物顯微圖像中的氣泡結(jié)構(gòu)，提出一種改進(jìn)的AGUNet++網(wǎng)絡(luò)，用于瓷器文物顯微圖像中氣泡分割。該網(wǎng)絡(luò)在UNet++基礎(chǔ)上采用Z字形跳躍連接和不同數(shù)量的注意力門(mén)控模塊，通過(guò)增強(qiáng)與瓷器文物顯微氣泡分割任務(wù)相關(guān)的氣泡區(qū)域特征的學(xué)習(xí)，抑制非氣泡區(qū)域特征的學(xué)習(xí)，自動(dòng)聚焦不同形狀和大小的瓷器文物顯微氣泡特征，更好地結(jié)合上下文語(yǔ)義信息，得到更準(zhǔn)確、細(xì)致的分割結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文提出的改進(jìn)AGUNet++網(wǎng)絡(luò)在工業(yè)檢測(cè)領(lǐng)域的帶鋼缺陷數(shù)據(jù)集SD-saliency-900以及瓷器顯微圖像數(shù)據(jù)集PRMI均表現(xiàn)出更好的分割效果，其MIoU、Precision、Recall和F1分?jǐn)?shù)值均有一定提升，達(dá)到0.866 2、0.921 8、0.932 9和0.927 3。同時(shí)，在卷積單元處結(jié)合5個(gè)特征激活模塊，所得到的MIoU、Precision、Recall和F1分?jǐn)?shù)值最優(yōu)。

參考文獻(xiàn)

［1］ 耿國(guó)華， 馮龍， 李康， 等. 秦陵文物數(shù)字化及虛擬復(fù)原研究綜述［J］. 西北大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2021， 51（5）： 710-721.

GENG G H，F(xiàn)ENG L，LI K，et al. A literature review on the digitization and virtual restoration of cultural relics in the Mausoleum of Emperor Qinshihuang［J］. Journal of Northwest University（Natural Science Edition），2021，51（5）：710-721.

［2］ 李春龍，周明全，成欣，等.軸對(duì)稱破碎文物的虛擬復(fù)原方法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2006，18（5）：620-624.

LI C L，ZHOU M Q，GENG X，et al. Virtual restoration of axisymmetric relic fragments［J］. Journal of Computer-Aided Design and Computer Graphics，2006，18（5）：620-624.

［3］ 王飄， 耿國(guó)華， 張雨禾. 基于表面紋理特征定義的碎片拼接方法［J］. 激光與光電子學(xué)進(jìn)展， 2018， 55（8）： 81012.

WANG P， GENG G H，ZHANG Y H. Fragment splicing method based on surface texture characteristic［J］. Laser ＆ Optoelectronics Progress， 2018， 55（8）： 081012.

［4］ 張雨禾，耿國(guó)華，魏瀟然，等.基于形狀骨架圖匹配的文物碎片自動(dòng)重組方法［J］. 自動(dòng)化學(xué)報(bào)， 2017， 43（4）： 622-633.

ZHANG Y H， GENG G H， WEI X R， et al. Reassembly of fractured fragments based on skeleton graphs matching［J］.Journal of Automation， 2017， 43（4）： 622-633.

［5］ LI R X， GENG G H， WANG X Z， et al. LBCapsNet： A lightweight balanced capsule framework for image classification of porcelain fragments［J］. Heritage Science， 2024， 12（1）： 1-14.

［6］ 律海明. 淺析古陶瓷的幾種鑒定方法［J］. 文物鑒定與鑒賞， 2014（4）： 90-94.

LYU H M. A brief analysis of several identification methods for ancient ceramics［J］.Identification and Appreciation to Cultural Relics，2014（4）：90-94.

［7］ 湯輝. 標(biāo)準(zhǔn)化技術(shù)在古陶瓷眼學(xué)鑒定中的應(yīng)用［J］. 景德鎮(zhèn)陶瓷， 2020（5）： 8-11.

TANG H.The application of standardization techniques in visual identification of ancient porcelain［J］.Jingdezhen Ceramics， 2020（5）： 8-11.

［8］ 金信苗. 微觀痕跡在古陶瓷鑒定中的有效性探索［J］. 科技風(fēng)， 2022（32）： 145-147.

JIN X M.Exploration of the effectiveness of microscopic traces in the authentication of ancient porcelain［J］.Technology Wind， 2022（32）： 145-147.

［9］ 王克剛. 基于數(shù)字圖像特征的古瓷片分類研究［D］. 西安： 西北大學(xué)， 2009.

［10］魚(yú)躍華. 破損文物碎片的深度學(xué)習(xí)分類方法研究［D］. 西安： 西北大學(xué)， 2022.

［11］陸正杰， 李純輝， 耿國(guó)華， 等. 基于多特征描述子自適應(yīng)權(quán)重的文物碎片分類［J］. 激光與光電子學(xué)進(jìn)展， 2020， 57（4）： 321-329.

LU Z J，LI C H， GENG G H，et al.Classification of cultural fragments based on adaptive weights of multi-feature descriptions［J］.Laser ＆ Optoelectronics Progress，2020，57（4）：321-329.

［12］耿國(guó)華，薛米妍，周蓬勃，等.基于對(duì)比學(xué)習(xí)與多尺度結(jié)合的陶瓷顯微圖像分類方法［J］.西北大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，51（5）：734-741.

GENG G H，XUE M Y，ZHOU P B，et al.Ceramic microscopic image classification based on the combination of contrastive learning and multi-scale methods［J］. Journal of Northwest University（Natural Science Edition），2021，51（5）：734-741.

［13］劉景怡. 基于顯微特征的古代瓷器碎片分類方法的研究與實(shí)現(xiàn)［D］. 西安： 西北大學(xué)， 2021.

［14］張佳宏.論古瓷器的氣泡［J］.收藏界， 2012（12）：118-119.

ZHANG J H.On the bubbles of ancient porcelain［J］.Collection World，2012（12）： 118-119.

［15］李慶武，王珺，盛惠興，等.基于小波包分析的陶瓷顯微圖像處理［C］∥第十二屆全國(guó)信號(hào)處理學(xué)術(shù)年會(huì)論文集.蘇州，中國(guó)：中國(guó)電子學(xué)會(huì)信號(hào)處理分會(huì)， 2005： 321-324.

［16］朱順龍.古陶瓷顯微科技?xì)馀轀y(cè)定研究初探：以越窯青瓷研究為例［J］.中國(guó)文物科學(xué)研究，2008（1）：38-41.

ZHU S L. Preliminary exploration of microscopic bubble measurement in ancient ceramics： A case study of Yue kiln celadon porcelain［J］.China Cultural Heritage Scientific Research，2008（1）：38-41.

［17］劉國(guó)高. 基于快速曲波變換的陶瓷顯微圖像處理［J］. 中國(guó)陶瓷工業(yè)， 2008， 15（2）： 17-21.

LIU G G. Ceramic microscopic image procession based on fast curvelet transform［J］. China Ceramic Industry， 2008， 15（2）： 17-21.

［18］LONG J，SHELHAMER E，DARREL T. Fully convolutional networks for semantic segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 39（4）：640-651.

［19］RONNEBERGER O，F(xiàn)ISCHER P，BROX T. U-Net： Convolutional networks for biomedical image segmentation［C］∥International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich， Germany： Springer International Publishing， 2015：234-241.

［20］ZHOU Z W， SIDDIQUEE M M R， TAJBAKHSH N， et al. UNet++： A nested U-Net architecture for medical image segmentation［J］. Deep Learn Med Image Anal Multimodal Learn Clin Decis Support， 2018，11045：3-11.

［21］SU L Z， XIE Q Y， ZHAO F J， et al. Change detection for multispectral images using modified semantic segmentation network［J］.Journal of Applied Remote Sensing， 2022， 16（1）：014518.

［22］ARDIYANTO I. Edge devices-oriented surface defect segmentation by ghostNet Fusion block and global auxiliary layer［J］.Journal of Real-Time Image Processing， 2024， 21（1）： 13.

［23］LIU X D， WANG L L， HAN X G. Transformer with peak suppression and knowledge guidance for fine-grained image recognition［J］.Neurocomputing， 2022， 492： 137-149.

［24］WANG X L， GIRSHICK R， GUPTA A， et al. Non-local neural networks［C］∥2018 IEEE／CVF Conference on Computer Vision and Pattern Recognition. Salt Lake， USA： IEEE， 2018： 7794-7803.

［25］CHEN L C， YANG Y， WANG J， et al. Attention to scale： Scale-aware semantic image segmentation［C］∥2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， USA： IEEE， 2016： 3640-3649.

［26］LUONG M T， PHAM H， MANNING C D. Effective approaches to attention-based neural machine translation［EB／OL］（2015-08-17）［2024-02-14］.https：∥arxiv.org／abs／1508.04025.

［27］BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate［C］∥3rd International Conference on Learning Representations. San Diego， USA： ICLR， 2015： 1-15.

［28］BRITZ D， GOLDIE A， LUONG M T， et al. Massive exploration of neural machine translation architectures［C］∥Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen， Denmark： USAACL， 2017： 1442.

［29］MINAEE S， BOYKOV Y， PORIKLI F， et al. Image segmentation using deep learning： A survey［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 44（7）： 3523-3542.

［30］蘇虎，張家斌，張博豪，等.基于視覺(jué)感知的表面缺陷檢測(cè)綜述［J］.計(jì)算機(jī)集成制造系統(tǒng)， 2023， 29（1）：169-191.

SU H， ZHANG J B， ZHANG B H， et al. A review of research on the inspection of surface defects based on visual perception［J］.Computer Integrated Manufacturing Systems， 2023， 29（1）：169-191.

（編 輯 李 波）

基金項(xiàng)目：國(guó)家自然科學(xué)基金（62271393）；陜西省教育廳一般項(xiàng)目（19JK0842）；虛擬現(xiàn)實(shí)技術(shù)與系統(tǒng)全國(guó)重點(diǎn)實(shí)驗(yàn)室（北京航空航天大學(xué)）開(kāi)放課題基金（VRLAB2024C02）。

第一作者：劉陽(yáng)洋，女，工程師，從事智能信息處理、圖像處理研究，yyliu@nwu.edu.cn。

通信作者：耿國(guó)華，女，教授，博士生導(dǎo)師，從事智能信息處理、虛擬現(xiàn)實(shí)與可視化研究，ghgeng@nwu.edu.cn。