面向WSI的乳腺病理亞型分類研究

摘要：為實現乳腺病理WSI圖像的精準分類，提出了一種基于混合連接的門控卷積神經網絡分類方法。搭建了局部殘差連接和全局稠密連接的混合模塊，將壓縮激活門控單元嵌入混合模塊，建立了混合模塊與過渡層交替連接的骨干網絡。結合基于四叉樹分割的圖像數據增強方法訓練模型，基于BreastSet臨床數據集的實驗結果得出，該方法的圖像級、患者級和病理級準確率分別達到92.24%、92.83%和92.18%，相較其他方法，其準確率提高，參數量和計算量降低，更具有臨床應用價值。

關鍵詞：全切片圖像； 乳腺病理亞型分類； 計算機輔助診斷； 門控卷積網絡； 混合連接

中圖分類號：TP391.5文獻標志碼：A

文章編號：1001-3695（2022）10-046-3167-07

doi：10.19734/j.issn.1001-3695.2022.03.0087

Research of breast pathological subtype classification on WSI

Chen Jinling， Li Jie， Zhao Chengming， Liu Xin

（School of Electrical Information， Southwest Petroleum University， Chengdu 610599， China）

Abstract：For precise classification of pathological breast WSI images， this paper proposed the gated convolution network based on hybrid connection （HC-GCN） ， set up a hybrid block of local residual connection and global dense connection， and through embedding the squeeze-excitation-and-gated （SEG） module into the hybrid block， established a backbone network for alternate connection between the hybrid block and the transition layer. In combination with a training model for image data enhancement based on quad-tree image segmentation method， the experimental results based on the BreastSet clinical data set show 92.24%， 92.83% and 92.18% of accuracy at the image level， patient level and pathology level respectively. Therefore， compared with other methods， this method has great clinical application value for improving accuracy as well as reducing number of parameters and amount of computation.

Key words：WSI; breast pathological subtype classification; computer auxiliary diagnosis; gated convolutional network; hybrid connection

0引言

乳腺癌是中國女性第一高發惡性腫瘤，發病率逐年升高，嚴重威脅中國女性的生命健康［1］。早期乳腺癌是可治愈性疾病，精準地診斷乳腺癌可以最大程度地提高患者的生存概率和生活質量。隨著智能算法的發展、醫學數據的積累和醫療水平的進步，各種智能算法也逐漸運用到了醫療領域。傳統的圖像分類算法由特征提取、特征編碼、分類器設計三個步驟組成［2］，人工提取病理特征的過程通常需要占用大量的計算資源，難以應用于實際。卷積神經網絡（convolutional neural networks，CNN）具有良好的自動特征建模能力［3］。目前，乳腺病理圖像分類領域廣泛使用CNN構建深度學習（deep learning，DL）模型［4］。

乳腺組織病理圖像在臨床診斷時發揮著重大作用，乳腺癌病理學圖像數據集（breast cancer histopathological database，BreakHis）是已做切分處理的大型公共數據集，目前已有許多研究者圍繞其進行病理分類研究。例如，Han等人［5］利用深度學習模型基礎層構建CSDCNN模型，在多分類任務中獲得的平均分類準確率達到93.3%。Bardou等人［6］采用基于袋模型（bag of words）、局部約束線性編碼器（locality constrained linear coding）和支持向量機（support vector machine，SVM）分類器的手工特征提取方法，在進行二分類和多分類任務時獲得的準確率分別達到96.15%和93.31%；第二種是基于數據增強和卷積神經網絡設計的深度學習分類方法，二分類和多分類任務獲得的準確率分別達到98.33%和88.23%。程年等人［7］運用VGG16和InceptionV3兩個深度學習模型，結合遷移學習和數據增強等方法，進行良惡性二分類獲得的準確率分別為94.43%和82.64%，進行病理亞型八分類獲得的準確率分別為82.97%和58.78%。Nguyen等人［8］結合調整大小的原始圖像等方法建立CNN模型，對多種乳腺癌類型進行自動分類，獲得的準確率可達73.68%。Mt等人［9］利用圖像增強技術處理每個圖像數據，通過注意模塊對圖像的重要關鍵區域進行選擇和處理，建立了BreastNet模型，實驗顯示良惡性二分類準確率最高達到98.80%。李雨倩［10］使用深度學習方法作為特征提取器，根據乳腺圖像特征構建隨機森林模型，該模型進行多分類的準確率達到92.5%。Jiang等人［11］建立了基于小型SE-ResNet模塊的卷積神經網絡模型，實驗顯示良惡性二分類和病理亞型八分類的準確率分別為98.87%～99.34%和90.66%～93.81%。劉巧利等人［12］提出了基于DenseNet網絡的乳腺癌分類模型，在二分類任務中得出的識別準確率平均值達到了99.2%。劉靖雯等人［13］提出了基于Inception-ResNet-V2的乳腺癌病理圖像識別方法，獲得的八分類準確率達到79.7%。明濤等人［14］結合注意力機制算法，提出基于深度學習的多尺度通道重校準模型，該模型在良惡二分類實驗中展示的準確率達到88.87%。于凌濤等人［15］提出了一種基于卷積神經網絡的多任務模型，模型在二分類任務上達到了98.55%～99.52%的分類準確率，在多分類上達到了92.26%～94.85%的分類準確率。趙曉平等人［16］基于稠密卷積神經網絡、注意力機制和焦點損失函數提出了乳腺癌組織病理圖像的多分類模型，在BreakHis數據集上進行驗證性實驗，得出良惡性二分類識別準確率達到99.1%，乳腺病理亞型八分類的識別準確率達到了95.5%。在對乳腺病理類型進行臨床診斷過程中，大多是直接對乳腺病理WSI（whole slide image，WSI）圖像進行直接觀察分析，因此，對乳腺病理WSI圖像數據進行研究更有實用價值。Cruz-Roa等人［17］提出了對于全切片乳腺病理圖像中浸潤性導管癌組織區的自動檢測和視覺分析的深度學習方法，在49張WSI圖像上獲得了84.23%的均衡準確度。Wang等人［18］設計了轉移乳腺癌檢測器對哨落淋巴結的WSI圖像進行自動檢測，獲得的圖像分類AUC達到0.995，腫瘤定位得分達到0.733。Gecer等人［19］建立四個全卷積網絡組成的深度學習模型對乳腺WSI圖像進行五分類，得出的預測效果與45位病理學家診斷結果有55%的相似度。

為實現對乳腺全切片圖像病理亞型的精準高效分類，本文利用來自綿陽市中心醫院的乳腺病理WSI圖像，建立BreastSet數據集，并提出了基于混合連接的門控卷積網絡模型（gated convolution network based on hybrid connection，HC-GCN）對其進行分類研究。模型采用混合連接的組織架構，通過跨層的短路連接（shortcuts，skip connection）加速向前傳播信息，降低稠密連接導致的龐大冗余性；利用結合了注意力機制的門控結構對特征信息進行有效融合，提高病理類別判別的準確率，減小分類模型的計算復雜度。此外，本文針對混合模塊特性使用tanh′函數作為激活函數，避免了ReLU函數引起的神經元“壞死”后無法訓練的問題，從網絡結構和激活函數的角度提升了模型性能。

1基于混合連接的門控卷積網絡

1.1混合連接

He等人［20］提出的殘差連接為深度學習突破了發展瓶頸，通過跨層的數據通道結構訓練出有效的深層神經網絡，建立ResNet模型。但實際操作中，ResNet的網絡層數通常較多，所以盡管其模型內部具有參數共享機制，但參數量和計算量仍然較大。另外，殘差模塊堆疊過程中，早期的特征信息被自然地丟失，太多的殘差聚合會導致特征信息損失過多，最終造成無法彌補的誤差。DenseNet是由Huang等人［21］提出的以稠密連接為基礎結構的網絡模型，與ResNet同樣采用跨層連接的模式，不同的是殘差塊的輸出是輸出和輸入相加，稠密塊的輸出是輸出和輸入在通道維上相聯結。DenseNet減輕了梯度消失問題，促進了特征信息的有效傳遞和利用，保留了更多的特征信息，對網絡深度的要求較低，且每層網絡的通道數明顯較少，減小了模型的參數量，但稠密連接網絡內每一層的特征信息都是前面所有層的聚合，這種做法雖然保護了特征信息的利用，但也導致了模型重復提取冗余信息，使得模型的冗余性極高，計算量居高不下。

為了提高乳腺癌的檢測準確率，同時減小算法復雜度和運算時間，本文提出局部的殘差連接與全局的稠密連接相聚合的混合連接。混合連接模塊的基礎結構如圖1所示。

圖1表示由兩個SEG塊進行混合連接組成的混合模塊，每一個混合模塊都由兩個或以上的SEG塊組成。其中，實弧線表示稠密連接，虛弧線表示殘差連接，“+”表示兩個輸入的相加，“［，］”表示通道維上的聯結，①和②分別表示SEG塊中的壓縮單元與激活單元。混合模塊的最終目的是代替原本DenseNet中的稠密塊，實現網絡模型的混合連接，提高乳腺病理圖像病理分類模型的特征提取能力。

1.2壓縮激活門控單元

圖1中的SEG1和SEG2表示專為混合模塊搭建的特殊結構，功能和原理與瓶頸層（bottleneck layer）類似，稱為SEG塊。SEG塊的具體結構如圖2所示。其中，H、W、C分別表示特征圖的高、寬和通道數。

如圖2所示，在SEG模塊中，首先，利用卷積和組卷積結構對輸入特征圖像進行壓縮，控制特征維度、減小模型的通道數，進而減小模型所需的參數量和計算量。其次，運用引入了注意力機制的遺忘門和更新門結構對特征信息進行有效處理，遺忘門使用一個全局上下文模型（global context model）用于計算每個位置的空間注意力特征權重，又加入了sigmoid函數對每個通道進行加權衰減，有效減小模型所需的計算量；更新門使用softmax函數起到相互比較的作用，選出了最應被注意的特征信息與原信息疊加，促進模型對新特征的挖掘和應用，能夠在一定程度上提高模型的分類準確率。同時，更新門和遺忘門的結構既能夠像自注意力機制模型一樣有效地對全局上下文進行建模，又能夠有效地節省計算資源。下面將針對SEG塊中的壓縮與激活、遺忘門和更新門三種結構逐一進行介紹。

1.2.1壓縮與激活

壓縮單元的操作步驟主要分為兩步：a）利用1×1的標準卷積對輸入特征圖進行壓縮，目的是減小通道數，處理后的通道數將由減小為αC，其中α表示通道的寬度乘數，且0lt;αlt;1；b）使用組數為g， 卷積內核為3×3的組卷積對特征圖作進一步壓縮，通過設置步長（stride）來實現模型的降采樣操作，以減小特征圖的高、寬和通道數。兩個壓縮操作的根本目的都是降低模型的參數量和計算量。

特征信息經過壓縮后進入激活單元，運用3×3的深度可分離卷積（depthwise convolution）進行激活和數據填充。乳腺病理圖像中隱藏的信息相較于常見的分類圖像（如貓狗、鮮花等）隱藏的信息要多，要提取更多的信息，在卷積層需要更多的卷積核，而卷積核的增大會帶來計算規模的增大。在輸入輸出的特征圖維度相同的情況下，深度可分離卷積所需的輸入通道很少、參數和計算的成本極低、參數量和計算量相比于標準卷積顯著減少，用深度可分離卷積進行激活和數據填充可以在不影響效率的情況下提升模型性能。

1.2.2遺忘門

圖2中最左邊的連接線和圖1中的虛線同樣表示為SEG塊中的殘差連接，與普通殘差連接不同的是，原來的殘差連接是通道信息與殘差連接信息的簡單相加，此處由于同時使用了殘差連接和稠密連接，所以為了高效利用通道中重復傳遞的特征信息，在殘差連接上嵌入了一個引入注意力機制的遺忘門對重復利用的特征信息進行衰減過濾。

遺忘門為了滿足對重用特征的衰減，不僅要保證特征信息的有效流通，而且需將每個通道權重的最終輸出映射控制在（0，1）。所以，遺忘門在引用了空間注意力和通道注意力機制的同時，使用了sigmoid函數進行最后的衰減工作。遺忘門的結構如圖3所示。

操作步驟主要分為以下五步：

a）將特征圖X′∈Euclid Math TwoRApH×W×C輸入1×1的標準卷積，輸出通道維數減小的空間注意力特征′∈Euclid Math TwoRApH×W×1。

b）利用softmax函數對空間注意力特征圖進行歸一化得到新的空間注意力特征S′∈Euclid Math TwoRApH×W×1，其中每個元素可用如下公式表示：

S′i，j，1=e^′i，j，1/∑Hx=1∑Wy=1e^′i，j，1

其中：i=1，…，H;j=1，…，W。

c）特征圖S′經過全局注意力池化層（global attention pooling）生成縮小的全局特征圖zf∈Euclid Math TwoRAp1×1×C，第c通道全局特征圖的表示公式為

zfc=∑Hx=1∑Wy=1X′x，y，c*S′x，y，c

其中：*表示元素乘法。

d）全局注意力特征圖zf經過兩個連續的全連接層。因為網絡在訓練過程中，上一層訓練參數的更新會使后一層輸入數據分布也發生變化，兩個全連接層之間加入了一個標準化+激活函數層（BN+tanh）進行緩沖，作用是在兩個全連接層中進行一次批量歸一化處理操作。

e）利用sigmoid函數進行最后的衰減操作。遺忘門最終的輸出特征圖表示公式為

f=σ（Wf2（tanh′（BN（Wf1zf|bf1）））|bf2）

其中：f表示遺忘門的最終輸出特征圖;Wfi、bfi分別表示遺忘門中第i個全連接層的權重和偏置值；σ表示sigmoid函數；rf表示遺忘門設置的瓶頸比率數；f∈Euclid Math TwoRAp1×1×C；Wf1∈Euclid Math TwoRApC×Crf；Wf2∈Euclid Math TwoRApCrf×C；bf1∈Euclid Math TwoRApCrf；bf2∈Euclid Math TwoRApC。

1.2.3更新門

更新門的設立是為了更有效地處理3×3深度可分離卷積得到的新特征，具體結構如圖4所示。更新門與遺忘門的差別在于遺忘門的目的是對信息進行衰減，而更新門的目的是促進特征信息的挖掘和使用。兩者在結構上也有明顯差異，更新門中沒有使用sigmoid函數對特征信息衰減，并且它的最終輸出和全局注意力池化層之間有一個簡單相加操作。

令h表示標準化+激活函數層后輸出的隱藏特征圖，其中h∈Euclid Math TwoRAp1×1×C/rf，ru表示更新門設置的瓶頸比率數。隱藏特征圖的具體公式表示為

h=tanh′（BN（W（z3×3））+b）

其中：W、b分別表示第一個全連接層的權重和偏置值，且W∈Euclid Math TwoRApC×Cru，b∈Euclid Math TwoRApCru。

隱藏特征圖h在經過第二個全連接層后生成通道注意力特征圖3×3，公式為

3×3=W3×3h+b3×3

其中：W3×3、b3×3分別表示第二個全連接層的權重和偏置值，W3×3∈Euclid Math TwoRApCru×C，b3×3∈Euclid Math TwoRApC。

第二個全連接層的輸出3×3與全局注意力池化層的輸出z3×3相加得到更新門的最終輸出v，v∈Euclid Math TwoRAp1×1×C。

本質上，更新門和遺忘門的作用是將壓縮單元形成的緊湊特征圖X′看做是重用的舊特征，將3×3的深度可分離卷積形成的輸出X3×3看做是提取的新特征，最后巧妙地提取和聚合新舊特征構成最終的輸出O∈Euclid Math TwoRApH×W×C。這種處理方法不僅能夠在節省參數量和計算量的同時促進特征的有效重用，而且能夠增強對更多特征信息的挖掘能力。

1.2.4激活函數的選擇

激活函數能夠為神經網絡訓練過程加入非線性因素，提高模型的特征表達能力。圖5展示了ReLU、sigmoid和tanh三種常用激活函數的函數圖像。

ReLU函數具有符合神經網絡編碼特點、克服梯度下降問題、提高計算效率等優點。但從圖5中的ReLU函數曲線可以看出，ReLU函數有兩個致命的缺點：a）當輸入神經元xlt;0時，ReLU的梯度被置零，這很有可能導致xlt;0時神經元“壞死”，輸入數據無法激活;b）ReLU函數的輸出恒為正值，沒有負值，因此，ReLU會在很大程度上破壞模型的特征表示能力，導致模型無法訓練出有效的特征信息。另外，ReLU函數不會控制數值的幅度，在深層網絡中數值幅度變化過大可能導致模型無法訓練。sigmoid和tanh函數能夠有效解決神經元“壞死”的問題，保護xlt;0時的特征信息，并且控制數值的幅度。

由圖5可以看出，采用sigmoid函數作為激活函數時，如果當前輸入參數（ω0，ω1）的最佳優化方向是（+d0，－d1），那么因為sigmoid函數不以0為中心，并且輸出值恒為正，所以模型將無法實現最快的參數更新，而是走z字形逼近最優解。因此，使用以0為中心，取值為［－1，1］的tanh函數可以讓模型的收斂速度更快。

另外， tanh函數的梯度消失問題比sigmoid函數要輕。但tanh在［－1，1］上的取值近似線性，這可能會導致提取的圖像特征有一定的誤差，降低特征學習的準確度。為了解決tanh函數導致的梯度消失問題和分類誤差提高的問題，本文選擇tanh′作為HC-GCN的激活函數，tanh′的具體公式為

tanh′=tanh（x）·sigmoid（x）（1）

選用tanh′函數作為激活函數，既可以有效解決神經元“壞死”問題，保護特征信息，控制數值幅度，還能夠消除近似線性處理導致的分類誤差，獲得更好的模型性能和分類結果。另外，混合連接顯著加強了梯度的反向傳播，可以極大程度地彌補激活函數可能導致的梯度消失問題。

1.3模型整體架構

HC-GCN的整體架構與DenseNet相似，不同的是DenseNet的主要構建模塊是稠密塊（dense block）［22］，而HC-GCN的主要構建模塊是混合模塊（hybrid block）。混合模塊和稠密塊的作用都是定義模型內部瓶頸塊的輸入輸出聯結模式。

HC-GCN模型將需要進行病理類別分類的乳腺病理圖像作為網絡的輸入。首先，輸入圖像經過一個由3×3卷積層、批量標準化（batchNorm，BN）和ReLU函數組成的特征塊作標準化處理；然后，傳入混合模塊與過渡層交互連接的骨干網絡提取特征信息，過渡層的主要作用是控制通道數；最后，提取到的特征信息進入全局平均池化（global averagepooling，GAP）層、全連接層（fully connected layer）和softmax分類器，完成最后的分類操作。圖6中展示的HC-GCN骨干網絡是由三個混合模塊與兩個過渡層交互連接構成的，其中每個混合模塊內部均有多個壓縮激活門控單元（squeeze-excitation-gated module，SEG）以稠密連接的模式構成。

在實際應用中，為了獲得更好的乳腺病理圖像的病理類別分類效果，可以通過改變網絡中的混合模塊、SEG塊的數量和調試超參數等方法來構建不同結構的HC-GCN。

2數據集來源及處理

2.1數據集來源

本文采用的圖像數據是由綿陽市中心醫院提供的乳腺病理WSI圖像，源文件為KFB格式，可利用K-Viewer軟件對其進行查看和處理。圖7展示了BreastSet數據集中的部分樣本。

將原始數據導出格式為png的RGB三通道圖像后可形成分類數據集，數據集包含了來自患不同乳腺癌病癥患者的3 498張WSI病理圖像，分類標簽共有八種：伴有髓樣特征乳腺癌（medullary breast carinoma，MBC）、非特殊類型浸潤性癌（non-special type invasive breast carcinoma，NST）、浸潤性大汗腺癌（apocrine carinoma，AC）、浸潤性微乳頭狀癌（invasive micropapillary carinoma，IMPC）、浸潤性小葉癌（invasive lobular carcinoma，ILC）、黏液癌（mucoid carinoma，MC）、實性乳頭狀乳腺癌伴浸潤（solid papillary caricoma，SPC）、小管癌（tubular carcinoma，TC）。在此將該數據集命名為乳腺病理圖像分類數據集（breast pathological image classification data set，BreastSet）。表1介紹了BreastSet數據集的數據結構。

2.2數據增強

WSI圖像的尺寸和內存占用較大，因此BreastSet數據集中的圖像數據難以被計算機直接識別與應用。為了保證圖像數據的精準讀取，提高模型的特征表達能力，可對數據集中的數據進行數據增強處理。除改變尺寸等基礎的數據增強方法以外，還可使用如圖8所示的基于四叉樹分割的圖像數據增強方法［23］。

四叉樹是一種樹狀數據結構，在每一個節點上會有四個子區塊，常應用于二維空間數據的分析與分類。它將數據區分為四個象限。數據范圍可以是方形、矩形或其他任意形狀。四叉樹由一個連續的結構組成，在每一層，將上一層的輸入圖像均等分成四個部分。在分割之后，每塊子圖像都被認為與原始圖像具有相同的類標簽。

2.3融合算法

由于采用了基于四叉樹的圖像分割方法，一張圖片被分割成多個子圖像塊，每個圖像塊再過模型計算可能產生的不同分類結果，故需要融合算法將每個圖像塊的分類結果有效地整合起來，常用的融合算法有和規則、乘積規則、最大值規則、多數投票規則等。和規則、乘積規則和最大值規則算法的具體計算公式［24］為

和規則：=argmaxKk=1∑Ni=1pi（k）（2）

乘積規則：=argmaxKk=1∏Ni=1pi（k）（3）

最大值規則：=argmaxKk=1maxNi=1pi（k）（4）

其中：pi（k）表示1張圖片的第i個子圖像塊被模型分為k類的概率值；K表示病理類別總數；N表示1張圖片的切分塊總數。本文采用的是多種融合算法相結合的整合方法。圖9展示了一張病理圖片的完整融合分類結果過程，最后輸出的分類結果由三種融合規則得出的分類結果投票決定。

2.4評價標準

記錄模型訓練和測試的結果是進一步完善模型和評價模型質量的依據［25］。為了評價模型在面向WSI的乳腺病理亞型分類任務上的適用性，本文計算了分類準確率（accuracy）、模型參數（params）、計算浮點數（FLOPs）、精確率（查準率， precision，P）、召回率（查全率recall，R）和F1評分（F1 scores，F1）等參數以進行評估。在醫學領域，計算機輔助診斷模型的分類準確率包含圖像級、患者級和病理級三種。圖像級的準確率（image level accuracy，IA）指的是被正確分類的圖像數量占樣本總數量的比率，患者級的準確率（patient-level accuracy，PA）指的是每位患者對應的乳腺病理圖像分類準確率的平均值，病理級的準確率（pathological-level accuracy，PLA）指的是多分類情況下的每種病理類型對應的乳腺病理圖像分類準確率的平均值。

精確率、召回率、F1評分是衡量模型性能的重要指標。精確率是被診斷為陽性的患者是真陽性的概率，召回率是真陽性患者被診斷為陽性的概率。模型具有較高的精準率，可以減少誤診率，防止正常人被錯誤治療和醫療資源的浪費；模型具有較高的查全率可以減少漏診率，防止患者錯過最佳治療時間。

F1分數（F1-score）是統計學中用來衡量模型精確度的重要指標［25］，也是模型精準率和召回率的一種調和平均，具體計算為

precision=TPTP+FP（5）

recall=TPTP+FN（6）

F1=2×precision×recallprecision+recall（7）

其中：TP表示真陽性數量；FP表示假陽性數量；FN表示假陰性數量。

在對病理進行多分類的情況下，計算模型的精確率、召回率和F1評分時需要計算相應的宏平均值（macro）和微平均值（micro）。宏平均值是指分別計算每個病理類別的精確率、召回率和F1評分的平均值，平等地對待每個類別，因此容易受到樣本數量較少類別的影響。微平均值是指不區分類別，整體計算精確率、召回率和F1評分，平等地對待每個樣本，因此容易受到樣本數量較多類別的影響。根據計算原理，Micro-P，Micro-R和Micro-F1在數值上與IA相等。

3實驗

3.1實驗環境

實驗所用的硬件配置和運行環境如表2所示。

3.2模型架構與超參數設置

為了獲得更好的模型分類效果，經過多輪測試和調整混合模塊中SEG塊的數量和增長率（growth rate）等結構和參數設置，構建了一個由三個混合模塊，每個混合模塊包含八個SEG塊組成的HC-GCN模型。表3展示了模型的具體結構設置。

另外，模型中幾個比較重要的超參數設定如下：批樣本大小（batch size）為16，epoch為100，學習率（learning rate）為0.1，過渡層和混合模塊之間的壓縮因子θ為0.5；SEG塊中3×3組卷積的組數g為4，寬度乘數α為4，更新門和遺忘門的縮減比（ru=rf）為2，步長S為1；過渡層中設置g為1，ru=rf為2，α為1.5，步長S為2；深度可分離卷積核大小（kernel size）為2。

3.3訓練與測試

如表1所示，實驗前按照8∶1∶1的比例分配訓練集、驗證集和測試集。本文對乳腺病理圖像數據增強的第0層和第1層進行了訓練，即訓練時分為直接使用原始數據進行訓練和對圖像進行四切分后訓練兩種模式，四切分時每張原始圖像被切割成四塊進行訓練和投票融合。

圖10是HC-GCN基于BreastSet數據集得出的訓練集損失曲線和驗證集圖像級準確率曲線，圖中向上彎曲的實線曲線表示對原數據分類的驗證集圖像級準確率曲線（Acc0），向下彎曲的實線曲線表示對原數據分類的訓練集損失曲線（Loss0）；向上彎曲的點狀曲線表示四切分訓練模式下得出的驗證集圖像級準確率曲線（Acc1），向下彎曲的點狀曲線表示四切分訓練模式下得出的訓練集損失曲線（Loss1）。

由圖10可知，HC-GCN在原數據集和四切分模式上進行訓練時都能獲得較好的準確率結果和較少的損失，說明本文建立的模型具有一定的準確性和科學性；模型的訓練集和驗證集損失曲線顯示在BreastSet數據集上的訓練過程較平穩，說明模型具有穩定性；當epoch≥40時，準確率和損失的數值就已經較高并逐漸收斂，說明模型具有收斂性。

對比圖10中兩種訓練模式的驗證圖像級準確率曲線可以看出，兩種訓練模式下HC-GCN的訓練準確率曲線平滑、獲得的準確率數值較高，說明HC-GCN模型適用于對當前乳腺病理數據集進行亞型分類研究。

3.4實驗結果分析

表4展示了本文方法和其他較經典的深度學習方法基于BreastSet數據集的分類實驗結果。

從表4中各種模型在原始數據訓練模式和四切分訓練模式下對應得出的數據可以看出，四切分訓練模式得出的準確率、F1評分等準確率性能數據均優于原始數據訓練模式。同時，從圖10可以看出，四切分訓練模式相比原始數據訓練模式，驗證集圖像準確率曲線數值普遍更高，訓練集損失曲線數值普遍更低，證明了使用基于四叉樹分割的圖像數據增強方法有助于提高模型對乳腺病理WSI圖像的分類性能。

HC-GCN只需要用到很少的參數量和計算量就可以達到較好的病理類型識別精度，有助于降低模型對計算資源的依賴、增加模型的擴展性和可移植性。

3.5與其他方法比較

本文還選用了多種經典熱門的圖像分類模型與HC-GCN進行對比，每個模型均基于BreastSet數據集進行了病理亞型分類，實驗結果如表4所示。

從表4中可以看出，許多優秀模型均能夠在乳腺病理圖像分類任務上獲得較高的分類準確率。與各級別準確率最高的網絡模型DenseNet121相比，HC-GCN在原始數據訓練模式下獲得的圖像級、患者級和病理級準確率分別提高了1.14%、0.23%和0.65%；在四切分訓練模式下獲得的圖像級、患者級、病理級準確率分別提高了0.37%、0.40%和0.65%。這說明HC-GCN相比于DenseNet模型能夠獲得更高的分類準確率；并且HC-GCN所需的參數量和計算浮點數分別只占DenseNet121網絡模型的3/8和1/6左右，有效地減輕了特征重用機制導致的冗余度過大問題，節省了計算資源。與具有較小參數量的模

型ShuffleNetv2相比，HC-GCN在使用更小的參數量和計算量的情況下，原始數據訓練模式下的圖像級、患者級和病理級準確率分別提高了9.77%、9.53%和9.45%，四切分訓練模式下的圖像級、患者級和病理級準確率分別提高了5.57%，3.53%和17.61%。與其他具有更小計算量的模型AlexNet、MobileNetv2和MobileNetv3相比，盡管HC-GCN多使用了0.19～0.28 GB的計算量，但原始數據訓練模式下的圖像級、患者級和病理級別準確率分別提高了5.46%～19.54%、5.84%～16.89%和6.66%～29.32%，四切分訓練模式下的圖像級、患者級和病理級準確率分別提高了6.24%～12.33%、5.93%～12.37%和5.24%～11.75%。與表4列出的其他模型相比，HC-GCN在使用更小的參數量和計算量的同時獲得了更優的準確率、精確率、召回率和F1評分數值。實驗結果說明，HC-GCN顯著提升了對WSI乳腺病理圖像的亞型分類性能。

綜上所述，與其他方法相比，HC-GCN不僅能夠提高乳腺病理圖像的病理類別分類準確率，而且可以減少模型所需的參數量和計算量，節省計算資源。

3.6消融實驗

為了測試和驗證本文方法和模塊的有效性，設計了四組互為對照的消融實驗。表5展示了消融實驗中依次添加改進結構模塊的情況。

表5中，RC表示殘差連接，FG表示遺忘門，UG表示更新門。第一組消融實驗中每個瓶頸塊包含標準正則化層（batch normalization）、ReLU激活函數層、1×1卷積、3×3組卷積、3×3深度可分離卷積和dropout層各一個，設計第一組實驗的目的是將其與添加各種模塊結構后的模型形成對比，驗證各結構是否能夠有效提升模型的分類性能。第二組～四組消融實驗中，刪除了瓶頸模塊中的標準正則化層、ReLU層和dropout層，依次在瓶頸塊中添加殘差連接、遺忘門和更新門結構，即逐漸形成本文設計的SEG塊，這樣設計的目的是觀察各結構對模型性能的影響。觀察表5中對應的準確率數值可知，第二組較第一組、第四組較第三組的準確率數值增幅大，說明殘差連接和更新門結構有利于提高模型的分類準確率。觀察第二組和第三組實驗數據可知，添加遺忘門的操作不會對模型的分類準確率和參數量產生較大影響，同時遺忘門的衰減操作有效降低了模型的計算量。觀察第三組和第四組實驗數據可知，更新門只需要占用較少的參數量和計算量就能夠使模型的分類準確率獲得較大的提升。綜上所述，本文所提的混合連接模式和SEG塊結構均能有效地提升模型性能。

3.7與其他文獻中方法比較

為了證明HC-GCN模型的優越性和通用性，本文還將其得出的實驗結果與其他文獻中使用的乳腺病理圖像分類方法進行了對比。圖11展示了HC-GCN與其他乳腺病理圖像分類方法的圖像級準確率對比情況，其中的實驗數據結果均是基于大型公開的BreakHis數據集得出的，［5］～［16］分別表示文獻［5～16］中所提方法，當文獻中所提方法或訓練方法不唯一時，圖11中取文獻中展示的圖像級準確率最高的數值。

由圖11可知，在基于BreakHis數據集的乳腺病理圖像分類實驗中，本文提出的HC-GCN模型進行良惡性二分類的圖像級準確率達到了99.75%，進行病理亞型八分類的圖像級準確率達到了95.69%，與對比方法相比準確率有所提高。實驗結果表明，HC-GCN模型的分類準確率高于其他文獻中的乳腺病理圖像分類方法。另外，圖11顯示本文所提的HC-GCN模型在BreakHis數據集上也能獲得較好的分類效果，說明模型具有良好的通用性和泛化能力。

4結束語

本文提出基于混合連接的門控卷積網絡模型對乳腺病理圖像進行亞型分類，運用來自綿陽市中心醫院的乳腺病理WSI圖像建立BreastSet數據集，使用基于四叉樹的圖像分割增強方法進行數據增強，采用融合算法和投票制規則決定每張WSI的最終分類。實驗結果表明，本文所提的HC-GCN模型在乳腺病理WSI圖像分類問題上能夠獲得較好的結果，所提的混合連接、更新門和遺忘門結構均能夠有效提升模型性能。同時，HC-GCN模型還具有良好的通用性和泛化能力。

本文方法也適用于其他WSI病理圖像（如宮頸癌組織切片圖像等）的視覺分類和輔助診斷，能夠在一定程度上滿足臨床需求。在后續的實驗中，可考慮對原始WSI乳腺病理圖像數據進行定位標注，對BreastSet數據集進行圖像分割和病灶定位，對多種病理類別中難以分類的特征加入自適應調整模塊等作進一步展開研究。

參考文獻：

[1]黃育北，佟仲生，陳可欣，等.《中國女性乳腺癌篩查指南》解讀（精簡版）［J］.中國腫瘤臨床，2019，46（9）：432-440.（Huang Yubei， Tong Zhongsheng， Chen Kexin， et al. Interpretation of guideline for breast cancer screening in Chinese women［J］.Chinese Journal of Clinical Oncology，2019，46（9）：432-440.）

［2]魏溪含，涂銘，張修鵬.深度學習與圖像識別［M］.北京：機械工業出版社，2019：26-28.（Wei Xihan， Tu Ming， Zhang Xiupeng. Deep learning and image recognition［M］.Beijing：Machinery Industry Press，2019：26-28.）

［3]馬技，李晶皎，李珍妮.基于視覺注意機制深度強化學習的行人檢測方法［J］.中國科技論文，2017，12（14）：1570-1577.（Ma Ji， Li Jingjiao， Li Zhenni. Deep reinforcement learning with visual attention for pedestrian detection［J］.China Science Paper，2017，12（14）：1570-1577.）

［4]趙凱，安衛超，張曉宇，等.共享淺層參數多任務學習的腦出血圖像分割與分類［J］.計算機科學，2022，49（4）：203-208.（Zhao Kai， An Weichao， Zhang Xiaoyu， et al. Intracerebral hemorrhage ima-ge segmentation and classification based on multi-task learning of shared shallow parameters［J］.Computer Science，2022，49（4）：203-208.）

［5]Han Zhongyi， Wei Benzheng， Zheng Yuanjie ， et al. Breast cancer multi-classification from histopathological images with structured deep learning model［J］.Scientific Reports，2017，7（1）：article No.4172.

［6]Bardou D， Zhang Kun ， Ahmad S M. Classification of breast cancer based on histology images using convolutional neural networks［J］.IEEE Access，2018，6：24680-24693.

［7]程年，俞晨，寧靜艷.基于深度學習網絡的乳腺癌圖片分類研究［J］.軟件導刊，2019，18（8）：26-28.（Cheng Nian， Yu Chen， Ning Jingyan.Classification of breast cancer images based on deep lear-ning network［J］.Software Guide，2019，18（8）：26-28.）

［8]Nguyen P T， Nguyen T T， Nguyen N C， et al. Multiclass breast cancer classification using convolutional neural network［C］//Proc of the 4th International Symposium on Electrical and Electronics Engineering.Piscataway，NJ：IEEE Press，2019：130-134.

［9]Mt A， Kbz B， Be C， et al. BreastNet： a novel convolutional neural network model through histopathological images for the diagnosis of breast cancer［J］.Physica A：Statistical Mechanics and Its Applications，2020，545：123592.

［10]李雨倩.基于深度學習的乳腺組織病理類型的多分類方法研究［D］.合肥：中國科學技術大學，2019.（Li Yuqian. Research on multi-classification of breast histopathological patterns based on deep learning［D］.Hefei：University of Science and Technology of China，2019.）

［11]Jiang Yun， Chen Li， Zhang Hai ， et al. Breast cancer histopathological image classification using convolutional neural networks with small SE-ResNet module［J］.PLoS One，2019，14（3）：e0214587.

［12]劉巧利，閆航，賀鵬飛，等.基于改進DenseNet網絡的乳腺癌自動診斷［J］.計算機與數字工程，2019，47（10）：2496-2502.（Liu Qiao-li， Yan Hang， He Pengfei，et al. Automatic diagnosis of breast cancer based on improved DenseNet network［J］.Computer amp; Digital Engineering，2019，47（10）：2496-2502.）

［13]劉靖雯，黃理燦.基于Inception-ResNet-V2的乳腺癌病理圖像識別研究［J］.軟件導刊，2020，19（5）：225-229.（Liu Jingwen， Huang Lican. Pathological image recognition of breast cancer based on Inception-ResNet-V2［J］.Software Guide，2020，19（5）：225-229.）

［14]明濤，王丹，郭繼昌，等.基于多尺度通道重校準的乳腺癌病理圖像分類［J］.浙江大學學報：工學版，2020，54（7）：1289-1297.（Ming Tao， Wang Dan， Guo Jichang， et al. Breast cancer histopathological image classification using multi-scale channel squeeze-and-excitation model［J］.Journal of Zhejiang University：Engineering Science，2020，54（7）：1289-1297.）

［15]于凌濤，夏永強，王鵬程，等.基于多任務模型的乳腺癌病理圖像分類［J］.華中科技大學學報：自然科學版，2021，49（8）：53-57，69.（Yu Lingtao， Xia Yongqiang， Wang Pengcheng， et al. Breast cancer pathological image classification based on multi-task model［J］.Journal of Huazhong University of Science and Technology：Natural Science Edition，2021，49（8）：53-57，69.）

［16]趙曉平，王榮發，孫中波，等.改進DenseNet的乳腺癌病理圖像八分類研究［J/OL］.計算機工程與應用.（2022-06-15）.http：//kns.cnki.net/kcms/detail/11.2127.TP.20220118.1715.002.html.（Zhao Xiaoping， Wang Rongfa， Sun Zhongbo， et al. Research on eight classifications of breast cancer pathological images based on improved DenseNet［J/OL］.Computer Engineering and Applications.（2022-06-15）.http：//kns.cnki.net/kcms/detail/11.2127.TP.20220118.1715.002.html.）

［17]Cruz-Roa A， Basavanhally A， González F， et al. Automatic detection of invasive ductal carcinoma in whole slide images with convolutional neural networks［C］//Proc of Medical Imaging 2014：Digital Pathology.San Diego：SPIE，2014：904103.

［18]Wang Dayong， Khosla A， Gargeya R， et al. Deep learning for identifying metastatic breast cancer［EB/OL］.（2016-06-18）.http：//doi.org/10.48550/arxiv.1606.05718.

［19]Gecer B， Aksoy S， Mercan E， et al. Detection and classification of cancer in whole slide breast histopathology images using deep convolutional networks［J］.Pattern Recognition，2018，84：345-356.

［20]He Kaiming， Zhang Xiangyu， Ren Shaoqing， et al. Deep residual learning for image recognition［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：770-778.

［21]Huang Gao， Liu Zhuang， Van Der Maaten L， et al. Densely connec-ted convolutional networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：4700-4708.

［22]阿斯頓·張，李沐，扎卡里·C.立頓，等.動手學深度學習［M］.北京：中國工信出版集團，人民郵電出版社，2019：147-149.（Aston Zhang， Li Mu， Zachary C. Lipton， et al. Dive into deep learning［M］.Beijing：China Industry and Information Technology Publishing Group， Posts amp; Telecom Press，2019：147-149.）

［23]Gu Jiuxiang， Wang Zhenhua， Kuen J， et al. Recent advances in convolutional neural networks［J］.Pattern Recognition，2018，77：354-377.

［24]Yosinski J， Clune J， Bengio Y， et al. How transferable are features in deep neural networks？［C］//Advances in Neural Information Processing Systems.Cambridge，MA：MIT Press，2014：1-9.

［25]Sokolova M， Japkowicz N， Szpakowicz S. Beyond accuracy， F-score and ROC： a family of discriminant measures for performance evaluation［C］//Proc of Australasian Joint Conference on Artificial Intelligence.Berlin：Springer，2006：1015-1021.

收稿日期：2022-03-04；

修回日期：2022-04-26

基金項目：成都市科技廳創新創業資助項目（2018YF0500893GX）

作者簡介：陳金令（1975-），男（通信作者），河南平頂山人，教授級高級工程師，碩導，博士，主要研究方向為圖像處理和光學檢測（201899010004@swu.edu.cn）；李潔（1997-），女，四川德陽人，碩士研究生，主要研究方向為深度學習和醫學圖像處理；趙成明（1996-），男，四川瀘州人，碩士研究生，主要研究方向為機器學習和圖像分割；劉鑫（1996-），男，四川宜賓人，碩士研究生，主要研究方向為人工智能和紅外檢測.