基于Swin Transformer和卷積注意力的乳腺癌病理圖像診斷研究

摘" 要： 為了降低由于醫(yī)生閱片疲勞或經(jīng)驗不足而可能導(dǎo)致的漏診或誤診問題，提高醫(yī)生診斷乳腺癌病理圖像的準(zhǔn)確性和工作效率，文中采用北京大學(xué)國際醫(yī)院提供的公開的最大乳腺癌病理組織圖像數(shù)據(jù)集，包括正常、良性病變、原位癌和浸潤癌四種類型，并提出了一種基于Swin Transformer和卷積注意力機制的乳腺癌病理圖像診斷方法，給出了診斷算法的框架和處理流程，在評價指標(biāo)方面取得了96.93%的精確率、97.82%的召回率和97.74%的準(zhǔn)確率，與常用的卷積神經(jīng)網(wǎng)絡(luò)ResNet152、VGG16相比，精確率和準(zhǔn)確率都是最高的，從而證明提出的方法是有效的。最后，基于Flask技術(shù)和Swin Transformer開發(fā)了可視化的乳腺癌病理圖像診斷軟件，只需提供一張患者的乳腺癌病理組織圖像，10 s左右即可自動輸出診斷結(jié)果，可以極大地提高醫(yī)生的工作效率。

關(guān)鍵詞： 乳腺癌； 病理圖像； 深度學(xué)習(xí)； Swin Transformer； 卷積注意力機制； Flask

中圖分類號： TN911.73?34" " " " " " " " " " " " " 文獻標(biāo)識碼： A" " " " " " " " " " " 文章編號： 1004?373X（2024）13?0036?07

Research on breast cancer pathological image diagnosis based on

Swin Transformer and convolutional attention

XUAN Junbo1， 2， 3， ZHOU Liguang4， LIANG Yinghao2， LIANG Shuhui1， 3， FU Zhihong2， GUAN Zhiguang2， BI Mingxia5

（1. Guangxi Key Lab of Multi?source Information Mining amp; Security， Guangxi Normal University， Guilin 541004， China;

2. School of Artificial Intelligence， Nanning Vocational and Technical University， Nanning 530008， China;

3. School of Computer Science and Engineering， Guangxi Normal University， Guilin 541004， China;

4. Wuxiang Hospital of the Second Nanning People′s Hospital， Nanning 530219， China;

5. Qingdao Sino?German Intelligent Manufacturing Technician College， Qingdao 266555， China）

Abstract： In order to reduce the missed diagnosis and misdiagnosis caused by fatigue or inexperience of doctors， and to improve the accuracy and work efficiency of doctors in diagnosing breast cancer， the public largest data set of breast cancer pathological images provided by Peking University International Hospital， including four types， named normal， benign， carcinoma in situ and invasive carcinoma， is adopted， and a method of breast cancer pathological image diagnosis based on Swin Transformer and convolutional attention mechanism is proposed， and the frame and processing flow of the diagnosis algorithm are given. In terms of the evaluation indexes， the precision ratio of the proposed method is 96.93%， its recall rate is 97.82% and its accuracy rate is 97.74%. In comparison with the common convolutional neural network （CNN） ResNet152 and VGG16， its precision rate and accuracy rate are the highest. Therefore， it is proved that the proposed method is effective. Finally， on the basis of the technology of Flask and Swin Transformer， a visual diagnosis software of breast cancer pathological image is developed， which can automatically output the diagnosis results in about 10 seconds only by providing a patient′s breast cancer pathological image， which can greatly improve the work efficiency of doctors.

Keywords： breast cancer; pathological image; deep learning; Swin Transformer; convolutional attention mechanism; Flask

0" 引" 言

癌癥一直是威脅人類健康的公共衛(wèi)生問題。根據(jù)國際癌癥研究機構(gòu)2023年初發(fā)布的最新癌癥報告[1]顯示，乳腺癌以每年新發(fā)病226萬例的數(shù)量首次超越肺癌的220萬例，成為了全球發(fā)病數(shù)量最大的癌癥。而在中國，每年新發(fā)乳腺癌的病例約為42萬例，發(fā)病高峰在45～55歲。因此，乳腺癌的早期發(fā)現(xiàn)及診斷治療具有重要的現(xiàn)實意義。

臨床上，病理圖像檢查一直是癌癥診斷的“金標(biāo)準(zhǔn)”[2]。通常由醫(yī)生通過B超、核磁共振、鉬靶等方法對患者病理組織切片進行人工診斷，而不同層次的醫(yī)院由于醫(yī)生數(shù)量不足、經(jīng)驗的不足，再加上醫(yī)生每天大量閱片引起的疲勞，導(dǎo)致很多癌癥出現(xiàn)了誤診或漏診的問題，故而不能及時確診或在早期發(fā)現(xiàn)癌癥，是癌癥死亡率高發(fā)的原因之一。相關(guān)研究報告表明，若能在早期發(fā)現(xiàn)或確診癌癥，患者的生存率較高、預(yù)后較好。而對于乳腺癌的診斷來說，同樣需要開發(fā)更加準(zhǔn)確或智能的方法。因此，針對乳腺癌的準(zhǔn)確診斷問題成為了目前的研究熱點[3?6]。

近十年來，人工智能技術(shù)得到了迅猛發(fā)展和廣泛應(yīng)用，在圖像處理、自然語言處理和生物醫(yī)學(xué)信息等領(lǐng)域取得了顯著的應(yīng)用。通過采用深度學(xué)習(xí)技術(shù)，一方面使得胃癌[7]、乳腺癌[8]等疾病的精確分類成為可能，另一方面還可以輔助醫(yī)生進行疾病診斷，包括分型、評級和預(yù)后等。在最初的醫(yī)學(xué)圖像分類中，作為圖像處理領(lǐng)域的基礎(chǔ)模型，一些經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，例如VGGNet[9]、ResNet[10]、EfficientNet[11]得到了廣泛應(yīng)用。鑒于自然語言處理領(lǐng)域的主流模型Transformer[12]的顯著優(yōu)勢，學(xué)者們探索將Transformer改進后應(yīng)用于圖像處理領(lǐng)域。例如，Vision Transformer網(wǎng)絡(luò)模型[13]可以在圖像分類問題中直接利用Transformer網(wǎng)絡(luò)進行分類；而Swin Transformer模型[14]則采用分層的結(jié)構(gòu)，通過預(yù)測圖像塊序列進行圖像分類，可應(yīng)用于求解圖像分類、目標(biāo)檢測和語義分割等任務(wù)[15?17]。

本文在分析北京大學(xué)國際醫(yī)院公開的最大乳腺癌病理圖像數(shù)據(jù)集[18]的基礎(chǔ)上，提出了一種基于Swin Transformer和卷積注意力的乳腺癌病理圖像診斷方法。首先，使用在ImageNet圖像數(shù)據(jù)集上訓(xùn)練得到的權(quán)重，初始化Swin Transformer網(wǎng)絡(luò)模型的參數(shù)，再在乳腺癌病理圖像數(shù)據(jù)集上進行微調(diào)操作；然后，通過與圖像分類問題中常用的經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)，例如ResNet152、VGG16進行對比實驗，驗證了Swin Transformer網(wǎng)絡(luò)在乳腺癌病理圖像診斷分類方面的有效性；最后，采用Flask技術(shù)框架，設(shè)計開發(fā)了基于Swin Transformer的乳腺癌病理圖像診斷軟件，在常規(guī)的計算機上，10 s左右即可快速獲得可視化的診斷結(jié)果，極大地提高了醫(yī)生的診斷工作效率。

1" 相關(guān)工作

病理檢查是癌癥診斷的“金標(biāo)準(zhǔn)”。針對乳腺癌的病理圖像診斷問題，國內(nèi)外研究學(xué)者基于機器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)開展了廣泛的研究。在研究使用的乳腺癌數(shù)據(jù)集方面主要有：巴西Pamp;D實驗室發(fā)布的BreaKHis數(shù)據(jù)集[19]；乳腺癌病理組織圖像挑戰(zhàn)賽發(fā)布的BACH數(shù)據(jù)集[20]；北京大學(xué)國際醫(yī)院發(fā)布的乳腺癌病理圖像數(shù)據(jù)集[18]。

在基于乳腺組織病理圖像的人工智能診斷算法研究方面，主要包括兩大方面：一是將傳統(tǒng)機器學(xué)習(xí)算法和人工特征提取相結(jié)合的方法；二是基于深度學(xué)習(xí)的方法。

第一種方法主要使用傳統(tǒng)的機器學(xué)習(xí)方法，例如支持向量機[21]、隨機森林[22]等，對人工提取的乳腺癌病理圖像特征進行分類。文獻[23]基于人工提取的病理圖像特征，提出一種單類核的主成分分析方法，在361張乳腺癌組織病理圖像的診斷中，分類準(zhǔn)確率達到92%。文獻[24]使用支持向量機方法，在68幅乳腺癌組織病理圖像的診斷中，分類準(zhǔn)確率達到96.2%。但是由于傳統(tǒng)的人工特征提取方法存在著一些不足，例如，需要專業(yè)的病理圖像知識和花費很多時間和精力，影響了傳統(tǒng)機器學(xué)習(xí)方法在乳腺癌病理圖像分類上的廣泛應(yīng)用。

第二種方法主要是將深度學(xué)習(xí)技術(shù)應(yīng)用于乳腺癌病理圖像診斷，獲得智能化的輔助診斷能力。文獻[25]將經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)AlexNet應(yīng)用于乳腺癌病理圖像分類中，采用不同的融合策略，在BreaKHis乳腺癌病理數(shù)據(jù)集上，平均分類準(zhǔn)確率達到83.2%。文獻[26]將ResNet50網(wǎng)絡(luò)模型進行遷移學(xué)習(xí)，實現(xiàn)乳腺癌組織病理圖像的良、惡性二分類，分類準(zhǔn)確率達到97.4%。對于乳腺癌來說，良性、惡性的二分類研究在臨床上并不能幫助醫(yī)生做出有針對性的治療方案，因此，需要進一步實現(xiàn)乳腺癌病理圖像的多分類研究。但是，當(dāng)前開源的乳腺癌病理圖像數(shù)據(jù)集的規(guī)模較小，還存在著各類別之間不平衡的問題。

因此，為了進一步提高乳腺癌病理圖像診斷方法的分類性能，本文受Swin Transformer應(yīng)用于肝囊型包蟲病超聲圖像分類研究方法[16]的啟發(fā)，設(shè)計了一種基于Swin Transformer和卷積注意力的乳腺癌病理圖像診斷方法，描述了算法原理、繪制了流程圖，并通過具體實驗驗證了該方法的有效性。最后，基于Flask框架開發(fā)了可視化的乳腺癌病理圖像輔助診斷軟件。

2" 材料與方法

2.1" 乳腺癌病理圖像數(shù)據(jù)集

為了便于進行乳腺癌病理圖像診斷研究，以及保證病理圖像的多樣性，與以往采用的乳腺癌數(shù)據(jù)集規(guī)模較小不同，本文采用北京大學(xué)國際醫(yī)院提供的乳腺癌病理組織圖像數(shù)據(jù)集。該數(shù)據(jù)集包括3 771例乳腺病理圖像，是目前公開發(fā)布的最大的乳腺癌病理組織圖像分類數(shù)據(jù)集，而且涵蓋了盡可能多的、跨越不同年齡組的不同子類，從而提供了足夠的數(shù)據(jù)多樣性來緩解良性圖像分類精度相對較低的問題。

該乳腺癌病理圖像數(shù)據(jù)集來自北京大學(xué)國際醫(yī)院從2015年3月—2018年3月收集的就診患者的病理圖像，使用脫敏方式處理、匿名使用，并獲得了醫(yī)院倫理委員會的批準(zhǔn)。每張病理圖像采用高通量快速玻片掃描儀獲得，具有高分辨率的特點，圖像的像素大小為2 048×1 536。該數(shù)據(jù)集主要由四種乳腺癌病理圖像類型組成：正常（Normal）、良性病變（Benign）、原位癌（In situ carcinoma， In situ）和浸潤癌（Invasive carcinoma， Invasive）。其中：正常（Normal）類型包括299張病理圖像；良性病變（Benign）類型包括1 106張病理圖像；原位癌（In situ）類型包括1 066張病理圖像；浸潤癌（Invasive）類型包括1 300張病理圖像。

為便于展示說明該乳腺癌病理圖像數(shù)據(jù)集收集的患者病理圖像類型，選擇了4張分別屬于正常（Normal）、良性病變（Benign）、原位癌（In situ）和浸潤癌（Invasive）的乳腺癌病理組織圖像例子，如圖1所示。

2.2" 基于Swin Transformer和卷積注意力的乳腺癌病理圖像診斷方法

Transformer網(wǎng)絡(luò)模型[13]最開始主要用于自然語言處理領(lǐng)域，具有強大的表征能力和計算量大的特點。為了能夠?qū)ransformer更好地應(yīng)用于圖像處理，微軟研究院2021年提出了基于多頭注意力機制的Swin Transformer模型[14]，采用滑動窗口機制和空間降維注意力方法，有效地解決了Transformer網(wǎng)絡(luò)計算量大的問題，從而促進了其在圖像分類領(lǐng)域的應(yīng)用。比如已有Swin Transformer網(wǎng)絡(luò)應(yīng)用于肝囊型包蟲病超聲圖分類的成功研究[16]，本文受其啟發(fā)，將Swin Transformer引入到乳腺癌病理圖像診斷分類問題研究中。

Swin Transformer模型是一種分層的網(wǎng)絡(luò)結(jié)構(gòu)，對Transformer進行的一個重要改進就是使用基于窗口的多頭自注意力機制。將輸入圖片劃分成不重合的窗，然后在不同的窗內(nèi)進行自注意力計算。由于窗內(nèi)部的塊數(shù)量遠(yuǎn)小于圖像的塊數(shù)量，并且窗口數(shù)量是保持不變的。而多頭自注意力機制的計算復(fù)雜度和圖像尺寸之間呈線性關(guān)系，因此，相當(dāng)于是直接對整個特征圖進行多頭注意力機制計算，可以顯著減少計算量。

為了能夠更好地提取圖像的特征，通常在Swin Transformer網(wǎng)絡(luò)結(jié)構(gòu)中引入卷積注意力機制（Convolutional Block Attention Module， CBAM）[27]。CBAM是一種簡單有效的前饋卷積神經(jīng)網(wǎng)絡(luò)注意力模塊，因其能夠?qū)D像的通道和空間注意力機制相結(jié)合，使網(wǎng)絡(luò)更關(guān)注圖像的重要信息，而在圖像處理領(lǐng)域中得到廣泛的應(yīng)用。由于本文研究的乳腺癌病理圖像的紋理特征較為復(fù)雜，因此，為了進一步細(xì)化骨干網(wǎng)絡(luò)提取到的病理圖像特征，本文研究方法在Swin Transformer網(wǎng)絡(luò)第一階段的線性嵌入層前、后分別加上CBAM模塊，如圖2所示，使得網(wǎng)絡(luò)不僅能夠關(guān)注到乳腺組織不同病灶區(qū)域的圖像特征，而且能夠注意到最高響應(yīng)以外的圖像區(qū)域，從而增加了更多的病理圖像特征信息，可以進一步提高網(wǎng)絡(luò)的分類性能。

因此，結(jié)合上述Swin Transformer的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和卷積注意力機制的特點，本文設(shè)計一種基于Swin Transformer和卷積注意力機制的乳腺癌病理圖像診斷方法，算法的具體框架和處理流程如圖3所示。

病理圖像診斷流程圖

從圖3中可以看到，基于Swin Transformer和卷積注意力的乳腺癌病理圖像診斷算法的處理流程可以描述如下：

步驟1：在Patch劃分模塊（Patch Partition）中對輸入的待診斷患者的乳腺癌病理圖像進行分塊。

步驟2：通過Swin Transformer的四個階段構(gòu)建不同大小的特征圖。其中，第一階段是先在線性嵌入層（Linear Embedding）的前、后加上卷積注意力機制模塊，使網(wǎng)絡(luò)能夠關(guān)注不同乳腺病灶區(qū)域的特征，并通過線性嵌入層對每個像素的通道數(shù)據(jù)做線性變換；第二、三和四階段是通過一個圖像降采樣層（Patch Merging）進行下采樣。

步驟3：在全連接層通過采用Classifier分類器，根據(jù)正常、良性病變、原位癌和浸潤癌的圖像特征，以及預(yù)測的概率大小，對4種乳腺癌病理圖像類型進行分類，并輸出診斷分類結(jié)果。

2.3" 可視化乳腺癌病理圖像診斷軟件開發(fā)

為了幫助放射科醫(yī)生提高乳腺癌病理圖像的診斷工作效率，減少因醫(yī)生的閱片疲勞或經(jīng)驗不足而可能導(dǎo)致的誤診或漏診問題，本文基于Swin Transformer網(wǎng)絡(luò)開發(fā)了可視化的乳腺癌病理圖像診斷軟件，即采用Flask框架技術(shù)[28]開發(fā)基于Web端的乳腺癌病理圖像快速診斷軟件。

3" 結(jié)果與分析

3.1" 實驗環(huán)境和參數(shù)設(shè)置

為了便于比較不同深度學(xué)習(xí)方法的性能，在同一實驗平臺下進行，具體配置如下：深度學(xué)習(xí)框架Pytorch、GPU顯卡為Tesla A100，CPU為48核，內(nèi)存為128 GB，硬盤為1 TB，操作系統(tǒng)為Ubuntu 20.04。

訓(xùn)練過程的參數(shù)設(shè)置：為了便于深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練，將實驗用的乳腺癌病理圖像數(shù)據(jù)集按照8∶2的比例劃分為訓(xùn)練集和測試集。將病理圖像輸入尺寸大小設(shè)置為224×224像素，batch_size為12，模型設(shè)置初始學(xué)習(xí)率為0.000 1，優(yōu)化器（Adam）采用自適應(yīng)學(xué)習(xí)率梯度下降法，采用交叉熵?fù)p失函數(shù)，訓(xùn)練迭代次數(shù)設(shè)置為2 500 Epoch，訓(xùn)練時使用凍結(jié)層，在前50 Epoch迭代不訓(xùn)練主干層，在第50 Epoch之后解凍主干層。在訓(xùn)練時也應(yīng)用了早停法，當(dāng)連續(xù)20次迭代網(wǎng)絡(luò)的驗證集Loss沒有下降時，停止訓(xùn)練并且保存網(wǎng)絡(luò)模型。分類器是Softmax。為提高訓(xùn)練效率，在算法具體實驗時，均首先采用遷移學(xué)習(xí)策略對深度學(xué)習(xí)基本模型的參數(shù)進行微調(diào)。

3.2" 評價指標(biāo)

為了便于評估不同深度神經(jīng)網(wǎng)絡(luò)的算法性能，本文也采用在多分類問題中經(jīng)常使用的精確率（Precision）、召回率（Recall）、準(zhǔn)確率（Accuracy），作為衡量深度學(xué)習(xí)模型在乳腺癌病理圖像診斷中的分類評價指標(biāo)，這些評價指標(biāo)的百分比數(shù)值越大，表示對應(yīng)的深度學(xué)習(xí)模型在該數(shù)據(jù)集中的性能越好。定義公式如下：

[Precision=TPTP+FP] （1）

[Recall=TPTP+FN] （2）

[Accuracy=TP+TNTP+TN+FP+FN] （3）

式中：TP表示真正例，即診斷結(jié)果為正例，實際也是正例；FP表示假正例，即診斷結(jié)果為正例，實際為負(fù)例；FN表示假負(fù)例，即診斷結(jié)果為負(fù)例，實際是正例；TN表示為真負(fù)例，即診斷結(jié)果為負(fù)例，實際也是負(fù)例。

3.3" 實驗結(jié)果比較和分析

為了驗證本文提出的基于Swin Transformer的乳腺癌病理圖像診斷算法的有效性，與常用的圖像處理網(wǎng)絡(luò)ResNet152、VGG16在乳腺癌病理圖像數(shù)據(jù)集上進行實驗，并記錄各網(wǎng)絡(luò)對乳腺癌病理圖像診斷分類的總體精確率、召回率和準(zhǔn)確率數(shù)據(jù)，如表1所示。

從表1中可見，在3個不同網(wǎng)絡(luò)中，基于Swin Transformer網(wǎng)絡(luò)的分類精確率和準(zhǔn)確率都最高，分別為96.93%、97.74%，而基于VGG16網(wǎng)絡(luò)的召回率最高，為98%。總的來說，基于本文提出的Swin Transformer的乳腺癌病理圖像診斷方法相對較好。

為了進一步分析不同深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)，將不同深度學(xué)習(xí)網(wǎng)絡(luò)對乳腺癌病理圖像四分類識別的精確率進行對比，如圖4所示。

從圖4a）中可見，ResNet152網(wǎng)絡(luò)將乳腺癌病理圖像診斷為正常、良性病變、原位癌和浸潤癌的精確率值分別為81%、99%、95%和94%，總體為92.16%。由圖4b）可知，VGG16網(wǎng)絡(luò)診斷為4分類的精確率值分別為89%、96%、99%和100%，總體為96%。由圖4c）可知，本文提出的Swin Transformer網(wǎng)絡(luò)將乳腺癌病理圖像診斷為正常、良性病變、原位癌和浸潤癌的精確率值分別為94%、97%、98%和99%，總體精確率為96.93%，是三個模型中最高的，進一步驗證了本文提出的基于Swin Transformer和卷積注意力的乳腺癌病理圖像的診斷分類性能相對較好。

因此，將表現(xiàn)較好的基于Swin Transformer和卷積注意力的乳腺癌病理圖像算法進行正常、良性病變、原位癌和浸潤癌診斷具體分類結(jié)果的混淆矩陣展示，如圖5所示。其中，在包含59個正常（Normal）類型的病理圖像中，58個診斷正確為Normal類，1個診斷為In situ，診斷為正常的準(zhǔn)確率為[5859]=98.31%；在包含221個良性病變（Benign）類型的病理圖像中，217個診斷正確為Benign類，3個診斷為Normal，1個診斷為Invasive，診斷為良性病變的準(zhǔn)確率為[217221]=98.19%；在包含213個原位癌（In situ）類型的病理圖像中，206個診斷正確為In situ類，6個診斷為Benign，1個診斷為Invasive，診斷為原位癌的準(zhǔn)確率為[206213]=96.71%；在包含260個浸潤癌（Invasive）類型的病理圖像中，255個診斷正確為Invasive類，1個診斷為Normal，4個診斷為In situ，診斷為浸潤癌的準(zhǔn)確率為[255260]=98.08%。因此，基于Swin Transformer和卷積注意力的乳腺癌病理圖像算法在診斷正常、良性病變、原位癌和浸潤癌四種類型的準(zhǔn)確率較高，均達到96%以上，進一步說明了本文提出方法的有效性。

3.4" 基于Web的乳腺癌病理圖像診斷軟件

綜上可知，基于Swin Transformer的乳腺癌病理圖像診斷算法表現(xiàn)較好，因此，為了幫助臨床醫(yī)生提高診斷的工作效率，采用Flask技術(shù)開發(fā)了基于Swin Transformer的乳腺癌病理圖像診斷可視化軟件。實現(xiàn)的基于Web端的可視化診斷軟件界面如圖6所示，其中，左邊是輸入的待診斷乳腺患者的病理圖像，點擊“開始識別”后，在常規(guī)的計算機上，10 s左右將在右邊顯示該張乳腺癌病理圖像的診斷結(jié)果，并以可視化的方式提供給醫(yī)生，為臨床醫(yī)生最終確定乳腺癌病理圖像診斷結(jié)果提供堅實的基礎(chǔ)。

綜上所述，基于Swin Transformer和Flask框架實現(xiàn)的可視化乳腺癌病理圖像診斷軟件操作界面簡單、友好，僅需輸入一張就診患者的乳腺病理圖像，在常規(guī)計算機上只需10 s左右即可快速給出診斷結(jié)果，可以極大地提高醫(yī)生的診斷工作效率，有助于減少醫(yī)生由于閱片疲憊或經(jīng)驗不足導(dǎo)致的誤診或漏診現(xiàn)象，具有較好的社會效益。

4" 結(jié)" 語

為了提高放射科醫(yī)生診斷的工作效率，減少因閱片疲勞或經(jīng)驗不足而導(dǎo)致的誤診或漏診問題，本文設(shè)計了一種基于Swin Transformer和卷積注意力機制的乳腺癌病理圖像診斷算法，在開源的較大規(guī)模的乳腺癌病理圖像數(shù)據(jù)集上，與常用的卷積神經(jīng)網(wǎng)絡(luò)ResNet152、VGG16進行比較。實驗結(jié)果顯示，基于Swin Transformer的乳腺癌病理圖像診斷算法在評價指標(biāo)上表現(xiàn)是最好的，驗證了本文提出方法的有效性，且基于Swin Transformer開發(fā)了可視化的乳腺癌病理圖像診斷軟件，操作界面簡單友好，可以幫助醫(yī)生快速診斷病理結(jié)果，極大地提高了醫(yī)生的診斷工作效率，并為后續(xù)制定治療方案提供了堅實的基礎(chǔ)。

雖然本文提出的乳腺癌病理圖像診斷方法是有效的，但是由于乳腺癌的病理機制較為復(fù)雜、類型繁多，本文提出的方法僅能識別四種類型，不利于推廣使用。同時，由于缺乏大量臨床數(shù)據(jù)的測試，本文開發(fā)的乳腺癌病理圖像診斷軟件的性能還有待提高，下一步將與有意向的醫(yī)院合作，采集更多的病理圖像，開展乳腺癌病理圖像軟件的臨床測試。

注：本文通訊作者為周立廣。

參考文獻

[1] WILD C P， WEIDERPASS E， STEWART B W. World cancer report： Cancer research for cancer prevention [M]. Lyon， France： International Agency for Research on Cancer， 2020.

[2] 滿芮，楊萍，季程雨，等.乳腺癌組織病理學(xué)圖像分類方法研究綜述[J].計算機科學(xué)，2020，47（z2）：145?150.

[3] GONG X， ZHAO X， FAN L， et al. BUS?net： A bimodal ultrasound network for breast cancer diagnosis [J]. International journal of machine learning and cybernetics， 2022， 13（11）： 3311?3328.

[4] 易才健，陳俊，王師瑋.基于CNN的乳腺癌病理圖像分類研究[J].智能計算機與應(yīng)用，2022，12（3）：92?96.

[5] 張喜科，馬志慶，趙文華，等.基于卷積神經(jīng)網(wǎng)絡(luò)的乳腺癌組織病理學(xué)圖像分類研究綜述[J].計算機科學(xué)，2022，49（z2）：362?370.

[6] 于凌濤，夏永強，閆昱晟，等.利用卷積神經(jīng)網(wǎng)絡(luò)分類乳腺癌病理圖像[J].哈爾濱工程大學(xué)學(xué)報，2021，42（4）：567?573.

[7] 李宏霄，李姝，石霞飛，等.基于BiT的早期胃癌內(nèi)鏡圖像識別[J].激光與光電子學(xué)進展，2022，59（6）：354?362.

[8] 張雪芹，李天任.基于Cycle?GAN和改進DPN網(wǎng)絡(luò)的乳腺癌病理圖像分類[J].浙江大學(xué)學(xué)報（工學(xué)版），2022，56（4）：727?735.

[9] SIMONYAN K， ZISSERMA A. Very deep convolutional networks for large?scale image recognition [EB/OL]. [2015?04?10]. https：//arxiv.org/abs/1409.1556.

[10] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2016： 770?778.

[11] 劉雅楠，王曉艷，李靖宇，等.基于空間注意力機制的EfficientNet乳腺癌病理圖像分類研究[J].電子元器件與信息技術(shù)，2022，6（8）：1?4.

[12] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need [EB/OL]. [2017?06?19]. https：//arxiv.org/abs/1706.03762v2.

[13] DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words： Transformers for image recognition at scale [EB/OL]. [2021?10?21]. https：//www.xueshufan.com/publication/3119786062.

[14] LIU Z， LIN Y T， CAO Y， et al. Swin transformer： Hierarchical vision transformer using shifted windows [EB/OL]. [2021?03?25]. https：//arxiv.org/abs/2103.14030.

[15] LIU P， SONG Y， CHAI M， et al. Swin?UNet++： A nested Swin Transformer architecture for location identification and morphology segmentation of dimples on 2.25Cr1Mo0.25V fractured surface [J]. Materials （Basel）， 2021， 14（24）： 7504.

[16] 熱娜古麗·艾合麥提尼亞孜，米吾爾依提·海拉提，王正業(yè)，等.基于Swin Transformer的肝囊型包蟲病超聲圖分類研究[J].電子技術(shù)應(yīng)用，2022，48（11）：7?12.

[17] 石磊，籍慶余，陳清威，等.視覺Transformer在醫(yī)學(xué)圖像分析中的應(yīng)用研究綜述[J].計算機工程與應(yīng)用，2023，59（8）：41?55.

[18] YAN R， REN F， WANG Z H， et al. Breast cancer histopathological image classification using a hybrid deep neural network [J]. Methods， 2020， 173（6）： 52?60.

[19] SPANHOL F A， OLIVEIRA L S， PETITJEAN C， et al. A dataset for breast cancer histopathological image classification [J]. IEEE transactions on biomedical engineering， 2016， 63（7）： 1455?1462.

[20] ARESTA G， ARAUJO T， KWOK S， et al. BACH： Grand challenge on breast cancer histology images [J]. Medical image analysis， 2019， 56（8）： 122?139.

[21] QU A P， CHEN J M， WANG L W， et al. Segmentation of hematoxylin?eosin stained breast cancer histopathological images based on pixel?wise SVM classifier [J]. Science China （Information sciences）， 2015， 58（9）： 1?13.

[22] PAUL A， DEY A， MUKHERJEE D P， et al. Regenerative random forest with automatic feature selection to detect mitosis in histopathological breast cancer images [C]// International Conference on Medical Image Computer?assisted Intervention. Heidelberg， Germany： Springer， 2015： 94?102.

[23] ZHANG Y G， ZHANG B L， COENEN F， et al. One?class kernel subspace ensemble for medical image classification [J].EURASIP journal on advances in signal processing， 2014（1）： 1?13.

[24] WANG D Y， KHOSLA A， GARGEYA R， et al. Deep learning for identifying metastatic breast cancer [EB/OL]. [2016?06?18]. https：//arxiv.org/abs/1606.05718.

[25] SPANHOL F A， OLIVEIRA L S， PETITJEAN C， et al. Breast cancer histopathological image classification using convolutional neural networks [C]// 2016 International Joint Conference on Neural Networks. New York： IEEE， 2016： 2560?2567.

[26] 王恒，李霞，劉曉芳，等.基于ResNet50網(wǎng)絡(luò)的乳腺癌病理圖像分類研究[J].中國計量大學(xué)學(xué)報，2019，30（1）：72?77.

[27] WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional block attention module [C]// Proceedings of the European Conference on Computer Vision. Heidelberg， Germany： Springer， 2018： 3?19.

[28] 牛作東，李捍東.基于Python與Flask工具搭建可高效開發(fā)的實用型MVC框架[J].計算機應(yīng)用與軟件，2019，36（7）：21?25.