基于超聲深度學習影像組學的乳腺癌新輔助化療療效預測

張恒，趙彤，張賽，孫佳偉，李曉琴，倪昕曄

1. 南京醫科大學附屬常州第二人民醫院 a. 放療科；b. 超聲科，江蘇 常州 213003；2. 江蘇省醫學物理工程研究中心，江蘇 常州 213003；3. 南京醫科大學 醫學物理研究中心，江蘇 常州 213003；4. 江蘇省常州市醫學物理重點實驗室，江蘇 常州 213003

引言

乳腺癌在全球女性癌癥患者中發病率居高不下[1]。在大多數乳腺癌中，新輔助化療（Neoadjuvant Chemotherapy，NAC）已成為一種標準治療手段[2]，能夠有效降低癌癥分期、淋巴結轉移率并提高保乳治療的可能性[3]。此外，NAC 后達到病理完全緩解（Pathological Complete Response，pCR）的患者生存期可顯著提升[4]。而對治療不敏感的患者將面臨手術延遲和癥狀加重的風險。早期預測乳腺癌患者NAC 后的pCR 狀態，可以輔助醫師及時調整治療方案，避免患者出現NAC 的嚴重毒副作用。

影像組學作為一種非侵入性分析腫瘤輪廓的新興技術，可以提供整個腫瘤在宏觀和微觀方面的全面表征[5]。深度學習也已被證實在醫學圖像任務中效果優異[6]，但往往受限于臨床樣本量[7]，將在自然圖像中預訓練完成的模型直接應用于醫學圖像任務中，僅利用提取到的深度學習特征結合機器學習模型也可以取得較好的預測效果。截至目前，融合深度學習和影像組學技術預測乳腺癌NAC 后pCR 狀態的研究仍鮮有報道，尤其是基于超聲圖像。超聲與MRI 和CT 相比，具有安全、便宜和實時成像等優勢[8]。本研究旨在探討結合臨床和超聲深度學習、影像組學特征的綜合模型預測乳腺癌患者NAC 后pCR 的價值。

1 資料與方法

1.1 研究資料

本研究的總體工作流程圖如圖1 所示。回顧性分析2015 年1 月至2022 年9 月在我院接受NAC 的乳腺癌患者。納入標準：① NAC 前經穿刺活檢病理證實為乳腺癌；② 無既往放化療病史并在本院接受完整的NAC 治療；③ NAC 后經病理證實為pCR 或非pCR（NpCR）；④ 有完整的臨床病理學資料（NAC 方案也記錄完整）。排除標準：① 超聲圖像偽影嚴重或未能完全顯示病灶邊界或錯誤的超聲掃描模式；② 同側乳腺多發病灶或雙側乳腺均發生病變（惡性）；③ NAC 期間發生遠處轉移；④ 有其他惡性腫瘤病史。符合條件的共117 例患者，均為女性，采用7 ∶3 的比例隨機劃分訓練和驗證集。本研究經醫院倫理委員會審批同意（批準文號：[2020]KY154-01）。

圖1 總體工作流程圖

1.2 超聲圖像采集

所有檢查均由具有5 年以上淺表器官超聲診斷工作經驗的醫師完成，采用EPIQ5、IU22（Philips，荷蘭），Easote Mylabe Twice，GE Logiq E9、E10，西門子s2000超聲診斷儀和高頻線陣探頭，探頭頻率為7～12 MHz，6～15 MHz，選取乳腺超聲檢查模式。檢查時患者取仰臥位，雙臂上舉以充分暴露乳腺，對雙側乳腺各個象限進行多切面掃查，對病灶區域進行重點掃查，并根據病灶大小調節深度。獲取乳腺原發病灶最大長軸、短軸切面聲像圖。患者所有超聲檢查均于NAC治療前2周內完成，每例患者僅采用1張超聲圖像納入本研究。

1.3 臨床資料及NAC方案

患者的臨床資料包括年齡、左/右乳、臨床分期、腋窩淋巴結是否轉移、病理類型、雌激素受體（Estrogen Receptor，ER）、孕激素受體（Progesterone Receptor，PR）、人體表皮生長因子受體2（Human Epidermal Growth Factor Receptor-2，HER-2）、腫瘤增殖細胞核抗原67（Tumor Expression of the Proliferation Antigen，Ki-67）。本研究中將ER、PR 免疫組化染色≥1%、HER-2 表達≥+++或熒光原位雜交法檢測陽性定義為陽性，反之為陰性。Ki-67 ≥14%定義為Ki-67 高表達，＜14%定義為Ki-67 低表達[9]。

根據中國抗癌協會乳腺癌指南[10]，NAC 方案主要以蒽環類、紫杉類或蒽環類與紫杉類結合為基礎。參照美國腫瘤聯合會乳腺癌分期系統（第8 版）對NAC療效評估，將其分為pCR（術后乳腺和淋巴結病理學檢查未殘留任何浸潤癌組織或僅殘存原位癌）與NpCR（術后乳腺和淋巴結病理學檢查殘留浸潤癌組織）[11]。

1.4 病灶分割

將乳腺癌患者的原始超聲圖像導入3D Slicer 軟件（4.11 版本），由1 名具有5 年以上工作經驗的超聲科醫師，在未知臨床結果的情況下沿著腫瘤輪廓分割感興趣區域（Region of Interest，ROI）。由具有10 年以上經驗的高年資超聲科主任醫師進行最終驗證，并通過討論解決分歧，以確保病灶分割的準確性。

1.5 影像組學特征提取

基于分割后的ROI 和原圖像進行影像組學特征提取。利用Pyradiomics 包（V3.0.1）對每例患者的超聲圖像提取人工定義的影像組學特征（https://pyradiomics.readthedocs.io/en/latest/），包括一階統計量特征、二維形狀特征、紋理特征、小波特征，分為2 個維度4 種頻帶（HH、HL、LH、LL）。

1.6 深度學習特征提取

采用ResNet50[12]架構作為提取深度學習特征的基線模型，并事先在大規模、注釋良好的ImageNet 數據集上進行預訓練。預訓練之后，網絡權重采用imageNet權重，并去除ResNet50 網絡的最后一個全連接層，使用全局最大池化獲取每層深度學習特征圖映射的最大值，以將特征映射轉換為原始值，輸入到機器學習模型中構建深度學習模型。

1.7 數據預處理

為了避免樣本不均衡對模型性能造成影響（樣本傾向于被分類到多數類），首先采用人工少數類過采樣方法（Synthetic Minority Over-Sampling Technique，SMOTE）對訓練集數據進行過采樣至1 ∶1。然后根據公式（1）對全體數據進行Z-Score 歸一化處理，將不同量級的特征數據轉換為同一量級，確保特征間的可比性，也便于后續篩選算法的應用。

式中，x為原始數據；為平均數；s為標準差。

1.8 特征篩選及模型構建

在訓練集中首先使用Mann-WhitneyU檢驗初步篩選與pCR 狀態具有統計學意義的特征，然后基于隨機森林的遞歸消除算法（Recursive Feature Elimination，RFE）和10倍交叉驗證的最小絕對收縮和選擇算子（Least Absolute Shrinkage and Selection Operator，LASSO） 進行特征降維，選擇交叉驗證二項偏差最小的數據集作為最優特征集，并基于最優特征集構建影像組學/深度學習標簽，計算方式如公式（2）所示。

式中，intercept 為LASSO 模型擬合訓練集數據后得到的截距；feature 為LASSO 篩選后的特征；Coef 為特征的回歸系數；features 為篩選后的特征個數。

利用單/多因素邏輯回歸分析篩選有價值的臨床特征，并與影像組學/深度學習標簽構建綜合模型。此外，還單獨構建了臨床、影像組學和深度學習模型，用于對比分析。本研究所采用的機器學習分類器為邏輯回歸模型，受試者工作特征（Receiver Operating Characteristic，ROC）曲線下面積（Areas Under Curve，AUC）、準確度、特異性、敏感度4 類評價指標用于評估模型的性能，其中AUC 的95%CI是通過1000 次重抽樣獲得，并利用DeLong 測試比較不同模型AUC 間的差異。通過校準曲線檢驗模型的校準能力，決策曲線分析用來評估模型的臨床實用性。

1.9 統計學分析

本研究的統計分析基于SPSS 22.0 軟件。對于定量資料以±s表示，組間比較行獨立樣本t檢驗。對于定性資料以例表示，組間比較行χ2檢驗。以P＜0.05 為差異有統計學意義。

2 結果

2.1 患者臨床數據分析

患者的原始臨床資料如表1 所示，為了與影像組學和深度學習特征相匹配，同樣對訓練組臨床數據進行SMOTE，過采樣后的臨床數據如表2 所示。訓練集中pCR 與NpCR 組患者間臨床分期、ER、PR 和Ki-67差異有統計學意義（P＜0.001、P＜0.001、P=0.013 和P=0.002）。而在驗證集中，pCR 與NpCR 的患者之間僅PR 差異有統計學意義（P=0.049）。考慮到驗證集中樣本量遠少于訓練集，故將在訓練集中差異有統計學意義的臨床特征：臨床分期、ER、PR 和Ki-67 均納入單/多因素邏輯回歸分析（表3），以篩選用于構建臨床模型的最終特征，結果顯示臨床分期和ER 為pCR狀態的獨立預測因子（P=0.002，P＜0.001），可用于構建臨床模型。

表1 原始訓練和驗證集患者臨床特征比較（ ±s，n）

表1 原始訓練和驗證集患者臨床特征比較（ ±s，n）

注：ER：雌激素受體；PR：孕激素受體；HER-2：人體表皮生長因子受體2；Ki-67：腫瘤增殖細胞核抗原67；pCR：病理完全緩解；NpCR：非病理完全緩解。

臨床特征訓練集（n=81）驗證集（n=36）pCR（n=17） NpCR（n=64）t/χ2值P值pCR（n=7）NpCR（n=29）t/χ2值P值年齡/歲55.59±12.7956.00±12.070.1240.90260.71±11.9152.48±11.431.6970.099左/右乳0.5800.4460.1770.674左乳733414右乳1031315臨床分期2.4390.2950.7980.671Ⅰ0 3 1 2Ⅱ1129519 3218腋窩淋巴結0.0600.8060.6200.431未轉移31338轉移1451421病理類型-1.0000.4030.526浸潤性癌1764627其他0012 ER4.0510.0440.8560.355陰性1124411陽性640318 PR0.5140.4743.8720.049陰性82459陽性940220 HER-22.3630.1242.6800.102陰性636114陽性1128615 Ki-672.6890.1010.2480.618低表達0901高表達1755728Ⅲ6

表2 SMOTE后訓練和驗證集患者臨床特征比較（ ±s，n）

表2 SMOTE后訓練和驗證集患者臨床特征比較（ ±s，n）

注：ER：雌激素受體；PR：孕激素受體；HER-2：人體表皮生長因子受體2；Ki-67：腫瘤增殖細胞核抗原67；pCR：病理完全緩解；NpCR：非病理完全緩解。

臨床特征訓練集（n=128）驗證集（n=36）pCR（n=64） NpCR（n=64） t/χ2值P值pCR（n=7）NpCR（n=29）t/χ2值P值年齡/歲54.22±11.1956.00±12.070.8660.38860.71±11.9152.48±11.431.6970.099左/右乳1.1430.2850.1770.674左乳3933414右乳2531315臨床分期22.054 ＜0.0010.7980.671Ⅰ0 3 1 2Ⅱ5429519 103218腋窩淋巴結0.0470.8280.6200.431未轉移141338轉移5051421病理類型-1.0000.4030.526浸潤性癌6464627其他0012 ER25.393 ＜0.0010.8560.355陰性5224411陽性1240318 PR6.1310.0133.8720.049陰性382459陽性2640220 HER-20.2900.5902.6800.102陰性3936114陽性2528615 Ki-679.6810.0020.2480.618低表達0901高表達6455728Ⅲ

表3 臨床數據的單/多因素邏輯回歸分析

2.2 影像組學標簽與模型構建

從超聲圖像中提取了469 個影像組學特征，通過Mann-WhitneyU檢驗、RFE 和LASSO 將其進一步降維至6 個與pCR 狀態密切相關的特征（圖2a～c）。按照公式（2）構建影像組學標簽，影像組學標簽=0.5000-0.1982×original_shape_Maximum2DDiameterRow-0.0344×original_glcm_ClusterShade+0.0603×wavelet-LH_glszm_SmallAreaLowGrayLevelEmphasis+0.0172×wavelet-HL_glszm_SmallAreaLowGrayLevelEmphasis+0.0740×wavelet-HL_gldm_SmallDependenceLowGrayLevelEmphasis+0.0816×wavelet-HH_firstorder_Mean。隨后基于影像組學標簽和邏輯回歸分類器構建影像組學模型，訓練集AUC 為0.815，驗證集AUC 為0.778。

圖2 基于LASSO算法的影像組學和深度學習特征篩選

2.3 深度學習標簽與模型構建

基于ResNet50 網絡共提取了2048 個深度學習特征，經Mann-WhitneyU檢驗、RFE 和LASSO 最終降維至8 個與pCR 狀態緊密相關的特征（圖2d～f）。根據公式（2）構建深度學習標簽，基于深度學習標簽和邏輯回歸分類器構建深度學習模型，訓練集AUC 為0.928，驗證集AUC 為0.901。

2.4 綜合模型構建及效能評估

基于邏輯回歸分類器開發了聯合臨床分期、ER、影像組學標簽和深度學習標簽構建的綜合模型。表4 展示了基于邏輯回歸的各模型預測性能，其中綜合模型在訓練集中AUC 為0.949；驗證集中AUC 為0.931，顯著優于其他模型。DeLong 測試結果（表5）顯示，綜合模型在訓練集上與臨床和影像組學模型AUC 間差異具有統計學意義，而在驗證集上僅與臨床模型AUC 間差異顯著。圖3a～b 為各模型在訓練集和驗證集上的ROC 曲線，可更直觀評價綜合模型與子模型間性能差異。圖3c顯示了4 種模型的校準曲線，其中，綜合模型的校準曲線對角線擬合度優于其他模型，表明綜合模型對乳腺癌NAC 患者術前pCR 的預測更為可靠。圖3d 為每個模型的決策曲線，其均高于兩條參考曲線，表明各模型均具有臨床收益，其中，綜合模型的收益最多。

表5 綜合模型與各子模型間DeLong測試結果

圖3 綜合模型性能評估

3 討論與結論

在本研究中，構建了一個聯合乳腺癌患者NAC 前超聲影像的臨床、影像組學和深度學習特征的綜合模型，可以在術前更精準、無創地預測乳腺癌患者NAC 后的pCR 狀態，可為乳腺癌NAC 患者的個性化治療提供指導。

影像組學作為人工智能在醫學影像中的新技術，可以從超聲、MRI 和CT 等醫學圖像中提取高維影像特征，以更全面地描述乳腺腫瘤[13-14]。目前已有研究報道影像組學在乳腺癌預后預測中的價值[15-17]，但多數研究主要集中于CT 和MRI 方面。與MRI 和CT 相比，超聲成本更低、操作更簡單、圖像更容易獲得，在術前評估乳腺癌pCR 方面具有更大的臨床和經濟效益[18]。Yang 等[19]對比了治療前和治療早期超聲影像組學特征的變化，發現兩者間的差值與乳腺癌NAC 反應獨立相關，證明了基于超聲的影像組學特征可用于術前預測乳腺癌患者NAC 后的療效。李蔓英等[20]從53 例乳腺癌患者的灰階超聲圖像中提取1044 個影像組學特征，建立了基于6 個影像組學特征的邏輯回歸模型，AUC 為0.880。然而，該項研究包含的樣本量較小，且僅基于單一影像組學技術，導致了模型預測性能有限。本研究引入了全新的深度學習技術來提取超聲內部的深度特征。結果表明，所提取的深度特征在乳腺癌患者NAC 療效預測方面比影像組學特征更優，這表明深度特征可能是非常有價值的預測pCR 新指標，且可能與影像組學特征間存在互補關系。接下來，本研究考慮了一些臨床預后因素。經單/多因素邏輯回歸分析表明，臨床分期、ER 是區別乳腺癌患者NAC 后pCR 狀態的獨立預測因子，被納入構建綜合模型。在驗證集中，綜合模型的AUC 和準確度達到了0.931 和0.833，與現有基于影像組學和臨床特征的研究相比，性能有一定的提升。且與既往部分研究需提取NAC 治療前及治療中的超聲圖像特征進行對比分析，才能做出準確療效預測相比，本文僅需利用NAC 治療前的超聲圖像，有助于將臨床決策的時間點前移。

本研究的創新點在于融合了深度學習特征，構建了聯合影像組學、深度學習及臨床特征的綜合模型，提升了預測性能，且具有高效快捷、無創無輻射等優點。同時本研究也有一些局限性：① 屬于單中心回顧性研究，樣本量較小且缺乏外部獨立測試集驗證，下一步將繼續擴大樣本量，并展開多中心研究；② ROI 屬于人工勾畫，可能存在一定的人為因素對特征提取造成偏差，后續研究中，將致力于使用深度學習自動分割網絡來減少人工參與。

綜上所述，本文利用超聲影像組學和深度學習技術并結合臨床特征，建立了預測乳腺癌患者NAC 后pCR狀態的綜合模型，在驗證集中獲得了良好效果，可為臨床pCR 診斷提供有效的參考。