深度學習技術在超聲心動圖圖像質量控制中的應用

李欣雨 吳洋 張紅梅 尹立雪 彭博 謝盛華

1西南石油大學計算機科學學院（成都 610500）；2四川省醫學科學院·四川省人民醫院（電子科技大學附屬醫院）心血管超聲及心功能科（成都 610072）；3超聲心臟電生理學與生物力學四川省重點實驗室，四川省心血管病臨床醫學研究中心（國家心血管疾病臨床醫學研究中心分中心）（成都 610072）

超聲心動圖采集作為一項知識密集型任務，高度依賴于超聲醫師的經驗和手法［1］。醫師之間的專業知識水平差異將導致采集圖像的質量差異，進而影響后續超聲診斷的質量，這對圖像質量控制提出了挑戰［2-3］。目前，超聲心動圖圖像質量控制主要依靠人工事后分析［4］，但人工評價耗時費力、易受主觀因素干擾，難以提供客觀和可重復的量化評估［5］。引入深度學習技術使得自動評估超聲心動圖質量成為可能。ZAMZMI 等［6］基于MobileNetV2-s 構造編碼器和多頭解碼器網絡，實現四個標準切面的識別和質量等級分類。相比于提供離散（分類）的質量反饋，向操作者提供實時響應的數值反饋更有幫助。ZHANG 等［7］和HUANG 等［8］分別使用VGGNet 和DenseNet 網絡實現切面識別，并以分類置信度作為其質量得分。分類置信度一定程度上反映了圖像中解剖結構的標準性，但不滿足對圖像質量進行細致分析的需求。ABDI 等［9］設置了0 - 5 分的6 個質量等級標簽，通過訓練一個9 層的深度卷積神經網絡來回歸心尖四腔心切面的質量分數。LUONG 等［10］組合DenseNet 和LSTM 網絡同時實現9 個標準切面的識別和0～1 分的質量評分。為進一步提高質量評價的精細度，本研究提出兩階段的超聲心動圖標準切面圖像質量評價方法，將標準切面識別與圖像質量評分相結合，對多個切面開展百分制的質量評價工作。同時，探討該方法在超聲心動圖圖像質量控制中應用的可行性和價值。

1 資料與方法

1.1 研究對象選取2015-2022年間四川省人民醫院采集的180 985 張超聲心動圖圖像建立實驗數據集，包含6 種代表性的標準切面：心尖四腔心切面（A4C）、肺動脈長軸切面（PSPA）、胸骨旁左心室長軸切面（PLAX-LV）等3 種長軸切面，胸骨旁二尖瓣水平左心室短軸切面（PSAX-MV）、胸骨旁乳頭肌水平左心室短軸切面（PSAX-Pap）、胸骨旁心尖水平左心室短軸切面（PSAX-LVA）等3 種短軸切面，以及其他切面（Others）。其中，PSAX-LVA數據集的質量主要分布在低分數段。為了保持數據的均衡性，對其各個分數段進行了采樣，以創建質量評分數據集。所有數據集按照8∶2 的比例隨機劃分為訓練集與測試集（表1）。本研究已獲得四川省人民醫院倫理委員會批準（編號：2023-407）。

表1 實驗數據集分布Tab.1 Distribution of experimental datasets

1.2 數據處理與標記本研究使用的圖像由飛利浦超聲儀CVX、EPIC7C、GE-VOLUSON10、GE-95、阿洛卡880、IE-elite 和邁瑞RESON7s 等超聲設備采集，并進行了匿名化處理。

除了其他切面，每張圖像都有切面類型和質量分數兩種標簽。值得注意的是，在標記質量分數時，考慮到評分人員之間的主觀差異影響，采用了兩階段法和交叉重復標注法。第一階段，由兩名具有豐富經驗的超聲心動圖檢查醫師根據特定切面所需的解剖結構和清晰度將超聲心動圖圖像分為 1（極差）到5（優秀）之間的等級類別，對標注等級存在差異的圖像進行了復核評定。第二階段在第一階段的基礎上，進一步按照結構完整性、結構清晰度、深度增益補償、所處視圖位置等指標［11］，將圖像質量等級映射為0～100 之間的質量分數（等級1：0～29，等級2：30～59，等級3：60～79，等級4：80～99，等級5：100），選取不同醫師標注分數的平均值作為最終分數。

1.3 超聲心動圖標準切面圖像質量評價方法超聲心動圖圖像輸入后，首先由標準切面識別模型確定其切面類別，繼而被送入對應的切面質量評分模型以獲得具體的質量分數（圖1）。所建立的兩個模型均在Python 3.8.12 中使用Pytorch 1.12.0實現，并在NVIDIA RTX 3090 GPU 上進行迭代訓練。

圖1 超聲心動圖標準切面圖像質量評價方法流程Fig.1 Pipeline for the echocardiography standard views quality assessment method

1.3.1 超聲心動圖標準切面識別為了在實時性和準確性之間取得良好的權衡，超聲心動圖標準切面識別模型（圖2）使用輕量級網絡Next-Vit［12］作為特征提取器。接著通過特征金字塔網絡（Feature Pyramid Networks，FPN）融合提取到的四個階段的特征，以兼顧高解析度特征和高語義特征。考慮到部分切面固有的細微類間差異，隨后引入了弱監督細粒度分類模塊FGVC-PIM［13］，用于定位最有區別的圖像區域，以提高細粒度視覺分類準確性。FGVC-PIM 首先通過弱監督特征選擇器（Weakly Supervised Selector，WSS）選擇置信度較高的特征點輸出，再經過圖卷積融合器（Graph Convolutional Network Combiner，GCNC）對篩選后的特征點進行進一步整合，最后由線性分類器輸出預測類別。此外，還引入了對比學習損失［14］以進一步擴大相似子類的特征表示之間的距離。

圖2 超聲心動圖標準切面識別模型架構Fig.2 Echocardiography standard views recognition model architecture

圖3 超聲心動圖圖像質量評分網絡架構Fig.3 Echocardiography quality scoring network architecture

1.3.2 超聲心動圖圖像質量評分切面識別的下一步是對所識別的切面進行圖像質量評分。為此，本研究采用了多維注意力圖像質量評分網絡MANIQA［15］，并針對每一種標準切面訓練了一個相應的質量評分模型。MANIQA 利用通道和空間維度上的注意力機制，模仿人類視覺系統對圖像質量進行評分。輸入圖像首先被分割成大小為16×16 的圖像塊序列，然后通過視覺編碼器進行處理。編碼器的后四層特征圖被連接在一起，以融合不同語義程度的特征。融合后的特征經過轉置注意力機制模塊和可變Swin Transformer 模塊，以增強不同區域圖像之間的全局和局部特征聯系。由于一張圖像的質量分數取決于它的不同部分，最終特征被送入雙分支分數預測結構。該結構通過評分分支和權重分支計算每個圖像塊的加權分數，并綜合得出整個圖像的最終評分。

1.4 統計學方法采用機器學習軟件包 Scikitlearn Version 0.24.2 中的 metrics 模塊進行統計學分析。標準切面識別模型采用準確率（Accuracy）、精確度（Precision）、召回率（Recall）、F1 值（F1 Score）等評價指標，并建立混淆矩陣以分析不同切面上的分類效果；圖像質量評分模型采用皮爾遜線性相關系數（PLCC）、斯皮爾曼等級相關系數（SROCC）、均方根誤差（RMSE）、平均絕對誤差（MAE）等評估指標，并構建聯合分布圖來描述預測結果與專家評分之間的差異。

2 結果

2.1 超聲心動圖標準切面識別超聲心動圖標準切面識別模型在測試集上的分類結果如表2所示，總體分類準確率為98.90%，宏平均精確度、召回率、F1 值均達到98%以上，與專家分類一致性強。7 分類的混淆矩陣如圖4 所示，對于3 種胸骨旁短軸切面，模型在識別時相對容易發生混淆。

圖4 超聲心動圖標準切面識別模型的混淆矩陣Fig.4 Confusion matrix of the echocardiography standard views recognition model

表2 超聲心動圖標準切面識別模型的分類結果Tab.2 Classification results of the echocardiography standard views recognition model %

2.2 超聲心動圖圖像質量評分6 種標準切面質量評分模型在測試集上的量化評分結果如表3 所示。其中，平均PLCC 和SROCC 分別達到了0.933和0.929，表示模型預測評分和專家主觀評分間的相關性極高；平均RMSE 和MAE 指標分別為7.95和4.83，相對于0～100 的標簽取值，誤差處于可接受范圍內。模型預測結果聯合分布圖如圖5所示，模型預測分數與專家主觀分數分布基本重合，且呈現出高度線性相關（相關系數均大于0.81）。

圖5 6 種標準切面質量評分模型預測結果聯合分布圖Fig.5 Joint distribution plot of predicted results from six standard views quality scoring models

表3 6 種標準切面質量評分模型的量化評分結果Tab.3 Quantitative scoring results of the six standard views quality scoring models

3 討論

高質量的標準切面對于精準的診斷和治療決策至關重要。近年來，深度學習廣泛應用于超聲心動圖圖像分析任務，如標準切面識別、心臟結構分割以及疾病檢測等［16-18］，但在超聲心動圖圖像質量評價方面的研究相對較少。ZAMZMI等［6］實現4 個標準切面的切面識別和質量等級分類，其準確率分別達到0.98 和0.94。ZHANG 等［7］在23 個標準切面的切面識別任務中取得了0.84 的準確率，HUANG 等［8］在9 個標準切面的切面識別任務中取得了0.95的準確率。ABDI等［9］僅關注了心尖四腔心切面的質量評分，平均絕對誤差為0.71（在0 - 5 分范圍）。LUONG等［10］取得了0.87的切面識別準確率，質量評分的平均絕對誤差為0.12（在0～1分范圍）。相較于上述研究，本研究提出的方法實現7 類切面的識別，并為每張圖像分配0～100的質量分數。

研究結果表明，所提出的標準切面識別模型通過提取區分度高的局部細粒度特征，提升了切面識別能力。在各個切面上都表現出較高準確率，尤其是在A4C、PSPA、PLAX-LV 等切面上達到了99%以上。切面識別錯誤主要集中在解剖學上具有較高相似性的3 個胸骨旁短軸切面，但在這些切面上仍然能達到95%以上的準確率。所使用的圖像質量評分模型采用多維注意力機制，有效地學習超聲醫師在評估超聲心動圖質量時的判斷標準，在超聲心動圖圖像質量評估的背景下展現出優秀的性能。結果顯示，6 個評分模型的平均絕對誤差為4.83（在0～100 分范圍），在同一數量級上優于先前方法。而對于質量水平分布不均的PSAX-LVA 切面，通過采樣以平衡數據分布后，模型在較小的數據集上也達到良好的效果（平均絕對誤差為5.74）。需要注意的是，在各切面上，專家內部評分間也存在不可避免的差異，這將導致模型誤差。特別是在0～59 的低質量水平下，模型誤差相對較大。低質量圖像往往包含大量噪聲和偽影，而有效信息較少，因此增加了質量評價的難度，對于專家和模型都構成了一定挑戰，這也是本研究的局限之一。未來研究可以考慮制定更為嚴格的低質量圖像評分標準以減少不確定性。

本研究提出的方法在3090 GPU 上部署后，處理224 × 224 像素的圖像幀所需時間不超過20 ms，基本滿足實時性評價要求。通過將這一方法應用于質量控制過程的事前、事中和事后三個階段，有望實現超聲心動圖圖像質量的閉環管理。事前階段，該方法在超聲心動圖標準切面培訓中發揮著重要作用，輔助青年醫師提高對超聲標志性結構識別能力，有效緩解偏遠地區師資力量不足的問題［19］。在事中階段，亦可輔佐醫生標準化成像，提高檢查可靠性和留存圖像質量。通過觀測實時反饋的質量分數，超聲醫師可以適當調節探頭和參數，以獲得更高質量的標準切面圖像［20］。事后階段，該方法可實現對大規模的留存圖像的后置性分析，自動統計圖像數量、類型以及質量，從而顯著減輕了質控管理人員的工作負擔。

綜上所述，超聲心動圖標準切面圖像質量評價方法提供了客觀、準確的圖像質量評價結果，并將質量評價的細化程度提高到了新的水平，有助于實現多階段的圖像質量控制。同時，由于該方法沒有任何前置假設，可推廣到更多的心臟超聲標準切面圖像中。未來研究將擴展到更多類別和模式的超聲心動圖圖像，為心臟功能的精確超聲評估和心血管疾病超聲診斷奠定堅實基礎。

【Author contributions】LI Xinyu performed the methodological design，experiments and wrote the article.WU Yang performed the methodological design and experiments.ZHANG Hongmei and YIN Lixue completed the investigation and data curation.PENG Bo provided computer equipment resources，supervised，and reviewed the article.XIE Shenghua received funding，supervised，and reviewed the article.All authors read and approved the final manuscript as submitted.

【Conflict of interest】The authors declare no conflict of interest.