基于深度學習的SPECT圖像左心室心肌感興趣區自動識別技術

楊練，賈強，楊朝輝，孫立風，紀英財，侯巖松

1.天津醫科大學總醫院 a.設備科；b.核醫學科，天津 300052；2.北京永新醫療設備有限公司，北京 102206；3.中核高能（天津）裝備有限公司，天津 300300；4.蘇州永新智造醫療科技有限公司，江蘇 蘇州 215000

引言

圖像處理和模式識別技術在醫學影像處理方面應用廣泛[1-4]，近年來，深度學習技術也開始應用于CT、MR和超聲等模態圖像[5-7]，但在核醫學影像模態中深度學習技術應用仍較少[8]。單光子發射計算機斷層成像 儀（Single-Photon Emission Computed Tomography，SPECT）心肌灌注成像是一種重要的冠心病診斷方法，但直接重建的SPECT三維圖像無法用于臨床實踐，需要根據左心室長軸進行重新分割得到垂直于左心室長軸的圖像。定位和識別左心室長軸前，需要首先進行SPECT圖像左心室心肌感興趣區（Region of Interest，ROI）的識別，即提取包含左心室的長方體，該長方體包含盡可能多的左心室內容，以及盡可能少的非左心室內容[9-12]。

目前，計算SPECT左心室信息的ROI的算法仍主要為傳統技術，如連續區塊法、基于幾何形狀特征的數學擬合方法等[9-12]。這些技術存在耗時、可復現性差、精度無法滿足臨床需求等問題。目前，國內鮮見關于基于深度學習技術對心肌ROI自動識別技術的研究，因此探討深度學習在以上領域的研究具有重要意義。

本文提出一種新的左心室ROI自動定位算法，該算法引進圖像增強技術，使用基于神經網絡的深度學習技術、傳統分割技術以及先驗知識進行心肌三維ROI定位識別研究，旨在加大深度學習技術在核醫學領域的研究力度，提高心肌SPECT的左心室三維ROI的計算精度。

1 資料與方法

1.1 一般資料

本文采用回顧性研究方法，隨機選取天津醫科大學總醫院核醫學科2016年3月至2021年7月行心肌顯像灌注患者30例，其中男17例、女13例，年齡40～65歲。納入標準：臨床核醫學影像診斷為未見明顯心肌缺血或輕微缺血的樣本。排除標準：嚴重心肌缺血的樣本。

1.2 方法

1.2.1 左心室ROI自動檢測算法流程

左心室ROI自動檢測算法流程如圖1所示，在對三維核醫學心肌圖像進行增強處理的基礎上，應用深度學習方法進行自動心肌圖像檢測，并利用相關方法對檢測結果進行自動甄別，得到心肌圖像檢測結果。

圖1 心肌圖像自動檢測算法流程

1.2.2 圖像增強

圖像的灰度直方圖是反映一幅圖像中各灰度級像素出現頻率的圖形，已有的根據直方圖進行圖像增強的方法較多，如直方圖均衡化[13]。但該方法在增強心肌的同時，周圍的組織和噪聲也隨之增強。基于此，本文設計二維直方圖增強算法在增強心肌影像的同時，抑制本底和周圍的組織以及噪聲。由于心肌灌注SPECT重建圖像是三維數據，故可以逐層對橫斷面應用該二維直方圖增強算法。二維直方圖增強算法描述如下。

（1）輸入：二維灰度原始圖像，直方圖的灰度級數。

（2）輸出：二維灰度增強圖像。

（3）步驟：① 計算直方圖；② 剪切直方圖中的異常值：灰度級的像素數大于圖像的總像素數的10%時，灰度級的像素數重置為0；③ 計算直方圖的閾值：圖像的總像素數除以5000；④ 更替最小值和最大值：計算直方圖上灰度級像素數大于閾值的第1個灰度級刻度和最后1個灰度級刻度，計算二維灰度原始圖像的最小和最大灰度值，每個灰度級刻度代表的灰度值=（最大灰度值-最小灰度值）/直方圖的灰度級數，每個灰度級刻度代表的灰度值分別乘以大于閾值的第1個灰度級刻度和最后1個灰度級刻度，得到新的最小值和最大值；⑤ 計算窗寬和窗位：窗寬=新的最大值-新的最小值，窗位=（新的最大值+新的最小值）/2；⑥ 調節圖像對比度：根據窗寬和窗位增強圖像對比度得到。

1.2.3 深度學習自動識別心肌二維ROI

針對二維橫斷面的切片圖像，提供2種訓練方法用于神經網絡的深度學習：1種是具有先驗知識的心肌分類器，另1種是使用更快速的基于區域的卷積神經網絡（Faster Region Convolutional Neural Network，Faster RCNN）的ROI偵測器，訓練方法如下。

（1）心肌分類器：將所有心肌體數據的橫斷面二維圖像分為2類，有典型心肌特征（具有先驗知識，即橫斷面上表現出左心室斜馬蹄形影像）和無典型心肌特征。將分類好的所有心肌橫斷面二維圖像隨機生成訓練數據和測試數據（隨機挑選80%作為訓練集用于訓練模型，剩余20%作為測試集用來評估模型性能），提取訓練數據的深度學習卷積特征，并訓練支持向量機分類器生成心肌分類器。提取深度學習卷積特征的預訓練網絡是resnet18，特征提取層是pool5層[14]。

（2）ROI偵測器：對心肌體數據進行三維長方體ROI勾畫，在橫斷面視角上每層橫斷面圖像的二維矩形ROI均完全一樣。將標注好的所有樣本的橫斷面二維圖像混在一起，隨機生成訓練數據和測試數據（隨機挑選80%作為訓練集用于訓練模型，剩余20%作為測試集用以評估模型性能）。使用訓練數據訓練Faster RCNN[15]獲得心肌橫斷面的ROI偵測器。

使用心肌分類器對心肌體數據的橫斷面二維圖像進行分類識別，獲得連續心肌圖像數最大的體塊，本文稱為心肌中間體塊。再使用ROI偵測器對心肌中間體塊內所有心肌橫斷面進行二維ROI偵測，獲得體塊內所有心肌橫斷面的ROI分數。如ROI分數不大于預設的閾值，那么ROI分數為0，且對應的ROI矩形框為空。最后，選取滿足條件的ROI分數對應的非空ROI矩形框作為整個心肌體數據橫斷面二維ROI。

1.2.4 Z軸連通限制處理

深度學習方法自動檢測的圖像結果需要后續進行處理，方可得到正確的檢測結果。處理步驟如下。

（1）對心肌體數據進行二值化處理。

（2）分別將1.2.3中識別出的心肌中間體塊的起始層和結束層向兩側擴展。如果相鄰兩層的二值區域連通，且擴展層使用ROI偵測器可以檢測出心肌橫斷面的二維ROI，則認為擴展層屬于心肌的一部分。

1.2.5 深度學習網絡的評價指標

評價深度學習網絡的分類精度需要使用一些評價指標，在定義這些評價指標前，首先定義混淆矩陣。混淆矩陣定義為：，其中，a11是真正（True Positive，TP），表示將正例預測為正例的數值；a12是真負（True Negative，TN），表示將負例預測為負例的數值；a21是假正（False Positive，FP），表示將負例預測為正例的數值；a22是假負（False Negative，FN）表示將正例預測為負例的數值。根據混淆矩陣定義如下評價指標，準確率、錯誤率、靈敏度、特異性、精確率、召回率計算方式如公式（1）～（6）所示，其中靈敏度表示的是所有正例中被分對的比例，衡量了分類器對正例的識別能力；特異性表示的是所有負例中被分對的比例，衡量了分類器對負例的識別能力；精確率表示被預測為正例且確實為正例的部分占所有預測為正例的比例；召回率度量的是被預測為正例且確實為正例的部分占所有確實是正例的比例，與靈敏度一致。

1.2.6 人工對比檢測

由2位具有10年以上工作經驗的核醫學醫師或技師進行人工檢測和共同評判，并與本文深度學習自動算法得到的結果進行線性回歸對比。

2 結果

本文使用30幅真實臨床數據驗證算法的準確性和可靠性。

2.1 算法實現結果

2.1.1 直方圖增強效果

橫斷面切片對比度增強前后的效果如圖2所示，通過直方圖增強方法心肌灌注SPECT重建圖像的橫斷面切片心肌組織和周圍的本底的對比度增強，肉眼可辨識出左心室斜的馬蹄形影像。

圖2 橫斷面切片對比度增強前（a）和對比度增強后（b）的圖像

2.1.2 深度學習自動檢測心肌圖像效果

應用心肌分類器識別的心肌圖像如圖3所示，帶有陰影的圖像部分為識別結果。心肌分類器識別出的心肌體塊為第4～11層，但是存在漏報，即第3層、第12～15層也存在心肌圖像，但心肌分類器未識別出陽性結果。Faster RCNN自動檢測心肌圖像的結果如圖4所示，心肌在Z軸方向起始于第3層，終止于第15層，但Faster RCNN存在誤報，即第1層也被錯誤的識別成心肌圖像。應用增強效果后二值化方法，進行Z軸連通判斷，得到本文算法最終的識別結果如圖5所示，由圖5可知，圖3的漏報情況和圖4的誤報情況均明顯改善，即能夠正確識別三維ROI結果。

圖3 心肌分類器識別結果示例

圖4 Faster RCNN對心肌Z軸方向起始層和終止層的計算

圖5 本文的算法最終的識別結果示例

2.2 深度學習評價指標

心肌橫斷面分類器、心肌橫斷面二維ROI偵測器和本文算法的評價指標（準確率、錯誤率、靈敏度、特異性、精確率、召回率）如表1所示。由表1可知，本文算法準確率明顯高于心肌橫斷面分類器和心肌橫斷面二維ROI偵測器，錯誤率明顯低于心肌橫斷面分類器和肌橫斷面二維ROI偵測器。同時基于Faster RCNN的心肌橫斷面二維ROI偵測器漏報少但誤報較多（靈敏度為99.75%，準確率為70.67%），而心肌分類器誤報少但漏報較多（準確率為94.41%，靈敏度為77.86%），使用本文算法對二者進行有效結合提升了心肌二維目標檢測的準確率，達到97.78%，且靈敏度仍保持較高水平（94.40%）。

表1 深度學習評價指標比較（%）

2.3 本文算法與人工判斷結果比較

30幅心肌體數據橫斷面計算出的二維ROI矩形框左上角坐標和人工判斷結果的ROI矩形框左上角坐標比較情況如圖6所示，本文算法計算出的橫斷面左心室二維ROI的左上角坐標與人工判斷結果的左心室橫斷面二維ROI對應的左上角坐標擬合的回歸直線斜率趨近于1。30幅心肌體數據橫斷面計算出的二維ROI矩形框寬和高與人工判斷結果的ROI矩形框寬和高比較情況如圖7所示，本文算法計算出的橫斷面左心室二維ROI的寬和高與人工判斷結果的左心室橫斷面二維ROI的寬和高擬合的回歸直線斜率趨近于1。本文算法計算30幅心肌體數據Z軸方向的起止層序號與人工判斷結果比較情況如圖8所示，本文算法計算出的Z軸限制與人工判斷結果的對應Z軸限制的回歸直線斜率趨近于1，說明二者Z軸限制接近，即與人工判斷結果相符，進而說明本文算法對Z軸限制的計算結果滿意。

圖6 本文算法與人工判斷結果ROI左上角橫坐標（a）和縱坐標（b）比較

圖7 本文算法與人工判斷結果ROI矩形框寬（a）和高（b）比較

圖8 本文算法與人工判斷結果Z軸起始層（a）和Z軸終止層（b）比較

3 討論

Faster RCNN是檢測二維ROI比較典型的深度學習方法[15]，但本文的心肌橫斷面二維ROI偵測器調用Faster RCNN后，ROI檢測效果并不理想，準確率僅70.67%，這是由于Faster RCNN誤報過多導致的。

為減少心肌橫斷面二維ROI偵測器的誤報過多的情況，本文通過心肌橫斷面分類器保證Faster RCNN的輸入圖像盡可能是含有心肌的二維橫斷面圖像。當進入心肌橫斷面二維ROI偵測器階段時，由于Faster RCNN的高靈敏度（99.75%），提升了檢測二維心肌橫斷面ROI的精確度，且進行了Z軸向的切片擴展操作處理，進一步提高了計算二維心肌橫斷面ROI的準確率（97.78%）。當處理體數據時，由于進入心肌分類器深度網絡的輸入數據不是1幅二維圖像，而是多幅二維圖像，增加了檢測出陽性樣本的概率，使得進入Faster RCNN中的含有心肌的二維橫斷面圖像的概率也明顯增加，即在檢測二維心肌目標上，本文的心肌橫斷面分類器+Faster RCNN優于Faster RCNN，這也是本文的創新點之一：解決了僅使用Faster RCNN檢測二維心肌ROI誤報多、精確度低的問題。此外，本文算法計算出的橫斷面左心室二維ROI與人工判斷結果的左心室橫斷面二維ROI的矩形框坐標位置接近，進而說明本文算法對二維橫斷面ROI的計算結果令人滿意。

本文的另一個創新點：避免了連續區塊算法直接閾值分割造成計算ROI精度不夠的問題。連續區塊算法沒有使用圖像增強處理步驟，二值化效果往往不佳[9]。而本文算法使用了圖像增強算法增強了圖像的對比度，二值化效果更好。如果連續區塊法在心肌二維橫斷面上二值化效果不佳，有可能造成Z軸方向相鄰心肌的離斷，從而導致計算Z軸限制的失敗，即計算心肌三維ROI的Z軸范圍錯誤。而本文的算法使用較高準確率的心肌分類器（準確率為94.41%）計算連續的相鄰心肌橫斷面的體塊，識別效果較好；雖然對于心肌中間體塊的擴展本文也使用了二值化處理，但因是基于增強后的圖像處理，Z軸方向相鄰心肌二值影像連續性較好，便于心肌中間體塊向起始層和結束層的兩側進行擴展操作，又由于使用Faster RCNN在Z軸方向進行限制，使得計算出的Z軸范圍相對正確。

本文提出的算法和傳統的連續區塊方法相比[9-12]，無需人工提取圖像特征，未完全依賴二值化的閾值結果，自學習和自適應能力更強。但本文算法也存在一定的局限性：使用的深度學習技術只能處理二維圖像；分割技術使用的仍是傳統技術；樣本數量雖然滿足醫學統計學小樣本數量的基本要求，但是偏少。在未來的工作中，還需考慮設計三維圖像的深度學習圖像分類和目標檢測方法，以及使用深度學習分割技術，在增加樣本的前提下，驗證和提高算法在大數據條件下的準確度和臨床實用性，為后續核醫學SPECT心肌定量分析研究奠定堅實基礎。此外，本文算法中使用的圖像增強等技術對其他醫學圖像處理問題有一定的參考價值。

4 結論

本文針對SPECT圖像左心室心肌圖像，首先進行圖像增強，然后使用深度學習技術結合先驗知識可自動獲得左心室心肌三維感興趣區。使用真實臨床數據，自動識別結果與人工判斷結果基本一致，充分驗證了本文算法的有效性和正確性，正確識別率接近100%。