基于注意力機制的深度學習網絡在頭部水脂分離圖像上的組織成分分割

尤慧明 姚靈君 沈偉芬 朱大榮

影像學中組織成分的改變既可以反映人體發育狀況，也與代謝性及內分泌性疾病相關。準確分離出各組織成分是定量評估組織成分改變的基礎，對疾病的診斷、治療、病理研究、手術導航、放療計劃制定等都具有重要意義[1-3]。CT常作為組織分割的基準圖像，CT值的大小可以反映各種不同的組織成分[4]。然而，腦實質（白質、灰質）、肌肉等成分的CT值存在交叉重疊，難以區分。MR成像具有無輻射、軟組織成像空間分辨率高等特點，但其骨性組織成像精確度較低，常需額外進行CT掃描。因此，能否單純使用MR成像一次性獲得各個組織成分的信息具有重要臨床的意義。筆者基于Transformer深度學習網絡的最輕量網絡（Segformer）在頭部三點非對稱回波水脂分離成像（iterative decomposition of water and fat with echo asymmetric and least squares estimation,IDEAL）圖像上實現組織成分（腦實質、腦脊液、顱骨、空氣、軟組織）的分割，探索其在臨床應用的可行性，現將結果報道如下。

1 對象和方法

1.1 對象 收集2019年9月至2021年8月杭州市臨平區第一人民醫院志愿者40名，男15名，女25名，年齡27～58（42.6±15.7）歲。納入標準：（1）無先天性顱骨畸形；（2）無既往頭顱外傷病史；（3）無顱內腫瘤或腦積水。排除標準：（1）具有MR成像禁忌證（例如幽閉恐懼癥、體內金屬、嚴重的視覺或聽覺障礙）；（2）存在累及頭部疾病者。本研究經杭州市臨平區第一人民醫院醫學倫理委員會批準，所有志愿者均簽署知情同意書。

1.2 影像學檢查 頭部MR成像使用同一臺1.5 T掃描儀（美國GE公司，型號：Signa HDxt），16通道頭頸聯合線圈，三維小角度梯度回波水脂分離序列（3D GRE IDEAL）掃描。成像視野（field of vision,FOV）288 mm×288 mm，像素0.83×0.83 mm2，層厚2.5 mm，無間隔，重復時間6.2 ms，兩個回波時間為分別2.1 ms、4.2 ms，激勵翻轉角20°。分別重建出水相、脂相、同相位、反相位圖像，掃描層數均為70。見圖1。

圖1 原始磁共振IDEAL水脂分離圖像

CT成像使用64排CT掃描儀（德國西門子公司，型號：Definition），頭先進仰臥位，掃描范圍從顱頂到上頜骨。像素0.49×0.49 mm2，層厚1.25 mm，管電壓120 kV，管電流270～400 mA。圖像大小512×512。見圖2。

圖2 原始CT圖

1.3 方法 在進行網絡模型訓練前，先將MR和CT圖像配準至相同的圖像大小和位置，隨后利用CT和IDEAL水圖實現5種組織成分的標注，最后采用Segformer網絡進行訓練，實現IDEAL圖像上5種組織成分的分割。

1.3.1 圖像配準 將CT圖像調整至與MR相同分辨率后，采取形態學操作在CT圖像上去除CT床。然后利用Elastix軟件[6]對去床后的CT圖像和IDEAL水圖實現剛性配準，以消除不同模態圖像間的掃描位置差異。將同樣的配準參數作用于脂通道和同相通道。配準后的圖像統一裁剪至256×256，并將MR圖像的像素值利用最大、最小化歸一處理至[0，255]。同時利用形態學操作和閾值分割方法對MR圖像制作頭部區域掩膜。將CT圖像上頭部以外區域的CT值設置為-1 000 Hu，將MR圖像頭部以外區域的像素值設置為0。

1.3.2 組織成分標注 首先根據CT值與組織對應關系對空氣和骨骼進行標注，直接將其閾值分割結果作為空氣（CT＜-100 Hu）、骨骼（CT＞120 Hu）的標記區域。隨后，使用SPM12工具箱（http://www.fil.ion.ucl.ac.uk/spm/software/spm12/）在水圖上進行白質、灰質和腦脊液的標注，將白質和灰質分割結果合并，作為腦實質標注。其余未標注區域為軟組織。流程見圖3。組織成分的標注結果即為網絡訓練的金標準。

圖3 基于CT和MR圖像的組織成分標注流程

1.3.3 網絡訓練及預測 神經網絡采用Segformer框架，網絡結構見圖4。該網絡采用編解碼結構，編碼器（Encoder）中包含自注意力機制（Self-Attention）和混合前饋神經網絡（mixfeed forward network,Mix-FFN），同時結合了輕量級多層感知器（multi-layer perceptron,MLP），可以更好提取特征。解碼器（Decoder）采用MLP從不同的層聚集信息，結合全局注意和局部注意的同時避免復雜解碼。

圖4 Segformer網絡結構圖

在所有樣本中隨機選取30名作為訓練集，共包含1 784張圖像，剩余10名（包含618張圖像）作為測試集。將IDEAL的水圖、脂圖、同相圖組成三通道作為網絡輸入，先采用ImageNet 1K數據集上的預訓練權重對網絡進行初始化，使用mmsegmentation代碼庫進行訓練。在訓練過程中，采用數據擴增來增加網絡的泛化性能，具體包括0.5～2.0倍的隨機縮放、隨機水平翻轉和隨機旋轉（-30°～30°）。使用AdamW優化器對模型在數據集上進行16萬次迭代，批大小為16。初始學習速率設為0.000 06，使用因子為1.0的指數策略動態調整學習率。

操作系統采用Ubuntu 20.04 LTS，CPU為Intel Core i7-9700F，GPU為NVIDIA GeForce RTX 2070 SUPER，使用pytorch框架構建網絡。

1.4 性能評估 采用Dice相似性系數（Dice similaritycoefficient,DSC）、像素準確度（pixel accuracy,PA）、均交并比（intersection over union,IoU）等指標評價每種組織成分的分割性能，DSC、PA、IoU值越大表示該成分的分割效果越好。計算方法分別如公式1-3所示。

其中X代表分割金標，Y代表預測的分割圖像，|X∩Y|是X和Y之間的交集，|X|和|Y|分別表示X和Y的元素的個數。FP為假陽性，表示背景預測錯誤；FN為假陰性，表示目標預測錯誤；TP為真陽性，表示目標預測正確；TN為真陰性，表示背景預測正確。

根據金標準中5種組織成分的像素數，統計每名志愿者的各組織成分在頭部所有成分中所占的比例。如公式4所示，將各組織成分的占比與其評價指標做加權求和得到平均指標，Index1～Index5分別表示5種成分的評價指標，p1～p5分別表示5種組織成分的占比。

2 結果

2.1 組織成分占比 統計測試集10名志愿者的各組織成分占比，結果顯示空氣、骨骼、腦實質、腦脊液、軟組織的占比分別為0.125±0.016、0.184±0.015、0.375±0.019、0.085±0.011、0.231±0.020。

2.2 網絡分割性能評估 測試集加權平均的DSC為0.822±0.039，PA為0.931±0.015，表明網絡能有效實現組織成分分割。在5種組織中，腦實質的分割效果最好DSC為0.953±0.006，顱內空氣的最低DSC為0.720±0.071。各組織成分的分割結果及其加權平均指標見表1。

表1 Segformer對頭部5種組織成分的分割結果

Segformer MIT-B0分割結果示例見圖5（插頁），頭部IDEAL圖像的5種組織（腦實質、腦脊液、軟組織、骨骼、空氣）都能清晰分割出來，在區域連通性上也有較好的表現。

圖5 Segformer在不同層面上的組織分割結果例圖

3 討論

精確地分割各組織成分的區域對疾病診斷、放療計劃制定、解剖結構研究和病理生理學研究等都具有重要意義。MR和CT檢查對不同組織成分的顯示各有優勢，如何在單一模態上進行多種組織成分的分割仍具挑戰。本文采用基于注意力機制的Segformer網絡在MR IDEAL圖像上進行頭部組織成分分割，展現了較好的性能。其中腦實質區域分割效果最好，DSC、PA、IoU值均在0.91以上，這也進一步證實了MR軟組織對比的優勢。與CT值標記的頭骨區域相比，網絡分割頭骨的DSC為0.748±0.069，該結果與Gong等[6]結合mDixon和ZTE圖像進行頭骨分割效果相近。在各組織成分中，空氣分割的DSC值最低，這可能與其在頭部的占比最小有關，小目標區域的分割效果一般較差，這在其他研究中已經得到證實。

本研究采用臨床常規采集的IDEAL圖像作為組織成分分割的基礎圖像。該技術利用了物質的化學位移效應實現水脂分離，在一次采集中可以快速生成水相、脂相、同相位和反相位等多個對比圖像，有研究者將其用于合成CT的研究[7]。本文將IDEAL多種對比圖像結合組成多通道進行成分分割，除了對脂肪識別的天然優勢外，同時對白質、灰質、腦脊液等可以提供良好的對比。本研究結果表明，在側腦室及顱頂層面，腦脊液、腦實質、顱骨等成分分割與標注結果均具有良好的重疊度；而在靠近顱底層面，由于結構的復雜性，空氣與骨皮質交界處、篩竇等區域難以實現精細分割，同時這些區域也容易受到個體差異性的影響。

深度學習技術已廣泛應用于醫學圖像領域[3,8-10]，近年來研究者們也不斷提出了新的網絡框架。與傳統的網絡結構相比，注意力機制對提取的特征進一步加工，通過賦予不同的權重表示其重要程度，將關注主要集中于目標區域從而提高結果準確度，同時，利用注意力的方式捕獲全局的上下文信息對目標建立遠距離依賴，解決了長距離信息丟失的問題。目前基于注意力機制的神經網絡如Transformer等已經在醫學圖像處理的多個領域中取得了突出的效果。本研究采用的Segformer網絡，將基于注意力機制的Transformer網絡與MLP相結合，在進行高效分割的同時避免了復雜的解碼器，實現模型效果與效率的平衡。

本研究中在采用Segformer網絡結構進行組織成分分割中體現出了良好的性能，但由于本研究使用的數據均來自同一個中心的同一臺掃描設備，訓練模型對其他設備、掃描參數及存在病變等情況下的泛化能力還有待進一步驗證。

綜上所述，本研究驗證了通過MR單一序列IDEAL圖像進行頭部組織成分分割的可行性，通過基于注意力機制的Segformer神經網絡可有效實現腦實質、腦脊液、顱骨、空氣、軟組織等5種組織成分的分割。