基于多尺度特征融合的改進臂叢神經分割方法

呂玉超，姜 茜，徐英豪，朱習軍

（青島科技大學 信息科學技術學院，山東 青島 266061）

0 引言

在術前麻醉環節，臂叢神經是首選的麻醉位置，能否得到更為完整具體的臂叢神經分割是提高局部麻醉性能的關鍵。超聲影像憑借其良好的穿透性，能夠直觀地確定測試對象的病變形態及特征；再加之成熟的技術以及較低的試驗成本，已經成為臂叢神經區域的主要成像手段。有研究表明，與盲探臂叢神經阻滯相比，超聲定位引導下的臂叢神經阻滯的不良反應發生率降低了85.73%［1］，神經阻滯的總有效率提升了13.10%［2］。因此，在臨床術前檢查時，國內外醫院大多利用超聲技術對臂叢神經進行檢查，并在此基礎上進行麻醉引導［3］。

然而，超聲影像廣泛存在對比度低、斑點噪聲多的特點；而臂叢神經的結構較小，更容易受到噪聲影響，細節特征信息更容易被掩蓋，受此影響，傳統分割方法的分割效果并不理想。目前的分割任務還主要由醫師人工完成，但人工分割工作較為困難，判斷結果的優劣程度受醫師水平及經驗的影響較大。因此，如何進行高效、準確的臂叢神經分割成為相關工作的重點。

針對臂叢神經超聲影像分割任務中圖像信噪比（Signalto-Noise Ratio，SNR）低、邊緣模糊、目標區域小、形狀不規則的問題，本文設計了一種針對神經部位分割的特征金字塔網絡（Nerve-segmentation Feature Pyramid Network，Ner-FPN）。在特征提取階段設計一種仿Xception［4］結構，通過使用不同尺度感受野進行特征提取，堆疊形成5 維特征金字塔；同時，為充分利用已獲得的多維特征，更好地融合特征表現，在分割預測階段設計一種基于雙向FPN［5］的網絡結構，對所得特征金字塔進行雙向多尺度融合預測；此外，為防止訓練過程中出現過擬合現象，減少模型的參數量，還使用了殘差結構［6］以及深度可分離卷積［7］，以達到更好的訓練效果。實驗結果表明，Ner-FPN 的準確率能夠穩定保持在70%以上，具有較好的魯棒性。

1 相關工作

醫學圖像的分割處理方法主要有兩大類：一是基于傳統思想的分割方法，包括基于圖像色彩等特征的區域分割方法［8］、基于區域邊界的閾值分割方法［9］、基于邊緣像素的邊緣分割方法［10］等。這類方法會按照不同特征維度所具有的相似特征，將圖像劃分為內部特征更為相似的區域，也因此不適于處理對比度小、信噪比低的超聲影像。二是基于深度學習的分割方法，其中主流是基于編解碼設計的SegNet（Segmentation Network）［11］以及U-Net［12］。前者具有更深的網絡層數，通常具有較好的分割效果；但對圖像細節信息分割不明顯，難以提取到像素的位置信息及相關特征。后者利用跳躍連接對圖像細節信息進行了補充，但對不同層次特征利用不充分，在小目標的分割任務中表現不盡人意。

另一方面，多尺度特征由于其在小目標檢測任務中表現優秀，成為相關研究中的重點。以SSD（Single Shot multibox Detector）網 絡［13］、TDM（Top-Down Modulation）網絡［14］以及FPN［5］為主的三種不同模型方法各有千秋，尤以FPN 類網絡結構對小目標區域的處理效果最好。近年來，在圖像分割任務中，多尺度特征的應用逐漸受到青睞。趙小虎等［15］對SSD 網絡模型進行改進，在Microsoft COCO Caption 等公開數據集上的一致性可達99.70%；但其網絡結構過深，不適用于處理臂叢神經這一類語義單一的二維超聲影像。高世偉等［16］提出了一種基于FPN 的實時語義分割算法，以每秒91 幀的速度取得了71.86%的準確率；但其模型沒有針對各類分割目標的特點進行分類處理，沒有從特征提取的角度進行改良。

臂叢神經分割的相關研究中，多尺度特征融合應用的研究相對匱乏，大多研究的重點仍然是對基本分割網絡進行改進。龍法寧等［17］為防止過擬合，對U-Net 添加了Dropout 層，并結合臂叢神經裁剪區域單一且連續的數據特點，引入自定義損失函數，取締了原像素級分割的策略，最終在BP（Brachial Plexus）數據集上的Dice 相似系數（Dice Similar Coefficient，DSC）可達65%。孔令軍等［18］使用EfficientNetB3取代U-Net 模型中的編碼層，通過在跳躍連接上使用空洞卷積達到去噪并提取位置信息的目的；實驗結果表明，它在BP數據集上的DSC 為68.14%。但上述工作都沒有解決U-Net本身對多維特征欠缺應用的根本問題。

此外，也有利用SegNet 進行臂叢神經超聲影像的多實例分割任務的研究。Ding 等［19］應用跳躍連接和自注意力機制，提 出 BPMSegNet（Brachial Plexus Multi-instance Segmentation Network）進行臂叢神經的多實例分割，通過改變不同維度特征在分割過程中的權重，在私有數據集UBPD（Ultrasound Brachial Plexus Dataset）上準確率可達62.97%。針對超聲影像斑點噪聲多、邊緣影響大的問題，楊桐等［20］結合ACE（Adaptive Contrast Enhancement）算法，對原始圖像進行增強處理，并使用改進SegNet 進行分割，在采自北京積水潭醫院超聲影像以及對應的良性惡性腫瘤圖片的數據集上能夠以超過99%的準確率識別出圖像中的四種不同組織。但上述多實例分割模型往往需要考慮實例之間的區分問題，對于高維和低維的特征應用相對固定，因此在單實例分割任務中的表現仍然不盡如人意。

綜上所述，現有方法對臂叢神經分割的研究大多停留在解決臂叢神經超聲圖像中目標區域小、形狀不規則的問題；同時，多尺度特征在目標檢測任務中的廣泛應用，也為利用多尺度特征進行臂叢神經分割提供了依據。

2 Ner-FPN

2.1 Ner-FPN模型設計

本文以仿Xception 結構為骨架，從FPN 模型的結構特點出發，設計了一種基于多尺度特征融合的臂叢神經分割模型，結構如圖1 所示。

圖1 Ner-FPN的模型結構Fig.1 Model structure of Ner-FPN

在圖1 中，臂叢神經超聲影像需要先通過特征提取（Feature Extraction）部分進行特征提取。在特征提取階段添加殘差模塊以防止梯度消失，保留每一步所含有的全局信息。每一個深度可分離（Depthwise Pointwise）塊為不同感受野大小的深度可分離卷積結構，每個模塊需循環執行不同次數以獲得該尺度下更深層次的特征，采用深度可分離卷積結構旨在增加網絡深度的同時有效降低參數量，提高計算效率。在特征提取階段通過每一步的殘差結合，可以得到獲取特征圖（Get Feature Map）部分的5 張特征圖（Feature Map）。將特征圖堆疊為FPN 部分所示的特征金字塔，并采用雙向的預測結構，先自頂向下進行融合，再自底向上傳遞預測結果，以此來獲得最終的目標分割影像。

2.2 深度可分離卷積

為了解決大尺寸卷積所帶來的計算量過大的問題，本文采用深度可分離卷積結構代替大尺寸卷積以達到同樣的效果。該結構整合Depthwise 層和Pointwise 層，先對每個通道進行獨立卷積，獲取同一通道中的全局信息；再對每個像素點進行卷積，得到同一空間位置上的通道特征。這樣的結構能夠大幅降低參數量，提升運算速度。

由于本文模型在特征提取階段需要用到不同尺寸的感受野，且對于不同特征層需要用到的卷積層數也不同。為了滿足網絡需求，縮短訓練時間，本文采取了深度可分離卷積的結構來替代普通卷積。以獲取128 通道數的兩次卷積過程為例，如圖2 所示。其中：W，B 分別表示網絡層中的權重結構以及偏置量結構。

圖2 深度可分離卷積處理過程Fig.2 Processing of depth separable convolution

在卷積過程中，先對每個通道進行獨立的3×3 卷積，得到通道數為64 的卷積結果；再對上一步卷積結果中的每個像素點進行1×1 卷積，得到最終通道數為128 的卷積層。經過上述兩步，則能夠以較少的參數量完成一次常規的3×3 卷積。若所得結果為特征提取的中間結果則傳入線性整流函數單元（Rectified Linear Unit，ReLU），如圖2（a）所示；若所得結果為特征層的最終結果，則傳入MaxPool 進行最大池化操作并等待進行殘差連接，如圖2（b）所示。按照上述計算方式，5×5、7×7 的卷積效果可以分別通過2 次、3 次的3×3 卷積實現。

2.3 多尺度特征提取模塊

一方面，由于臂叢神經的目標區域小、受噪聲影響大、信息隱藏深，導致相似圖片內臂叢神經的位置、形狀大相徑庭，正負樣本不平衡（如圖2），因此適合采用多尺度特征提取的策略。高智勇等［21］在對肺結節的電子計算機斷層掃描（Computed Tomography，CT）圖像檢測任務中也基于該思想設計了一種新的檢測模型，并通過實驗驗證了其可行性。另一方面，受FPN 結構殘差連接及多尺度融合特點的影響，在提取特征的過程中需要面對特征層次區分度過低、每層特征包含像素信息的重復度過大等問題。為避免上述問題，本文在特征提取階段每一層特征圖的提取過程中加入了不同深度的卷積，使最終得到的特征圖之間有較好的區分度。

具體地，采用3×3、5×5、7×7 三種不同的感受野，對每個感受野設置不同的卷積次數，實現了一種對稱式的特征提取結構，并以此獲得了通道數為128、256、512、1 024 及2 048 的5 張不同層次的特征圖，借此來盡可能豐富每張特征圖所蘊含的本層的圖像信息。在特征提取階段，本文所采用網絡結構的具體參數如表1 所示。

表1 多尺度特征提取模塊參數Tab.1 Parameters of multi-scale feature extraction module

此外，由于在多次特征提取階段容易出現梯度消失現象，本文在每層特征提取結束以后添加了殘差模塊。以通道數為128 的特征提取階段為例，在進行特征提取的同時需要將輸入特征圖進行1×1 卷積，改變其圖像大小，增加通道數，再利用殘差結構連接。具體的殘差連接結構如圖3 所示。

圖3 128維特征提取的殘差連接結構Fig.3 Residual connection structure of 128-dimensional feature extraction

在上述多特征特征提取模塊中，每一層的處理都在上一層的結果上進行，以此來獲得較低層特征更高級的圖像信息；每個層次的最終輸出都將作為特征金字塔的一層參與分割預測。通過這樣的方式，最大化利用每一層的特征信息，進一步實現分割時對隱藏信息的提取。

2.4 雙向FPN預測結構

在近年的研究中，FPN 在圖像分割領域已取得非常優異的表現［22-24］。FPN 通過將獲得的不同尺度的特征進行自頂向下的預測與融合，能夠較好地照顧到不同層次的特征信息，契合以小目標區域分割為核心的臂叢神經分割任務。因此，本文采用FPN 結構進行分割。一方面，由于在多尺度特征提取模塊已經獲得了層次較高的圖像信息，為了照顧到模型的整體參數量，本文不考慮采取循環特征金字塔結構；另一方面，臂叢神經的邊緣信息隱藏較深，受低層或高層特征影響不均衡，訓練用正負樣本極不平衡，因此，本文不考慮應用注意力機制。

基于上述分析，本文采取一種雙向FPN 結構［25］來進行分割工作。對于在特征提取階段中得到的5 層特征金字塔，首先對每層特征進行卷積，使之轉為256 通道數的特征層；其次，自頂向下地對相鄰兩層進行殘差連接；再對結果分別進行5、4、3、2 和1 次的反卷積，轉換為5 個128 通道數的特征層，并在其中進行圖像大小變換（Reshape）、實例歸一化（Instance Normalization，IN）等操作，使之變為128×256×256的特征圖，每步的具體處理方式如圖4 所示。

圖4 特征金字塔中單層特征的處理過程Fig.4 Processing of single-level features in feature pyramid

經過如圖4 的處理階段之后，此時的5 層特征已具備相鄰高層特征的空間信息，并通過降維操作減少了參數量，這樣的5 張特征圖即是每一層的預測結果。最后，將5 層特征圖自底向上融合，通過Sigmoid 函數得到分割結果。

3 實驗與結果分析

本文配置的實驗環境如下：CPU 為Intel Xeon Gold 6142 CPU@2.60 GHz，8 核，GPU 為NVIDIA GeForce RTX 3080，顯存10 GB，磁盤435 GB，內存29 GB，Linux 操作系統，PyTorch 1.10 深度學習框架。

3.1 數據來源及處理

數據來自于Kaggle 平臺上2016 年的Nerve Segmentation Competition 用公開數據集，即BP 數據集（https：//www.kaggle.com/competitions/ultrasound-nerve-segmentation/overview/description）。該數據集圖像大小為580 像素×420 像素，均為tif 格式文件。數據集包含兩個數據子集，分別為包含了5 635 張圖像樣本的訓練子集和包含5 509 張圖像樣本的測試子集，所有數據均由真實臂叢神經超聲影響獲得。另外對訓練子集進行了人工標注，生成了5 509 張圖像掩膜。部分圖像樣本及其掩膜如圖5 所示。由圖5 能夠看出，在超聲影像中臂叢神經的形狀并不規則；此外，當前5 635 張訓練樣本對于深度學習訓練而言樣本量較小，因此本文進行了數據增強處理。如圖6 所示，主要采用對數據隨機進行旋轉（圖6（b））、鏡像（圖6（c））和添加高斯噪聲（圖6（d））等方式對數據進行預處理，以8.5∶1.5 的比例隨機劃分訓練集與驗證集。通過上述方式來實現數據增廣，增大數據樣本量，提高模型的泛化能力。

圖5 臂叢神經超聲影像數據示例Fig.5 Examples of brachial plexus nerve ultrasound imaging data

圖6 超聲影像數據增強處理Fig.6 Enhancement processing of ultrasound image data

3.2 訓練參數及評價指標

本文輸入圖片的大小為256×256，使用Adam 優化器，初始學習率設置為0.001 3，采用ReduceLROnPlateau 策略，以0.2 為步長調整學習率，采用Dice_Loss 為損失函數，訓練50輪次。

在圖像分割領域，當前常用的評價標準有Dice 相似系數（Dice Similarity Coefficient，DSC）和平均交并比（Mean Intersection over Union，MIoU）。DSC 用于計算兩個樣本的相似度，計算公式如式（1）所示：

其中：TP（True Positive）表示被正確分割為臂叢神經的像素數目；FP（False Positive）表示被錯誤分割為臂叢神經部分的背景像素數目；FN（False Negative）表示被錯誤標記為背景的臂叢神經像素數目。

交并比（Intersection over Union，IoU）是計算真實值與預測值兩個集合的交集與并集之比，其計算公式如式（2）所示。MIoU 是計算其平均值，計算公式如式（3）所示：

其中：K為樣本數目。

除此之外，還有諸如區域重疊率（Area Overlap Measure，AOM）、區域過分割率（Area Over-segmentation Measure，AVM）、區域欠分割率（Area Under-segmentation Measure，AUM）等指標，由于本文采用的BP 數據集在Kaggle 平臺的評價標準為DSC，因此不考慮其他評價標準。Ner-FPN 模型的網絡訓練過程如圖7 所示，由圖7（a）可以看出模型在35 輪次后開始達到收斂并趨于穩定；由圖7（b）可以看出在35 輪次后，模型的DSC 及MIoU 均取得了良好且穩定的結果。

圖7 Ner-FPN模型的訓練過程曲線Fig.7 Curves of Ner-FPN model training processing

3.3 分割性能對比

為驗證Ner-FPN 模型的有效性，本文設計了Ner-FPN 模型與當前主流研究的U-Net 類網絡的對比實驗。采用原始U-Net［12］、SegNet［11］、QU-Net［17］和Efficient+U-Net［18］進行對照，實驗采用相同的環境、訓練參數以及損失函數。其中測試集采用Kaggle 官方測試集，返回結果僅DSC。實驗結果如表2所示。

表2 不同模型的預測結果對比Tab.2 Comparison of prediction results among different models

通過表2 可以看出，Ner-FPN 模型在測試集上表現良好，在驗證集上的DSC 及MIoU 明顯優于U-Net、SegNet，對比兩個改進U-Net 模型（QU-Net 和Efficient+U-Net）也具有更好的魯棒性。其中，由于Efficient+U-Net 結構具有更好的深度、廣度及特征圖分辨率，在訓練集及驗證集上的表現優于Ner-FPN 模型；但與QU-Net 相似，Efficient+U-Net 不可避免地容易過擬合，因此在測試集上的表現欠佳。另外，Ner-FPN 模型在測試集上的DSC 為0.703，與U-Net、SegNet 模型對比，分別提 高了10.7，14.5 個百分 點；與QU-Net、Efficient+U-Net 對比，也分別提高5.5 和3.4 個百分點，顯著優于其他對比模型。這足以說明如前文所述的仿Xception 多尺度特征提取模塊以及雙向FPN 的預測模塊起到了實質性作用。為更直觀地表現其結果差異，預測結果示例如圖8 所示。

圖8 不同模型預測結果示例對比Fig.8 Comparison of prediction results examples among different models

3.4 消融實驗

在影響模型的分割準確率上，針對多尺度特征提取模塊、雙向FPN 預測模塊以及特征提取中的殘差模塊三部分進行消融實驗；在影響模型的體量（模型參數量、模型大小和模型的計算量）上，針對深度可分離卷積模塊設計消融實驗。

針對多尺度特征提取模塊的實際效果，本文以普通的雙向FPN 模型、U-Net 結構的雙向FPN 模型以及殘差網絡（Residual Network，ResNet）結構的雙向FPN 模型為對照進行實驗；針對雙向FPN 結構在預測階段的所取得的效果，本文又采用以多尺度特征提取結構為特征提取模塊的U-Net、SegNet 以及原始的單向FPN 模型作為對照；針對特征提取中殘差結構的有效性，本文分別以每個特征提取子模塊在循環執行中的首次結果、中間結果及最終結果作為特征圖的FPN構建方式，進行對照實驗。其中：首次結果取每個特征提取模塊在循環執行中的第一次特征圖；中間結果取循環執行過程中各特征圖的算術平均；最終結果取循環執行中的最后一次特征圖。

以上實驗采用相同的實驗環境、訓練參數以及損失函數，針對影響模型準確率的三個模塊消融實驗結果如表3所示。

由表3 可知，首先，同樣具備雙向FPN 預測模型的三種網絡，多尺度特征提取模塊能夠有效提取并利用不同層次的特征。即使是U-Net 這一對多尺度特征稍加利用的結構，對比普通的雙向FPN 也能夠較好地提升準確率；但礙于其對低層特征的應用有限，提升較少。

表3 影響模型準確率的模塊的消融實驗結果對比Tab.3 Comparison of ablation experimental results of modules affecting model accuracy

其次，對比同樣搭配多尺度特征的三類模型，雙向FPN結構在預測上的效果提升也較為明顯，盡管各個模型在驗證集上表現相仿，但對不同層次特征內容利用越充分的預測結構在測試集上的表現越好。

最后，在利用不同層次特征圖的Ner-FPN 模型中，選取同尺度下越深層的特征圖構建FPN，整體分割效果越好；但選取最終結果的提升較中間結果提升不明顯，考慮其特征圖層次過深，低層信息利用不完全，相比之下，通過殘差連接的Ner-FPN 對各信息層的利用更為充分，提升明顯。綜上所述，上述三種結構對于Ner-FPN 模型的建立都具有積極影響。

另一方面，為驗證深度可分離結構對參數量以及模型計算量的影響，與原始感受野大小的模型結構進行了對照實驗。在相同的實驗環境、訓練參數以及損失函數下，針對深度可分離卷積模塊的消融實驗結果如表4 所示。通過表4 可以明顯看出，深度可分離卷積的結構能夠有效減少模型參數量，同時該結構也在一定程度上加深了網絡層次。

表4 影響模型參數量及計算量的模塊的消融實驗結果對比Tab.4 Comparison of ablation experimental results of modules affecting parameters and computing cost

4 結語

本文針對臂叢神經超聲影像的語義分割任務進行了深入分析，提出了一種基于多尺度特征融合的改進臂叢神經分割方法。該模型能夠有效地適應超聲影像信噪比小、邊緣模糊的特點，針對超聲影響中，臂叢神經目標區域小、目標不規則的特點，得到較好的分割結果。實驗結果表明，該模型的分割準確率明顯優于其他對比模型，所設計的仿Xception 結構多尺度特征提取模塊及雙向FPN 模塊能夠有效應對臂叢神經分割任務，對同類問題可提供一定參考。由于本文模型僅在一種數據集上進行測試，因此缺乏一定的泛用性；在后續研究中，會進一步考慮引入更加豐富的數據，并在其他任務上嘗試進行遷移，提升模型的實際應用價值。