改進Deeplab v3+網絡的手術器械分割方法

楊 波，陶青川，董沛君

四川大學 電子信息學院，成都 610065

手術器械包裝檢查是手術器械管理的關鍵[1]，包裝目的是保障手術器械與用品經過滅菌程序后，在有效期內保持無菌性，因此包裝前應注重器械的檢查。手術器械作為外科醫生為患者進行手術治療的重要工具，在手術過程中不僅要求器械性能良好，器械準確性和完整性也非常重要。手術器械的管理在醫療過程中具有重要地位，但是一直以來，手術器械都用人工方法進行分類管理，勞動強度大，容易出現漏檢和錯誤分類。

越來越多研究者關注手術器械檢測。左霖等[2]提出射頻識別技術應用于醫療器械行業，但射頻識別技術對設備要求高，成本高，實施困難且能檢測的器械種類有限。隨著計算機機器視覺發展，梅楊楊等[3]利用雙目圖像傳感器檢測微小零件，用一種改進后的Harris算法用于特征點精確提取，利用歸一化互相關函數對提取的特征點匹配，并用RANSAC 算法對誤匹配點對進行剔除最終實現亞像素級檢測。張夢詩等[4]基于不同手術器械的不同邊長比對各個手術器械注冊識別，其次根據識別出的結果利用前后幀的運動矢量實現對各個手術器械的實時分割檢測。但傳統機器視覺算法，對光照陰影敏感，易受噪聲影響且提取特征困難，進而影響后續分割識別。

隨著近年深度學習發展，圖像目標識別和分類應用在實際應用中也越來越廣泛。有許多學者將神經網絡算法應用到醫學領域[5-7]，而手術器械領域卻沒有應用到深度學習，主要原因可能是采集樣本制作數據集需要耗費大量的人力和成本。而在實現手術器械自動化管理過程中，由于包裝盒和手術器械背景顏色極其相似，現實環境中還存在光照不均且可能有陰影遮擋等情況存在，這些因素導致手術器械檢測難以實現。深度學習方法，可以直接將圖像作為網絡的輸入，自學習提取重要特征，對光照與旋轉有一定的抗性，并且對圖片的變形，如平移、比例縮放、傾斜等，具有高度不變形，算法適應性強。

綜上，本文提出了一種基于注意力機制和密集深度分離卷積手術器械分割算法，目的在于促進手術器械裝包檢查智能化發展，進一步服務于醫療領域。

1 手術器械分割算法

1.1 算法流程

文中手術器械分割方法主要基于改進的Deeplab v3+網絡，首先采集圖像并進行樣本擴充，利用labelme制作樣本標簽建立手術器械數據集，然后將整個數據集作為輸入到改進后網絡進行訓練，當損失值收斂到一定程度時，停止訓練。最后在線分割過程時，用部署好的攝像頭采集RGB 圖像，利用訓練好的網絡模型得到手術器械預測分割結果。具體流程圖如圖1所示。

圖1 算法流程圖

1.2 Deeplab v3+網絡概述

Deeplab v3+是谷歌2018年開發的一種最新用于語義分割典型網絡框架[8]。Deeplab v3+模型核心思想是利用端到端的訓練方式，網絡以Xception[9]和ASPP[10]模塊作為編碼端提取特征，其中Xception 為含輸入流，中間流和輸出流的DCNN 網絡，ASPP 則為含多個空洞卷積擴張率的多尺度金字塔特征提取模塊。解碼端以一個較為簡易的合并上采樣模塊預測輸出分割結果，融合Xception輸入流模塊1輸出低層特征和編碼端輸出高層特征再進行雙線性插值上采樣，能用較少的訓練集得到較好的訓練分割效果。模型采用了深度分離卷積方式提高編碼-解碼網絡的運行速率和健壯性，利用空洞卷積[11]代替傳統卷積方式，擴大感受野獲取更多的上下文信息來解決降采樣導致輸出特征分辨率較小的問題，以遠程連接方式將低層特征信息和高層特征信息融合。低層特征信息含有更多的邊緣信息，有利于提高訓練精度，高層特征信息提取更復雜特征，解碼端通過雙線性插值上采樣的方式恢復目標細節信息和空間維度。但該網絡由于編碼模塊在訓練過程中逐漸縮減輸入數據的空間維度導致有用信息丟失，在解碼時不能很好實現細節恢復。

1.3 注意力機制模型

一般認為特征圖譜的每個通道上是同等重要的，并沒有區分各個通道的重要程度性，SENet就是通過自學習方式來學習每個特征通道的重要程度，然后根據這個重要性來增加有用特征和抑制用處不大的特征權重，聚焦于有用特征通道重要性權重的學習，加強有用特征的傳播能力來提高網絡模型泛化能力。

CBAM（Convolutional Block Attention Module）是卷積模塊的注意力機制模塊。在SENet 的通道基礎上提出再結合空間維度信息，既考慮通道特征相關性又考慮空間像素特征相關性[12]。CBAM具體結構圖如圖2所示。CBAM模塊分為兩個過程，通道注意力機制映射過程和空間注意力機制映射過程[13]。

（1）通道注意力機制模塊主要關注有用特征，采用并行的全局最大池化和全局平均池化兩種池化方式對輸入特征圖進行空間維度壓縮分別得到背景描述Fcmax和Fcavg，經多層感知機MLP 組成的共享網絡計算相加進行sigmoid函數最終獲得通道注意力機制映射特征圖Mc∈RC×1×1，具體計算過程如下式所示：

式中，F表示輸入特征圖，σ表示sigmoid 操作，r表示減少率，W0∈RC/r×C，W1∈RC×r/C。

圖2 CBAM模塊結構

圖3 嵌入CBAM的分離卷積模塊

（2）空間注意力機制模塊主要關注像素位置信息。將得到的通道特征圖作為本模塊的輸入特征圖，做基于通道的全局最大池化和全局平均池化得到特征描述Fmsax和Fasvg，并將兩個特征圖合并，經一個卷積操作降維到1通道，最后經sigmoid函數最終獲得空間注意力機制映射特征圖Mc∈RH×W，具體計算過程如下式所示：

式中，f7×7表示卷積核為7×7，σ 表示sigmoid函數。

1.4 改進的Deeplab v3+網絡結構

在Deeplab v3+原網絡上訓練手術器械數據集，雖然能分割出手術器械和背景，但效果一般。在可視化圖中發現分割手術器械邊緣存在不平滑，細節不夠明顯的問題。究其原因，在編碼模塊時卷積下采樣中導致圖像有用信息丟失，包括了一些邊緣細節，點、線、面及簡單的幾何圖形信息。而高層卷積提取的特征圖越小，得到的特征越抽象。在上采樣過程中不能彌補信息的丟失。為了提高網絡的分割性能，改善由于逐層卷積下采樣導致的信息丟失導致解碼模塊上采樣后得到邊緣細節細節不佳的問題，由此本文在原Deeplab v3+網絡框架上做了以下改進：

1.4.1 嵌入注意力機制模塊

在編碼模塊中，將SENet 和CBAM 模塊嵌入到Deeplab v3+的特征提取主干網絡Xception 輸入流，中間流和輸出流，在每個分離卷積模塊間嵌入注意力機制模塊。以嵌入CBAM 模塊到Xception 中間流的一個分離卷積模塊為例，如圖3 所示，原分離卷積模塊只是采用ResNet 結構連接方式，黑色虛線部分為增加的CBAM模塊。在通道注意力機制中，以深度分離卷積特征圖3×3×728為輸入特征圖，首先經兩個全局池化得到池化特征圖1×1×728，緊接著為兩個全連接層，這里r減少率設置為14，設置兩個全連接層是為了增加模型的非線性，得到更加豐富抽象的特征，最后將全連接層輸出層相加經過sigmoid 函數得到通道注意力機制特征圖，再與原分離卷積特征圖相乘得到通道重標定特征圖3×3×728。在空間注意力機制中，利用重標定特征圖作為空間注意力機制的輸入，經全局通道池化將通道壓縮成一維，再將兩個池化特征圖合并，通道數變為2，最后經一個7×7大小的卷積核和sigmoid函數得到空間注意力機制特征圖，再與重標定圖相乘得到空間重標定的特征圖作為模塊輸出。

1.4.2 密集連接方式

原網絡特征提取網絡中間流數據部分占據網絡約一半參數量，每個分離卷積模塊由基于殘差連接的3個分離卷積層組成，共8 個分離卷積模塊，24 個分離卷積層，為了充分利用中間層特征和加快訓練時的收斂速度和減少冗余運算，本文提出密集深度分離卷積網絡。

設Xl-1為上層的特征圖輸出，hl為對分離卷積特征圖做非線性變換，對于傳統直連方式，第l 層輸出為：

如果采用原網絡殘差方式連接，則表示為：

本文提出的密集連接網絡與殘差方式相比，增加旁路和復用特征，將前面所有層輸出特征圖做通道合并，提高網絡訓練精度，有利于減少冗余計算，加快收斂時間。輸出表示為：

改進后的中間流模塊如圖4所示。

圖4 中間流改進前后分離卷積模塊

1.4.3 多尺度空間融合

在解碼模塊中，原Deeplab v3+僅用輸入流模塊1輸出分辨率為原圖1/4大小的低層特征圖和編碼模塊輸出的高層特征圖合并，再上采樣×4 為原圖分辨率，這樣上采樣后的結果很粗糙。僅單層次提取目標特征易導致小目標丟失或大目標特征提取冗余，分類算法效果差，因此要引入多尺度特征融合網絡結構，引入低層特征，使用融合不同躍層的特征進行結果分類。低層特征含豐富的邊緣特征信息，有利于提升分割精度，而高層卷積提取的特征圖越小，得到的特征越抽象，單一尺度特征在上采樣過程中不能彌補重要特征信息的丟失。改進網絡增在原基礎上采用FCNs網絡skip-net結構，增加輸入流模塊2的輸出和模塊3輸出兩個不同尺度低層特征輸出，如圖5黑色虛線所示，分別×2和×4上采樣再和模塊1輸出合并，最后與編碼端輸出特征圖合并再進行雙線性插值×4上采樣。將不同尺度特征提取層的結果進行上采樣，保留了更多重要特征信息，減少網絡逐層卷積丟失信息，提高分割精確度。

2 實驗與分析

2.1 建立數據集

本文實驗由于沒有公開的手術器械圖像數據集，因此利用固定支架用相機定點角度從上往下拍攝手術包裝盒里手術器械，隨后人工制作語義分割標簽得到數據集。為了得到更強泛化能力的模型和分割精度，防止因數據樣本過少導致的欠擬合問題，本文采用旋轉、翻轉等操作及提高或降低對比度和亮度來模擬不同光照場景等方法進行擴充數據集，總共2 140張圖像，從中隨機抽取1 720張作為訓練集，420張圖像為驗證集。

2.2 語義分割實驗評價指標

本文研究針對手術器械數據集進行分割性能評估，實驗選取均交并比（MIoU）、像素精度（PA）、召回率（Recall）及F值等指標評價網絡分割性能，其中MIoU為語義分割實驗中最常用的度量指標[14-16]。其取值為先計算每類上真實值和預測值兩個集合交集與并集的比值，再求所有類別交并比的平均值，即均交并比。

式中，共有K+1 個類（本文K 為1，n0為背景，n1為手術器械），pii為預測類i 正確的像素數量，pij為被預測為i 類的像素總量，pji分別表示假正（預測為1，真實為0）和假負（預測為0，真實為1）。

PA為每類正確分類的像素占標記為所屬分類像素總量的比例，即像素精度，具體見下式：

召回率反映真實標簽為手術器械的樣本被正確分割的比例，衡量了分割手術器械區域的完整性：

式（10）中，TP 表示真實標簽為手術器械且被分割為手術器械的像素個數，FP 表示真實標簽為背景但被分割為手術器械的像素個數，FN 表示真實標簽為手術器械但被分割為背景的像素個數。

理想中，精度和召回率越高越好，但由于精度和召回率相互制約，一般情況下，往往精度和召回率呈負相關，考慮召回率和精度的平衡指標，兼顧分割的精準程度和完整性，引入F 值，F 值越高分割效果越好。

2.3 實驗過程及結果分析

文中軟件實驗環境為目前深度學習的主流配置，實驗過程中使用TensorFlow1.11.0、cuda9.0、python3.6、Win10；硬件實驗環境采用GPU 顯卡為NVIDIA GTX 1080TI，內存8 GB，i5-6500處理器。

2.3.1 實驗參數設置

本文實驗采用動量因子設為0.9的帶動量梯度下降方法訓練網絡，為了保證模型的非線性，更好地挖掘相關特征擬合訓練數據，卷積層采用ReLU 作為激活函數，由于硬件內存限制，batchsize 設置為4，為了保證網絡學習時的效率，學習速率初始值設為0.01，全局訓練步長設置為20萬步。

2.3.2 網絡訓練結果

本文實驗網絡訓練結果如圖6，Deeplab v3+、嵌入SENet 模塊和CBAM 模塊的損失值隨迭代次數變化過程，紅色為Deeplab v3+，藍色為SENet_Deeplab v3+，黑色為CBAM_Deeplab v3+，三者損失值隨步長增加逐漸趨于穩定，而CBAM_Deeplab v3+收斂速度最快，這是由于CBAM 模塊有效結合空間和通道維度，重標定中間特征的內容和位置和中間流密集連接方式加強特征傳播，使得網絡冗余計算量減少，收斂更快。

圖6 網絡訓練結果曲線

2.3.3 分割性能對比

對比實驗中，利用平臺固定好的工業相機拍攝新的手術器械圖片，且每張圖片都包含各類手術器械及手術包裝盒背景。本文實驗中對比了編碼端嵌入SENet 和CBAM 模塊對手術器械分割的影響，由表1 可以看出，添加了注意力機制模塊的SENet_Deeplab v3+和CBAM_Deeplab v3+的MIoU、F 值在原網絡基礎上有明顯提升。在Deeplab v3+上嵌入輕量級注意力機制CBAM模塊，相較原網絡以較小參數量代價顯著提升了模型分割準確率，提高了網絡性能。

表1 不同注意力機制模塊性能比較

為了驗證中間流改進方式有效性，本文在原網絡上比較了不同連接方式的分割性能，如表2所示。

表2 中間流不同連接方式性能比較

從表2中可以看出，采用殘差或密集的方式都能提高像素分類的準確度和分割性能，本文提出的殘差+密集的連接方式在性能表現方面最優。

為了證明分割有效性，選取主流語義分割網絡PSPNet、Segnet、Unet、Deeplab v3+和本文算法做實驗對比。利用相同數據集訓練網絡，以及訓練好的不同網絡進行對比分割實驗，部分預測結果圖如圖7所示。依據表3，從本文提出的4 個指標來看，Unet、Segnet 和PSPNet 分割性能差距不大，PSP-Net 在性能指標上略有優勢，Deeplab v3+網絡與Unet、SegNet 和PSP-Net 相比分割性能有明顯提高，而本文算法在MIoU、PA、Recall 和F 值方面表現更為突出，分別為0.854，0.874，0.872 和0.873。實驗數據證明，本文網絡相對其他網絡在手術器械分割性能上更具有優勢。

圖7 不同分割網絡預測對比圖

表3 不同分割網絡性能比較

3 結語

本文提出了一種基于注意力機制和密集深度分離卷積的手術器械分割算法。網絡模型在編碼端嵌入注意力機制模塊和密集分離卷積特征提取網絡逐漸縮減輸入數據的空間維度提取特征，解碼端增加不同尺度低層特征并融合高層特征信息逐步恢復目標細節信息和相應的空間維度，最終得到手術器械分割預測圖。實驗結果證明，相對于其他算法，本文算法在手術器械分割任務上有更高的分割準確精度，能實現對手術器械的準確分割。本文算法雖提升了分割精度，但密集連接方式和嵌入注意力機制模塊增加了參數，降低了分割實時性。今后，為提高模型實時性，將進一步精簡分割模型，為手術器械包裝管理及自動化識別提供新的測量工具。