基于改進FCN的藥瓶圓底檢測算法研究

王晨燁　陳樂庚

摘要：為提高藥瓶圓底的檢測精度，文中提出一種基于改進FCN的語義分割算法。該方法根據微量藥品數據集中藥瓶圓底的特征，將FCN的主干網絡由VGG-16替換為ResNet-50，并引入可變形卷積模塊，完成了對藥瓶圓底的分割。實驗結果表明，改進后算法的藥瓶圓底的分割精度有所提升，與其他主流算法相比較，也有著更高的檢測精度，泛化能力更強，更能適應各種場景。實驗數據和預測圖證實該方法可以有效提升藥瓶圓底檢測的準確性與泛化性。

關鍵詞：藥瓶圓底; FCN; 語義分割; ResNet-50;可變形卷積

中圖分類號：TP391? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）34-0023-03

1 概述

藥品是一種非常特殊的物質，種類很多，狀態和用量要求也各不相同，若使用不恰當則會危及人的生命安全[1]。一些粉末狀藥品的質量極小，在毫克量級甚至微克量級，傳統的稱重方法是使用電子秤得到重量，但這種方法不便捷，浪費人力，且成本較高。

近年來，基于深度學習的語義分割方法在圖像處理領域中取得了巨大的成功，深度學習方法利用網絡模型自動學習目標特征，具有較高的泛化能力和更強的魯棒性，可以有效提高目標檢測的準確率和效率。所以本文將使用深度學習方法進行藥瓶圓底的檢測，盡可能減小檢測誤差，為后續的微量藥品質量計算做準備。

與傳統CNN相比，Jonathan Long等人[2]提出的FCN網絡有兩大明顯的優勢：一是不需要所有的圖像具有相同的尺寸；二是可以避免重復存儲和計算卷積，省時省力。因此，本文考慮在FCN網絡的基礎上進行改進，將主干網部分換成ResNet-50[3-5]，利用其跳躍連接進行特征補償；引入DCNv2模塊[6]，使網絡可以更好地滿足藥瓶圓底分割的需要，提升檢測精度。

2 藥品圖像識別的基本原理

2.1 可變形卷積

在傳統CNN中，卷積核的感受野均為固定的形狀（正方形）。可變形卷積（Deformable Convolution Network，DCN） [7-8]是一種新型卷積，將其引入網絡，可以改變感受野的形狀，增強網絡模型適應物體幾何變化的能力。

可變形卷積DCNv1通過在每一個神經元上疊加一個任意方向的偏移量Δp，如公式（1） 所示，令感受野進行自由變形，能夠較好地適應任意形狀的目標檢測，更加精準地提取目標的特征，如圖1所示。

DCNv1的卷積過程圖如圖2所示，經過卷積后的offsetfield的尺寸與原圖尺寸大小相同，但通道數增加至2N個，這使得在任意位置進行卷積時，都能夠疊加一個offset。

可變形卷積DCNv2在DCNv1的基礎上增加了卷積數和權重系數，使網絡可以精準地辨別感興趣的區域，如公式（2） 所示。

2.2 算法

FCN網絡為編碼器-解碼器結構[9]，將FCN的原有編碼器VGG-16替換為ResNet-50，利用其跳躍連接將前層圖像的特征信息直接映射到后層，如圖3所示，有效彌補了因網絡層數加深造成特征信息損失的現象，更加精準地學習圖像中的目標特征，提升檢測精度。

如圖4所示，將微量藥品數據集和標簽集以Pascal數據集格式輸入網絡，并在Conv3_x、Conv4_x、Conv5_x三個階段中引入DCNv2模塊，增強網絡適應藥瓶圓底檢測的能力。在解碼器部分，網絡通過使用兩個3*3大小的卷積核進行解碼，并將得到的特征圖上采樣至Conv5_x輸出特征圖的尺寸后與之進行特征融合，再上采樣至源圖像大小，完成對藥瓶圓底的分割。

2.3 實驗與分析

2.3.1 實驗軟硬件配置

本文實驗在PyTorch框架上進行，實驗的硬件配置為Intel（R）Core（TM）i7-10875H CPU， NVIDIA GeForce RTX 2060 Ti GPU；軟件環境為Ubuntu操作系統，Cuda10.1，Cudnn7.6.3，Pytorch1.6.0，Python3.8。

根據實驗配置，設置batch_size=4。經過多次調試和檢測，設置learning_rate=0.005，共迭代訓練20000次。

數據采集設備為vivo iQOO Neo5。采集的微量藥品為桂林暉昂生化藥業有限責任公司生產的昂達吩奇光敏抗菌粉劑。

2.3.2 圖像預處理

本文以昂達吩奇光敏抗菌粉劑為例，使用手機采集了一個微量藥品數據集，采集條件為紅光條件下，共有1308張圖片。首先將微量藥品數據集中圖片進行灰度化處理，并將圖片裁剪至[500，500，3]尺寸；其次，利用高斯濾波疊加雙邊濾波對數據集進行去噪聲處理，保護藥瓶圓底的邊緣信息；然后，使用標注軟件Labelme將圖像中藥瓶底部標記為glass，得到微量藥品的標簽集；最后，將微量藥品數據集制作成Pascal數據集格式，按照6：2：2的比例隨機分為782張訓練集、263張驗證集和263張測試集，并將訓練集投入網絡進行訓練。

2.3.3 藥瓶圓底檢測結果分析

在同數據集、同環境、網絡參數一致的情況下，將本文算法與deeplabv3、deeplabv3plus、FCN_Unet、pspnet、FCN等經典語義分割算法進行檢測效果對比，以基于深度學習的語義分割方法的評價指標作為本文藥瓶圓底檢測的評價標準。通過訓練集數量為782的微量藥品圖片訓練20000次后，對驗證集中的263張微量藥品圖片進行藥瓶圓底檢測，得到幾種藥瓶圓底檢測算法的檢測精度，如表1所示，其中，batch_size=4。

由表1知，本文改進后的算法有效提高了藥瓶圓底檢測的平均交并比和準確率，但由于引入了DCNv2模塊，也相應地增加了一些計算量，使得檢測的實時性不具備優勢。

藥瓶圓底的檢測效果圖如圖5所示。

由圖5可知，分別在有藥品瓶、空瓶、有光線干擾的有藥品瓶的三種情況下進行藥瓶圓底的檢測，由此可以看出，本文算法的檢測效果最好，魯棒性較強，可以較好地適應各種情景，能夠較精準地檢測出完整的藥瓶圓底。實驗結果表明，本文算法能夠更精準地完成對瓶底邊線的檢測，證明所提方法有效可行。

3 結束語

本文在FCN的基礎上通過ResNet-50的跳躍連接補償特征信息，并引入DCNv2模塊，提升網絡學習藥瓶圓底特征的能力，提高了藥瓶圓底檢測的精度。在微量藥品數據集下的實驗結果表明，本文改進的算法具有更好的分割優越性，但由于引入DCNv2模塊增加了計算量，使得檢測的實時性不具備優勢。本文的藥瓶圓底檢測實驗中，另一個不足之處在于，由于缺少專業的設備，這使得微量藥品數據集在采集時，由于光照條件、設備成像等細微差異，會影響到藥瓶圓底的檢測的精準度，從而影響到后續微量藥品質量的計算。就目前的檢測結果而言，所提出的方法能夠實現像素級別的藥瓶圓底語義分割，且泛化性較好，魯棒性較強。綜上，可以看出DCNv2在計算機視覺領域中具有巨大的作用，DCNv2有望在未來替代傳統卷積方式，全面提升圖像檢測的性能。

參考文獻：

[1] 黃柳.混淆藥品劑量引發的用藥不良事件思考[J].中國醫院院長，2021，17（1）：19-21.

[2] Long J，Shelhamer E，Darrell T.Fully convolutional networks for semantic segmentation[C]// Boston，MA，USA：2015 IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2015：3431-3440.

[3] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[J].CoRR，2015，abs/1512.03385.

[4] 肖建峰.基于FCN+ResNet的地表建筑物識別[J].現代計算機，2021，27（31）：66-71.

[5] 肖晨晨，陳樂庚，王書強.融合殘差和對抗網絡的跨模態PET圖像合成方法[J].計算機工程與應用，2022，58（1）：218-223.

[6] 周昆陽，鄭澤斌，向陽，等.基于改進YOLOv4的交通信號燈倒計時數字檢測與識別[J].電腦知識與技術，2022，18（4）：7-9，21.

[7] Dai J F，Qi H Z，Xiong Y W，et al.Deformable convolutional networks[C]// Venice，Italy：2017 IEEE International Conference on Computer Vision.IEEE，2017：764-773.

[8] Zhu X Z，Hu H，Lin S，et al.Deformable ConvNets V2：more deformable，better results[C]// Long Beach，CA，USA：2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.IEEE，2019：9300-9308.

[9] 蒙雙，陳樂庚，肖晨晨.基于改進OctConv的車道線檢測算法研究[J].計算機仿真，2021，38（5）：142-145，218.

【通聯編輯：唐一東】