基于改進YOLOv5的藥用膠囊表面缺陷檢測方法

武澤坤，葉曉嫻，陳夢

基于改進YOLOv5的藥用膠囊表面缺陷檢測方法

武澤坤，葉曉嫻，陳夢

（上海工程技術大學 藝術設計學院，上海 201620）

在質檢過程中精確快速地檢測到藥用空心膠囊的表面缺陷。基于YOLOv5算法，針對模型網絡參數量大和對長距離依賴關系的學習能力較弱的問題，提出在主干網絡部分引入GhostNet模塊和坐標注意力機制，使網絡有效捕捉數據位置信息和通道信息的關系。實驗結果表明，改進的網絡結構能夠在參數量下降為原來的57%的前提下，對藥用膠囊表面的破損、印刷錯誤、孔洞、劃痕、凹陷等5類缺陷的平均檢測精度達到96.9%，相較于YOLOv5s提高了2.4個百分點，檢測速度提升了12幀/s。文中方法能夠有效對藥用膠囊表面缺陷進行分類和定位，提高缺陷檢測的準確率。

YOLOv5；膠囊；缺陷檢測；注意力機制；GhostNet

在我國社會老齡化形勢加劇的今天，每年藥品的生產量不斷上升。這對藥品質量檢測精度和速度提出更高的要求。藥用膠囊作為被廣泛使用的藥物之一，隨著生產規模的不斷擴大，其生產過程中存在的表面缺陷問題時有發生，缺陷檢測成為生產環節中的一大難點。

藥用膠囊常見的表面缺陷有尺寸不正確、孔洞、凹陷、印刷缺失。目前，對藥物生產的缺陷檢測工作主要使用人工方式進行，但人工檢測存在效率低、誤檢率高和漏檢率高等問題，難以滿足日益擴大的藥物生產規模需求。

為了在保障藥品生產質量的同時降低人工成本，制藥企業亟待完成由人工檢測向自動化檢測的轉型。在早期針對藥用膠囊的表面缺陷檢測的探索中，許多學者使用傳統機器學習的方法對其進行檢測和分類。Kekre等[1]使用多方法對5種類型的膠囊缺陷進行分類檢測，據觀察，灰度密度計算和灰度共生矩陣效果較好。賴大虎等[2]針對膠囊常見的凹陷缺陷，提取其偏心率和圓形度為特征向量，提出一種基于極端學習機器的膠囊缺陷檢測方法，分類正確率接近100%。Qi等[3]針對膠囊缺陷種類多的問題，對膠囊質地、形狀、膠囊缺陷區域以及膠囊缺陷特征進行邊緣提取，使用多層支持向量機進行分類，得出分層支持向量機的效果優于反向傳播（Back Propagation，BP）神經網絡的結論，傳統機器學習方法對膠囊表面缺陷進行分類檢測雖然能夠取得較好的效果，但是其圖像處理過程煩瑣，速度較慢，難以適用于生產檢測中。

在現階段目標檢測技術的火熱發展下，目標分類與識別已經在軍事偵察、醫療健康、安防等領域廣泛應用。近年來，深度學習機器視覺的方法在藥物表面缺陷檢測中得到應用。Zhou等[4]針對膠囊表面出現的凹陷、孔洞、污點等多種缺陷提出一種基于卷積神經網絡（Convolutional Neural Networks，CNN）的膠囊缺陷檢測模型，可完成對不同缺陷類型的分類任務，但難以對缺陷位置進行定位。Liu等[5]使用區域卷積神經網絡（Regions with CNN features，R-CNN），完成對膠囊表面劃痕和污點這2類缺陷的分類和定位任務。

使用深度學習方法進行缺陷檢測，相較于傳統機器學習，其訓練樣本量大、預處理環節較少以及處理速度更快，但同時，復雜的網絡結構使其參數量和計算量較大，不利于在實際應用中的模型部署。文中提出一種基于改進YOLOv5的藥用膠囊表面缺陷檢測方法，該方法對卷積操作進行改變，引入GhostNet模塊和注意力機制，針對5種常見的藥用膠囊表面缺陷類型進行模型訓練，相較于原YOLOv5s模型，實現了在參數量大幅下降的前提下，對缺陷的精確分類和準確定位。

1 基礎理論

1.1 YOLOv5算法

YOLO（You Only Look Once）系列模型是單階段目標檢測中的常用模型[6]。YOLOv5模型是由Ultralytics LLC團隊在2020年6月推出，相較于YOLOv4，YOLOv5在網絡結構上做出調整，擁有比YOLOv4更高的檢測精度。截至本文撰寫時，YOLOv5–v6.0版本推出YOLOv5n權重類型，該權重文件大小僅有3.84 MB，更加方便地將其部署至移動端進行工業缺陷檢測。YOLOv5的網絡結構見圖1。

YOLOv5網絡結構分為輸入端、主干網絡、特征融合網絡、輸出端。

輸入端由Mosaic數據增強、自適應Anchor計算、自適應圖片縮放組成。Mosaic數據增強在YOLOv3[7]、YOLOv4[8]中也有使用，將數據集中的4張圖像進行隨機縮放、隨機分布后進行拼接。該處理方式增加多個小目標后可增強網絡的魯棒性并加減少計算資源的消耗。同等尺寸的圖像輸入，Mosiac增強方式在訓練時直接計算4張圖片的數據。自適應Anchor計算是指針對數據集，設置固定的錨框大小。YOLOv5中初始錨框的尺寸是根據COCO數據集均值聚類得到的，使用不同數據集時自動計算該數據集的最佳錨框尺寸，有效提高檢測精度。自適應圖片縮放在模型推理時使用，避免信息冗余，加快推理速度。

圖1 YOLOv5網絡結構

主干網絡由focus模塊、CSP模塊組成，對輸入圖像數據進行特征提取。focus模塊對輸入圖像數據進行切片操作，將輸入數據的高和寬縮減一半，通道數增加為原始通道數的4倍，將空間信息轉變為通道信息，減少浮點運算量。YOLOv5提供4種不同大小的網絡結構按照從小到大排序依次為YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。其中YOLOv5s網絡體量最小，推理速度快，但檢測精度不高，適用于運算能力較低的設備，比如樹莓派設備。在服務器設備上一般選用YOLOv5l網絡，其檢測精度較高、推理速度適中。CSP模塊將基礎層的特征映射分為兩部分，通過跨階段層次結構將特征映射合并，在減少計算量的前提下保證準確率。

特征融合網絡采組成部分為FPN（Feature Pyramid Networks）和PAN（Path Aggregation Network）模塊，加強網絡對不同尺度對象特征融合的能力。FPN模塊自上向下傳遞強語義特征，PAN模塊自底向上傳遞強定位特征，兩者集合加強網絡對小目標對象的檢測能力。

YOLOv5的輸出端相較于YOLOv4的做出改變，采用CIOU函數作為邊界框回歸的損失函數，CIOU函數將重疊面積、中心點距離、寬高比綜合考慮，使得檢測框更加準確。

1.2 注意力機制

20世紀90年代在視覺圖像領域提出注意力機制，這是一種模仿人類注意力所實現的信息處理資源的高效分配方式[9]。

當人進入某一場景時，視覺會優先停留在一些特殊的點，剩余的場景信息會被暫時忽略。比如人在圖像中在尋找具有某一特征的事物時，會更多的將視線停留在符合這一特征的圖像區域，這即是注意力的有效分配。注意力作為人類大腦中一項必不可少的認知功能，保證人類通過五感獲取海量信息的同時，篩選出部分有用的信息進行處理。在深度學習網絡模型中，注意力機制對重要信息添加高權重，對次要信息添加低權重，增強網絡對關鍵信息的特征提取能力。

注意力機制的優點如下。

1）結構簡單，適用于多種任務，如機器翻譯、目標檢測、對話系統、數據監測等。

2）通過建立循環來構建輸入與輸出間的依賴關系和并行化的方式提高運行速度。

3）增強了網絡對長距離依賴關系的學習能力，避免為增強模型的表達能力而增加網絡深度所造成的梯度爆炸現象。

2 膠囊缺陷檢測模型

為簡化模型的參數量和計算量，強化其對于空間信息特征的提取能力。文中重點對YOLOv5的特征提取網絡進行重新設計，將原網絡中的所有Conv模塊和BottleneckCSP模塊替換為GhostConv模塊和GhostBottleneck模塊，并在主干部分的GhostConv模塊后嵌入坐標注意力模塊以提升網絡的檢測精度。改進后的網絡結構見圖2。

2.1 坐標注意力

目標檢測網絡中常用的卷積運算對全局關系的捕獲能力較弱，當圖像中出現連續缺陷的痕跡時，缺陷長度越大，其特征就越難表征，為解決此問題，將注意力機制引入檢測模型中。注意力機制通過對人類視覺中的選擇性特點進行模仿，從輸入中篩選出當前任務所需的關鍵信息，通過對關鍵信息進行加權，增強模型對目標的捕捉能力。注意力機制可有效提高模型在目標檢測任務中的性能。

文中將注意力機制引入到YOLOv5網絡中[10]，增強模型網絡捕捉位置信息和通道信息關系的能力，提高缺陷檢測的精確度。在選擇注意力模塊時必須考慮將其加入后對網絡參數量和運算復雜度的影響，對文中的研究對象來說，結構復雜的注意力機制，如自注意力（Self-Atttention，SA）[11]，在大幅加深網絡結構的基礎上，降低模型的推理速度，不適合在工業缺陷檢測模型中使用。輕量型的注意力模塊在略微增加參數量和運算復雜度的前提下提高模型的檢測精度，適合在模型中嵌入使用。Hu等[12]提出通道注意力（Sequeeze-and-Excitation，SE）模塊，針對通道關系進行建模，使用全局池化，避免普通卷積在通道關系特征提取上的信息丟失，增強模型對輸入數據通道信息的敏感度，使模型在分類任務中有更好的表現，但是在全局池化編碼通道信息的同時，空間信息被壓縮為一維張量，這將導致空間信息的丟失。CBAM（Convolution Block Attention Module）[13]在SE注意力的基礎上增加空間特征的獲取，該注意力的處理方式是對經過通道注意力模塊加權后的特征圖的所有通道進行最大池化和平均池化，匯聚空間信息，再通過1×1卷積和Sigmod激活函數得到空間注意力特征，但在進行卷積操作時，也弱化了網絡對長距離依賴關系的的學習能力。

大部分輕量級注意力模塊在構筑時，僅對通道關系進行建模來重新權衡其重要性，忽略了位置信息。坐標注意力[14]模塊由坐標信息嵌入和坐標注意力生成等2個部分組成，坐標注意力結構見圖3。

同樣的，第通道在寬度上的輸出為：

以上2種變換沿著水平方向和垂直方向聚合特征，得到一對方向感知的特征圖。這種轉換方式與SE模塊通過全局池化獲取單一特征向量不同。具體而言，坐標注意力模塊更容易捕捉到沿著一個方向的長期依賴關系，并保存另一方向上的位置信息，這正是缺陷檢測任務所需的。

為有效利用坐標注意力嵌入中的式（1）和（2）得到的全局感受野與其位置信息的表征，設計坐標注意力生成的過程。在完成信息嵌入后，該過程將得到的2個方向上的輸出進行拼接，將拼接后的張量送入1×1的卷積函數1中進行計算：

2.2 GhostNet

在缺陷檢測任務中，部分特征圖包含較多的背景信息，這使得常規卷積操作中產生大量重復的特征圖。冗余的中間特征映射對缺陷檢測的精度提升有限，同時增大對計算資源的消耗。

冗余的特征圖一般由常規卷積產生，針對缺陷數據集的特點，使用Ghostnet模塊[15]，減少模型參數量和計算復雜度，加快檢測速度。Ghostnet模塊結構如圖4所示，Ghostnet卷積過程為以下3步。

1）常規卷積。首先使用普通卷積得到本征特征圖。卷積操作和運算量表示為：

由于Ghost模塊中存在一個恒等映射過程，則線性運算的數量和計算量分別為：

3）特征圖拼接。將本征特征圖和本征特征圖線性變換得到的特征圖拼接。

圖4 GhostNet模塊原理

Fig.4 Principle of GhostNet module

使用Ghostnet模塊作為Backbone網絡部分的卷積層，簡化模型網絡的結構，減少模型的參數量和計算量，利于模型部署。

3 實驗結果與分析

3.1 實驗環境配置

實驗環境為Ubuntu16.04 LTS64位操作系統、Intel?Core?i9?7700HQCPU@3.7 GHz×10核CPU，GPU為QuadroRTX500016GB，所使用深度學習框架為PyTorch 1.7，cuda 10.2加速。

模型訓練使用Adam優化器，輸出圖片尺寸設置為640像素×640像素，Batchsize設置為16，總訓練批次（epoch）為300，初始學習率為0.001。數據集中共2 276張圖像，包括5種缺陷和合格產品。將80%的數據集作為訓練集，10%的數據集作為驗證集，余下10%作為測試集。

3.2 數據預處理

模型訓練使用的數據來自于MVTEC AD數據集[16]，該數據集用于對常見的生活用品進行缺陷檢測，它包含超過5 000張高分辨率圖像，分為15個不同的對象和紋理類別，文中選擇其中的膠囊缺陷數據集。圖片的分辨率為1 000像素×1 000像素，表面缺陷分別為印刷錯誤、孔洞、劃痕、凹陷、裂紋。

原始數據集中的缺陷產品數據量為350張，合格產品數據量為219張，各類缺陷數據在訓練過程中容易被正樣本稀釋，影響模型對合格和缺陷2類數據的檢測精度，因此，在訓練前使用Opencv庫將缺陷數據進行數據增強，分別對缺陷數據進行旋轉、翻轉、對比度增強。經過數據增強后的圖像見圖5。模型訓練前對原始數據進行數據增強，是增強模型泛化能力，提高魯棒性的有效方法。

3.3 評價指標

實驗選用平均精度（Average Precision，AP）和平均精度均值（Mean Average Precison，mAP）作為評價指標，具體的公式為：

式中：P為被檢測為正類的正類；P為被檢測為正類的負類；N為被檢測為負類的正類。平均精度由P–R曲線下的面積表示，平均精度均值由平均精度和總類別數的比值得到。

圖5 數據增強

3.4 實驗結果對比

文中在YOLOv5s網絡中加入坐標注意力機制和Ghost模塊對其進行改進，經過300輪訓練，各模型的平均精度均值見圖9，可以看到文中模型的收斂速度要快于其他3個模型，通過消融實驗對2種模塊在藥用膠囊表面缺陷數據集上進行驗證[15]，分別對比兩模塊對模型網絡的影響。

表1 2種方法的消融實驗分析

Tab.1 Analysis of ablation experiments of two methods

如表1所示，嵌入坐標注意力模塊和替換普通卷積為Ghost卷積后，參數量大幅下降的同時，檢測精度提升。在嵌入坐標注意力模塊時，平均精度均值提高了0.6%；替換常規卷積為Ghost卷積時，參數量下降了52.8%，平均精度均值僅下降了0.1%。通過嵌入坐標注意力模塊，增強了YOLOv5模型網絡對位置特征的獲取能力，通過替換普通卷積為Ghost卷積，減少了重復的特征信息，模型參數量減少為原先的57%。實驗數據表明，同時使用2種模塊，平均精度均值提升了1.6%，參數量下降了42.8%，達到輕量化模型和提升檢測精度的目的。

為更好地驗證改進后YOLOv5網絡性能，在實驗配置不變的條件下，分別在YOLOv4、Faster RCNN、SSD模型對相同數據集進行訓練與推理，表2為各模型在相同數據集下的表現。

圖6 檢測效果

表2 各模型在數據集上的結果

Tab.2 Results of each model on dataset

由表2可知，輕量化模型后的平均精度均值達到96.9%，對比YOLOv4、Faster RCNN和SSD提升了2.0%、10.1%、14.4%，且改進后模型在推理速度上高達80幀/s，也優于其他3個模型，較其他3個模型分別提升了27、33、41幀/s，實驗證明輕量化后的YOLOv5網絡優于YOLOv4、Faster RCNN和SSD等3種網絡。

4 結語

文中針對藥用膠囊表面缺陷在生產過程的自動化檢測，提出了一種YOLOv5–GhostNet–CA輕量級網絡模型。其中，通過融合注意力機制，結合GhostNet模塊，使特征圖中的空間位置特征更容易被獲取。在數據集上的實驗結果證明，文中的模型在參數量大幅下降的基礎上，提高了缺陷檢測的準確率，可達96.9%；縮短模型推理時間，在檢測的實時性上可滿足工業缺陷檢測的需求；模型尺寸減小，更容易部署至邊緣計算設備。提高檢測精度、降低模型的參數量、增強網絡的泛化能力依舊是未來工業缺陷檢測的重點。

[1] KEKRE H B, MISHRA D, DESAI V. Detection of Defective Pharmaceutical Capsules and Its Types of Defect Using Image Processing Techniques[C]// 2014 International Conference on Circuits, Power and Computing Technologies, Nagercoil, India, 2014: 1190-1195.

[2] 賴大虎, 黃宴委. 基于極端學習機的膠囊缺陷檢測[J]. 福州大學學報(自然科學版), 2012, 40(4): 489-494.

LAI Da-hu, HUANG Yan-wei. Inspection for Defected Capsules Based on Extreme Learning Machine[J]. Journal of Fuzhou University (Natural Science Edition), 2012, 40(4): 489-494.

[3] QI Dan-yang, JIANG Zheng. Capsule Defects Classification Based on Hierarchical Support Vector Machines[J]. Advanced Materials Research, 2014, 926-930: 3373-3378.

[4] ZHOU Jun-lin, HE Jiao, LI Guo-li, et al. Identifying Capsule Defect Based on an Improved Convolutional Neural Network[J]. Shock and Vibration, 2020, 2020: 8887723.

[5] LIU R, GU Q, WANG X, et al. Region-Convolutional Neural Network for Detecting Capsule Surface Defects[J]. Boletin Tecnico/Technical Bulletin, 2017, 55(3): 92-100.

[6] REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified, Real-Time Object Detection[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, IEEE Recognition, 2016: 779—788.

[7] REDMON J, FARHADI A. YOLO9000: Better, Faster, Stronger[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA, 2017: 6517-6525.

[8] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: Optimal Speed and Accuracy of Object Detection[R/OL]. (2020)[2021-03-14]. http://arxiv.org/pdf/ 2004.10934.

[9] TSOTSOS J K, CULHANE S M, KEI WAI W Y, et al. Modeling Visual Attention via Selective Tuning[J]. Artificial Intelligence, 1995, 78(1/2): 507-545.

[10] 孫劉杰, 張煜森, 王文舉, 等. 基于注意力機制的輕量級RGB?D圖像語義分割網絡[J]. 包裝工程, 2022, 43(3): 264-273.

SUN Liu-jie, ZHANG Yu-sen, WANG Wen-ju, et al. Lightweight Semantic Segmentation Network for RGB-D Image Based on Attention Mechanism[J]. Packaging Engineering, 2022, 43(3): 264-273.

[11] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all You Need[C]// Advances in Neural Information Processing System, 2017: 5998-6008

[12] HU Jie, SHEN Li, ALBANIE S, et al. Squeeze-and- Excitation Networks[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence: 2011-2023.

[13] WOO S, PARK J, LEE J Y, et al. CBAM: Convolutional Block Attention Module[C]// Computer Vision - ECCV 2018. Cham: Springer International Publishing, 2018: 3-19.

[14] HOU Qi-bin, ZHOU Da-quan, FENG Jia-shi. Coordinate attention for efficient mobile network design[C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, TN, USA. IEEE, 2021: 13708-13717.

[15] HAN Kai, WANG Yun-he, TIAN Qi, et al. GhostNet: More Features from Cheap Operations[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA, USA. IEEE, 2020: 1577-1586.

[16] BERGMANN P, BATZNER K, FAUSER M, et al. The MVTec Anomaly Detection Dataset: A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection[J]. International Journal of Computer Vision, 2021, 129(4): 1038-1059.

Surface Defect Detection Method for Pharmaceutical Capsules Based on Modified YOLOv5

WU Ze-kun,YE Xiao-xian,CHEN Meng

(School of Art and Design, Shanghai University of Engineering Science, Shanghai 201620, China)

The work aims to detect the surface defects of pharmaceutical hollow capsules in quality inspection accurately and quickly. Based on YOLOv5 algorithm and aiming at the problems of large amount of model network parameters and weak learning ability of long-distance dependence, GhostNet module and Coordinate attention mechanism were introduced into the backbone network to make the network effectively capture the relationship between data location information and channel information. The experimental results showed that the improved network structure could accurately detect five kinds of defects such as damage, printing error, hole, scratch and depression on the surface of pharmaceutical capsule on the premise of decreasing to 57% of the original parameters. The average accuracy of each defect was 96.9%, which was increased by 2.4 percentage points. The detection speed was increased by 12 FPS. The proposed method can effectively classify and locate the surface defects of pharmaceutical capsules, and improve the accuracy of defect detection.

YOLOv5; pharmaceutical capsules; defect detection; attention mechanism; GhostNet

TB487

A

1001-3563(2022)23-0297-08

10.19554/j.cnki.1001-3563.2022.23.035

2022–04–24

武澤坤（1997—），男，碩士生，主攻計算機視覺。

葉曉嫻（1984—），女，博士，教授，主要研究方向為影像檔案修復、視覺與媒體設計等。

責任編輯：曾鈺嬋