基于YOLOv4算法的藥用空心膠囊表面缺陷檢測方法

董豪，李少波, b, c，楊靜, b, c，王軍

基于YOLOv4算法的藥用空心膠囊表面缺陷檢測方法

董豪a，李少波a, b, c，楊靜a, b, c，王軍a

（貴州大學 a.機械工程學院 b.公共大數據國家重點實驗室 c.現代制造技術教育部重點實驗室，貴陽 550025）

為提升質檢過程中藥用空心膠囊的表面缺陷檢測精度及其自動化水平。通過設計高質量圖像采集方案來避免膠囊表面出現光斑，以此構建藥用空心膠囊缺陷數據集?；赮OLOv4算法，建立深度學習檢測模型，利用多尺度特征提取以及訓練策略，增強對小目標缺陷檢測的魯棒性。采用K-means++聚類算法更新錨框初始值，以提高模型對膠囊表面缺陷的預測性能。實驗結果表明，提出的膠囊缺陷檢測方法能夠準確判別膠囊好壞,并能檢測出其表面的凹陷、孔洞、劃痕、污點和接口缺損等5類缺陷，其中對于膠囊有無缺陷的平均精確均值達99.05%，各缺陷類型的平均精確率為91.81%，而每秒檢測圖像可達22張。與其他典型的目標檢測方法相比，文中方法在檢測速度和精度上都有一定優勢。文中所提出的基于YOLOv4的缺陷檢測方法實現了對藥用空心膠囊多類型缺陷的分類與定位，具有較好的檢測效果和穩定性，在滿足生產質量管控要求的同時，可大幅降低人工成本。

藥用膠囊；缺陷檢測；YOLOv4；深度學習；K-means++

對于醫藥行業，其藥品質量的合格與否關乎著對應病癥的治療效果和患者身體的健康狀況。近年來，相較于傳統的片劑、沖劑等藥劑類型，藥用膠囊憑借其可掩蓋藥物異味和易吸收等優點，已在藥品領域得到了廣泛的應用，其相應的產銷量也在不斷地擴增。隨著眾多藥企生產規模的擴大，“問題膠囊”也接連不斷地出現，使其成為消費者投訴的熱點之一。

盡管在藥用空心膠囊的生產過程中，具備整套的生產流程及工藝說明，且配有專業的技術人員把關，但是在面對大批量生產時，由于受到現有膠囊生產工藝的限制以及不確定生產因素的影響，仍不可避免地會出現各種類型的膠囊缺陷（如凹陷、孔洞等）[1]。這會直接影響藥品制造商在后續灌藥工序過程中對劑量的把控，若未及時剔除廢品而投入市場，不僅無法保證其實際藥效，甚至存在安全隱患，令企業遭受經濟損失和負面影響[2]，因此，膠囊表面質量檢測是膠囊生產過程中不可或缺的一環。

目前，我國制藥企業普遍采用人工目測的方式對藥用膠囊進行質量檢測，其存在漏檢、誤檢、效率低等弊端[3]。為了在保障醫藥產品質量的同時降低人工成本，相關企業亟待由人工檢測向自動化檢測的轉型升級[4]。對膠囊表面缺陷自動化檢測的早期探索[5-7]，眾多研究者采用傳統圖像處理和機器學習算法來完成對藥用膠囊的缺陷檢出，作為機器視覺中最為常用的技術手段，這種方法也被廣泛用于藥品包裝的缺陷檢測[8-10]。如今，相較于傳統人工設計特征與分類器相結合的方法，以卷積神經網絡（Convolutional Neural Networks，CNN）為代表的深度學習方法顯得更為穩定有效，在工業制造[11-12]、智慧農業[13-14]、醫療圖像分析[15-16]等各個領域均有著廣闊的發展前景?；诖耍琙hou等[17]提出一種基于CNN的膠囊缺陷檢測模型，可完成對凹陷、孔洞、污點等多種缺陷膠囊的分類，但僅適用于包含單個膠囊的圖像識別，且無法對缺陷的精確定位；而Liu等[18]以目標檢測模型R-CNN[19]為基礎，提出一種藥用膠囊缺陷識別與定位方法，但僅能實現對劃痕和污點2類缺陷的檢測。

通過對現有方法的調研分析可以發現，目前對膠囊表面缺陷檢測的相關研究主要可分為2類：傳統圖像分割和深度學習方法，前者依靠對圖像的處理，其檢測效果取決于人工調參，穩定性差，而后者通過大量圖像數據的表征學習，可以達到較為理想的檢測效果，但現有研究存在無法對膠囊進行缺陷定位或檢測類型少等問題。為彌補上述方法的不足，實現對膠囊常見的多類型缺陷檢測，文中結合人工智能領域的研究成果，提出基于深度學習的藥用空心膠囊表面缺陷檢測方法，可完成對其凹陷、孔洞、劃痕、污點以及接口缺損等5類缺陷的精確識別與定位。

1 圖像采集

以數據學習為支撐的深度學習方法，需要依靠大量原始圖像作為輸入信息，并借助監督學習的方式完成對先驗知識的“吸收”與“總結”，因此，圖像采集是表面缺陷檢測技術中不可或缺的第1環節，但由于膠囊表面易反光的特性，直接通過光源直射或斜射的方式會導致圖像出現局部高光，進而影響模型的特征提取與學習效果，若在圖像采集完成后利用一般的圖像處理算法進行圖像預處理，則相對耗時麻煩且高光去除效果并不一定理想，而通過在圖像采集前設計合理的方案對圖像質量則顯得尤為重要。

根據藥用膠囊外表面所帶有的反光特性，文中所提出的圖像采集方案見圖1。采集過程中由側面LED光源進行照明，為了避免光源直接照射所產生的圖像高光，設計并加工出由漫反射板組成的立方體光罩，利用漫反射板將光源進行擴散，從光罩外圍以透光的形式為膠囊給光。這種方式可有效防止因強光在膠囊表面反射，使相機所采集到的原始圖像上存在光斑的情況，其以均勻散射光源突出被檢膠囊中缺陷部分的特征對比度，進而獲得高質量的藥用膠囊待檢圖像。

圖1 膠囊圖像采集方案

2 膠囊表面缺陷檢測方法

通過對采集到的原始圖像分析可發現，圖像中膠囊表面的多數缺陷相對于整個圖像所占像素比例較小，因此，文中的膠囊表面缺陷檢測問題實際上屬于小目標檢測范疇。為實現基于深度學習的膠囊細小缺陷分類和定位，文中選擇適用于小目標檢測的YOLOv4[20]框架來開展藥用膠囊表面缺陷檢測方法的研究。

2.1 基于YOLOv4的膠囊缺陷檢測模型

作為One-stage中廣為流行的目標檢測算法，YOLO系列已經發展至較為穩定的YOLOv4版本，其主要思想是將輸入的待檢圖像分割為不同尺度大小的網格，各網格負責其所屬區域，若檢測對象的中心位于某個網格，則由對應網格完成該對象的檢測。YOLOv4的網絡結構見圖2，主要包括主干網絡（特征提取）、Neck（多尺度特征融合）以及預測（目標檢測及輸出）3部分。

相較于YOLOv3[21]，YOLOv4主要包括4個方面的優化：主干網絡部分，YOLOv4借鑒了CSPNet的思路，將Darknet53改為CSPDarknet53，并將原有初始卷積層后的Leaky ReLU激活函數替換為Mish；Neck部分，其在主干網絡之后增加了一個空間金字塔池化（Spatial Pyramid Pooling, SPP）模塊，使用不同尺度的池化層對來自主干網絡的末端特征層進行處理，以有效擴增網絡的感受野，分離出顯著的上下文語義信息；利用PANet中“自下而上”的特征金字塔結構，充分融合先前網絡所提取到的多尺度特征圖；損失函數部分，為了充分利用錨框寬高以及中心點坐標信息間的關系，YOLOv4采用CIOU代替原有YOLOv3中邊框回歸所采用的均方誤差MSE。

在最后的預測部分，YOLOv4對由PANet中特征金字塔部分處理后的3個特征層進行預測，與YOLOv3相同，其對每個特征層中的先驗框進行 判別，即判斷是否包含檢測目標及其類別，并通 過非極大值抑制和邊框位置調整來獲取最終的檢測結果。

2.2 基于K-means++的anchor定制

針對anchor-based的深度學習目標檢測算法，其原有的anchors大多都是由人工進行設計的先驗錨框，僅適用于COCO、VOC等開放場景數據集，而文中數據集的檢測對象與前者存有較大差異，因此，YOLOv4模型中默認設置并不適合文中的膠囊表面缺陷數據，若以原有anchor設定進行訓練，不僅影響模型收斂速度，還會導致最終的檢測效果不佳。

圖2 YOLOv4網絡結構

為獲取針對性的初始anchors，文中通過K-means++聚類算法對膠囊表面缺陷數據集中待檢測的7種標注框的寬高維度進行聚類，相較于K-means聚類算法[22]，其優化了隨機初始點的選取，即先隨機選擇一個初始聚類中心，然后選擇距離該中心最遠的點作為下一個簇的初始中心，并以此選出個初始聚類中心，使網絡模型更容易學習到準確的缺陷檢測anchor，其主要流程見圖3。

文中令聚類簇個數=9，聚類得出的結果見圖4。根據K-means++聚類出適用于膠囊數據集的9個anchors坐標大小以及寬高比結果，對初始錨框重新定制為(9，9)，(16，15)，(42，41)，(68，169)，(94，164)，(121，149)，(146，125)，(162，97)，(170，69)等9種。對初始的anchor寬高比設置，在原有anchor的寬高比基礎上增為{1∶1，1∶2，2∶1，2∶3，2∶5，5∶2}。針對文中的膠囊表面缺陷數據集，由K-means++聚類算法定制出的anchors更加合理，可使檢測網絡在訓練過程中的收斂加快，并獲得更好的檢測性能。

3 實驗與結果分析

3.1 數據增強

由于原始圖像采集所獲取的缺陷數據為1 270張，對于膠囊表面缺陷檢測并不充足，而樣本量少則會導致訓練過擬合，進而影響模型檢測精度以及泛化能力。為此，文中通過旋轉、翻轉、對比度變化等操作對原始數據進行增強（見圖5）。最后，數據擴增為6 790張樣本圖像，數據量提升至原有的5倍左右，再將現有圖片按一定批次輸入網絡中訓練，這種方式不僅可增加訓練數據量以避免模型擬合性能不佳，還能在一定程度上增強模型的魯棒性。

3.2 相關參數設定

文中實驗的硬件環境為：Intel Xeon Silver 4210R@2.40 GHz處理器，GeForce RTX 2080Ti的顯卡。軟件環境為：64位Windows10操作系統，Pytorch深度學習框架，以及包含CUDA10.0、OpenCV2庫和PyCharm的集成開發環境。

圖3 K-means++聚類流程

對于模型超參數，文中經過多次參數調優，其中優化器為Adam，迭代批次設置為100，前40個迭代批次采用凍結方式加快訓練速度，防止訓練初期權值被破壞，初始學習率為0.001，批量大小為16，單個批次的迭代數為309；后60個迭代批次采用全網絡訓練，初始學習率為0.000 1，批量大小為8，單個批次的迭代數為618，整個訓練的迭代數為9 888。其中，采用余弦退火衰減來更新學習率，即學習率每迭代1個Epoch進行衰減，衰減權值設為0.000 5，最低衰減至0.000 01。

圖4 K-means++聚類結果

圖5 數據增強示例

3.3 模型訓練

在訓練前的數據準備階段，文中利用標注工具Labelimg對所構建的膠囊檢測數據集進行標記，而在訓練時按照9∶1的比例，將6 790張膠囊圖片劃分為包含6 111張圖片的訓練集和679張圖片的測試集。對于文中模型的損失函數，其包括邊框回歸損失ciou、置信度損失conf以及分類損失cls3個部分，整體損失函數見式（1）。

其中，邊框回歸損失ciou為：

置信度損失conf為：

分類損失cls為：

在相關參數設定好后，根據損失函數的定義，文中模型訓練的損失曲線見圖6，可以看出，在訓練的100個迭代批次中，隨著訓練的持續進行，膠囊表面缺陷檢測模型總的損失在迭代40次之前持續下降，而在40～60迭代批次下降速度減緩，當迭代至70次之后基本趨于穩定，表明模型已達到收斂效果。

圖6 模型總損失曲線

3.4 實驗結果對比

為了檢驗藥用空心膠囊表面缺陷檢測模型的性能，文中使用平均精度（Average Precision，AP）來評估其各缺陷類型的檢測效果，以平均精度均值（mean Average Precision，mAP）來評估模型的整體效果，而模型的檢測速度則通過記錄模型在測試過程中的每秒可檢測圖像張數（Frames Per Second，FPS）來衡量。同時，為了分析模型的有效性，文中與目前較為流行的目標檢測算法（Two-stage代表方法Faster R-CNN[23]、anchor-free代表方法CenterNet[24）]，以及原始YOLOv4進行對比。如圖7所示，相較于其他目標檢測算法，文中模型在各檢測類型的AP值都具有一定優勢，其中，在對于膠囊好（OK）壞（NG）的判斷上，文中模型可達99.05%，略高于其他方法。盡管各模型都能較為準確地判別出膠囊缺陷與否，但相較于凹陷（Dent）與污點（Stain）較為明顯的缺陷特征，Faster R-CNN和CenterNet對孔洞（Hole）、接口缺損（Gap）以及劃痕（Scratch）3類細微缺陷的檢測性能較差。針對膠囊表面缺陷像素占比較小的問題，YOLOv4以多尺度特征提取與融合的方式，在面對小目標檢測具有明顯的優勢，而文中通過K-means++聚類出適合于自身膠囊數據集的anchor設定，進一步改善了YOLOv4對于各類缺陷的檢測精度。

如前文所述，原始YOLOv4的anchor值屬于開放場景數據集的基礎anchor設定，其并不適用于文中的膠囊數據集，尤其是文中膠囊缺陷普遍較小的情況，這一方面會影響模型訓練效果，所學習的anchor尺寸不匹配將限制模型精度的提升；而另一方面則影響模型學習效率，即干擾模型尋找較優檢測框的速度，在anchor設定與膠囊數據不匹配時，模型的訓練與檢測過程將會花費時間在檢測框的回歸（即目標框的修正）上。文中方法利用K-means++聚類算法來統計整個數據的anchor及其寬高比分布，以此對訓練前的anchor設定進行優化，使得模型在訓練初期便具有適合于膠囊缺陷的較優anchor，在提升模型定位精度的同時，縮減了檢測框回歸過程的時間耗費。各模型之間的整體性能見表1，對于缺陷檢測的mAP值，文中模型比Faster R-CNN、CenterNet和YOLOv4分別高9.42%、5.87%和1.35%，說明整體文中模型效果更好，且相較于其他3種方法的檢測速度也更具有優勢。

模型之間的具體檢測效果對比見圖8。在面對單張圖像中的單/雙目標時，雖然各方法均能判斷膠囊的好壞，并檢測出所存在的缺陷，但在實際的定位精度和分類置信度上，文中模型都具有一定優勢；而在面對多目標時，受到目標錯亂的影響，Faster R-CNN存在誤檢的情況，不同的是，得益于多尺度特征融合的學習方式，YOLOv4與文中模型的效果明顯優于其他2種方法。其中，文中模型進一步采用K-means++聚類方法來設置特定的anchor，取得了更高的定位精度和分類置信度?？偟膩碚f，相較于其他方法，文中模型在準確地判別膠囊外表面缺陷與否的同時，能夠更好地實現對凹陷、孔洞、劃痕、污點以及接口缺損等5類缺陷的定位與分類。

圖7 缺陷檢測的AP值對比

表1 各模型性能對比

Tab.1 Performance comparison of various models

圖8 模型檢測效果對比

4 結語

文中提出了一種基于深度學習的藥用膠囊表面缺陷檢測方法，主要包括：設計圖像采集方案以獲取高質量原始圖像，并利用數據增強的方式來擴增與構建膠囊缺陷數據集；基于YOLOv4中多尺度特征提取及學習的方式，建立適用于小目標缺陷的藥用膠囊缺陷檢測模型；通過K-means++聚類算法來確定錨框初始值，提升了模型對膠囊表面缺陷的檢測效果。文中方法針對藥用膠囊缺陷目標小、檢測難的問題，以及現有方法存在的識別類型少、人工成本較高等弊端，實現了多類膠囊及其缺陷的檢出。相較于主流的目標檢測算法，該方法具有較高的精度和檢測效率，可有效提升相關制藥企業產品的外觀質量和市場競爭力。對于其他新類的膠囊缺陷（如裂紋、氣泡等），通過樣本擴增進行模型的訓練與更新，以實現對更多常見缺陷的檢出，將對制造業場景中的自動化生產具有一定的實際意義。

[1] 王錚. 基于機器視覺的膠囊表面缺陷檢測技術研究[D]. 貴陽: 貴州大學, 2020: 1-8.

WANG Zheng. Research on Capsule Surface Defect Detection Technology Based on Machine Vision[D]. Guiyang: Guizhou University, 2020: 1-8.

[2] 賴大虎, 黃宴委. 基于極端學習機的膠囊缺陷檢測[J]. 福州大學學報(自然科學版), 2012, 40(4): 489-494.

LAI Da-hu, HUANG Yan-wei. Inspection for Defected Capsules Based on Extreme Learning Machine[J]. Journal of Fuzhou University (Natural Science Edition), 2012, 40(4): 489-494.

[3] 劉玉環, 唐庭龍, 陳勝勇. 基于詞袋特征算法的藥品分層缺陷檢測[J]. 計算機工程, 2018, 44(6): 249-252.

LIU Yu-huan, TANG Ting-long, CHEN Sheng-yong. Defect Inspection of Hierarchical Drug Based on Feature of Bag Algorithm[J]. Computer Engineering, 2018, 44(6): 249-252.

[4] 陳宏彩, 任亞恒, 郝存明, 等. 基于YOLOv3的醫藥玻璃瓶缺陷檢測方法[J]. 包裝工程, 2020, 41(7): 241-246.

CHEN Hong-cai, REN Ya-heng, HAO Cun-ming, et al. Defect Detection Method for Medical Glass Bottles Based on YOLOv3[J]. Packaging Engineering, 2020, 41(7): 241-246.

[5] 左奇, 史忠科. 基于機器視覺的膠囊完整性檢測系統研究[J]. 西安交通大學學報, 2002, 36(12): 1262-1265.

ZUO Qi, SHI Zhong-ke. General Design for Capsule Integrality Detection System Based on Machine Vision[J]. Journal of Xi'an Jiaotong University, 2002, 36(12): 1262-1265.

[6] 王憲保, 何文秀, 王辛剛, 等. 基于堆疊降噪自動編碼器的膠囊缺陷檢測方法[J]. 計算機科學, 2016, 43(2): 64-67.

WANG Xian-bao, HE Wen-xiu, WANG Xin-gang, et al. Capsule Defects Detection Based on Stacked Denoising Autoencoders[J]. Computer Science, 2016, 43(2): 64-67.

[7] 李蓮, 閆志洋. 破損膠囊檢測的圖像處理分析與研究[J]. 儀器儀表學報, 2011, 32(12): 322-324.

LI Lian, YAN Zhi-yang. The Image Processing Analysis and Research of Damaged Capsule[J]. Chinese Journal of Scientific Instrument, 2011, 32(12): 322-324.

[8] 陳財彪, 于惠鈞, 張發明, 等. 基于LBP直方圖和SIFT的藥品包裝缺陷檢測方法[J]. 湖南工業大學學報, 2014, 28(4): 91-95.

CHEN Cai-biao, YU Hui-jun, ZHANG Fa-ming, et al. Pharmaceutical Packaging Defect Detection Method Based on LBP Histogram and SIFT[J]. Journal of Hunan University of Technology, 2014, 28(4): 91-95.

[9] 黃秀玲, 陸宏建, 任超, 等. 基于四光源光度立體法的藥品泡罩包裝中鋁箔缺陷檢測方法[J]. 包裝學報, 2018, 10(3): 47-51.

HUANG Xiu-ling, LU Hong-jian, REN Chao, et al. The Method of Aluminum Foil Defect Detection in Medicine Packaging Based on Four-Light Photometric Stereo Method [J]. Packaging Journal, 2018, 10(3): 47-51.

[10] 陳軼楠, 葛斌, 王俊, 等. 基于集成分類器的泡罩包裝藥品缺陷識別[J]. 包裝工程, 2021, 42(1): 250-259.

CHEN Yi-nan, GE Bin, WANG Jun, et al. Defect Identification of Blister Packaging Medicine Based on Integrated Classifier[J]. Packaging Engineering, 2021, 42(1): 250-259.

[11] SEJUNE C, LEE H K, OUK K C, et al. Convolutional Neural Network for Wafer Surface Defect Classification and the Detection of Unknown Defect Class[J]. IEEE Transactions on Semiconductor Manufacturing, 2019, 32(2): 163-170.

[12] KANG Gao-qiang, GAO Shi-bin, YU Long, et al. Deep Architecture for High-Speed Railway Insulator Surface Defect Detection: Denoising Autoencoder with Multitask Learning[J]. IEEE Trans Instrumentation and Measurement, 2019, 68(8): 2679-2690.

[13] GOLUGURI N V R R, SUGANYA D K, VADAPARTHI N. Image Classifiers and Image Deep Learning Classifiers Evolved in Detection of Oryza Sativa Diseases: Survey[J]. Artificial Intelligence Review, 2021, 54(1): 359-396.

[14] 吳賽賽, 周愛蓮, 謝能付, 等. 基于深度學習的作物病蟲害可視化知識圖譜構建[J]. 農業工程學報, 2020, 36(24): 177-185.

WU Sai-sai, ZHOU Ai-lian, XIE Neng-fu, et al. Construction of Visualization Domain-Specific Knowledge Graph of Crop Diseases and Pests Based on Deep Learning[J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(24): 177-185.

[15] WANG Tong-he, LEI Yang, FU Ya-bo, et al. A Review on Medical Imaging Synthesis Using Deep Learning and Its Clinical Applications[J]. Journal of Applied Clinical Medical Physics, 2021, 22(1): 11-36.

[16] 姚明青, 胡靖. 基于深度強化學習的多模態醫學圖像配準[J]. 計算機輔助設計與圖形學學報, 2020, 32(8): 1236-1247.

YAO Ming-qing, HU Jing. Robust Multimodal Medical Image Registration Using Deep Recurrent Reinforcement Learning[J]. Journal of Computer-Aided Design & Computer Graphics, 2020, 32(8): 1236-1247.

[17] ZHOU Jun-lin, HE Jiao, LI Guo-li, et al. Identifying Capsule Defect Based on an Improved Convolutional Neural Network[J/OL]. Shock and Vibration, 2020 [2021-04-10]. https://doi.org/10.1155/2020/8887723.

[18] LIU R, GU Q, WANG X, et al. Region-Convolutional Neural Network for Detecting Capsule Surface Defects[J]. Boletín Técnico, 2017, 55(3): 92-100.

[19] GIRSHICK R, DONAHUE J, DARRELL T, et al. Region-Based Convolutional Networks for Accurate Object Detection and Segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(1): 142-158.

[20] BOCHKOVSKIY A, WANG C, LIAO H. YOLOv4: Optimal Speed and Accuracy of Object Detection[EB/OL]. (2020)[2021-03-14]. http://arxiv.org/pdf/ 2004.10934.

[21] REDMON J, FARHADI A. YOLOv3: An Incremental Improvement[EB/OL]. (2018)[2021-03-14]. http://arxiv. org/pdf/1804.02767.

[22] REDMON J, FARHADI A. YOLO9000: Better, Faster, Stronge[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, IEEE, 2017: 6517-6525.

[23] REN Shao-qing, HE Kai-ming, GIRSHICK R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[24] ZHOU X, WANG D, PHILIPP K. Objects as Points[EB/OL]. (2019)[2021-03-14]. http://arxiv.org/pdf/ 1904.07850.

Surface Defect Detection Method for Pharmaceutical Hollow Capsules Based on YOLOv4 Algorithm

DONG Haoa, LI Shao-boa, b, c, YANG Jinga, b, c, WANG Juna

(a.School of Mechanical Engineering b.State Key Laboratory of Public Big Data c.Key Laboratory of Advanced Manufacturing Technology of Ministry of Education, Guizhou University, Guiyang 550025, China)

The work aims to improve the surface defect detection accuracy and automation level of the pharmaceutical hollow capsules in the process of quality inspection. A high-quality image acquisition scheme was designed to avoid light spots on the capsule surface. A dataset of defects in pharmaceutical hollow capsules was constructed. Based on the YOLOv4 algorithm, a deep learning detection model with multi-scale feature extraction and training strategies was developed to enhance the robustness of defect detection for small objects. The K-means++ clustering algorithm was used to update the initial values of the anchor frame to improve the performance of the model in detecting defects on the capsule surface. The experimental results showed that the proposed capsule defect detection method can accurately detect five types of defects which include dent, hole, scratch, stain and gap on its surface. Furthermore, the mean average precision of whether the capsule was defective or not was 99.05%, the average precision of each defect type was 91.81%, and the detection speed was 22 FPS. The method had certain advantages in comparison to other typical target detection methods in terms of detection speed and precision. The proposed YOLOv4-based defect detection method achieves the classification and localization of multiple types of defects in pharmaceutical hollow capsules, and has a better detection effect and stability, which can significantly reduce labor costs while fulfilling production quality control requirements.

pharmaceutical capsules; defect detection; YOLOv4; deep learning; K-means++

TB487

A

1001-3563(2022)07-0254-08

10.19554/j.cnki.1001-3563.2022.07.033

2021-05-08

國家自然科學基金（51475097，91746116）；工信部資助項目（工信部聯裝[2016]213號）；貴州省科技計劃（黔科合人才[2015]4011）；貴州省重點實驗室建設項目（黔科合平臺人才[2016]5103）

董豪（1996—），男，貴州大學碩士生，主攻智能制造與智能控制。

李少波（1975—），男，博士，貴州大學教授，主要研究方向為智能制造、制造物聯和大數據等。

責任編輯：曾鈺嬋