基于加權K-means與GhostNet融合改進YOLOv4的卷煙廠物料輸送巷道異物視覺檢測方法

劉軍，辛秋生，李文燦，盧志敏，黃艷輝，楊鳳

基于加權K-means與GhostNet融合改進YOLOv4的卷煙廠物料輸送巷道異物視覺檢測方法

劉軍1，辛秋生2*，李文燦3，盧志敏3，黃艷輝2，楊鳳1

1 衢州學院機械工程學院，浙江衢州九華北大道78號 324000；2 東華理工大學機械與電子工程學院，江西南昌廣蘭大道418號 330013；3 龍巖煙草工業有限責任公司，福建龍巖乘風路1299號 364000

【目的】針對卷煙廠物料輸送巷道因人員闖入或穿梭車運載散落物料（統一稱為“異物”）導致的安全隱患及其檢測存在的實時性和準確性問題。【方法】提出一種改進的YOLOv4的物料輸送巷道異物視覺檢測方法。采用融合SE注意力機制的GhostNet作為YOLOv4模型特征提取網絡，一方面解決CSPDarknet53參數過多而導致實時性差的問題，另一方面增強小物體特征提取能力；利用加權K-means對錨框進行聚類，解決初始錨框對巷道異物不適應問題。【結果】通過卷煙廠物料輸送巷道狀態數據集訓練與現場應用，該方法對異物的平均檢測精度達98.48%，誤檢率為0.62%，檢測速度為58 FPS。【結論】該方法達到較好的檢測效果且具有較好的泛化能力。

穿梭車；YOLOv4；視覺檢測；SE注意力機制；加權K-means；錨框

物料輸送穿梭車的安全運行是保證卷煙廠生產的重要環節，穿梭車運行的物料輸送巷道的轉彎、銜接等形成不可避免的防護缺口，運行中的穿梭車裝載的物料亦難免出現散落狀況，導致穿梭車運行故障甚至存在安全隱患，因此對物料輸送巷道的實時安全檢測具有重要意義。

目前卷煙廠物料輸送巷道普遍采用人工巡檢[1]和激光檢測方法。人工巡檢是通過現場人工巡查或人眼觀察輸送巷道監控視頻，以確保穿梭車安全運行，人工方法雖能較準確排除安全隱患，但實時性無法保障。激光檢測法則通過定點安裝的單點激光發射-穿梭車上的某點反射-激光接收的方式反饋輸送巷道是否通暢，該方法雖然可實現實時檢測，但除了激光發射-反射路徑之外皆為盲區，產生嚴重的漏檢現象，無法保證穿梭車的安全運行。

隨著人工智能深度學習的發展，機器視覺檢測及其應用取得了跨越性的提升，利用基于深度學習方法對軌道/巷道安全運行檢測的研究獲得了較多關注與深入開展。張雪艷[2]提出單定點多邊框檢測器SSD（single shot Multibox Detector）用于運輸軌道異物檢測，旨在解決軌道異物目標檢測特征提取難度高、算法性能易受周圍環境影響的問題，但該算法的實時性和預測框的準確度不高。王偉[3]利用改進的運動目標自適應ViBe算法進行軌道異物入侵檢測方法，以抑制ViBe算法的Ghost區域，減少因環境變化產生誤檢或漏檢情況，但該算法對小目標檢測的適應性較差。劉力[4]提出一種歐式距離度量代替隨機選擇的K-means軌道障礙物檢測方法，用以解決侵限異物檢測方法檢測類別單一性和實時性差的問題，但該方法的檢測精度與對小目標物體檢測未達到良好效果。

針對卷煙廠物料輸送穿梭車的安全運行和現有方法存在的原理和適用性問題，本文提出一種基于加權K-means（Weighted K-means，WK-means）與GhostNet融合YOLOv4的物料輸送巷道異物檢測方法。首先利用WK-means對錨框進行聚類，解決初始錨框對巷道異物不適應問題，再采用融合SE注意力機制的GhostNet作為YOLOv4模型特征提取網絡，在解決CSPDarknet53參數過多而導致實時性差的問題的同時增強小物體特征提取能力，進而實現物料輸送巷道異物的在線、準確檢測。

1 改進的YOLOv4模型目標檢測模型

1.1 YOLOv4模型

1.2 GhostNet-SE網絡模型

針對YOLOv4模型中CSPDarknet53參數過多而導致實時性差的問題，同時為增強小物體特征提取能力，采用融合SE注意力機制的GhostNet作為YOLOv4模型特征提取網絡，以Ghost模塊為核心，結合傳統卷積和線性變換[6]。Ghost模塊是基于傳統卷積生成特征圖再利用特征圖進行線性變換得到相似特征圖，從而產生高維卷積效果的方式，減少了模型參數和計算量。

為豐富特征圖的特征信息，將SE（Squeeze-and- Excitation）注意力模塊[7]與GhostNet融合進行特征提取，旨在確保異物特征提取魯棒性的同時增加異物特征的權重[8]。

SE注意力機制如圖1所示。SE注意力機制首先將物料輸送巷道圖像經過GhostNet獲取特征層X（圖像通道數、圖像高度和圖像寬度分別為c、h和w）進行傳統卷積獲得特征層Y（圖像通道數、圖像高度和圖像寬度分別為1、h和w），再將特征層Y通過SE注意力模塊，包括Squeeze和Excitation兩項操作，即（1）對特征層Y進行全局平均池化，把×w的特征層轉化為1×1的特征層；（2）將1×1的特征層經過兩個全連接層，獲得不同通道的比重。最后利用sigmoid對比重信息進行歸一化處理獲得通道權重，將通道權重分別與Y對應的1個通道特征圖數據相乘，得到新的1××w的特征層。

圖1 SE注意力機制

圖2 YOLOv4-GhostNet-SE網絡結構

利用SE注意力模塊改進GhostNet網絡中19×19、38×38和76×76三種大小不同的特征圖與特征提取網絡上采樣輸出的特征圖進行融合拼接，得到最終檢測模型的特征層。改進后的網絡結構如圖2所示。

2 Wk-means優化錨框算法

YOLOv4目標檢測訓練時采用預先設定先驗錨框參數的方式，該方法對COCO、VOC等數據集[9]有較好的適應性，而本文數據集檢測目標主要是穿梭車、人及凳子，與COCO、VOC等開放環境的數據集的多種檢測目標存在較大差異，且不同的檢測目標適合的先驗框大小也各異，導致YOLOv4的錨框機制并不適用于卷煙廠物料輸送巷道運行狀態數據集。

因此采用加權K-means（WK-means）聚類算法對錨框進行加權聚類處理，每個特征維度賦予初始權重值，等到目標函數收斂，非目標檢測區域所對應的權重趨于0，從而盡可能降低非目標區域對巷道異物目標的影響，提高異物的檢測精度。

ModBus總線是在硬件基礎上的一種通信協議，該協議應用廣泛，被很多廠家支持。各個不同的廠家可以通過該協議進行相互的數據傳輸。ModBus協議是通過不同的命令確定需要進行的操作功能。

WK-means聚類算法的目標函數為：

并且所有的權重應服從：

其中A表示簇分配矩陣：

C表示簇中心矩陣：

W為權重矩陣：

3 實驗及結果分析

3.1 數據集

在龍巖煙草工業有限責任公司卷煙廠輔料庫搭建視覺系統采集物料輸送巷道運行狀態圖像數據集。該數據集的巷道異物主要包括闖入的人員和穿梭車運載散落輔料，數據集樣例如圖3所示。

圖3 卷煙廠物料輸送巷道狀態視覺數據集樣例

Fig.3 Samples of visual data set of material conveying roadway in cigarette factory

數據集由分辨率為390×882，格式為bmp的共4686張圖像構成。數據預處理使用LableImg對數據集上面的穿梭車、人及散落物料進行標記，標簽文件為xml格式。

3.2 實驗環境

實驗環境如表1所示。

表1 實驗環境

Tab.1 Experimental environment

3.3 模型訓練

將數據集按9∶1的比例隨機劃分為訓練集和驗證集。訓練階段的參數設置為：采用Adam自適應梯度下降算法，權重衰減設置為0；Focal Loss平衡正負樣本，正負樣本平衡參數設置為0.25，難易分類樣本平衡參數設置為2；學習率等間隔調整策略的最大學習率設置為0.001，最小學習率為0.00001。

然后對物料輸送巷道運行狀態數據集進行訓練，實驗中共訓練100個Epoch，同時保留每個Epoch對應的權值文件，訓練獲得損失曲線如圖4所示，可知，模型的總損失在前5個Epoch的下降速度較快，當Epoch至20之后train loss和val loss基本保持穩定，表明該算法的學習率衰減明顯，且較快地達到了最優值。

3.4 實驗評估指標

模型使用檢測速度(Frames Per Second, FPS)、平均檢測精度(Mean Average Precision, MAP)、精確率(Precision)、召回率(Recall)和誤檢率(Noise factor)作為評估指標，計算式分別為：

3.5 實驗結果分析

網絡模型尺寸越大，對處理器性能要求越嚴格[10]。主干特征提取網絡模型參數量跟模型尺寸成正比，各常用的輕量級特征提取網絡主要有Densenet[11]、Vgg[12]、Mobilenet[13]、Resnet[14]及GhostNet。其網絡參數量如表2所示。利用本文數據集對多種輕量級特征提取網絡進行訓練，其中GhostNet的參數量最少，也即GhostNet的特征提取網絡速度最快。

表2 各輕量級特征提取網絡參數量

Tab.2 Parameter quantity of the lightweight feature extraction networks

為驗證GhostNet-SE特征提取網絡的優越性，在相同訓練集和驗證集上，對表2中算法與改進模型進行消融實驗。利用常用的輕量級特征提取網絡代替YOLOv4的CSPDarkNet 53網絡，并驗證檢測性能，結果如表3所示。由性能對比結果可知GhostNet在檢測速度（FPS）和精度（MAP）上都具有優越性。

表3 輕量級特征提取網絡與本文方法的檢測性能對比

Tab.3 Comparison of detection performance between the lightweight feature extraction networks and the proposed method

利用WK-means聚類算法對錨框進行優化，并和K-means錨框優化算法針對該模型進行對比實驗，實驗結果如表4所示。WK-means聚類算法比K-means檢測性能的檢測速度提高了3 FPS，平均檢測精度提高了1.1%，召回率提高了0.18%，精確率提高了1%，誤檢率下降了0.08%。

表4 WK-means對算法的影響

Tab.4 Influence of WK-means on the algorithm

綜上可知，本文提出的YOLOv4-GhostNet-SE- WK-means模型對卷煙廠物料輸送巷道異物具有較好的檢測效果，檢測效果圖如圖5所示。該算法的檢測速度達到58 FPS，平均檢測精度為98.48%，誤檢率為0.62%。

為了進一步研究驗證該模型的泛化能力，利用VOC2007數據集和COCO數據集上對本文模型進行訓練，檢測結果如表5所示。

表5 本文模型在VOC2007和COCO數據集的檢測結果

由表5可知，該模型對于VOC2007和COCO2017數據集的檢測精度均達到90%以上，檢測速度分別為48 FPS和52 FPS，誤檢率分別為3.15%和2.93%，表明該模型在VOC2007和COCO數據集上也具備良好的檢測性能，具有較好的泛化能力。

4 結論

本文采用機器視覺實現卷煙廠物料輸送巷道異物檢測，同時解決異物識別存在的實時性和準確性問題，得出結論如下：

（1）提出了一種GhostNet改進YOLOv4的卷煙廠物料輸送巷道異物檢測模型。

（2）采用SE注意力機制融合GhostNet特征提取網絡，加強特征提取網絡的提取能力，豐富特征圖信息，提高模型的檢測速度和精度。

（3）利用WK-means聚類算法對錨框進行優化，去除不適合卷煙廠巷道異物檢測的錨框，提高目標的檢測速度，降低模型的誤檢率。

實驗表明，該模型比YOLOv4模型平均精度提升了4.61%，檢測速度提高了26.59 FPS，且具有良好的泛化能力。與常用的輕量級特征提取網絡相比，表現出了較強的優越性，實現了卷煙廠物料輸送巷道異物的準確檢測，為物料輸送穿梭車的安全運行提供了可靠保證。

[1] 鐘亮，黎利華. 多層穿梭車技術在煙草物流中的應用研究[J]. 物流技術與應用，2018, 23(10): 175-177.

ZHONG Liang, LI LIhua. Research on application of multi-layer shuttle vehicle technology in tobacco logistics[J]. Logistics & Material Handling, 2018, 23(10): 175-177.

[2] 張雪艷. SSD算法及其在鐵路場景異常目標檢測中的應用研究[D].北方工業大學，2019.

ZHANG Xueyan. Research on SSD algorithm and its application in abnormal object detection in railway scene[D]. North China University of Technology, 2019.

[3] 王偉. 運輸軌道周界異物入侵檢測方法研究[D]. 蘭州交通大學，2020.

WANG Wei. Research on foreign body Intrusion Detection in Rail transportation perimeter[D]. Lanzhou Jiaotong University, 2020.

[4] 劉力，茍軍年. 基于YOLO v4的鐵道侵限障礙物檢測方法研 究[J]. 鐵道科學與工程學報，2022, 19(2):9.

LIU Li, GOU Junnian. Research on railway intrusion obstacle detection method based on YOLO v4[J]. Journal of Railway Science and Engineering, 2022, 19(2):9.

[5] LIU Jinhui. Multi-target detection method based on YOLOv4 convolutional neural network[J]. Journal of Physics: Conference Series, 2021, 1883(1).

[6] HAN Kai, WANG Yunhe, TIAN Qi, et al. GhostNet: More features from cheap operations[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE Computer Society, 2020: 1580-1589.

[7] HU J, SHEN L, SUN G. Squeeze-and-excitation Networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 7132-7141.

[8] HUANG J Z, NG M K, RONG H, et al. Automated variable weighting in k-means type clustering[J]. IEEE Transactions on Pattern Analysis and Machine Intelli gence, 2005, 27(5): 657-668.

[9] 藍新斌，李富盛，余濤. 基于改進長短時記憶網絡的短期負荷預測方法[J]. 新型工業化，2019, 9(11): 6-9.

LAN Xinbin, LI Fusheng, YU Tao. Short term load forecasting method based on improved short term memory network[J]. Modern Computer, 2019, 9(11): 6-9.

[10] 付思琴，邱濤，王權順，等. 基于改進YOLOv4的焊接件表面缺陷檢測算法[J/OL]. 包裝工程，2022.

FU Siqin, QIU Tao, WANG Quanshun, et al. Welding surface defect detection algorithm based on improved YOLOv4 [J/OL]. Packaging Engineering, 2022.

[11] Girshick R, Donahue J, Darrell T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J]. IEEE Computer Society, 2013.

[12] Sengupta A, Ye YT, Wang R, et al. Going deeper in spiking neural networks: VGG and residual architectures[J]. Front Neurosci, 2019, 13: 95.

[13] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications[J]. 2017.

[14] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE Computer Society, 2016: 770-778.

Improved YOLOv4 visual detection method of foreign bodies in material delivery roadway of cigarette factory based on the fusion of weighted K-means and GhostNet

LIU Jun1, XIN Qiusheng2*, LI Wencan3, LU Zhimin3, HUANG Yanhui2, YANG Feng1

1 College of Mechanical Engineering, Quzhou University, Quzhou 324000, China;2 School of Mechanical and Electronic Engineering, East China University of Technology, Nanchang 330013, China;3 Longyan Tobacco Industry Co., Ltd., Longyan 364000, China

[Objective] There are inevitable hidden dangers in material conveying roadway in cigarette factory caused by intrusion of outsiders and the material falling into the roadway from the shuttle car. We call the intrusion of outsiders and falling material "foreign objects" in this article. Besides, it is difficult to detect the foreign objects in real-time and accurately. [Methods] This article proposed an improved YOLOv4 visual detection method for foreign objects in material conveying roadway. An combined GhostNet-SE model, which fuses GhostNet model SE attention mechanism, was used as the feature extraction network of YOLOv4 model. On the one hand, it solved the problem of poor real-time performance caused by too many parameters of CSPDarknet53. On the other hand, it enhanced the feature extraction ability of small objects. Then, the weighted K-means method was used to cluster the anchor frame to solve the problem that the initial anchor frame does not adapt to the foreign objects in the roadway. [Results] Finally, by training of the image data set of material conveying roadway and field application in cigarette factory, the average detection accuracy of the method in this article was 98.48%, the false detection rate was 0.62%, and the detection speed was 58FPS. [Conclusion] The results show that the proposed method achieves good detection results, and it has a good generalization ability.

shuttle car; YOLOv4; visual detection; SE attention mechanism; weighted K-means; anchor box

Corresponding author. Email：1318992050@qq.com

國家自然科學基金“復合式連鑄鑄坯表面在線測溫方法”（No. 61963002）；遼寧省教育廳基本科研項目“基于深度學習的輕量化裂縫檢測方法研究”（No. LJKMZ20220478）

劉軍（1981—），博士，副教授，碩士生導師，主要研究復雜過程參數檢測、系統建模、人工智能等，Tel：18070024180，Email：1528673750@qq.com

辛秋生（1995—），碩士，主要研究人工智能，Tel：15970512292，Email：1318992050@qq.com

2022-08-18；

2023-03-09

劉軍，辛秋生，李文燦，等. 基于加權K-means與GhostNet融合改進YOLOv4的卷煙廠物料輸送巷道異物視覺檢測方法[J]. 中國煙草學報，2023，29（5）. LIU Jun, XIN Qiusheng, LI Wencan, et al. Improved YOLOv4 visual detection method of foreign bodies in material delivery roadway of cigarette factory based on the fusion of weighted K-means and GhostNet[J]. Acta Tabacaria Sinica, 2023, 29(5). doi:10.16472/j.chinatobacco.2022.T0225