基于改進YOLOv5的叉車能效優化方法研究

李青青，李陳斌，李鎮宇，陸可

（1.安徽工業大學管理科學與工程學院，馬鞍山243000；2.哈爾濱工業大學計算學部，哈爾濱150013；3.上海應用技術大學經濟與管理學院，上海200235）

0 引言

機器視覺被越來越廣泛的應用于無人工廠、智能控制等場景中。在工業物流系統中，叉車在搬運和存儲環節中扮演著重要角色。然而，大部分工廠內部叉車數量大、運送路線復雜，并且對搬運的貨物采用人工統計、紙質保存等傳統方式進行管理，難以對叉車的工作效率進行有效評估。因此，本文提出一種基于機器視覺統計裝卸貨物次數的方法，對叉車工作效率進行分析和記錄。

近年來，許多學者在不同領域對機器視覺進行深入研究。物體檢測是機器視覺領域的基礎性研究，對后續能效管理、自動識別等任務起著至關重要的作用。傳統的檢測是通過傳感器判斷托盤貨物的狀態。文獻[1]使用傳感器與激光雷達結合，通過聯合標定和配準來實現對叉車托盤的檢測，但是價格昂貴，無法普及使用。文獻[2-3]基于顏色和幾何要素生成特征信息，應用具有針對性，但是易受光照與噪聲的影響。隨著深度學習的發展以及硬件水平的提高，基于深度學習的目標檢測技術，取得了劃時代的發展。從最初的R-CNN[4]、OverFeat[5]、到后來的Fast R-CNN[6]、進階版的Faster R-CNN[7]、SSD[8]以及YOLO系列，網絡架構實現從雙階段到單階段的革新。從面向PC端R-CNN到手機端MobileNet[10]，目標檢測技術在不同終端上展現了出色的檢測效果和性能。文獻[11]利用托盤孔位置的焦點特征進行托盤識別，要求存在托盤孔，限制因素較高。文獻[12]利用改進的DenseNet算法對實際場景下的托盤進行檢測，實驗場景環境單一，檢測效果一般。所以將機器視覺應用于實際場景中，存在網絡模型較大、參數多、嵌入性差的問題，導致計算量大、硬件要求高的問題。

為了解決上述問題，適應作業環境的復雜多樣性，首先在通用數據集的基礎上增加了符合實地應用場景的數據。其次，對于現場硬件的限制性，難以嵌入大規模的應用程序，改進了YOLOv5的主干網絡結構，使用更輕量級的特征提取網絡減少網絡的冗余特征。為保證減少網絡運算量的前提下，不降低網絡檢測的準確度，故增加了注意力機制，更具針對性地提取圖像的目標特征信息，提高網絡的準確度。實驗結果表明，在不同復雜度場景下，與原始的YOLOv5算法比較，改進后的網絡在魯棒性和準確度顯著提高。

1 檢測場景流程

1.1 網絡結構框架

首先，本文將單目2D相機部署在叉車駕駛室的頂端，檢測到叉車前向托盤立面局部貨物。在獲取實際場景下視頻流的基礎上，對視頻進行分幀操作，截取間隔若干幀的不同時段的圖片。然后對圖像進行聚類分析，建立所有圖像之間的相似度函數。利用相似度函數分析截取到的圖片之間的相似程度，設定一定閾值對相似程度高的圖片進行重復篩選，避免人工挑選的時間成本和主觀判斷的差異。最終圖片作為自建數據集的源文件，通過標注后得到不同場景下的類別數據。選取YOLOv5算法作為機器視覺的檢測算法，實現對叉車運輸狀態的實時準確獲取。對現實場景進行目標檢測的流程設計如圖1所示。

圖1 檢測場景系統框架

1.2 實驗數據集

本文圍繞VOC數據集和自建數據集進行算法效果的對比實驗。VOC數據集是擁有多項功能的數據集，包含20類目標，數量超過5萬張，以XML數據結構存儲。VOC數據集雖然包含著大量標注數據，但是適用于實際工業應用場景比較少。

本文仿照VOC數據集制作了一個專門用于檢測叉車貨物的數據集，用于提高網絡性能。該數據集從實地車間駕駛員行車過程中跟拍獲取視頻，采集到不同天氣、不同時間段（夜景也在內）、不同地點的復雜樣本數據。通過后續對視頻的分幀、聚類，挑選出叉車托盤貨物中含有滿盤、半盤、空載、上下料過程的四種不同復雜場景。最后使用labelImg軟件對采集圖片進行矩形框標定，生成對應的XML文件，用于訓練和測試。自建叉車貨物數據集更貼合工廠場景，同時復雜多變，對于目標檢測網絡的性能具有更大的挑戰性。

1.3 數據聚類分析

本文應用的場景中，數據以視頻的形式存儲，而實際使用的數據集是以圖像的格式作為輸入，所以要對原始的數據進行預處理操作。數據預處理流程如圖2所示。首先對視頻數據處理，對輸入的視頻進行采集和編號，并將編號后的視頻輸入存儲模塊。然后對視頻進行預處理操作，在利用高斯濾波濾除編號視頻噪聲的基礎上，再進行分幀處理。在預設時間間隔下保證幀長有效性，得到若干獨立的預處理圖像。視頻通過預處理模塊首先對視頻間隔為60幀頻率取一張圖片，并進行存儲操作。在保證圖像清晰的前提下，每個視頻約提取5000張圖片，所有視頻數據共計生成90739張圖片。

圖2 數據分幀聚類處理

由于分幀后處理的數據量較大，圖片與圖片之間的差異性較小，通過聚類過后易于對圖片進行刪減。我們首先將原始圖像看作是一個高維向量，將數據由高維向低維投影，進行坐標的線性轉換。常見的數據降維方法包括主成分分析，奇異值分解等。我們采用PCA（Principal Component Analysis）算法進行降維，便于有效信息的提取和剔除無用信息。降維公式如下：

進行降維后，提取圖片本身具有的特征，從而判斷兩兩圖片之間的相似程度。通過計算相鄰圖片特征的相似性，設定合理閾值解決自建數據集冗余的問題。

v1是圖像1降維后的向量形式，v2是圖像2的向量形式，也可以理解為概率論上的樣本點。conv(v1,v2)為v1與v2的協方差，var(v1)為v1的方差，var(v2)為v2的方差。

針對相似度高無法識別的圖片，提取圖片更深層的語義信息，利用圖片多層次特征預防刪除過度情況。為了平衡聚類效果以及運算時間成本，將本實驗聚類數目設置為9，通過每個類簇的協方差來決定簇類分布的形狀。經反復迭代訓練后，處理速度可達28bit/s，最終獲得貼合數據集的模型。聚類效果如圖3所示，不同散點群組間距離越遠，相似度越低。

圖3 聚類效果

2 基于機器視覺的叉車能效檢測

YOLOv5網絡框架主要由三個模塊組成，框架如圖4所示。首先是提取特征的主干網絡CSPNet[13]，在不同圖片上提取細粒度級特征，提取豐富的語義信息和位置信息。模型的head模塊包括PANet[14]和head檢測部分，路徑聯合網絡PANet網絡可以對主干提取的特征進行特征融合。對于不同尺度目標的檢測，特征金字塔結構會強化訓練好的模型，有利于對不同大小的同一目標識別問題。Head檢測層將預測出的目標框映射到對應的特征圖上，最終輸出包含目標所屬類別概率、對象得分和包圍框的坐標的向量。

圖4 YOLOv5網絡結構

在實際工業場景中，一方面現有數據集類似于PASCAL VOC（以下簡稱VOC）、COCO等公共數據集與實際場景的耦合性較差，模型適配性較低。另一方面，原始算法對現場設備性能要求過高，難以嵌入。對于以上問題，首先，自建了符合現實場景的數據集，在公共數據集的基礎上滿足實地檢測要求。其次，對YO?LOv5網絡結構進行了改進，通過GhostBottleneck（以下簡稱GB層）層代替BottleneckCSP網絡層，縮減網絡參數。同時新增了Squeeze-and-Excitation注意力機制模塊（以下簡稱SE模塊），對主干網絡的提取特征重新組合，更好擬合網路通道之間復雜的相關性，提取更具針對性的特征。

2.1 GhostBottleneck模塊

在實際場景下，由于現場設備空間布局的設計，硬件算力有限，限制了深度學習的應用。針對此問題，我們采用為移動設備設計的GhostNet[15]網絡結構，其核心是利用線性操作來生成豐富的特征圖。原始的Bottle?neck網絡中，在提取特征的過程中生成過多冗余特征圖，占用硬件內存時還影響網絡的運行速度。本文使用GB網絡結構代替YOLO中的BottleneckCSP結構。我們將網絡拆分成shortcut和conv堆疊兩個部分，使用一部分普通卷積獲取特征圖，其他特征圖使用5×5的線性卷積操作，從而在減少一半計算量的同時，依舊能獲取相同數量的特征圖。框架繪制如圖5所示。

圖5 GhostBottleNeck框架

特征圖經過一個Ghostconv卷積過后，判斷傳入的stride參數是否為1。當判斷stride不等于1時，則執行DWconv層，實現對輸入特征層的下采樣，減少網絡的運算參數，特征圖會縮小為原來的一半，網絡層的深度加深。當stride等于1時，網絡會經過Ghostconv層進行特征提取，實現通道數的擴展。最終對前幾層的輸出進行整合操作。這樣我們設置網絡步長大小的同時，使得網絡結構更富有靈活性和選擇性。

與此同時，由于梯度發散，單純增加網絡深度難以簡單地提高網絡的效果，反而可能損害模型的效果。本文使用shortcut模塊，對上一層的網絡進行DWconv層的操作，與Conv堆疊塊相似，選擇傳入的stride參數來進行控制是否進行卷積操作。增加的shortcut模塊就是為了保證加深網絡深度的同時，自適應地調節網絡的輸出通道數，便于維持模型的效果。

為了實現網絡的輕量化，因此本文采用了Ghost?Conv卷積模塊，繪制如圖6所示。首先使用1×1大小的普通卷積層CV1實現更深層的特征提取。并且為了保證特征圖細節信息的獲取，分離出多尺度的局部特征信息。對前層輸出數據分組成組特征，每個特征使用5×5大小的卷積核經過線性變換，提取更深層次的特征。最終將網絡每一個模塊可執行一組轉換，在一個低維嵌入上執行每組轉換，通過求和合并輸出。網絡通過分組卷積的方式來達到分組效果和卷積數量兩個方式的平衡，最終可以在減少網絡參數的同時還降低模型的復雜度。

圖6 GhostConv網絡

使用了GhostConv過后，本文又結合了DWconv對網絡進行優化。DWconv層使用1×1的卷積神經網絡，設置網絡輸入輸出的最大公約數作為劃分群的個數，采用分組數量等于輸入通道數量，即每個通道作為一個小組分別進行卷積，最終將每組結果聯結作為輸出。

2.2 SE（Squeeze-and-Excitation）模塊

考慮到本文的檢測目標物體面積較大，小目標物體較少，而在卷積池化的過程中，不同通道特征所占的重要性相同，造成信息損失問題。SE模塊[16]是HU等人提出來的通過關注通道之間的關系，解決不同通道特征信息影響因子不同的問題。

SE模塊包括Squeeze（壓縮）和Excitation（激發）兩個操作。在改進后GB層不斷進行通道堆疊過后，會產生參數量大，模型容易過擬合的問題。我們首先利用Squeeze通過在Feature Map層上執行Global Average Pooling，輸出1×1×channel的特征圖對整個網路做正則化以防止過擬合。其公式如下：

H表示輸入特征圖的高度，W表示輸入特征圖的寬度。Excitation操作通過兩層全連接結構獲取通道間聯系。然后接一個sigmoid激活函數層來保證輸出的權重在[0，1]區間內。此時sigmoid函數的門機制，選擇更加重要的特征交互傳遞到更深層。公式如下：

其中r為升降維比率，為降維層參數，為升維層參數，ReLU是其激活函數。最后一步是Scale層，將學習sigmoid層各通道歸一化權重加權到原始特征上。

我們自建數據集中的圖片，在特征表現上有很強的指向性，特征較少的位置信息對整體網絡檢測和識別的影響有限。我們使用SE模塊控制scale的大小，對不同層的特征圖提取的特征指向性更強。雖然增加SE模塊層會相應增加網絡模型的參數和計算量，對于模型參數增加量為：

其中r為降維系數，S為stage數量，Cs表示第s個stage的通道數，Ns是第s個stage的block重復次數。SE模塊不可避免地增加了一些參數和計算量，但是在改進后的網絡結構中表現出更好的性能效果。

2.3 改進后的YOLOv5網絡結構

改進后的YOLOv5算法主干網絡如圖7所示，通過使用GB層對輸入進行特征提取，不影響網絡特征提取效果的基礎上，使用步長為1的GB層代替原有的提取特征層。步長為2的GB層代替普通卷積層。再增加SE模塊動態自適應完成在GB層通道維度上對原始特征進行雙重驗證，關注了模型通道層面的依賴關系。一方面，我們使用GB層的線性變換降低模型的大小，減少模型的運算成本。另一方面，結合使用SE模塊針對性提取不同重要性的特征，使得網絡剪枝的效果更加明顯，對GB層提取的特征更具有魯棒性和精確度。

圖7 改進的YOLOv5主干網絡結構

增加的SE模塊中，經過前面一系列的卷積操作和注意力機制層，會輸出豐富的全局語義信息，但對局部的特征信息較少。我們在網絡的后端增加空間金字塔池化層（Spatial Pyramid Pooling，SPP），對網絡的前向卷積進行特征融合，從而獲取更加豐富的局部特征信息。

3 實驗設計

3.1 網絡訓練

本次實驗所用到的軟硬件配置如表1所示，實驗框架基于PyTorch開發。

表1 實驗配置

經過網絡中的Neck模塊過后得到挑選的候選框，訓練過程中會得到每一個框的屬性。其中一個指標是準確率（Precision，P），即遍歷過的預測框中，屬于正確預測邊框的比值。其中若正確地檢測出來托盤貨物則為真正類（True Positive），若對于未裝載貨物的托盤檢測為有貨物則為假正類（False Positive）。檢測準確率為：

3.2 檢測的準確度

將實驗的1172張樣本集分成10份，將其中的9份作為訓練集，剩下的1份作為交叉驗證集，最終取所有類別平均誤差，得到以下評估模型性能數據。本實驗從mAP準確度的指標來衡量，對原始的YOLOv5算法和改進后的進行比較分析。

為了驗證算法的魯棒性對兩種算法兩個尺度各進行測試分析。結果如圖8所示，原始的YOLOv5用細線條表示，改進后的網絡用粗線條表示。從圖中可看出，改進后的YOLOv5網絡在保持較高準確度的基礎上，波動水平較低，說明模型更加魯棒。

圖8 不同網絡下的準確率測試

為了驗證本文算法的有效性，將算法與更輕量級YOLO-fastest的性能進行比較。由表2結果表明，在自建的倉儲托盤數據集上改進后的YOLOv5 mAP達到了99.1%，相對于原始網絡mAP可提高0.9%，相對于更加輕量級的YOLO-fastest提高了2.31%。保證原有檢測效果下，模型大小僅有5.4MB，模型的大小降低了67%。因此，本文算法在保證托盤貨物叉車預測精準度下，模型占用內存小，更適用于樹莓派、嵌入式電子設備等低端設備。

表2 不同網絡的準確率測試值

經實驗可發現，改進后的YOLOv5-SE與其他算法評估其網絡性能，在相同數據集下表現效果如表3所示，在增加網絡層數的同時，模型參數雖然有所增加，處理圖像的速度比改進前的慢0.005s，但是依舊能滿足現實場景實時檢測的需求。

表3 不同網絡的參數比較

3.3 實際檢測結果

算法從實際工廠情景下出發，將訓練好的模型應用于實地工業場景，算法能夠完備地嵌入到工業應用現場。在叉車運行過程中，實現了實時檢測的基礎上，準確度維持較高水平。實驗評估測試的結果如圖9所示，表明在很大程度遮掩、工廠背景嘈雜、不同姿態的托盤情況下，網絡模型依然取得了很好的檢測精度。

圖9 改進后的YOLOv5叉車托盤預測圖

4 結語

本文提出了一種改進的YOLOv5算法用于統計叉車不同狀態下裝卸貨物的次數，自建了基于實際工廠倉儲叉車運輸的數據集用于訓練，修改了主干網絡以降低算法的運算量，并引入注意力機制提取有效特征信息。改進后的YOLOv5模型小、更輕量級，易于進行嵌入式的開發。在叉車運行時面對復雜的場景魯棒性強，能保持較好的檢測性能。但在測試的過程中也發現存在預測框的邊沿并不理想的情況，與檢測托盤當前所屬狀態存在偏差，接下來我們將會這項工作進行重點改進，設計更好性能的YOLOv5模型。