基于YOLOv4的抓取檢測

周海明，雷志勇

（西安工業大學 電子信息工程學院，西安710021）

機械臂的抓取功能是人機交互的重要橋梁，抓取點的準確與否直接影響著用戶體驗。國內工廠車間已大量應用機械臂，其中大多數是通過人工設定好的參數讓其運動至目標點進行作業[1]。對于在實際作業中的非結構下環境[2]，會需要耗費更多的人力進行重新設定坐標點。機器視覺[3]的出現賦予了機械臂智能的處理能力。早期傳統的檢測算法雖然能通過監督學習[4]達到目標但是其需要人工去設計特征，如表面的紋理特征[5]，個人的認知能力將限制檢測的能力，當復雜的圖像人工無法提供特征時，將無法進行監督學習。

隨著信息技術的快速發展，CNN[6]卷積神經網絡的出現，豐富了目標檢測的方式，和傳統的檢測算法最大的不同，其能夠自動提取出特征。之后發展出的目標檢測網絡可以分為兩大類：一類是單階段的如YOLO[7]，SSD[8]；一類是雙階段的基于候選區域的網絡如Fast R-CNN[9]，Faster R-CNN[10]。單階段的檢測網絡直接將檢測問題轉換為回歸問題進行處理，直接實現端到端的訓練。雙階段的檢測網絡則是通過相關算法先生成大量的候選區域，然后再將其送入神經網絡進行結果的預測。因此單階段的檢測時間總體將會優于雙階段的網絡，預測結果精度總體會低于雙階段結構。YOLO 網絡從當時的初代經過前人的不斷改進發展到如今的YOLOv4[11]，YOLOv4的預測精度可以和二階網絡相當甚至超過一些二階網絡的預測精度。針對抓取點的檢測由于物體表面的紋理信息會影響到預測的問題[12]，原始的錨寬不適合待檢測目標的比例，以及對于多尺度目標的抓取預測不佳的問題[13]。本文采用圖像處理算法將物品原圖像轉換成只具有輪廓信息的數據，以YOLOv4 為基礎的卷積神經網絡，使用K-Means[14]聚類算法使得錨寬適合待檢測物品，新增特征尺度進行抓取點的檢測。

1 YOLOv4 網絡模型

YOLOv4 是Bochkovski 等人在2020年提出的最新YOLO 系列，其網絡主要由三部分組成，以CspDarknet53 為主干網絡的特征提取部分，FPN 和PAN 結構的特征融合部分，以及檢測部分。網絡共有161 層，主干網絡的卷積層共有72 層。在輸入圖片608×608 的尺寸下，網絡的計算量為128.46 BFLOPS。與YOLOv3 主干網絡只使用Darknet53 相比其主干網絡用了CSP 結構的Darknet53，CSP 結構能夠把特征層映射到非相鄰的層，這樣計算量將會減小而且準確度可以保持不變。在特征融合層上采用的FPN 和PAN 結構，不僅通過FPN 使得頂層19×19、38×38、76×76 三個特征圖上經過采樣的特征融合，還以PAN 結構使得特征通過自底向上的特征金字塔融合，采用這兩種結構的優勢使得不僅具有較好的語義信息特征還具有較好的定位特征，最后將兩個特征金字塔融合后的特征送入檢測層進行預測。

2 抓取點檢測

2.1 圖像輪廓處理

物體的紋理對于物品的分類起到重要的作用，但是抓取網絡與分類網絡不同，效果好的抓取預測需要在形狀結構上進行分析，所以任何已知的干擾的特征應該盡可能的消除。消除物品的紋理特征信息提取目標的輪廓信息可以在目標圖像送入抓取檢測網絡之前采用圖像處理的方法實現，論文采用區域生長的方法。區域生長的原理是把與所選的生長點的顏色、灰度或紋理等相關的信息一致的周圍的像素點進行合并再生長直至不滿足生長條件為止。

簡單的區域合并算法如下：

（1）在圖像中按順序找出無歸屬的像素點，設此像素點坐標為（a1，b1）；

（2）以（a1，b1）為初始點按照8 領域生長準則查詢（a，b）像素，若（a，b）滿足準則則合并生長并且把（a，b）送入堆棧；

（3）從堆棧之中抽取某個像素，并將其設為（a1，b1）再返回步驟（2）；

（4）如果堆棧為空則返回步驟（1）；

（5）重復上述的步驟直至圖像中任何點均有歸屬后算法結束。

2.2 K-Means 聚類

由于YOLOv4 模型默認的錨框不能和論文所需檢測目標完好的匹配，不能使檢測的結果達到要求。所以為得到適應論文目標的錨框，把目標的全部錨框尺寸用K-Means 算法進行聚類，以此提升檢測結果的精確性。其具體算法如下：

（1）根據設置好的k個類錨框作為初始中心，從目標的錨框中隨機抽選k個作為初始錨框；

（2）從k類中依次找出與其錨框滿足閾值要求（論文采用歐式距離計算）的錨框尺寸并將其歸為同一類，并且重新計算每一類的中心；

（3）重復步驟（2）直至沒有新的聚類中心。

具體公式如下：

式中：ak，bk為設定好的k類錨框尺；an，bn為目標錨框尺寸數據；d為聚類中心與其他錨框尺寸的歐式距離。

式中：Ak，Bk為重新聚類的k類錨框尺寸；ai，bi為聚類在一類的錨框尺寸；m為該類別的錨框總個數。

2.3 加強小型物品檢測

YOLOv4 在輸入圖片為608×608 分辨率的情況下默認有3 種特征尺度檢測分別為19×19、38×38、76×76。特征尺寸的大小與檢測物品的大小成反比，尺寸越大檢測小物品的能力越好，尺寸越小檢測大物品的能力越好。論文針對抓取的物品大都是小型的形狀，對于原特征網絡中存在檢測大物品特征的尺度19×19 將不適合本文的檢測目標，并且還會進行多次的卷積和池化計算，提升網絡的參數量的同時還將增加網絡復雜度。為降低計算量減少計算的成本以及得到精準的抓取點檢測結果，不進行該尺度特征圖的檢測及其附近層的計算，以輸出尺度為19×19 的殘差塊為初始到進行該尺寸的上采樣層為終點全部進行剔除處理，并且在YOLOv4的主干網絡中的第11 層和第109 層進行特征融合，得到能檢測小型物體的特征尺寸152×152。

3 抓取參數

論文檢測出的抓取參數為具有抓取中心坐標的矩形框并附帶角度信息，其角度為物品與水平面的夾角。由于神經網絡對于分類的效果比直接回歸的好，將角度的回歸問題轉為分類問題進行預測。論文將角度以180°劃分為6 類，設0°為初始角度類別，每類角度依次遞增30°，具體的效果如圖1所示。

4 實驗與結果分析

4.1 實驗環境的建立與數據集

論文采用的操作系統為64 位Windows7，配置的處理器為Intel Core i7-1165G7，內存為16 GB，使用獨立顯卡NVIDIA GeForce MX450。運用pytorch深度學習框架，版本為torch1.1.0，在pycharm 編程環境下進行開發。使用GPU 進行運算加速，cuda 版本為10.0，cudn 版本為v7.5.1。神經網絡需要根據大量的數據學習得到目標的特征，數據集的好壞可以直接影響神經網絡訓練結果，對于訓練網絡中的數據集采用目前流行的康奈爾抓取數據集，該數據集包含280 類圖像共1035 張圖像，由于是采取人工標注的形式所以其標注信息更加準確，包含物品抓取矩形框以及旋轉的角度信息。

圖2 為經過改進后的抓取網絡結構圖，以608×608 的彩色圖像作為原始的輸入圖像，經過圖像處理得到物體的輪廓信息并將此輪廓信息作為網絡的直接輸入。

圖2 改進的YOLOv4 網絡Fig.2 Improved YOLOv4 network

4.2 性能的評價指標

論文采用的抓取檢測性能評價標注有2 個，一個為預測抓取框與真實框的重合度大小，一個為預測框的角度與真實抓取角度的差值。

預測的抓取框角度θR與真實的角度θT的絕對值小于30°。

預測的抓取框XR與真實抓取框XT的相似度大于0.25。

如果滿足以上要求則認為預測抓取準確，重合度越高以及角度差越小性能則越優越。

4.3 網絡訓練

將康奈爾數據集其中的10 類物品按6∶2∶2 的比例分為訓練集、驗證集以及測試集，這10 類物品生活中是常見的具有代表性的物品分別是香蕉、檸檬、湯勺、帽子、杯子、文具筆、紙方盒、鍋鏟、刷子、剪刀。調整超參數，令eopch 為150 即使得數據重復迭代150 次。Batchsize 為10，非極大的閾值為0.6。設定初始學習率為0.01，根據YOLOv4 內的余弦退火函數學習率會在初始時以較慢的速度減少，中途會增加下降速率，最后又會變成一個較慢下降的學習率

式中：ηt代表當前的學習率；i代表第幾次的索引值；分別表示為最大的和最小的學習率；Ti代表第幾次的總的epoch 數；Tcur則是當前執行了多少數目的epoch。

網絡采用的損失由三大部分組成，分別為los1真實抓取框與預測框的長、寬以及中心點損失，los2置信度的損失，los3 角度分類的損失。對于連續的變量的損失，一般采用交叉熵的形式，簡單的連續的變量的損失計算方法為均方差計算。論文為得到預測結果的精準度、置信度和分類的損失用由交叉損失函數進行計算，抓取框的損失則由YOLOv4 中的CIOU 損失函數相較于在IOU 和DIOU 基礎上增加邊界框的距離信息GIOU 損失函數，其在GIOU 損失的基礎上還考慮了錨框的寬高尺度的信息。

式中：D為目標框與預測框中心的距離；Dc為最小外接矩形的對角線長度；wgt、hgt、w、h分別代表真實框與預測框的寬和高。

由于原始的YOLOv4的分類層為80，論文由于設備的限制只訓練了10 類物品，所以在預測層上的張量維度進行修改，原來的網絡輸出維度為3×（80+5），論文需修改預測層維度為3×（10+5+8），其中的8 表示8 類角度。

4.4 結果分析

為測試采取的輪廓圖像、K-Means 自適應數據集錨框以及增加小尺度特征檢測方法對抓取檢測是否比原YOLOv4 有效，分別只輸入輪廓信息進行訓練，只使用K-Means 聚類錨框訓練，以及只增加小尺度檢測層。各個網絡訓練完畢后，再將測試集的待抓取預測物體送入這3 個網絡中，根據成功抓取所需要的預測結果和真實值中角度以及抓取框的限制條件，最終得出抓取預測的平均成功率。

4.4.1 網絡訓練損失

圖3 表明訓練的損失值和迭代次數的關系，從中可以看出損失值在第一次迭代前的數值為756.8，并且隨著epoch 的增加數值迅速下降，之后在epoch 為10 以后則以緩慢的速度變化。損失值雖然不是連續不斷的下降，在某些迭代的時候有數值的波動，但是總體呈現下降的收斂趨勢，最終損失值趨于1 以下，表明網絡的訓練達到預期的效果。

圖3 網絡訓練損失圖Fig.3 Network training loss

4.4.2 抓取檢測平均準確率

根據表1 的結果顯示改進的3 種方法與原始網絡相比都具有抓取檢測準確率提升的效果。輸入為圖像輪廓信息較原始網絡提升的最多增加1.6%，其次是采用增加小尺度特征的網絡較原始網絡提升了1.3%，最后為使用K-Means 聚類的方法令錨框的大小與數據相適應的方法性能提升0.4%。

表1 不同方法抓取檢測的平均成功率Tab.1 Average success rate of grab detection by different methods

經過測試了解到以上的3 種方法均能提高抓取預測成功率，為得到最佳的檢測性能，將上述3個改進的部分全部融合在一個YOLOv4 網絡，經過訓練后得出的抓取檢測結果和原始的YOLOv4 檢測結果進行比較。

由表2 可知經過改進的YOLOv4 較原始網絡對小目標物品的檢測準確度提高了5.5%，因為改進的方法中將原始網絡中的第11 層和第109 層進行特征融合，新增加了一個152×152 的特征檢測層，使其增加了對小目標物體檢測的能力。

表2 改進前后小目標物品抓取檢測的平均成功率Tab.2 Average success rate of small target capture detection before and after improvement

從表3 得出融合3 種方法的改良YOLOv4 網絡比原始YOLOv4 網絡抓取檢測的平均成功率要高出4.3%，可知改進后的YOLOv4 較原始有較大的提升。

表3 融合方法與原始網絡的抓取平均成功率Tab.3 Average capture success rate of fusion method and original network

4.4.3 抓取檢測的實際效果展示

為更形象地展示出基于YOLOv4 改良后的檢測效果，羅列了10 種物品的在改進后和原始網絡的實際抓取預測圖像效果對比。圖4、圖5 中分別為原始網絡抓取預測和改進后網絡抓取預測的實際效果圖。可以看出經過改進后的YOLOv4 網絡的抓取預測效果在抓取框的預測上比原始的網絡要好，對于抓取框的傾斜角度的預測上總體也優于原始的網絡。

圖4 原始網絡的實際抓取檢測效果Fig.4 Actual grab detection effect of original network

圖5 改進后網絡的實際抓取檢測效果Fig.5 Actual grab detection effect of improved network

5 結語

對于物品的抓取預測，論文提出一種基于YOLOv4的改進方法，對其輸入的圖像進行輪廓處理降低原圖像中紋理對抓取預測的影響和使用KMeans 方法對數據的實際尺寸進行錨框長寬的設計以此得到最佳的錨框比例，以及通過增加小尺度特征檢測可以增強對小目標的檢測能力。經過實驗數據研究表明改進后的YOLOv4 在抓取框和角度的預測上要優于原始的YOLOv4。表明本文的改進方法對物體抓取的研究是有實際參考價值的。