基于深度學習的陪護機器人目標檢測方法

汪振耀，張禮華，鄭儉

（江蘇科技大學長山校區 機械工程學院，江蘇 鎮江 212100）

0 引言

近年來，我國人口老齡化問題嚴重，越來越多的老人得不到充分的陪護和照顧，急需設計一款更加智能的陪護機器人，而陪護機器人的設計自然離不開目標檢測算法，可以有效識別復雜家庭環境下物體的目標檢測算法便成為本文的研究對象。文獻[1]針對目標檢測中小目標誤檢、漏檢等問題，提出一種基于改進的YOLO-S 模型。文獻[2]研究了基于RGB 圖像的物體檢測算法，解決了未知場景中被部分遮擋或完全遮擋目標物體的檢測問題。文獻[3]提出一種改進的YOLOv4網絡，提升了對小目標物體檢測的精度。

現有的研究大多是針對工業機器人領域的物體檢測及抓取，然而，工業領域基本是在簡單、整齊的環境下進行單一的檢測識別工作。針對家庭領域的研究較少，在復雜的生活環境下，物品的種類繁多，它們形狀各異，大小不一，容易被遮擋，檢測的難度較高；檢測過程中部分小目標物體因在攝像頭中的尺寸過小，容易出現錯檢、漏檢的情況。

基于以上背景，本文提出一種基于深度學習的陪護機器人目標檢測方法，其主要內容如下：

1）該方法將改進的生成對抗網絡（WGAN）與改進YOLOv5s 網絡結合，首先，對WGAN 網絡進行改進，在原生成器模塊損失函數上增加衰減因子和校正模塊損失項，平衡模型的復雜程度和泛化能力；將激活函數改為FReLU 激活函數，減少了網絡的參數量，增強了WGAN 生成對抗網絡的生成能力，為后續YOLOv5s 網絡訓練準備了足夠的數據集，提升網絡的魯棒性。

2）對YOLOv5s 網絡進行改進，其中輸入端采用Gridmask 數據增強方式；Backbone 部分將C3 模塊改為C2f模塊，并在C2f模塊中加入SE 注意力機制模塊，減少了網絡參數量的同時增加了網絡的特征提取能力；特征提取部分融合長短時記憶網絡（LSTM），可以獲得更多的上下文信息，提高網絡的檢測精度；最后對損失函數進行優化，加快模型的收斂速度，使得網絡訓練更快地得到最優的預測參數模型。

1 理論基礎

1.1 WGAN 網絡

1.1.1 GAN網絡以及WGAN 網絡

生成對抗網絡（GAN）[4]是一種半監督學習網絡，由生成器模塊和判別器模塊組成，網絡模型如圖1 所示。具體地，輸入噪聲向量z，經過生成器模塊(G)，通過生成網絡的卷積網絡提取噪聲向量的特征，再由反卷積網絡生成一批假數據G(z)，與從數據集中提取的真實圖(X)一起進入判別器網(D)，判別器會將真實數據和假數據區分開來，只要判別結果是數據不全為真，便會給生成器模塊(G)一個懲罰，使得生成器模塊向著生成真數據的方向發展，直到能夠騙過判別器網絡。

圖1 GAN 網絡結構圖

GAN 網絡在訓練過程中容易出現梯度爆炸，網絡崩潰的情況，WGAN 網絡在原始GAN 網絡的基礎上做了一些改進，使用推土距離Wasserstein distance 代替了JS 散度，解決了當兩個數據不重合時，JS 散度不變的問題，使得生成器(G)向著生成真實圖像的方向發展，生成更加逼真的圖像，其中生成器的優化函數和判別器的優化函數分別為式（1）和式（2）：

1.1.2 FReLU 激活函數

如圖2 所示，可以看出FReLU（Funnel ReLU，漏斗式ReLU）與ReLU 的區別，FReLU 將ReLU 擴展成2D 激活函數，FReLU 通過在激活函數中使用2D 漏斗式條件可以將ReLU 擴展到具有像素級建模能力的可視參數激活函數，FReLU 有兩個核心組件：漏斗式條件+像素級別建模能力，FReLU 也是采樣相同的max（）作為簡單的非線性函數[5]。對于條件部分，如式（3）、式（4）所示：

圖2 FReLU 與ReLU 對比圖

式中：T(xc,i,j)就是定義的漏斗條件；表示在第c個通道上，以2D 位置（i,j）為中心的窗口，也就是圖2b）的灰色框口表示此窗口在同一通道中共享的參數[5]。

1.2 YOLOv5s 網絡

YOLOv5s 網絡主要包括輸入端、主干、頸部、輸出端四部分[6]。

數據集通過輸入端進入網絡，并通過將數據集中的每4 張圖片隨機裁剪、縮放拼接在一起形成一張新的圖片，豐富數據集的種類、數量；Anchor 方面，YOLOv5s 使用自適應瞄框，在處理數據集的過程中，根據不同的數據集的特征可以計算出與之對應的瞄框；主干網絡使用Focus 模塊實現快速下采樣，還使用了C3 模塊，增強算法的學習能力；Neck 部分使用FPN 和PAN 結合的結構，從不同的主干層對不同的檢測層進行參數聚合，大大加強了網絡的特征融合能力；輸出端使用CIOU_Loss 作為損失函數，其考慮到檢測過程中被遮擋的物體，在很大程度上提升了檢測的速度和精度；檢測層使用Sigmoid激活函數，增強網絡的非線性建模能力，使網絡更加穩定。

1.2.1 SE 注意力機制模塊

SE 壓縮激勵模塊可以提升網絡的特征提取能力，第一步進行的是壓縮操作，如圖3 所示。將輸入的寬為W、高為H、通道數為C的特征圖進行全局平均池化操作，然后輸入一個寬、高都為1，通道數為C的向量；接下來經過激勵操作，輸入上一步壓縮操作的結果，經過第一個全連接層，降低網絡的參數量，接著通過激活函數層，再次經過一個全連接層和一個激活函數層，輸出一 個1 × 1 ×C的向量；最后 是scale 操作，在得到1 ×1 ×C向量之后，可以得到每個通道的值以及它們的權重，再將它們相乘，就是通道權重相乘，計算公式如下：

圖3 SE 注意力機制模塊

1.2.2 C3 模塊和C2f模塊

C3[7]是YOLOv5s 網絡的重要組成部分，主要由Conv層、Bottleneck 層和Concat 層組成，采用了ResNet 的基本思想，對輸入的特征圖進行卷積操作，使用add 進行特征融合，通過增加步長來增強網絡的感受野，增加網絡對特征的敏感度。而C2f模塊在C3模塊的基礎上減少了一個Conv層，增加了1 個Split 層和n-1 個Bottleneck層，減少了網絡的參數量，同時增加了網絡的特征提取能力。

本研究在C2f 模塊之后加入了SE 注意力機制模塊。稱為C2fSE 模塊。

1.2.3 骰子系數

骰子系數（Dice Coefficient,DC）是一種常用與度量兩個集合相似程度的指標，骰子系數定義為它們的交集的大小與它們的并集的大小之比。數學表達式如下：

當骰子系數越接近1時，損失函數值趨于0，此時模型的檢測性能好，骰子系數損失公式如下：

式中：|A|表示集合A的元素個數；|B|表示集合B的元素個數；|A∩B|表示集合A和集合B交集的元素個數。

1.3 LSTM 網絡結構

循環神經網絡[8]（Recurrent Neural Network,RNN）是一種用來處理序列數據的傳統神經網絡結構，在網絡訓練的過程中容易產生梯度衰減和梯度爆炸的問題。為了克服這些問題，這里引入RNN 的一種變體長短時記憶網絡（Long Short Term Memory Network,LSTM）。

LSTM 通過引入特殊的“門”結構來控制信息的流動和保持長期記憶，門單元控制著數據的輸入或輸出，決定著信息的更新迭代。如圖4 所示，一個LSTM 網絡包含輸入門、遺忘門、輸出門以及候選記憶單元。這樣的網絡十分適合序列數據處理問題。

圖4 LSTM 網絡結構圖

2 基于深度學習的陪護機器人目標檢測方法

陪護機器人在復雜的生活環境中工作，常常因為目標物體的尺寸過小導致錯檢或漏檢的情況，造成檢測精度過低的問題，對此本文提出一種基于深度學習的陪護機器人目標檢測方法，利用改進的WGAN 生成對抗網絡生成圖像擴展數據集，為后續的YOLOv5s 訓練奠定基礎，提升了網絡的泛化性。改進YOLOv5s 網絡的結構并與LSTM 網絡相融合，提升網絡的特征提取能力，以完成高精度的檢測任務。

2.1 改進WGAN 網絡結構

借鑒WGAN 損失函數，在原生成器模塊損失函數上增加衰減因子和校正模塊損失項，平衡模型的復雜程度和泛化能力，函數表達式如公式（8）所示：

式中：Ex表示數學期望；PC和Pr分別表示取生成樣本和真實樣本；λ和μ分別表示損失項系數和校正模塊損失項系數。

校正模塊損失函數如式（9）所示：

針對原始WGAN 網絡容易產生梯度消失的問題，提出了用FReLU 替代網絡中的ReLU、Leaky ReLU、Tanh 等激活函數，解決了原始WGAN 網絡中激活函數在空間上敏感度低的問題，具體網絡結構如圖5 所示。

圖5 改進的WGAN 網絡結構圖

2.2 改進YOLOv5s 網絡結構

YOLOv5s 網絡輸入端采用Gridmask 數據增強技術，通過對圖像的部分區域進行規則化的遮擋處理，增加網絡對遮擋、變形、背景干擾的魯棒性，提升檢測模型對于復雜場景和遮擋情況下的識別能力。

Backbone 部分采用C2f 模塊替代C3 模塊，并在C2f模塊中加入SE 注意力機制模塊，減少網絡參數量的同時，提升網絡的特征提取能力；將LSTM 網絡與YOLOv5s 網絡相結合，YOLOv5s 網絡經過特征提取層提取特征后，將提取到的特征圖作為LSTM 網絡的輸入，這樣，LSTM 可以在每個時間步驟上接收到特征圖，并根據之前的特征和當前時間步驟的特征來學習特征之間的時序關系；通過在LSTM 中引入歷史序列數據，例如前幾幀的特征圖，可以提供更多的上下文信息，從而提高目標檢測的準確性。改進以后的網絡結構如圖6所示。

圖6 本文模型網絡結構圖

YOLOv5s 網絡損失函數采用位置損失、置信度損失以及類別損失的加權和作為總的損失函數，這里本文將骰子系數損失加入總的損失函數，此時總的損失函數公式如下：

式中：Lossbox為邊界框損失函數；Losscls為類別損失函數；Lossobj為置信度損失；LossDC為骰子系數損失；hgt、wgt分別表示真值框高寬；h、w分別表示預測框高寬；平衡比例的參數計算公式記為α；描述預測框和真值框長寬比一致性的參數記為v；a、b、c、d分別為它們的權重系數。

3 實驗與結果分析

3.1 WGAN 圖像生成實驗

3.1.1 實驗數據

目前，在家庭陪護方面還沒有合適的公共數據集，因此將構建自己的公共生活目標數據集。首先采集陪護機器人需要識別一些物體的圖像，分別采集了生活中常見的8 種對象來構建數據集，8 類物品的英文標簽分別為cup（水杯）、orange（橙子）、box（藥盒）、bowl（碗）、medicine bottle（藥瓶）、banana（香蕉）、towel（毛巾）、apple（蘋果），滿足日常的陪護需要。

3.1.2 參數設置

本實驗主要為了驗證WGAN 網絡的圖像生成效果，實驗在GPU 環境下運行，并在Pycharm 中搭建pytorch 環境。參數設置如表1 所示。

表1 參數配置

3.1.3 實驗結果

本文需要的數據集種類不單一，本實驗選用其中的香蕉（banana）數據集，運用改進后的WGAN 網絡進行訓練，生成香蕉圖像。從圖7 可以看出，隨著迭代次數的增加，從一開始的噪聲向量逐漸訓練，最終形成了清晰的香蕉圖像，實驗表明，改進后的WGAN 網絡可以起到擴充數據集，提高數據集豐富性、泛化性的作用。

圖7 WGAN 生成圖

除了訓練生成的圖像以外，還可以通過觀察訓練過程中的損失函數曲線去監控網絡的訓練過程。如圖8所示，可以看出當迭代次數到達300 左右，損失幅度逐漸變小，生成器的損失函數在-0.5～-0.2 之間徘徊，鑒別器損失函數在-0.7～-0.3 之間上下浮動，生成的圖像質量也在逐步提高，隨著訓練的進行，損失函數曲線逐漸趨于穩定，鑒別器已經分辯不出圖像的真假，模型逐漸收斂。

圖8 WGAN 網絡損失函數圖

通過改進WGAN 網絡生成圖像，對數據集進行擴充，豐富訓練數據集的多樣性，為后續的YOLOv5s 網絡訓練奠定了基礎。

3.2 改進YOLOv5s 網絡實驗及結果分析

3.2.1 數據集的構建

將收集的物體圖像以及WGAN 生成對抗網絡生成的圖像，運用軟件labelimg 對圖片進行依次打標簽，如圖9 所示，然后將標記過的圖片保存在同一個文件夾，每一張圖片對應一個與它同名的xml文獻件，需要將生成好的xml文獻件轉化為與之相對應的txt文獻件，標注完成后，每一張圖片都對應著一個與該圖片名稱相同的txt文件，最后進行圖片和標簽的整理工作，成功創建本文生活物品的數據集。

圖9 Labelimg 標注

3.2.2 實驗配置及評估指標

本實驗主要是為了驗證改進后的YOLOv5s 網絡對目標檢測的效果，實驗環境見表2。

表2 環境配置

本文采用精度（P）、召回率（R）、多個類別平均精度的平均值（mAP）幾項性能指標評判算法的性能[9]，如公式（11）所示：

式中：TP 表示被正確檢測出的目標數；FP 表示檢測錯誤的目標數；FN 表示未被檢測出來的目標數；n表示共需要分類的類別數；AP 表示某個目標類的平均精度。一般情況下，P-R曲線與x、y軸所包圍的面積即為AP值，所有類別AP 值的平均值即為mAP值，mAP 值越大，表示算法的檢測效果越好，檢測的準確率更高。

設置訓練次數為400，訓練的Loss曲線如圖10所示，當迭代次數達到320時，YOLOv5s 模型與本文模型開始收斂。

圖10 Loss 曲線圖

3.2.3 數據增強對比實驗

為了驗證改進WGAN 網絡數據增強在YOLOv5s 網絡上的效果，進行了數據增強對比實驗。圖11 顯示了數據增強前后YOLOv5s 網絡的檢測精度，可以看出，使用改進WGAN 網絡數據增強后，mAP 提高了14%，證明了使用WGAN 網絡數據增強可以提高YOLOv5s 網絡的檢測效果。

圖11 P-R 曲線對比圖

3.2.4 消融實驗

為了驗證本文所提出的改進算法對生活物品的檢測性能是否有效，設計了一組消融實驗，通過組合上述所提及改換Gridmask、修改C2fSE 模塊、融合LSTM 網絡、優化損失函數來驗證不同模型的性能好壞。具體實驗性能見表3。

表3 消融實驗數據

從表3 中可以看出，僅改變數據增強方式時，檢測的精度和召回率有所下降，mAP 有所提升；僅修改C2f模塊并加入SE 注意力機制模塊時，檢測精度和召回率有所下降，mAP 有所提升；僅加入LSTM 長短時記憶模塊時，檢測精度以及mAP 有所提升，召回率有所下降；僅優化損失函數時，檢測精度以及mAP 有所提升，召回率有所下降；當所有的模塊一起整合后，與YOLOv5s 原始模型相比，檢測精度、召回率、mAP 分別提高了6.8%、4.6%、8.3%，提升效果比較明顯。綜上所述，本文所提改進算法對于網絡檢測效果有明顯的提升，能夠適用于陪護機器人日常的檢測抓取工作。

3.2.5 檢測效果對比

為了更直觀地體現本文算法的優越性，從驗證集中隨機選擇兩張圖片分別用原始YOLOv5s 模型和本文算法進行檢測，結果如圖12 所示，可以看出對于無遮擋的大目標物體，原始YOLOv5s 和本文算法均可以檢測出，但本文算法的置信度更高一點；對于有遮擋的小目標，原YOLOv5s 模型的漏檢率較高，并且置信度較低，而本文算法無漏檢、錯檢，且置信度都在0.95 以上。綜上所述，本文改進模型對于陪護機器人的小目標檢測，以及有遮擋的目標檢測都有較好的檢測效果。

圖12 測試結果對比

3.2.6 目標檢測算法對比

為進一步驗證本文算法的有效性，將本文算法與現階段主流算法在同一驗證集上進行實驗，結果如表4所示。

表4 不同檢測算法結果對比 %

從表4 中數據可以看出，本文改進后的算法在P、R和mAP 上都高于其他檢測算法，表明本文構建的改進后的算法要優于其他算法，驗證了本文算法的有效性。

4 結論

本文從陪護機器人目標檢測問題出發，提出了一種基于深度學習的陪護機器人目標檢測方法，成功解決了陪護機器人檢測過程中的錯檢、漏檢、檢測精度低的問題。首先，構建了生活物品數據集，滿足了日常的陪護需求；其次，利用改進WGAN 網絡生成高質量的圖片，豐富數據集多樣性，提升網絡的泛化性，為后續YOLOv5s 訓練奠定基礎；然后，對原YOLOv5s 的網絡架構進行改進以及損失函數進行優化，提升網絡的特征提取能力，并將LSTM 融入到YOLOv5s 模型中，可以獲得更多的上下文信息，從而提高目標檢測的準確性；最后，將骰子系數加入總的損失函數，以加快模型的收斂。

實驗結果表明，改進后的算法在自制驗證集上的檢測精度、召回率、mAP 分別提高了6.8%、4.6%、8.3%，在家庭常見小目標物體和部分遮擋物體檢測精度、漏檢等方面都有所提升，適用于家用陪護機器人的目標檢測工作。

注：本文通訊作者為張禮華。