基于深度學習的香梨目標識別與定位研究

周鵬，曹冰玉，周文靜，張洚宇，馬曉曉，劉生智

（新疆科技學院，新疆巴州 841000)

0 引言

中國雖然地理資源廣闊，但由于農業生產基礎設施薄弱、農業產業結構單一等原因，越來越多的農民工選擇了其他行業就業。面對這種發展形勢，我國學者在研究中提出了人工智能技術的全面融入應用，打造符合新時代發展的智慧農業，不僅可以為農業帶來更多的發展機遇，還可以吸引更多的企業、社會機構和優秀人才參與農業經濟建設[1-3]。如今，農業建設與發展可分為以下幾種類型：1)綠色農業，是指農業與生態環境的融合，在實現協調發展的同時實現可持續發展目標。2)設施農業，是指技術、設備、動植物高度相關的農業。生物物理因素被視為要操作的對象。在提高產量的同時，嚴格禁止使用對人類有害的農藥等化學物質。3)工廠工業，是指綜合運用現代高新技術、新型設備、管理方法而發展的一種綜合機械化、自動化技術的高度集約化生產，能夠在人工農業環境中創造，真正實現全過程連續作業，以擺脫自然環境的限制。

目前，最常見的以深度學習為核心的目標檢測算法分為兩種理論技術。一種是以候選區域為核心的目標檢測算法，另一種是端到端的目標檢測算法[4]。本文在深度學習和卷積神經網絡算法的基礎上，主要探討以卷積神經網絡為核心的物體識別，進而對香梨物體識別與定位實驗進行驗證與分析，以期為新時代農業科技的發展提供有效依據[5-7]。

1 目標檢測方法

1.1 卷積神經網絡

在深度學習中，卷積神經網絡(Convolutional Neural Network,CNN)是一種深度神經網絡，最常用于分析視覺圖像。它采用多層感知機的變型設計，需要的預處理最少，因此也被稱為移位不變或空間不變的人工神經網絡，該網絡是基于它們的共享權重架構和移位不變特性而提出的。結合圖1 所示的CNN 結構圖可以看出，整體模塊主要包括輸入層、輸出層和多個隱層，其中隱層又分為卷積層、池化層、RELU 層和全連接層。與其他圖像分類算法相比，CNN很少被應用于處理領域，這證明了傳統算法中手工設計濾波器的網絡學習，獨立于之前的知識和人類在特征設計上的努力，是最獨特的技術優勢，可以應用于目標識別、圖像分類、自然語言處理等[8]。

圖1 CNN網絡結構

1.2 RCNN構建

區域中心卷積神經網絡(Region-Centered Convolutional Neural Network,RCNN)是將卷積神經網絡應用于目標檢測的最初結果。由于CNN 具有良好的特征提取和分類性能，因此應該采用候選區域方法來解決目標檢測問題，從候選區域選擇、特征提取、分類和邊界回歸三個步驟入手。從整體上看，RCNN 的操作更加直觀。它的目的是準確定位并合并完成分類，避免多次檢測，其中分類器和邊界回歸的選擇很多。

通過對RCNN 和Fast RCNN 的積累，國外學者在研究中再次提出Faster RCNN。從結構上看，Faster RCNN將特征提取、建議區域提取、邊界盒回歸和分類處理集成到一個網絡中，有利于提高實際應用的綜合性能，加快整體檢測速度。為了有效解決RCNN 和Fast RCNN 的問題，較快的RCNN 引入了候選區域網絡(Region Proposal Network，RPN)，與檢測網絡共享圖像的全卷積特征，從而獲得近似無代價的候選區域。結合圖2所示的RCN算法的流程分析可以看出，RPN可以同時預測每個位置的目標邊界和目標得分，并且對RPN進行端到端的訓練，形成一個質量較高的候選區域，便于技術檢測和分析。經過簡單的交替優化后，可以有效訓練RPN 和Fast RCNN 共享卷積特征[9-11]。

圖2 Faster RCNN算法操作流程

1.3 共享卷積層

為了設計具有不同共享卷積層的Fast RCNN 并提取感興趣的特征，需要將Fast RCNN模型、ZF網絡、VGG16網絡和RESNET網絡的不同層次融合在一起，真實現迭代訓練研究。其中，ZF 網絡框架如圖3 所示。在Fast RCNN 的共享卷積層中，只需要其中的卷積部分。

圖3 ZF網絡框架

VGG16網絡結構如圖4所示。在綜合分析時，要嚴格遵守公平正義的基本原則，搜索網絡深度對模型精度的影響，所有卷積層的配置都是相同的。其中，卷積核的大小為3×3，步長為1，填充值為1，共5 個最大池化層。核大小為2×2，步長為2，總共有3 個全連接層。前兩層有4 096個通道，第三層總共有1 000個輸出神經元，代表1 000 個標簽類別。為防止梯度彌散增加了RELU非線性激活函數[12-13]。

圖4 VGG16網絡結構圖

2 實驗結果分析

2.1 實驗設計

本文在理解深度學習和卷積神經網絡算法的基礎上，采用以DenseNET 為核心的Mask R-CNN 香梨檢測模型。DenseNET 網絡結構是一種全新的深度網絡結構。計算公式如下:

上式中，x1表示第1 層的輸出，H1表示非線性變換。在這個網絡結構中，每一層的輸入都是其前一層生成的特征圖，因此對于整個網絡來說，總共有L(L+1)/2個連接，其中L表示網絡層數。

采用DenseNET 121(k=32，增長率）作為基礎網絡提取部分。該特征塊包括卷積層、正則化層、ReLU層和池化層。在卷積層中，使用7×7 卷積核，步長為2。此外，選擇同樣的填充方法實現圖像卷積操作，然后將卷積結果輸入到BN 層和ReLU 激活函數層，以3×3的方式實現特征圖的池化操作。DEnseNet 的網絡結構如圖5所示[14-15]：

圖5 DEnseNet網絡結構

在Mark R-CNN模型中，Resnet152用于特征提取網絡區域。在模型運行過程中，練習速度相對較慢。因此，在實驗過程中應使用Resnet網絡代替DEnseNet網絡，以提高網絡模型的運行速度。其中，DEnseNet網絡與FPN 的結合是整個網絡的特征提取部分。具體結構如圖6所示:

圖6 多尺度結合的DEnseNet網絡結構圖

2.2 實驗結果

在本次實驗分析中，實驗環境主要采用tensorflow的深度學習框架，硬件設施選擇Intel (R) Core (TM)i7-8750H CPU@2.2GHz 六 核CPU 和16GB 內 存。為了進一步提高模型檢測效果，結合400×300 大小的9 600 份香梨數據進行預訓練，然后利用自然環境下香梨的圖片進行再訓練。最后，經過數據增強，得到4 500 條數據集。其中3 500 為訓練集，500 為驗證集，500為測試集。其中初始學習率為0.001，量化設置為0.9，正則化衰減系數為0.000 1，壓縮率為0.5。共完成了105次迭代分析。結合改進模型的分析可以看出，與Resnet 模型相比，每幅圖像的識別速度提高了5fps，證明了改進后的目標檢測模型能夠進一步提高檢測效果，其實驗結果如圖7、圖8 所示，模型運行結果如圖9所示。

圖7 Resnet訓練30批次后整體損失變化曲線圖

圖8 DEnseNet訓練30批次后整體損失變化曲線圖

圖9 基于遷移學習的Faster-RCNN模型檢測效果圖

3 結論

綜上所述，隨著現代人工智能技術的理論越來越完善，智能農業社會的建設和發展成為關注的焦點。對于水果采摘，目前市場上已經出現了各種各樣的智能采摘機，主要用于識別和定位水果的顏色、形狀等基本特征。本文基于深度學習的香梨目標識別與定位研究，主要采用卷積神經網絡算法進行操作，既能提高香梨的識別與定位效率，又能保證香梨的果實品質。