深度學(xué)習(xí)在蘋果產(chǎn)業(yè)鏈中的應(yīng)用與研究進(jìn)展

黃昊，謝圣橋，陳度，王恒

（1.中國(guó)農(nóng)業(yè)大學(xué)工學(xué)院，北京 100083；2.中國(guó)農(nóng)業(yè)大學(xué)現(xiàn)代農(nóng)業(yè)裝備優(yōu)化設(shè)計(jì)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100083；3.洛陽(yáng)智能農(nóng)業(yè)裝備研究院有限公司，河南洛陽(yáng) 471934）

隨著人工智能的興起，各個(gè)傳統(tǒng)產(chǎn)業(yè)都在嘗試與其進(jìn)行結(jié)合，以實(shí)現(xiàn)產(chǎn)業(yè)的智能化升級(jí)與革新。我國(guó)的蘋果產(chǎn)業(yè)機(jī)械化和自動(dòng)化生產(chǎn)水平不高，影響了產(chǎn)業(yè)的發(fā)展和市場(chǎng)競(jìng)爭(zhēng)力，亟需探索人工智能技術(shù)的產(chǎn)業(yè)落地。

在人工智能領(lǐng)域中，深度學(xué)習(xí)是研究的熱點(diǎn)，其開(kāi)端可以追溯到2006 年，Hinton 等[1]使用神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)降維研究。深度學(xué)習(xí)是由輸入層（input layer）、隱藏層（hidden layer）和輸出層（output layer）組成的多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，使用多階段非線性信息處理單元處理復(fù)雜的非線性問(wèn)題，進(jìn)而實(shí)現(xiàn)特征學(xué)習(xí)和模式分類[2-3]。

深度學(xué)習(xí)的過(guò)程由推理階段和訓(xùn)練階段[4]組成。深度學(xué)習(xí)模型的每層節(jié)點(diǎn)（處理單元）都會(huì)連接到相鄰層的節(jié)點(diǎn)，每個(gè)連接都有相應(yīng)的權(quán)重值，輸入乘以權(quán)重后在節(jié)點(diǎn)處進(jìn)行求和，再將總和進(jìn)行非線性變換（激活函數(shù)）后得到輸出，經(jīng)過(guò)多次上述操作后實(shí)現(xiàn)對(duì)原始輸入的轉(zhuǎn)換或特征提取[5]，該過(guò)程為推理階段也叫前向傳播；訓(xùn)練階段基于推理階段，在大量標(biāo)注數(shù)據(jù)下通過(guò)反向傳播、損失函數(shù)與優(yōu)化器等共同作用實(shí)現(xiàn)參數(shù)的優(yōu)化[6]。

從2006 年發(fā)展至今，典型的深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)、深度置信網(wǎng)絡(luò)（deep belief network，DBN）和堆棧自編碼網(wǎng)絡(luò)(stacked auto-encoder network)模型等[7]，對(duì)于蘋果產(chǎn)業(yè)鏈來(lái)說(shuō)，將機(jī)器視覺(jué)與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合是深度學(xué)習(xí)在該領(lǐng)域的重要應(yīng)用，

VGG（visual geometry group）、FCN（fully convolutional networks）、YOLO（you only look once）和Faster R-CNN（region-convolutional neural network）等經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型在蘋果種植、采摘收獲和產(chǎn)后檢測(cè)中的應(yīng)用逐漸增多，也表明該技術(shù)與蘋果產(chǎn)業(yè)鏈具有較高契合度和研究?jī)r(jià)值。

本研究聚焦近幾年深度學(xué)習(xí)在蘋果產(chǎn)業(yè)鏈中的應(yīng)用案例和研究進(jìn)展，對(duì)相關(guān)研究進(jìn)展進(jìn)行歸納總結(jié)，在蘋果種植階段著重于病害識(shí)別、果樹(shù)疏花、長(zhǎng)勢(shì)監(jiān)測(cè)和品類識(shí)別方向的應(yīng)用；在采摘收獲階段著重于采摘機(jī)器人對(duì)果樹(shù)與果實(shí)的辨識(shí)應(yīng)用；在產(chǎn)后階段著重于基于顏色、大小和品質(zhì)無(wú)損檢測(cè)的應(yīng)用。

1 深度學(xué)習(xí)在蘋果種植階段中的應(yīng)用

蘋果種植階段是果園管理的核心階段，其管理方法的科學(xué)性、合理性與先進(jìn)性將對(duì)蘋果的品質(zhì)、產(chǎn)量和質(zhì)量具有最直接的影響，因此該階段也是深度學(xué)習(xí)發(fā)揮作用的最有價(jià)值的階段，由于深度學(xué)習(xí)強(qiáng)大的特征自動(dòng)提取能力，其在病蟲(chóng)害識(shí)別、果樹(shù)疏花、長(zhǎng)勢(shì)監(jiān)測(cè)與品類識(shí)別中的研究和應(yīng)用相當(dāng)廣泛。

1.1 蘋果樹(shù)病蟲(chóng)害的識(shí)別

蟲(chóng)害對(duì)蘋果產(chǎn)量和質(zhì)量的影響巨大，因此，果樹(shù)病蟲(chóng)害防治是蘋果在種植生產(chǎn)和果園管理過(guò)程中的重要工作，對(duì)于不同的病蟲(chóng)害要采取不同的防治手段，蘋果果樹(shù)的病蟲(chóng)害識(shí)別往往需要專業(yè)人士的幫助，但由于果園種植的人力成本限制，很少有蘋果園能配備專業(yè)的病蟲(chóng)害防治專家。因此，運(yùn)用深度學(xué)習(xí)對(duì)圖像深層信息的獲取能力，實(shí)現(xiàn)蘋果果樹(shù)病蟲(chóng)害的自動(dòng)化和智能化識(shí)別，已經(jīng)成為蘋果病蟲(chóng)害防治領(lǐng)域技術(shù)發(fā)展的重要方向。

蘋果樹(shù)葉片狀態(tài)最能直觀反映蘋果樹(shù)病蟲(chóng)害類別的性狀表征，通過(guò)葉片表征信息快速準(zhǔn)確地獲取蘋果樹(shù)病害類別將為蘋果病蟲(chóng)害防治提供技術(shù)支持。但蘋果樹(shù)葉片的紋理形狀和病蟲(chóng)害種類多樣，且不同種類的病蟲(chóng)害又具有相似的葉部表征，故傳統(tǒng)的計(jì)算機(jī)視覺(jué)與識(shí)別算法在蘋果葉片病蟲(chóng)害識(shí)別任務(wù)中的綜合性能相對(duì)不佳。

運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像深層抽象特征的自動(dòng)提取能力，使得葉片病蟲(chóng)害識(shí)別的精度和效率都有了顯著提高。卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層（input layer）、卷積層（convolutional layer）、池化層（pooling layer）和全連接層（fully connected layer）組成（圖1），通過(guò)卷積塊的堆疊實(shí)現(xiàn)對(duì)蘋果葉片圖像深層信息的提取，再通過(guò)全連接層整合卷積層或者池化層中具有類別區(qū)分性的局部信息，最終實(shí)現(xiàn)病蟲(chóng)害的識(shí)別分類。

圖1 卷積神經(jīng)網(wǎng)絡(luò)Fig.1 Convolutional neural network structure

近年來(lái)，國(guó)內(nèi)外科研人員圍繞卷積神經(jīng)網(wǎng)絡(luò)識(shí)別蘋果葉片病蟲(chóng)害開(kāi)展了大量的研究工作。邸潔等[8]將Tiny-YOLO 運(yùn)用于蘋果葉片病害的識(shí)別檢測(cè)中，將蘋果葉片病害識(shí)別檢測(cè)問(wèn)題轉(zhuǎn)換成回歸問(wèn)題，并在Darenet-19 的結(jié)構(gòu)基礎(chǔ)上優(yōu)化網(wǎng)絡(luò)模型結(jié)構(gòu)，使得葉片病害的識(shí)別速度和準(zhǔn)確率都得以提升。Francis 等[9]基于內(nèi)存大小與綜合性能的比較，提出一種由4個(gè)卷積層與2個(gè)全連接層組成的自建神經(jīng)網(wǎng)絡(luò)，發(fā)現(xiàn)小尺寸神經(jīng)網(wǎng)絡(luò)在葉片病害識(shí)別中具有較好的識(shí)別精度；Zheng等[10]采用窮舉試驗(yàn)設(shè)計(jì)方法，進(jìn)一步分析索貝爾算子（Sobel operator）、數(shù)據(jù)增強(qiáng)、不同池化方法和不同網(wǎng)絡(luò)結(jié)構(gòu)（包含卷積核尺寸、特征圖數(shù)量和卷積層的深度）對(duì)蘋果葉片病害識(shí)別精度的影響，并通過(guò)對(duì)比實(shí)驗(yàn)找到了合適的網(wǎng)絡(luò)用于葉片病害識(shí)別；Agarwal 等[11]針對(duì)蘋果葉片病害識(shí)別提出了一種新的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)主要由3個(gè)卷積層和3個(gè)最大池化層組成，其中還含有dropout 層用于防止過(guò)擬合，另外該模型的超參數(shù)由多次組合實(shí)驗(yàn)比對(duì)得出，最終所得網(wǎng)絡(luò)模型性能優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)模型和部分預(yù)訓(xùn)練的深度學(xué)習(xí)模型（VGG16、InceptionV3），并且該模型的參數(shù)和運(yùn)行時(shí)間都明顯低于部分預(yù)訓(xùn)練模型。上述研究的重要共性是在葉片病害識(shí)別任務(wù)中對(duì)于低內(nèi)存與低延時(shí)的追求，高效能運(yùn)算已逐漸成為該領(lǐng)域的研究重點(diǎn)。

在蘋果葉片病蟲(chóng)害自動(dòng)識(shí)別過(guò)程中發(fā)現(xiàn)，大多數(shù)葉片病蟲(chóng)害的表征以葉片斑點(diǎn)的形式呈現(xiàn)，為了高效識(shí)別葉片病害，Son等[12]提出一種新的葉片病害斑點(diǎn)注意網(wǎng)絡(luò)（LSA-Net）用于葉片病害識(shí)別，如圖2 所示。該研究與以往的葉片病害區(qū)域分割不同，通過(guò)FS-SubNet（feature segmentation subnetwork，特征分割子網(wǎng)絡(luò)）和SAC-SubNet（spot-aware classification subnetwork，病害斑點(diǎn)區(qū)域分類子網(wǎng)絡(luò)）組成的LSA-Net 實(shí)現(xiàn)對(duì)蘋果葉片病害的高效準(zhǔn)確識(shí)別，F(xiàn)S-SubNet將輸入圖像分割成背景、葉片區(qū)域和病害斑點(diǎn)區(qū)域，由于引入了病害斑點(diǎn)注意機(jī)制，使得LSA-Net 的分割網(wǎng)絡(luò)可以專注于特定病害表征區(qū)域的特征提取。

圖2 用于蘋果葉片病害識(shí)別的葉部病害斑點(diǎn)注意網(wǎng)絡(luò)（LSA-Net）結(jié)構(gòu)Fig.2 Leaf spot attention network（LSA-Net）for apple leaf disease identification

遷移學(xué)習(xí)也是蘋果葉片病害識(shí)別的重要手段。Nagaraju 等[13]通過(guò)去除VGG16 最后1 層并添加1 個(gè)新的輸出層，得到微調(diào)后的VGG16 網(wǎng)絡(luò)用于葉片病害識(shí)別。得益于遷移學(xué)習(xí)的優(yōu)勢(shì)，使得該團(tuán)隊(duì)所得網(wǎng)絡(luò)的訓(xùn)練參數(shù)相對(duì)于VGG16 減少了98.9%，從而減少了計(jì)算量，識(shí)別準(zhǔn)確率到達(dá)97.87%，這對(duì)于追求高效訓(xùn)練網(wǎng)絡(luò)以應(yīng)對(duì)模型訓(xùn)練計(jì)算力不足的場(chǎng)景具有參考價(jià)值；同樣采用VGG16 遷移學(xué)習(xí)，鮑文霞等[14]選擇在VGG16 網(wǎng)絡(luò)的瓶頸層后添加1 個(gè)選擇性核（selective kernel，SK）卷積模塊以提高多尺度特征提取的水平，并采用全局平均池化代替最大池化，以提高模型的收斂速度和抗過(guò)擬合能力。以上研究結(jié)果表明，運(yùn)用遷移學(xué)習(xí)解決蘋果葉片病害識(shí)別問(wèn)題的范式思路是在有先驗(yàn)知識(shí)的神經(jīng)網(wǎng)絡(luò)后部進(jìn)行結(jié)構(gòu)優(yōu)化，以提升現(xiàn)有網(wǎng)絡(luò)對(duì)特定問(wèn)題的處理能力。

1.2 蘋果樹(shù)疏花中的應(yīng)用

蘋果樹(shù)的花果管理對(duì)于控制果樹(shù)產(chǎn)量、保障果品質(zhì)量具有重要作用，在疏花過(guò)程中運(yùn)用深度學(xué)習(xí)實(shí)現(xiàn)目標(biāo)花朵的識(shí)別與定位是該研究領(lǐng)域的熱點(diǎn)。Wang等[15]在FCN8s的基礎(chǔ)上提出了FCNs-Edge的全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional network，簡(jiǎn)稱FCN），通過(guò)將另外2 個(gè)池化層與反卷積層組合，以及添加邊緣類的方式提高網(wǎng)絡(luò)的綜合性能，將包含更多局部特征和低維度特征的池化層和反卷積層相連接能夠強(qiáng)化對(duì)目標(biāo)邊緣的檢測(cè)，因此所提出的FCNs-Edge 網(wǎng)絡(luò)無(wú)論是在白天還是夜晚，其模型的預(yù)測(cè)精度和召回率都明顯提升；Bhattarai 等[16]運(yùn)用Mask R-CNN 實(shí)現(xiàn)蘋果花朵的分割，并開(kāi)展了不同數(shù)據(jù)強(qiáng)化方案對(duì)目標(biāo)檢測(cè)影響效果的對(duì)比研究。上述研究重心都在蘋果花朵的目標(biāo)檢測(cè)上，這也是該研究領(lǐng)域的主流方向，但蘋果樹(shù)的疏花難點(diǎn)在于疏花策略的自動(dòng)化生成，這將成為深度學(xué)習(xí)在蘋果樹(shù)疏花領(lǐng)域的新方向。

1.3 蘋果樹(shù)長(zhǎng)勢(shì)監(jiān)測(cè)中的應(yīng)用

在種植過(guò)程中，對(duì)蘋果樹(shù)體及果實(shí)的生長(zhǎng)狀態(tài)進(jìn)行自動(dòng)監(jiān)測(cè)是智能化果園生產(chǎn)及果樹(shù)管理的重要基礎(chǔ)，將為果園的水-肥-藥管理、果樹(shù)修剪、產(chǎn)量預(yù)估等提供支撐。

果實(shí)監(jiān)測(cè)是深度學(xué)習(xí)在種植監(jiān)測(cè)中的主要應(yīng)用。例如Mazzia 等[17]在Raspberry Pi 3 B+上部署YOLOv3-tiny 的果實(shí)長(zhǎng)勢(shì)檢測(cè)模型用于蘋果種植監(jiān)測(cè)系統(tǒng)的嵌入式硬件開(kāi)發(fā)，為保障硬件的運(yùn)算性能，該團(tuán)隊(duì)采用Intel Movidius Neural Computing Stick (NCS)、Nvidia 的Jetson Nano 和Jetson AGX Xavier 為該硬件提供邊緣算力支持，并且比較各種設(shè)備之間的綜合性能差異，值得一提的是該團(tuán)隊(duì)對(duì)用于蘋果檢測(cè)的YOLOv3-tiny 進(jìn)行了針對(duì)性優(yōu)化，選取了合適的網(wǎng)格尺寸，優(yōu)化了小目標(biāo)檢測(cè)的性能，整個(gè)研究對(duì)于小功耗下的蘋果目標(biāo)檢測(cè)的邊緣計(jì)算具有參考價(jià)值；Wang 等[18]基于深度學(xué)習(xí)邊緣檢測(cè)網(wǎng)絡(luò)開(kāi)發(fā)了果園蘋果生長(zhǎng)監(jiān)測(cè)系統(tǒng)，用于整個(gè)生長(zhǎng)期內(nèi)的蘋果大小尺寸遠(yuǎn)程監(jiān)測(cè)，該團(tuán)隊(duì)在ResNet-50 的基礎(chǔ)上融合了多段其所提出的融合卷積特征（fused convolutional features，F(xiàn)CF）來(lái)實(shí)現(xiàn)蘋果邊緣檢測(cè)，此外為了實(shí)現(xiàn)對(duì)蘋果尺寸大小的視覺(jué)度量，該團(tuán)隊(duì)使用區(qū)域生長(zhǎng)的方法進(jìn)行蘋果與校準(zhǔn)球的分割，整項(xiàng)研究對(duì)于去除復(fù)雜背景檢測(cè)蘋果生長(zhǎng)的分割具有參考價(jià)值。

在蘋果種植中除了果實(shí)監(jiān)測(cè)外，樹(shù)體監(jiān)測(cè)也是重要方向，其中對(duì)于被遮擋部分的果樹(shù)分割一直都是該方向的難題之一。Chen 等[19]就遮擋的果樹(shù)分割問(wèn)題提出了遮擋難度指數(shù)（occlusion difficulty index）和深度難度指數(shù)（depth difficulty index），并運(yùn)用于U-Net 和DeepLabv3 這兩種流行的語(yǔ)義分割模型、原始的Pix2Pix（生成式對(duì)抗網(wǎng)絡(luò)，GAN）和優(yōu)化后的Pix2Pix 之間的對(duì)比性研究，結(jié)果表明在有遮擋的蘋果樹(shù)體分割任務(wù)中，傳統(tǒng)的用于無(wú)遮擋分割任務(wù)中的評(píng)價(jià)指標(biāo)不能準(zhǔn)確反映模型的性能。

1.4 蘋果種類識(shí)別中的應(yīng)用

隨著育種技術(shù)的進(jìn)步與分子生物技術(shù)的發(fā)展，蘋果種類繁多，能夠快速準(zhǔn)確地識(shí)別出蘋果種類對(duì)于蘋果種植的精確管理具有重要意義。Liu等[20]提出了一種以蘋果葉片圖像為輸入的深度卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)14 種蘋果種類的自動(dòng)識(shí)別，平均識(shí)別準(zhǔn)確率可達(dá)97.11%。從該研究的對(duì)比實(shí)驗(yàn)中可以看出，深度學(xué)習(xí)在蘋果品類識(shí)別任務(wù)中具有明顯優(yōu)勢(shì)，相比于傳統(tǒng)的機(jī)器學(xué)習(xí)，其提出的卷積神經(jīng)網(wǎng)絡(luò)在該任務(wù)上具有較高的泛化精度、穩(wěn)定的收斂性和良好的特異性。

蘋果種類識(shí)別的另一大輸入類型為果實(shí)圖像輸入。例如，為了實(shí)現(xiàn)對(duì)紅富士、國(guó)光、紅元帥、黃元帥、嘎啦和青蘋果6 種蘋果的種類識(shí)別，Li 等[21]提出了一種由7 個(gè)卷積層、3 個(gè)最大池化層和2 個(gè)全連接層組成的淺層卷積神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了在無(wú)遮擋下92%左右的識(shí)別準(zhǔn)確度。此外，在自然環(huán)境中存在樹(shù)葉和樹(shù)枝遮擋、蘋果表面腐爛或被其他蘋果遮擋等復(fù)雜情況，該研究引入分塊投票法以提升模型的識(shí)別精度和泛化能力，并在不同程度的遮擋實(shí)驗(yàn)中取得了較好的效果。在與SVM、ResNet-18 和ResNet-50 等方法的對(duì)比實(shí)驗(yàn)中發(fā)現(xiàn)：上述蘋果種類識(shí)別任務(wù)中ResNet-18的性能優(yōu)于SVM，這說(shuō)明深度學(xué)習(xí)的深層信息提取能力在圖像識(shí)別任務(wù)中相對(duì)于機(jī)器學(xué)習(xí)有一定優(yōu)勢(shì)；但ResNet-50 的性能卻低于SVM，這證明當(dāng)數(shù)據(jù)集的樣本量遠(yuǎn)小于深度學(xué)習(xí)模型的學(xué)習(xí)能力時(shí)必然發(fā)生過(guò)擬合；所提出的淺層卷積神經(jīng)網(wǎng)絡(luò)明顯優(yōu)于所有對(duì)照模型，研究結(jié)果表明在特定任務(wù)中降低深度學(xué)習(xí)模型的復(fù)雜度依然可以有效保障模型性能。

張力超等[22]基于LeNet-5 提出了一種以果實(shí)圖像為輸入的改進(jìn)神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)對(duì)紅富士和紅元帥這些具有相似外觀的蘋果種類識(shí)別。如圖3 所示，改進(jìn)神經(jīng)網(wǎng)絡(luò)模型在原始LeNet-5 的全連接層之前添加了展平層（flatten）用于數(shù)據(jù)的降維；將全連接層的激活函數(shù)由Sigmoid 換成了LeakyReLU,以防止反向傳播時(shí)的梯度消失以及神經(jīng)元出現(xiàn)“凋亡”的情況；在全連接層之后添加Dropout層緩解模型的過(guò)擬合以便增強(qiáng)泛化能力。在與SVM+HOG 和SVM+G 的對(duì)比實(shí)驗(yàn)中發(fā)現(xiàn)，提出模型的識(shí)別平均準(zhǔn)確率和平均總耗時(shí)都顯著優(yōu)于SVM方法。

圖3 LeNet-5模型的改進(jìn)前后對(duì)比Fig.3 Comparison before and after improvement of LeNet-5

2 深度學(xué)習(xí)在蘋果采摘收獲中的應(yīng)用

對(duì)果實(shí)進(jìn)行精準(zhǔn)、快速的識(shí)別是實(shí)現(xiàn)蘋果自動(dòng)化采摘的關(guān)鍵技術(shù)之一。由于自然環(huán)境下蘋果果實(shí)辨識(shí)與定位受枝葉遮擋、光照強(qiáng)度以及高斯噪聲的影響，使得蘋果果實(shí)的自動(dòng)化識(shí)別具有較大的難度[23]。

傳統(tǒng)果實(shí)檢測(cè)主要是依據(jù)果實(shí)的顏色、紋理和形狀等特征。馮娟等[24]采用隨機(jī)圓法和（RG）∕（R+G）顏色特征對(duì)230 幅蘋果圖像進(jìn)行測(cè)試，識(shí)別準(zhǔn)確率達(dá)92%。宋懷波等[25]利用K-means 聚類算法對(duì)蘋果圖像進(jìn)行分割，進(jìn)而獲得果實(shí)邊緣信息，實(shí)現(xiàn)果實(shí)目標(biāo)的識(shí)別。劉曉洋等[26]利用改進(jìn)的R-G 色差分割算法對(duì)70 幅蘋果圖像進(jìn)行測(cè)試，識(shí)別準(zhǔn)確率達(dá)83.7%。孫颯爽[27]利用流形排序法解決了在相似背景中青蘋果識(shí)別困難的問(wèn)題，測(cè)試了120 幅青蘋果圖像，識(shí)別準(zhǔn)確率達(dá)90.8%。傳統(tǒng)果實(shí)檢測(cè)方法受自然環(huán)境下天氣、光照強(qiáng)度和背景遮擋等因素的影響，難以具有通用性。

基于深度學(xué)習(xí)的蘋果識(shí)別能自動(dòng)提取果實(shí)的特征參數(shù)，從而避免了傳統(tǒng)識(shí)別算法中復(fù)雜特征和數(shù)據(jù)的提取，目標(biāo)識(shí)別的速度快、精度高，應(yīng)用場(chǎng)景廣闊。張亞靜等[28]采用RGB顏色特征輸入神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，利用包含1 506個(gè)蘋果的圖像對(duì)模型進(jìn)行了測(cè)試，識(shí)別準(zhǔn)確率達(dá)86.7%。王津京等[29]將SVM 用于蘋果果實(shí)顏色和形狀等特征的訓(xùn)練，把采集的特征信息輸入到由支持向量機(jī)構(gòu)成的分類器中，代替CNN中的softmax層，通過(guò)200幅圖像的驗(yàn)證性試驗(yàn)測(cè)試，識(shí)別準(zhǔn)確率可以達(dá)到93.3%。以上研究表明，使用SVM 分類器和CNN 融合的模型比單獨(dú)使用K-最鄰近算法的識(shí)別準(zhǔn)確率高，可應(yīng)用于采摘機(jī)器人作業(yè)過(guò)程中對(duì)果實(shí)目標(biāo)的識(shí)別。

Faster R-CNN 方法可以依賴不同的CNN 架構(gòu)實(shí)現(xiàn)快速的目標(biāo)檢測(cè)，因而在蘋果收獲采摘過(guò)程中受到廣泛關(guān)注，例如Gené-Mola等[30]采用多模態(tài)Faster R-CNN 進(jìn)行蘋果的檢測(cè)，并在其所提出的KFuji RGB-DS 數(shù)據(jù)庫(kù)（其中包含了真實(shí)果園中富士蘋果的多模態(tài)圖像）上進(jìn)行評(píng)估實(shí)驗(yàn)，結(jié)果表明，使用色彩與深度感知攝像頭作為果實(shí)識(shí)別的傳感器，能夠額外獲取被檢測(cè)目標(biāo)的空間距離，在多模態(tài)Faster R-CNN 果實(shí)識(shí)別中提升準(zhǔn)確率，但該方法的主要限制是深度傳感器的距離檢測(cè)精度受光照強(qiáng)度影響較大；Lfabc 等[31]采用3D 體感攝像頭Kinect V2 構(gòu)建采摘機(jī)器人的室外機(jī)器視覺(jué)系統(tǒng)，并使用2 種基于Faster R-CNN 架構(gòu)的ZFNet（Zeiler&Fergus Net）和VGG16 來(lái)進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明，VGG16 在給定數(shù)據(jù)集下的識(shí)別準(zhǔn)確率更高，并且通過(guò)結(jié)合景深信息來(lái)去除不需要的背景（包括目標(biāo)果樹(shù)旁其他果樹(shù)上的樹(shù)葉和果實(shí)）能夠提升2.5%的蘋果識(shí)別準(zhǔn)確率；Chu 等[32]提出了名為Suppression Mask R-CNN 的新型蘋果檢測(cè)模型，通過(guò)在標(biāo)準(zhǔn)的Mask R-CNN 中添加用來(lái)抑制網(wǎng)絡(luò)生成非蘋果特征的抑制分支來(lái)提升網(wǎng)絡(luò)的檢測(cè)精度，在嘎拉和Blondee蘋果的綜合果園數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)發(fā)現(xiàn)，該方法的檢測(cè)準(zhǔn)確率高達(dá)88%，明顯高于YOLO v3、Faster R-CNN 和Mask R-CNN等早期的目標(biāo)檢測(cè)模型。

雖然Faster R-CNN 是蘋果目標(biāo)檢測(cè)中的主流算法之一[33]，但在較看重實(shí)時(shí)性的蘋果采摘收獲過(guò)程中，YOLO 和SSD 等運(yùn)行效率更高的深度學(xué)習(xí)算法逐漸在該領(lǐng)域興起。例如Kuznetsova 等[34]使用YOLOv3 算法開(kāi)發(fā)了一種用于蘋果采摘收獲機(jī)器人上的計(jì)算機(jī)視覺(jué)系統(tǒng)，通過(guò)增強(qiáng)對(duì)比度、采用中值濾波器進(jìn)行輕微模糊、加厚檢測(cè)邊緣等預(yù)處理方法來(lái)減輕陰影、眩光、蘋果輕微損害和薄樹(shù)枝重疊蘋果對(duì)YOLOv3 果實(shí)檢測(cè)的負(fù)面影響，同時(shí)采用黃色像素[RGB 值為（248，228，115）]替代在圖像上呈現(xiàn)棕色陰影[RGB值從(70,30,0)到(255,1 540,0)]的蘋果上斑點(diǎn)、花被和細(xì)枝條的后處理方法來(lái)提升的果實(shí)識(shí)別準(zhǔn)確率，通過(guò)上述的預(yù)處理和后處理方法能使YOLOv3 的蘋果識(shí)別準(zhǔn)確率達(dá)到92%以上；武星等[35]設(shè)計(jì)的Tiny-yolo網(wǎng)絡(luò)，用輸入和優(yōu)化策略對(duì)蘋果進(jìn)行識(shí)別，精簡(jiǎn)了網(wǎng)絡(luò)結(jié)構(gòu)，提升了蘋果識(shí)別的精確度和速度；彭紅星等[36]以蘋果為研究目標(biāo)，將ResNet-101 網(wǎng)絡(luò)作為SSD的目標(biāo)特征提取網(wǎng)絡(luò)，并用遷移學(xué)習(xí)微調(diào)SSD 模型，采用梯度下降法進(jìn)行模型訓(xùn)練，辨識(shí)率為95.2%，檢測(cè)速度為0.125 s·幅-1，取得了較高的識(shí)別精度和較快的識(shí)別速度。

3 深度學(xué)習(xí)在蘋果產(chǎn)后無(wú)損檢測(cè)中的應(yīng)用

產(chǎn)后無(wú)損檢測(cè)屬于蘋果產(chǎn)業(yè)鏈中的采后處理，隨著蘋果產(chǎn)量的逐年升高，實(shí)現(xiàn)大規(guī)模、自動(dòng)化、高準(zhǔn)確度的蘋果品質(zhì)檢測(cè)和質(zhì)量篩選是亟需解決的問(wèn)題。深度學(xué)習(xí)在蘋果外部品質(zhì)檢測(cè)和內(nèi)部質(zhì)量篩選中的應(yīng)用，有望加快蘋果自動(dòng)化分級(jí)的進(jìn)程。

3.1 外部品質(zhì)檢測(cè)中的應(yīng)用

由GB∕T10651—2008中鮮蘋果質(zhì)量等級(jí)（表1）要求可知[37]，基于外部品質(zhì)檢測(cè)的蘋果產(chǎn)后分級(jí)指標(biāo)主要包括蘋果顏色、大小和完整度等。

表1 鮮蘋果質(zhì)量等級(jí)要求［37］Table 1 Fresh apple quality grade requirements［37］

何進(jìn)榮等[38]用DXNet 模型對(duì)紅富士蘋果顏色、大小和果形等外觀品質(zhì)進(jìn)行分級(jí)，與VGG16、Xception、ResNet50、DenseNet121、Inception_V3 進(jìn)行比較發(fā)現(xiàn)該模型的性能較優(yōu)，準(zhǔn)確率可以達(dá)到97.84%。薛勇等[39]用GoogLeNet 對(duì)蘋果進(jìn)行表面缺陷檢測(cè)，并與AleNet 和LeNet-5 網(wǎng)絡(luò)進(jìn)行對(duì)比，識(shí)別準(zhǔn)確率最高，為91.91%，實(shí)現(xiàn)了小樣本數(shù)據(jù)訓(xùn)練獲得較好的分類模型。Fan 等[40]使用4 層的卷積神經(jīng)網(wǎng)絡(luò)在蘋果分揀機(jī)（每秒5 個(gè)蘋果的速度）上實(shí)現(xiàn)了蘋果外部缺陷的檢測(cè)，識(shí)別準(zhǔn)確率能達(dá)到96.5%，且在每6 張?zhí)O果圖像72 ms 處理時(shí)間下的驗(yàn)證實(shí)驗(yàn)中也能達(dá)到92%的識(shí)別準(zhǔn)確率；Ohali 等[41]利用VGG16 特征提取模型對(duì)蘋果按顏色、紋理等特征，將蘋果分為3 個(gè)等級(jí)（1,2,3），系統(tǒng)的識(shí)別準(zhǔn)確率為84.6%。Sofu等[42]利用MobileNet模型設(shè)計(jì)的蘋果檢測(cè)系統(tǒng)對(duì)3 個(gè)不同品種的蘋果同時(shí)進(jìn)行檢測(cè)分級(jí)，以重量、大小和顏色為特征將蘋果劃分為不同類別，用238 個(gè)樣品進(jìn)行檢測(cè)，分類準(zhǔn)確率達(dá)到96.8%。

王立揚(yáng)等[43]利用改進(jìn)LeNet-5 對(duì)蘋果按照顏色、形狀及大小等指標(biāo)進(jìn)行分級(jí)，識(shí)別精確度達(dá)98.37%，并將模型移植到分級(jí)系統(tǒng)中，在實(shí)際應(yīng)用中取得了良好的進(jìn)展。石瑞瑤[44]用最小外接矩形法計(jì)算蘋果大小，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)對(duì)蘋果大小進(jìn)行分級(jí)，準(zhǔn)確率為89.75%。凌強(qiáng)[45]利用RGB模型進(jìn)行蘋果顏色分選，用最小外接圓法對(duì)蘋果進(jìn)行大小分選，識(shí)別準(zhǔn)確率為91.32%；用CNN 對(duì)蘋果缺陷進(jìn)行識(shí)別，準(zhǔn)確率為96.89%，取得了較好的效果。

3.2 內(nèi)部質(zhì)量篩選中的應(yīng)用

由GB∕T 10651—2008 中蘋果主要品種的理化指標(biāo)參考值（表2）可知[37]，不同品種的蘋果其果實(shí)硬度和可溶性固形物含量（soluble solid content，SSC）都有不同的推薦范圍，即該品種蘋果成熟時(shí)應(yīng)符合的基本內(nèi)在質(zhì)量要求，因此對(duì)收獲后的蘋果進(jìn)行內(nèi)部質(zhì)量的篩選主要是對(duì)蘋果的粉質(zhì)化、糖度和其他SSC進(jìn)行檢測(cè)，基于人工品嘗和破壞性儀器測(cè)量的傳統(tǒng)內(nèi)部篩選方法不能滿足蘋果產(chǎn)后無(wú)損檢測(cè)和果品快速分級(jí)的需求[46]，而現(xiàn)階段較為成熟的光譜分析、電特性檢測(cè)、CT(computed tomography)和電子嗅覺(jué)傳感器檢測(cè)等無(wú)損檢測(cè)方法雖然在蘋果內(nèi)部質(zhì)量篩選中取得了廣泛的運(yùn)用，但模型建立過(guò)程復(fù)雜且繁瑣、檢測(cè)設(shè)備昂貴、針對(duì)性差等問(wèn)題依然存在[47]，因此深度學(xué)習(xí)技術(shù)的引入將成為該領(lǐng)域的研究熱點(diǎn)。

Lashgari 等[48]提出采用聲波傳感技術(shù)與深度學(xué)習(xí)相結(jié)合的方式進(jìn)行蘋果粉質(zhì)化檢測(cè)，在該研究中，實(shí)驗(yàn)人員以塑料球作為沖擊裝置產(chǎn)生聲波，并使用BSWA 設(shè)備記錄穿過(guò)樣本蘋果的聲波信號(hào)，之后利用短時(shí)傅里葉變換（short time Fourier transform，STFT）將每個(gè)聲波沖擊信號(hào)轉(zhuǎn)換為具有紋理的頻普?qǐng)D像來(lái)獲取數(shù)據(jù)集，需要說(shuō)明的是，該研究使用的蘋果樣本是在室溫（21 ℃）、低溫（6 ℃）和儲(chǔ)藏時(shí)間的組合條件下產(chǎn)生的，即通過(guò)不同溫度和不同儲(chǔ)藏時(shí)間的組合誘導(dǎo)不同程度的蘋果粉質(zhì)化。最后在預(yù)訓(xùn)練的AlexNet 和VGGNet 上進(jìn)行模型微調(diào)，結(jié)果表明，上述2 種網(wǎng)絡(luò)在該方法下區(qū)分蘋果粉質(zhì)化和非粉質(zhì)化的準(zhǔn)確率能夠分別達(dá)到91.11%和86.94%，并且AlexNet 的識(shí)別速度更快，該研究證明了在蘋果粉質(zhì)化檢測(cè)中聲學(xué)信號(hào)與深度學(xué)習(xí)相結(jié)合的可行性。

Bai 等[49]基于光譜指紋特征和深度學(xué)習(xí)成功地建立了具有良好可靠性和準(zhǔn)確性的蘋果SSC多元預(yù)測(cè)模型并準(zhǔn)確檢測(cè)了多個(gè)產(chǎn)地的蘋果SSC。該團(tuán)隊(duì)以光譜指紋特征作為輸入，通過(guò)深度學(xué)習(xí)識(shí)別蘋果的種類和產(chǎn)地并用其搜索專屬單源SSC檢測(cè)模型，最終實(shí)現(xiàn)蘋果多元SSC檢測(cè)模型的性能提升，與單源和雜交源模型相比，多元模型具有更穩(wěn)定且準(zhǔn)確的檢測(cè)性能，其原因在于該模型結(jié)合了種類和產(chǎn)地識(shí)別，以至于其能夠抵抗蘋果產(chǎn)地變化時(shí)對(duì)SSC檢測(cè)產(chǎn)生的干擾。

除了上述單一指標(biāo)內(nèi)部檢測(cè)外，蘋果糖度和硬度的同時(shí)檢測(cè)也逐漸興起，例如徐煥良等[50]提出一種基于光子傳輸模擬的蘋果品質(zhì)檢測(cè)方法。該團(tuán)隊(duì)為了解決樣本數(shù)量不足且較難獲取的問(wèn)題，采用蒙特卡洛方法獲取2 萬(wàn)張面光源下的蘋果表面光亮度分布圖，并用其作為樣本輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行預(yù)訓(xùn)練，再以少量實(shí)測(cè)光譜蘋果圖像為樣本使用遷移學(xué)習(xí)進(jìn)行模型微調(diào)，最終實(shí)現(xiàn)光譜信息和光學(xué)參數(shù)信息的結(jié)合預(yù)測(cè)。結(jié)果表明，該方法對(duì)蘋果糖度和硬度的檢測(cè)準(zhǔn)確率為92.22%和86.97%，都明顯高于高光譜數(shù)據(jù)和光學(xué)參數(shù)數(shù)據(jù)的品種檢測(cè)模型，也略高于通過(guò)遷移學(xué)習(xí)得到的點(diǎn)光源條件下的模型。

4 深度學(xué)習(xí)在蘋果產(chǎn)業(yè)鏈中存在的問(wèn)題與發(fā)展建議

本文以蘋果產(chǎn)業(yè)鏈中的果樹(shù)種植、收獲采摘和產(chǎn)后檢測(cè)3 個(gè)關(guān)鍵時(shí)期為主線，將近幾年深度學(xué)習(xí)在該領(lǐng)域的研究進(jìn)行分類總結(jié)，并著重介紹了蘋果葉片病害識(shí)別、果實(shí)與樹(shù)體長(zhǎng)勢(shì)監(jiān)測(cè)、果實(shí)內(nèi)外部無(wú)損檢測(cè)等相關(guān)方向的成功案例，但該領(lǐng)域的研究仍然面臨著困難和挑戰(zhàn)。

4.1 深度學(xué)習(xí)在蘋果產(chǎn)業(yè)鏈中的困難和挑戰(zhàn)

專業(yè)樣本數(shù)據(jù)集較少且獲取難度大。深度學(xué)習(xí)對(duì)數(shù)據(jù)具有“貪婪性”[51]，需要大量標(biāo)注良好的數(shù)據(jù)集作為樣本進(jìn)行訓(xùn)練，在蘋果種植過(guò)程中獲取樣本的周期較長(zhǎng)，且在蘋果的生長(zhǎng)周期內(nèi)不一定能夠獲取完整的數(shù)據(jù)集，以葉片病害為例，同一果園內(nèi)難以完整采集系統(tǒng)性的病害樣本，故要實(shí)現(xiàn)較多種類病害樣本的采集就需要在同一地區(qū)的多片果園進(jìn)行多年的圖片采集，并且同種病害在不同階段或不同品種上也會(huì)表現(xiàn)不同特征，從而提升樣本標(biāo)簽化的難度，這些都將使深度學(xué)習(xí)在該領(lǐng)域的研究與應(yīng)用成本陡升。

算法精度、計(jì)算開(kāi)銷與模型尺寸之間具有不易調(diào)和性。為了提高模型的識(shí)別精度和魯棒性，需要模型算法能獲取樣本更多的深層信息和局部空間信息，實(shí)現(xiàn)樣本向高緯度抽象性信息更有效的映射，這將增加深度學(xué)習(xí)算法模型的復(fù)雜程度，使權(quán)重矩陣變大，最直觀的感受是模型的尺寸變大和模型預(yù)測(cè)的召回時(shí)間增長(zhǎng)。在計(jì)算資源有限并且注重響應(yīng)時(shí)間的邊緣場(chǎng)景中，尋找到算法精度與模型尺寸之間的平衡點(diǎn)或者探索合適的模型壓縮方法都是極具挑戰(zhàn)性的任務(wù)。

4.2 深度學(xué)習(xí)在蘋果產(chǎn)業(yè)鏈中的發(fā)展建議

面對(duì)數(shù)據(jù)集構(gòu)建難度大、構(gòu)建周期長(zhǎng)的問(wèn)題，可以從以下3 個(gè)方面探討解決思路：一是需要高校與研究機(jī)構(gòu)牽頭，組建公共的、開(kāi)源的大型蘋果果園數(shù)據(jù)集，彌補(bǔ)各研究團(tuán)隊(duì)在數(shù)據(jù)集構(gòu)建上的資源不足或不均的問(wèn)題；二是優(yōu)化樣本預(yù)處理方案，對(duì)獲取的樣本進(jìn)行合適的預(yù)處理，減小樣本噪聲、突出樣本的特性，使所用樣本具有良好的特征代表性；三是探索合理且有效的數(shù)據(jù)增廣策略，實(shí)現(xiàn)在從有限的數(shù)據(jù)中提煉出更多有用的信息從而產(chǎn)生等價(jià)于更多數(shù)據(jù)的價(jià)值[52]。

對(duì)于大模型的使用，可以考慮壓縮模型尺寸和增大邊緣計(jì)算能力的2 條研究路線：一是可以考慮模型剪枝、知識(shí)蒸餾、網(wǎng)絡(luò)量化等模型壓縮與計(jì)算加速策略[53-54]，實(shí)現(xiàn)在精度影響可接受范圍內(nèi)（或模型壓縮后再微調(diào)網(wǎng)絡(luò)）的模型尺寸優(yōu)化，從而減小計(jì)算開(kāi)銷；二是可以考慮匹配合適邊緣計(jì)算能力，例如NVIDIA的Jetson系列、Intel 的Movidius Myriad X 等先進(jìn)的邊緣算力，可以為不同尺寸的模型部署提供合適的選擇。

5 展望

深度學(xué)習(xí)在圖像領(lǐng)域取的成功使得研究者們熱衷于用其解決各行各業(yè)中的難題，盡管現(xiàn)階段深度學(xué)習(xí)在蘋果產(chǎn)業(yè)鏈中的優(yōu)勢(shì)與挑戰(zhàn)共存，但這并不妨礙深度學(xué)習(xí)在該領(lǐng)域會(huì)取得進(jìn)一步的發(fā)展，因此，作如下展望。

①將深度學(xué)習(xí)運(yùn)用于更多的蘋果產(chǎn)業(yè)鏈環(huán)節(jié)中。現(xiàn)階段的深度學(xué)習(xí)主要集中在果樹(shù)種植、采摘收獲和產(chǎn)后檢測(cè)中，未來(lái)應(yīng)該繼續(xù)探索在木苗繁育、果汁加工和銷售運(yùn)輸中的深度學(xué)習(xí)應(yīng)用，最終實(shí)現(xiàn)蘋果全產(chǎn)業(yè)鏈的深度學(xué)習(xí)應(yīng)用落地。

②多信息融合促進(jìn)模型綜合能力提升。目前深度學(xué)習(xí)多以機(jī)器視覺(jué)為載體，未來(lái)的研究應(yīng)采用更加多元的信息進(jìn)行融合，例如機(jī)器嗅覺(jué)、機(jī)器觸覺(jué)以及天氣信息等，數(shù)據(jù)種類的增多固然會(huì)提高模型的訓(xùn)練難度，但多源信息的融合會(huì)使深度學(xué)習(xí)在蘋果產(chǎn)業(yè)鏈的應(yīng)用中創(chuàng)造更多的可能性，使得深度學(xué)習(xí)對(duì)于該行業(yè)的技術(shù)革新產(chǎn)生更大助力。

③完整數(shù)據(jù)鏈推動(dòng)果園的智慧化管理。之前的研究多注重于單一領(lǐng)域或單一階段，未能聚焦蘋果產(chǎn)業(yè)鏈的全數(shù)據(jù)，若能嘗試將深度學(xué)習(xí)運(yùn)用于全數(shù)據(jù)鏈（例如蘋果從木苗選育到蘋果銷售之間的所有數(shù)據(jù)），這將對(duì)蘋果果園的智慧管理產(chǎn)生重大影響。