武振超 楊睿哲 王文奇 傅隆生,2 崔永杰 張 昭
(1.西北農林科技大學機械與電子工程學院, 陜西楊凌 712100; 2.農業農村部農業物聯網重點實驗室, 陜西楊凌 712100;3.北達科他州立大學農業與生物工程系, 法戈 58102)
水培生菜,菊科萵苣屬,其市場需求量大且生長周期短(僅為45 d左右),具有較高的經濟價值。鑒于此,水培生菜成為當下植物工廠中栽培最為廣泛的蔬菜之一[1-4]。隨著水培生菜種植規模的擴大,對水培生菜的收獲自動化水平也提出了新的要求,馬義東等[5]設計了一種水培生菜自動包裝裝置,該裝置可完成水培生菜自動包裝提高包裝效率,但未對包裝前含有異常葉片的水培生菜進行分選。
水培生菜在成熟后會出現異常葉片(下文中將該種生菜統稱為異常水培生菜),以黃葉、枯萎葉和腐爛葉為主,異常葉片會縮短生菜的貨架期,同時也對生菜的商品價值產生較大影響。特別當生菜葉片發生腐爛后,在滋生細菌的同時,生菜中的亞硝酸鹽含量會急劇上升,食用這種帶有腐爛葉片的生菜后會對人體健康造成威脅[6-8]。因此,在對水培生菜進行包裝前,及時分選出含有異常葉片的水培生菜是十分必要的。目前,生菜的分選基本依靠人工,費時費力、效率低下,也增加了人力成本,不利于植物工廠的高質量發展。因此,研究可實現異常水培生菜分選的裝置具有重要意義。
針對不同農產品分選裝置,相關研究[9-12]多集中于特征檢測、末端執行器及分選方式等方面。通過深度學習方法實現農產品特征檢測,并結合農產品表型特征設計末端執行器及分選方式,可用于農產品分選裝置設計研究。
本文在本課題組研發的水培生菜整株低損收獲裝置[3]基礎上,基于深度學習方法,以水培生菜所含異常葉片類型為分選依據,結合水培生菜表型特征及采收模式,進行異常水培生菜自動分選系統設計,該系統包含三攝像頭圖像信息感知、異常水培生菜圖像信息處理及托架式分選動作執行3個子系統。通過設計二次正交旋轉組合試驗對分選動作執行系統中各因素進行優化,最后通過性能試驗驗證異常水培生菜自動分選系統工作性能。
根據前期調研發現,植物工廠內水培生菜異常葉片主要為黃葉、枯萎葉和腐爛葉,且健康正常的水培生菜葉片與異常葉片之間存在如下差異:首先,水培生菜健康葉片與異常葉片在外觀顏色上存在一定差異。健康水培生菜葉片呈綠色,表面光滑,如圖1a所示。黃葉(Yellow leaves)、枯萎葉(Withered leaves)和腐爛葉(Decay leaves)的顏色分別變為黃色、棕色和黑色,如圖1b所示。其次,不同狀態的水培生菜葉片紋理也存在差異,黃葉的質地沒有明顯變化;枯萎葉失水皺縮,但基本保持葉片外形;腐爛葉質地變軟并發生腐壞,葉片紋理消失,外形無固定形狀。異常葉片與健康葉片在顏色和質地上的差異使得利用機器視覺信息感知技術對含異常葉片水培生菜進行分類成為可能。

圖1 水培生菜健康葉片與異常葉片示例Fig.1 Examples of healthy and abnormal leaves of hydroponic lettuce1.枯萎葉 2.黃葉 3.腐爛葉
異常水培生菜自動分選系統主要由信息感知、信息處理以及分選動作執行3個子系統組成。該分選系統用于剔除水培生菜整株低損收獲裝置[3]所采收的異常水培生菜,其與收獲裝置間位置關系見圖2a。帶有水培生菜的定植板自水培槽中取出,定植板經傳送鏈送至采收運輸機構處,通過采收運輸機構對菜葉的低損聚攏、割刀對生菜莖部的精準切割,實現單株水培生菜的整株低損收獲,并運輸至分選系統處。圖2b為系統整體結構,其中,部件10~12構成信息感知子系統主體;基于DeepLabV3+深度學習網絡構成信息處理子系統主體;部件13~22構成分選動作執行子系統。

圖2 異常水培生菜自動分選系統Fig.2 Automatic sorting system for abnormal hydroponic lettuce1.傳送鏈 2.定植板 3.水培生菜整株低損收獲裝置 4.切割氣缸 5.割刀 6.輸送氣缸 7.采收運輸機構 8.異常水培生菜自動分選系統 9.框架 10.便攜式計算機 11.計算機放置臺 12.攝像頭 13.干黃葉處理包裝區 14.托架式末端執行器 15.托舉氣缸 16.推進氣缸 17.步進電機 18.控制部件 19.電磁閥 20.輸氣軟管 21.氣泵 22.丟棄區 23.待分選生菜 24.單片機 25.部件外殼 26.繼電器模塊
考慮到水培生菜異常葉片多數出現在生菜底部,采用從下向上拍攝方式進行圖像采集。拍攝初期將攝像頭布置在水培生菜的正下方,采用這種方式進行拍攝時可利用最少的相機采集到生菜底部全貌,方便后續圖像處理。但在拍攝過程中發現,水培生菜上掉落的雜物會污染鏡頭,影響攝像頭成像質量(圖3),對拍攝工作造成影響。

圖3 受污染攝像頭成像Fig.3 Contaminated camera imaging
經過分析調整確定采用3個微軟攝像頭(LifeCam Studio,夢劇場精英版)進行圖像采集。攝像頭布置方式為:在水培生菜底部26 cm的平面內,以生菜根部投影為圓心,半徑15 cm,間隔120°進行攝像頭布置,同時設置攝像頭仰角為60°,此時攝像頭距離生菜30 cm。該種狀態下攝像頭既不會受水培生菜上掉落的雜物影響,又保證能對整個生菜底部完全成像,同時也增加水培生菜數據集的多樣性,見圖4。

圖4 圖像采集方法Fig.4 Image acquisition method
2.3.1信息處理網絡結構
本文基于語義分割DeepLabV3+深度學習網絡實現異常葉片檢測。DeepLabV3+網絡可實現基于像素的分割,網絡將對輸入的圖像進行像素遍歷,對圖像中的每個像素點進行內容判斷并劃分類別[13-14]。相對于目標檢測和分類,語義分割是一項計算量更大也更精細的工作。由于圖像中每個像素都被進行了分類,圖像中目標的各個部位是被精準分類的,相對于目標檢測和識別其邊緣也更清晰。另外,DeepLabV3+是一種端到端的圖像分割方法,由網絡架構和后端網絡2部分組成,其引入了編碼器-解碼器(Encoder-Decoder)結構,網絡將DeepLabV3作為編碼器,以高效的深度可分離卷積網絡作為解碼器,更大程度地提高模型的效率[15]。同時該網絡將空洞空間卷積池化金字塔(Atrous spatial pyramid pooling,ASPP)方法與Encoder-Decoder結構進行融合,充分挖掘上下文的多尺度信息的同時重構空間信息,更好地捕捉物體的邊界,DeepLabV3+網絡結構如圖5所示。其中,水培生菜圖像被分割為背景(黑色像素點)、生菜(紅色像素點)、黃葉(綠色像素點)、枯萎葉(黃色像素點)和腐爛葉(藍色像素點),見圖6。

圖5 基于DeepLabV3+水培生菜圖像分割網絡Fig.5 Image segmentation network of hydroponic lettuce based on DeepLabV3+

圖6 基于DeepLabV3+水培生菜圖像分割效果Fig.6 Image segmentation results of hydroponic lettuce based on DeepLabV3+
2.3.2信息處理子系統配置及性能
本研究選用艮泰深度學習計算機進行模型訓練,采用ubuntu 16.04系統,處理器為6核Intel Xeon E5-1650 v4,32 GB內存,主頻3.6 GHz,NVIDIA TITAN XP顯卡,12 GB顯存。使用Pycharm開發環境,算法實現語言為Python 3.7,特征提取網絡選用ResNet-101模型。
在進行圖像樣本采集時,為保證所訓練圖像分割模型在實際工況光照條件下的性能及魯棒性,樣本采集期間全程處于室內,室內照明燈光為自房間頂部向下直射,無另外人為補光,同時,為保證圖像采集時光照隨機性,在全天不同時刻進行數據采集。樣本采集后,以水培生菜葉片的顏色和紋理作為學習特征進行標注,將原始圖像縮放至378像素×504像素后,分別將黃葉、枯萎葉和腐爛葉標注為“yellow”、“withered”和“decay”,用于網絡訓練的初始圖像為500幅,經水平鏡像、豎直鏡像、順時針旋轉90°、順時針旋轉180°和順時針旋轉270° 5種方式擴增后圖像為3 000幅,隨后按比例4∶1隨機劃分為訓練集和測試集[16-19]。
相較傳統圖像處理方法,深度學習方法具備更強的魯棒性以及更強大的物體識別性能[20],本文通過像素準確率(Pixel accuracy,PA)、平均聯合交并比(mean intersection over union,mIoU)和單幅圖像分割時間來評估模型的性能[21-24]:經測試,模型識別像素準確率達99.24%,平均聯合交并比達83.26%,單幅圖像處理時間(193.4±4.0) ms,網絡模型性能良好。
2.4.1末端執行器
水培生菜的外部輪廓特點是末端執行器設計的重要依據。水培生菜采收后采用支撐桿架空的狀態向包裝裝置輸送,末端執行器的作業空間被壓縮到較小范圍,這對分選系統的末端執行器提出了較高要求。水培生菜處于支撐桿上時,受重力作用,水培生菜整體下沉,外圍葉片收攏,經預試驗測定得外圍葉片輪廓與水平間夾角θ約為30°,見圖7。

圖7 輸送中水培生菜形態Fig.7 Shape of hydroponic lettuce in transportation
水培生菜末端執行器設計對異常水培生菜分選效率具有直接影響。根據水培生菜外部輪廓特點,提出托架式末端執行器設計方案,見圖8。該末端執行器針對生菜葉片聚攏呈一定角度的特性進行設計,對于橫、縱向支撐桿,均采用分段式設計,且各段連接處均為圓滑過渡。為保證異常水培生菜自動分選系統工作時的穩定性,對于橫、縱向支撐桿,將兩者自下向上的第2段支撐桿作為水培生菜主要接觸部分,設定第2段支撐桿與水平夾角為αi(i=1, 2),其中,α1為縱向支撐桿角度,α2為橫向支撐桿角度(考慮到外圍葉片輪廓與水平面間夾角θ約為30°,圖中2個角度均暫取為150°)。

圖8 托架式末端執行器Fig.8 End effector inbracket type1.縱向支撐桿 2.橫向支撐桿 3.安裝底座
2.4.2控制模塊
異常水培生菜自動分選系統的控制模塊是保證異常水培生菜分選實現自動化的首要條件。控制模塊主要包括步進電機(86HS85型)、步進電機驅動器(SW2872型)、繼電器(通靈JQC-3FF-S-Z型)、電磁閥(正泰N4V210-08型)、單片機(Arduino UNO)等,用于控制水培生菜的檢測及分選。該控制模塊可實現單片機與計算機的串口通信,完成圖像采集和圖像分割并與分選動作執行子系統協同工作,控制步進電機和氣缸的配合動作,達到分選異常水培生菜的目的。控制模塊工作原理見圖9。

圖9 異常水培生菜自動分選系統控制模塊工作原理圖Fig.9 Working principle for control model of hydroponic lettuce automatic sorting system
分選系統工作流程見圖10。具體流程為:

圖10 異常水培生菜自動分選系統工作流程Fig.10 Processing of hydroponic lettuce automatic sorting system
(1)水培生菜圖像采集。系統供電啟動,光電傳感器檢測到被遮擋的信號,計算機控制安裝在水培生菜側下方的3個攝像頭進行圖像采集,見圖10a。
(2)水培生菜圖像分割。將3個攝像頭所獲取圖像保存于指定文件夾,計算機調用模型同時進行圖像分割處理,見圖10b、10c、10d(圖中分割后圖像中不同顏色代表不同的類別,黑色為背景,紅色為正常生菜,黃色為枯萎葉,綠色為黃葉,藍色為腐爛葉)。隨后,向單片機傳送異常葉片信號。其中,如水培生菜同時含有枯萎葉、黃葉和腐爛葉,向單片機傳送的異常葉片信號類型為腐爛葉。
(3)取出水培生菜。單片機接收到計算機發送的異常葉片信號后,控制推進氣缸推出,托舉氣缸推舉末端執行器,將生菜從采收運輸裝置處托起,完成水培生菜取出動作,見圖10e。
以社會主義核心價值體系的視角來闡釋方志敏精神,深層次地理解和體會方志敏精神,從中找出兩者之間的內在聯系,即指導思想的一致性:方志敏精神是馬克思主義中國化的產物;價值取向的統一性:方志敏精神是中國共產黨人為實現崇高理想而孜孜以求的典范;民族精神與時代精神的融合性:方志敏精神是愛國愛民、勇于創造精神的一面旗幟;道德規范的耦合性:方志敏精神是社會主義榮辱觀的極好注釋。
(4)分選動作執行子系統無動作。水培生菜正常,等待進入水培生菜包裝線,見圖10f。
(5)將水培生菜放置到枯萎葉、黃葉處理包裝區。末端執行器取出含有黃葉或者枯萎葉的生菜后推進氣缸收縮,步進電機順時針轉動90°,推進氣缸再推出,最后托舉氣缸收縮,將生菜放置于枯萎葉、黃葉處理包裝區,見圖10g。
(6)將水培生菜放置到腐爛生菜丟棄區。本步驟中氣缸動作與上一步完全相同,但其步進電機轉動方向為逆時針轉動90°,包含腐爛葉片的水培生菜被放置于丟棄區,見圖10h。
(7)氣缸復位及步進電機復位。完成分選后,托舉氣缸先收縮然后推進氣缸收縮,氣缸復位;隨后步進電機順時針轉動90°,完成步進電機復位,見圖10i。
依據實際分選作業工況與分選預試驗結果,選取橫向支撐桿角度x1、縱向支撐桿角度x2和步進電機轉速x3為試驗因素,參照生菜冷藏運輸技術標準GH/T 1191—2020規定,選定分選動作執行子系統的分選成功率y1為評價指標,為排除水培生菜特征誤分類所帶來的誤差,分選搬運動作執行過程中未發生水培生菜翻轉或掉落均被判定為分選成功,分選動作執行子系統的分選成功率y1為
(1)
式中n——分選動作執行成功次數
N——單組試驗重復次數
設計三因素五水平二次正交旋轉組合試驗[25],每組試驗重復100次,因素編碼見表1。

表1 試驗因素編碼Tab.1 Coding of test factors
利用Design-Expert 8.0.6軟件對試驗結果進行二次回歸分析,得到分選動作執行子系統的分選成功率y1的回歸方程,并進行顯著性檢驗。

(2)
當步進電機轉速為20 r/min時,橫、縱向支撐桿角度兩因素間存在交互作用,見圖11a。隨橫向支撐桿角度增大,分選動作執行子系統的分選成功率先提高后降低,其橫向支撐桿角度較優范圍為140.00°~152.36°;縱向支撐桿角度增大,分選動作執行子系統的分選成功率先提高后降低,縱向支撐桿角度較優范圍為141.6°~151.70°。當縱向支撐桿角度一定時,隨著橫向支撐桿角度增大,水培生菜與橫向支撐桿間的接觸面積增大,橫向支撐桿與水培生菜外圍葉片間的貼合性隨之增強。這使得水培生菜重心下移,水培生菜在分選過程中的狀態趨于穩定,分選動作執行子系統的分選成功率提高。當橫向支撐桿角度大于某一值時,水培生菜各葉片間空隙的不均性增大。在分選過程中,當水培生菜被送至指定位置點時,由于慣性,水培生菜各葉片間空隙的不均性使得其難以保證穩定狀態。這使得生菜在分選過程中易于發生翻轉,分選動作執行子系統的分選成功率隨之降低。由于縱向支撐桿與橫向支撐桿間結構尺寸的相似性,使得縱向支撐桿角度和分選動作執行子系統的分選成功率間關系與橫向支撐桿角度和分選動作執行子系統的分選成功率間關系大致相同。但在分選過程中,相較橫向支撐桿,縱向支撐桿的“第3段”支撐桿部分具備較好的水培生菜收攏作用,可降低葉片間空隙的不均性。因而,當橫向支撐桿角度一定時,隨著縱向支撐桿角度增大,分選動作執行子系統的分選成功率雖也呈先提高后降低的趨勢,但其降低幅度較小。

圖11 各因素對指標影響的響應曲面Fig.11 Response surfaces of factors on various indexes
當縱向支撐桿角度為150°時,橫向支撐桿角度與步進電機轉速兩因素間存在交互作用,見圖11b。橫向支撐桿角度增大,分選動作執行子系統的分選成功率先提高后降低,其橫向支撐桿角度較優范圍為140.00°~150.51°。當橫向支撐桿角度處于低水平時,分選動作執行子系統的分選成功率隨步進電機轉速的增大而降低。當橫向支撐桿角度處于高水平時,分選動作執行子系統的分選成功率隨步進電機轉速的增大先提高后降低,其步進電機轉速較優范圍為10.00~15.22 r/min。當步進電機轉速一定時,隨著橫向支撐桿角度增大,水培生菜與橫向支撐桿間的接觸面積增大,水培生菜支撐桿與水培生菜外圍葉片間的貼合性隨之增強。這使得水培生菜重心下移,水培生菜在分選過程中不易發生偏移,分選動作執行子系統的分選成功率提高。當橫向支撐桿角度大于某一值時,水培生菜各部分葉片的質量不均性增大,水培生菜在分選過程中極易發生抖動、翻轉,分選動作執行子系統的分選成功率隨之降低。當橫向支撐桿角度處于低水平時,相較縱向支撐桿,橫向支撐桿的“第2段”支撐桿對水培生菜的托起作用可使水培生菜重心上移。此時,由于橫向支撐桿缺少“第3段”支撐桿,其水培生菜收攏作用較差,造成水培生菜位置狀態的不穩定。隨著步進電機轉速增大,水培生菜在分選作業過程中所受離心力過大,水培生菜易發生滑動、翻轉,分選動作執行子系統的分選成功率隨之降低。當橫向支撐桿角度處于高水平時,縱向支撐桿角度小于橫向支撐桿角度。雖然縱向支撐桿的“第2段”支撐桿對水培生菜的托起作用可使水培生菜重心上移,但縱向支撐桿的“第3段”支撐桿具有一定的水培生菜收攏作用。步進電機轉速增大,水培生菜與末端執行器的軟質材料間的擠壓變形作用增強,可對水培生菜產生類似手指“抓取”效果。因而,水培生菜不易發生位移,分選動作執行子系統的分選成功率隨之提高。當步進電機轉速大于某一值時,水培生菜在分選作業過程中所受離心力過大,離心力在支撐桿方向的分力大于水培生菜所受靜摩擦力。導致水培生菜易發生滑動、翻轉,分選動作執行子系統的分選成功率隨之降低。
當橫向支撐桿角度為150°時,縱向支撐桿角度與步進電機轉速兩因素間存在交互作用,見圖11c。縱向支撐桿角度增大,分選動作執行子系統的分選成功率先提高后降低,縱向支撐桿角度較優范圍為144.21°~158.03°。當縱向支撐桿角度處于低水平時,分選動作執行子系統的分選成功率隨步進電機轉速的增大先提高后降低。當縱向支撐桿角度處于高水平時,分選動作執行子系統的分選成功率隨步進電機轉速的增大而降低,步進電機轉速較優范圍為10.00~16.31 r/min。步進電機轉速一定時,隨著縱向支撐桿角度增大,縱向支撐桿的“第2段”和“第3段”支撐桿與水培生菜間的接觸面積增大,縱向支撐桿與水培生菜外圍葉片間的貼合性隨之增強。水培生菜在分選過程中的狀態隨之趨于穩定,分選動作執行子系統的分選成功率提高。當縱向支撐桿角度大于某一值時,縱向支撐桿與水培生菜外部輪廓的貼合程度下降,水培生菜各葉片間空隙的不均性增大。其使得分選水培生菜過程中易發生水培生菜翻轉,導致分選動作執行子系統的分選成功率降低。當縱向支撐桿角度處于低水平時,步進電機轉速增大,橫、縱支撐桿與水培生菜間的“抓取”作用效果增強。水培生菜不易發生位移,分選動作執行子系統的分選成功率隨之提高。當步進電機轉速大于某一值時,水培生菜在分選作業過程中易發生滑動、翻轉,導致分選動作執行子系統的分選成功率隨之降低。當縱向支撐桿角度處于高水平時,橫向支撐桿先于縱向支撐桿“托舉”水培生菜。由于橫向支撐桿缺少“第3段”支撐桿,導致水培生菜位置狀態不穩定。隨著步進電機轉速增大,水培生菜在分選作業過程中易發生滑動、翻轉,致使分選動作執行子系統的分選成功率降低。
為獲得異常水培生菜自動分選系統中分選動作執行子系統的最佳性能參數,根據分選系統實際工作條件及分選性能要求選定優化的約束條件。利用Design-Expert 8.0.6軟件多目標優化(Optimization)算法進行參數優化。目標及約束函數為
(3)
優化結果為:當橫向支撐桿角度為146°、縱向支撐桿角度為150°、步進電機轉速為11 r/min時,分選動作執行子系統的分選成功率為99.27%。
根據優化結果設定異常水培生菜自動分選系統中分選動作執行子系統相關參數,此時末端執行器橫向支撐桿角度為146°,縱向支撐角度為150°,步進電機轉速設置為11 r/min。從陜西省楊凌區楊凌現代農業創新園中隨機選取水培奶油生菜100棵,包含不同狀態葉片的水培生菜(正常生菜,包含枯萎葉或黃葉,同時包含黃葉、枯萎葉和腐爛葉的生菜)。異常水培生菜自動分選系統在進行作業時,生菜被準確判斷為對應的類別,并放置到相應位置,判定分選成功。異常水培生菜自動分選系統的分選成功率Y1為
(4)
式中n′——生菜被準確判斷為對應的類別,并成功執行分選動作次數
共進行100次分選試驗,其中分選成功共計95次,失敗5次(搬運失敗2次,類別判斷錯誤3次),分選動作執行子系統的分選成功率y1為98%,異常水培生菜自動分選系統的分選成功率Y1為95%。
分選失敗原因主要集中在兩方面:①搬運過程失敗,如圖12a所示,生菜無法平穩放置到指定位置,由于此原因失敗2次。分析后發現此類生菜株高較大,且生菜葉片過于松散不緊致,由于托架式末端執行器柔性不足,對此類生菜的適應性有待提升,致使搬運過程中易出現生菜晃動,造成分選失敗。因此,本課題組在進行下一代末端執行器設計時,將會進一步考慮改變橫、縱向支撐桿材料及尺寸,以提升末端執行器的自適應及柔性,達到提升本系統作業性能目的。②計算機進行圖像分割時出現判斷錯誤,如圖12b所示,從而導致分選失敗,由于此原因失敗3次。分析后發現,該類生菜的異常葉片相互交叉嚴重,黃葉區域不明顯,腐爛葉區域較少,且枯萎葉區域顏色較暗,易將枯萎葉區域分割為腐爛類。因此,后期將考慮增加模型訓練的樣本量,以提升圖像分割模型性能。

圖12 異常水培生菜分選失敗示例Fig.12 Examples of abnormal hydroponic lettuce sorting failure
(1)設計了一種異常水培生菜自動分選系統,該裝置綜合利用深度學習、串口通信、自動控制等相關技術,可實現異常水培生菜的識別和分選。
(2)依據水培生菜異常葉片分布特點,采用自下向上的三攝像頭配合拍攝方式進行圖像采集。
(3)根據水培生菜外部輪廓特點,設計了異常水培生菜分選動作執行子系統。
(4)基于ResNet-101的DeepLabV3+模型建立水培生菜異常葉片分割模型,其平均聯合交并比達83.26%,像素精度為99.24%,單幅圖像處理時間為(193.4±4) ms,滿足分選裝置的識別性能要求。
(5)建立各因素與指標間回歸數學模型,結合水培生菜分選實際需求,獲得異常水培生菜分選動作執行系統最優參數組合為:橫向支撐桿角度146°、縱向支撐桿角度150°、步進電機轉速11 r/min。
(6)通過臺架試驗驗證了優化結果的準確性,并確定異常水培生菜自動分選系統的分選成功率可達95%,滿足當前自動采收裝置的生產要求。