穴盤苗發芽率在線視覺檢測研究

張 帆，楊 勇，駱少明，黃 福，成克強

1. 廣東技術師范大學 機電學院，廣州 510665； 2. 工業和信息化部電子第五研究所，廣州 510610

植物工廠在未來城市農業現代化建設中發揮著重要作用．我國是蔬菜栽培的農業生產大國，但不是農業生產強國，確保新鮮水果和蔬菜的安全高效供給面臨巨大的挑戰[1-2]．目前，我國蔬菜的栽植量巨大，60%以上蔬菜種植采用育苗移栽，傳統的移栽作業方式要求大量的手工作業，制約了蔬菜栽培的發展[3]．設施園藝智能化是當前包括中國在內的世界農業智能化裝備的研發熱點和產業升級重點[4-6]，自動化作業可以解放人的手工勞動，在保持質量穩定的同時使作業速度成倍提高，但目前距離產業化應用仍存在目標檢測、 種苗識別等技術瓶頸需要突破[7].

發芽率是采購種子時計算成本的重要依據，對研究農作物適宜的環境條件亦有意義．由于穴盤播種普遍存在空穴問題，為保證出苗率，一般在1個穴位里放多粒種子，甚至通過補種獲得整齊一致的穴盤苗[8]．補種雖然可以提高穴盤的使用效率，但浪費種子，效率低，只適合人工操作，影響發芽率測算，也制約了移栽效率[9-10]．隨著計算機視覺和圖像處理技術的進步，實施單粒精量播種有利于在線檢測種子的發芽率和提高移栽效率[11-12]．現代檢測技術已經形成了自動化操作，逐步替代了人工目測的傳統檢測方法，產品的檢測效率極大提高[13-14]．目前，機器視覺已應用到農業生產的多個檢測環節，如：種子的篩選和質量檢驗[15]、 蔬菜生長狀況的監測[16]、 蔬菜秧苗形態測量[17]、 蔬菜新鮮度分級[18]、 雜草的檢測[19]等．配置視覺的檢測系統可在線監測穴盤苗的發芽生長情況，不受空穴問題影響.

本文設計的基于機器學習的發芽率在線視覺檢測系統，是基于機器學習的圖像特征提取方法和分類方法[20-22]，實現對穴盤苗發芽階段的圖像檢測[23-25]； 基于多視圖定位原理，提出融合不同視角的檢測結果計算穴孔的可信度； 最后對系統進行試驗，驗證了穴盤苗檢出率、 穴位檢出率和誤檢率等詳細指標.

1 系統簡介

1.1 系統整體組成

穴盤苗發芽率在線視覺檢測系統如圖1所示，主要由傳送控制系統、 支撐架、 移栽機構、 夾持手爪、 檢測相機、 穴盤和傳送帶組成．在育苗室，穴盤苗通過上料機推送至傳送帶后隨傳動帶運動，檢測相機對穴盤苗進行拍照，采集圖像并輸送至計算節點．計算節點對發芽種苗進行圖像識別，計算出種子的發芽情況和生長姿態以及所在的穴孔并保存記錄.

圖1 穴盤苗發芽率在線視覺檢測系統示意圖

1.2 設計要求和工作原理

植物工廠是設施園藝的高級形式，由于種子出苗率的問題，在育苗階段要檢測發芽率、 生長情況和種苗的位置信息，一般設施園藝生產中使用 “單機檢測”或“人工檢測”，這種方式存在性能瓶頸，制約了穴盤的輸送速度，無法滿足高速的需求．從規模效率的角度出發，在線視覺檢測具有高速、 非接觸式的優點，滿足植物工廠大規模、 高速、 高精度檢測的需求.

穴盤苗發芽率在線視覺檢測系統工作原理是通過將多個視圖檢測結果融合達到提高檢測精度，同時估算種苗所在穴位的效果，主要包括多相機采集圖像、 網絡傳輸、 機器學習方法快速檢測和多視圖檢測結果融合算法等環節.

2 穴盤苗視覺檢測

2.1 穴盤苗圖像

從油麥菜種子的穴盤苗圖像可觀測到發芽的情況，如圖2所示．圖片來自于頂部視角拍攝．穴盤是黑色塑料制品，共有72個穴孔，采取6×12排列，每個穴孔放有1棵種子在椰糠混合土栽培基質中.

圖2 穴盤苗的頂視圖

客觀存在各個穴孔發芽情況不一致及空穴的現象．種子發芽除了本身發育完全的內在條件外，還受到外部環境條件的影響，外部環境條件包括水分、 氧氣、 溫度、 光線等，對應的種苗發芽的不同階段在圖像上也呈現不同的效果，過早可能葉片還沒有展開，過晚有的種苗已經長出多片葉子．種苗發芽的方向和姿態、 發芽的進度是系統檢測發芽率的重要影響因素.

2.2 圖像預處理

2.2.1 檢測種苗

種苗在顏色和形狀上與背景存在明顯的差異，用顏色特征可以區分種苗與背景，作為檢測種苗的依據，這種用顏色特征的方法具有較高的魯棒性．通常相機采集的彩色圖像為RGB模型，不能直接使用，要轉換為在植物葉片檢測中廣泛使用的HSV模型．本文先將獲得的彩色圖像進行顏色模型轉換，然后將提取種苗所擁有的綠色并過濾掉綠色以外的顏色.

2.2.2 顏色模型轉換

對人而言，最直觀的顏色模型是HSV(Hue色相、 Saturation飽和度、 Value/Brightness亮度，也叫HSB)模型，HSV模型是由A. R. Smith在1978年創建的一種顏色空間，也稱六角錐體模型．在自然界單色光有自己獨特的光譜特征，HSV模型中H表示色彩信息，即光譜顏色所在的位置，提取種苗的綠色要選擇對應的H值； 飽和度S是一個比例值，表示所選顏色的純度和該顏色最大的純度之間的比率；V表示色彩的明亮程度，與光強度無直接關系．用H和S表示顏色距離，對于不同的彩色區域，混合H與S變量，根據劃定的閾值就可以進行簡單快速的顏色分割．在HSV色域中，色調H用角度表示，取值范圍為H∈[0°，360°]，從紅色開始按逆時針方向計算，紅色為0°，綠色為120°，藍色為240°； 飽和度S取值范圍為S∈[0.0，1.0]； 亮度V取值范圍為V∈[0.0，1.0].

彩色圖像從RGB模型轉換為HSV模型，計算方法如下：

首先，將圖像的RGB值做歸一化處理，即將每個通道的取值范圍由(0～255)映射到(0～1.0)，新的RGB模型計算，如公式(1)所示.

(1)

取新的R′G′B′模型的最大值Cmax和最小值Cmin，如公式(2)所示：

Cmax=max(R′，G′，B′)

Cmin=min(R′，G′，B′)

(2)

求最大值與最小值的差，如公式(3)所示.

Δ=Cmax-Cmin

(3)

公式(4)～(6)分別計算H，S和V的值.

(4)

(5)

V=Cmax

(6)

2.2.3 彩色圖像灰度化

種苗的顏色是綠色，與穴盤、 基質以及其他設備的顏色有明顯的區別，因此利用HSV模型對綠色的連續表示，將綠色從背景顏色中提取出來，提取后的圖像只包含綠色和去除背景部分的黑色，將綠色替換成白色就可以獲得灰度圖，效果如圖3所示.

圖3 不同相機的檢測結果

2.3 穴盤苗視覺檢測

2.3.1 穴盤苗的圖像質量和目標檢測方法

由于種苗發芽生長的姿態不同，機器要像人一樣快速準確檢測種苗是一項具有挑戰性的工作．在基于特征的目標檢測研究上，局部歸一化的方向梯度直方圖(Histograms of Oriented Gradient，HOG)相比于傳統的小波、 SIFT、 形狀上下文方法有更好的表現[24]．HOG特征檢測種苗的基本原理是利用圖像的梯度和邊緣方向的密度分布描述圖像中種苗的外觀和形狀，HOG特征檢測種苗的方法是提取紋理特征，不受顏色變化影響，對光照變化、 陰影等噪聲具有較好的魯棒性．HOG只能用于彩色圖像或灰度圖，無法用于二值圖.

提取HOG特征后就需要進行分類，使用核方法的SVM是目前廣泛使用的分類器，在圖像分類任務上有很好的性能表現．SVM是在統計學習理論的基礎上發展起來的機器學習算法，以結構風險最小化原理為準則，能夠有效解決過擬合、 落入局部極值和“維數災難”等問題，在解決小樣本、 非線性、 高維空間模式識別問題中表現出良好的推廣性和較好的分類準確性.

2.3.2 多視圖融合定位

發芽種苗所在的穴位是一項重要的信息，可根據多視圖檢測結果分析得出．之所以采用多視圖，一方面是視覺檢測存在漏檢和誤檢； 另一方面則是由于種苗生長方向的不確定性以及拍照角度的問題，檢測結果誤判種苗落在其他穴孔上.

標準統一的工業產品使用單個攝像頭即可完成準確的檢測，但應用在種苗的穴位判斷上，單個相機的檢測結果不足以獲得好的漏檢率和誤判率，如圖3所示．通過頂視圖觀察，種苗的葉片在邊界上，根系則可能是在上部分穴位，也可能是在下部分穴位，即使圖像檢測成功，仍然不能判斷穴位； LT(左前)視圖和RT(右前)視圖觀察種苗葉片在下部分穴位，根據圖像檢測結果判斷穴位是誤判； LB(左后)視圖和RB(右后)視圖觀察種苗葉片在上部分穴位，根據圖像檢測結果判斷穴位是正確的．利用多個相機從不同視角采集圖像信息進行融合后判斷，不僅減少漏檢，還可減小誤判幾率.

多視圖融合判斷穴位算法描述如下：

if detctor(TOP) at border：

ret1=0.6

ret2=check_location (LT | RT | LB | RB)

ret3=check_ neighbors (TOP)

location_dependability=ret1+ ret2+ ret3

else if detctor(TOP) at center：

ret1=high_location_dependability(TOP)

ret2=high_location_dependability(LT | RT | LB | RB)

location_dependability=ret1+ ret2

else：

if detctor (LT | RT | LB | RB) at border：

location_dependability=low_location_dependability(LT | RT | LB | RB)

else ifdetctor(LT | RT | LB | RB) at center：

location_dependability=high_location_dependability(LT | RT | LB | RB)

else：

NULL，NO Seedling

3 試驗與結果分析

3.1 穴盤苗發芽檢測試驗

3.1.1 試驗方案

為測試多視圖融合下的發芽檢測效果，本文采用小樣本訓練算法，然后分別對采集的5個視圖圖像進行檢測，如圖4所示．試驗的穴盤共有72個穴位，其中左下方的1個穴位空著作為標記，有9個穴位的種子沒有發芽，因此最終有62個穴位的種子成功發芽．5個方向的檢測試驗得到的成功率各不相同，LT視圖檢測到42個，RT視圖檢測到44個，TOP視圖檢測到40個，LB視圖檢測到39個，RB視圖檢測到33個，分別對應圖4的LT，RT，TOP，LB和RB子圖.

圖4 種苗檢測結果

3.1.2 結果與分析

由試驗結果可以得到，單個相機的檢測發芽率與實際發芽率存在較大偏差，存在漏檢問題，所以穴盤苗的檢出率低．單個視圖檢測算法優化只能減小漏檢，但不能消除漏檢，而且減少漏檢的同時會導致誤檢增多．本文探討多視圖信息融合的方法提升檢測效果，在無誤檢的前提下減少漏檢，因此進一步做了穴盤苗定位試驗.

3.2 穴盤苗定位試驗

3.2.1 試驗方案

多視圖檢測結果畫矩形框，框的中心分別用不同的符號表示．符號“*”表示TOP視圖檢測結果框的中心，符號“o”表示LT和RT視圖檢測結果框的中心，符號“+”表示LB和RB視圖檢測結果框的中心，配上穴盤苗原圖作為對比，檢測結果疊加效果如圖5所示．種子沒有發芽的9個穴位分別是K1，I4，I5，G4，F3，E4，E6，C5和A4.

圖5 多視圖檢測結果疊加對比

3.2.2 結果與分析

表1 穴位有種苗的可信度

4 結 論

本文設計了一種基于機器學習的穴盤苗發芽率在線視覺檢測系統，通過多視圖融合可以顯著地提高穴位的檢出率．首先，使用顏色空間模型對輸入穴盤苗圖像進行變換預處理，并歸一化到統一的尺寸； 然后，在預處理后的圖像上制作訓練集和測試集，為了提高運算速度，采用基于HOG特征和SVM分類器的方法，提取HOG特征，送入支撐向量機進行分類； 最后，將單視圖檢測結果匯聚疊加，用多視圖融合方法計算每個穴位的可信度，根據可信度判定待移栽的穴位．試驗結果表明，單視圖的檢出率較低，但通過多視圖融合的方法不僅提高了檢出率，而且有效減少了誤檢率和漏檢率，該算法能較好地完成穴盤苗的目標檢測，準確地定位發芽幼苗的穴位，同時多視圖檢測與傳統單視圖檢測需要停頓相比，在實時檢測的效率上有明顯的改進，具有一定的應用價值.