基于分時重疊算法的歐洲甜櫻桃表型關鍵特征區域圖像分割方法

胡玲艷， 許 巍， 秦 山， 裴悅琨， 汪祖民

(1.大連大學信息工程學院，遼寧大連 116000； 2.大連市現代農業生產發展服務中心，遼寧大連 116000)

歐洲甜櫻桃[Prunusavium(L.) Moench]作為一種經濟作物，因其營養價值豐富而深受人們喜愛，被廣泛種植于世界各地，又被稱為甜櫻桃、車厘子、大櫻桃[1]。歐洲甜櫻桃栽培管理技術近幾年不斷提高，雖然帶動了產業高速發展，但仍然面臨著諸多問題，如歐洲甜櫻桃栽培管理技術水平良莠不齊，多以散戶為主；產品質量參差不齊；種植者依靠多年的經驗管理，未能對種植中各項因素實現定量控制；人工成本持續升高，智能化設備需求巨大。為了解決上述問題，實現設施歐洲甜櫻桃標準化、規?；?、智能化生產，首要工作就是對植物生長各個周期的特征和性狀即表型進行精準檢測。認識植物的表型特征和性狀是生物學研究的一個重要命題，缺乏詳盡的表型數據，將無法深刻理解基因組和環境因素對植物表型的復雜作用[2-3]。針對櫻桃的表型試驗是作物優良品種選育與栽培技術研究，滿足未來農業供給需求的一個關鍵因素。傳統的植物表型分析主要由人工測量各項參數，分析規模小、效率低、誤差大。計算機視覺可為自動化植物表型分析提供幫助[3-4]。在計算機視覺應用于植物表型檢測與建模過程中，首先需要通過各種設備與成像技術獲取植物圖像，并將表型特征區域分割出來。為了實現該目的，研究人員采用了多種技術路線。一方面，運用可見光成像技術獲取RGB圖像，并采用原始圖像分割算法[5]、色彩空間[6-7]、深度學習[8-10]等手段選取植物圖像中的特征區域。此類方法所需圖像采集設備簡單，分割效果較好，但對植物圖像拍攝背景要求較高，通常是自頂向下以土壤為背景拍攝植物冠層圖像，無法適用于復雜背景下的植物表型關鍵特征區域分割。此外，上述研究通常針對植物生長的某一特定時期，無法將采集與分割方法普適地應用于植物生長發展的全過程中。另一方面，深度相機[11-12]、光幕陣列(LC)[13]、高光譜成像[14-15]等特殊成像設備及技術也被應用于植物圖像采集中，這些設備通常配合高通量系統、滑軌、機械臂等輔助設施，采用成像設備的特性從空間中分割出植物圖像。此類方法可以以較高精度實現關鍵特征區域的分割，但此類方法所需設備價格昂貴，且一般應用于實驗室環境中。雖然實驗室中的試驗提高了人類對生物系統及其功能的認識，但高昂的價格與嚴格的試驗環境阻礙了在實際種植環境中的運用。綜上，在當前的植物表型研究中，缺乏一種較低成本實現全周期、高精度、高魯棒性的圖像獲取及關鍵特征區域自動分割方法。為了更好地從歐洲甜櫻桃圖像中提取表型關鍵特征區域圖像，本研究基于傳統智能剪刀算法，提出一種分時重疊算法，即采用普通監控攝像頭獲取歐洲甜櫻桃圖像，通過夜間紅外燈補光灰度圖像中蘊含的距離信息獲取初始區域，“重疊”至日間彩色圖像上，自主尋找歐洲甜櫻桃彩色圖像中的關鍵特征區域。

1 數據與方法

1.1 數據準備

1.1.1 圖像獲取方案分析 本研究根據設備特性，選擇普通監控攝像頭作為歐洲甜櫻桃圖像采集裝置。一方面，監控攝像頭夜間采集紅外補光灰度圖像，結合照度第二定律，可獲取植株各部位到攝像頭的距離信息。另一方面，以農業為代表的第一產業具有附加值低且分布廣泛的特點，監控攝像頭作為采集裝置可以以低廉的成本獲取歐洲甜櫻桃圖像。

監控攝像頭采用電荷耦合元件或互補金屬氧化物半導體捕捉光信號。當可見光較強時，攝像頭將光低通濾波器置于光路中，大部分紅外光被過濾，攝像頭采集的圖像可較準確地還原被攝物的顏色與灰度信號；當可見光較弱時，光低通濾波器被自動移除，此時主要依靠紅外光成像，電路將自動切換，只保留灰度信號[16]。

為了使夜間成像更加清晰，監控攝像頭均配有不同亮度的紅外補光燈，在照度較低時會自動開啟。通常情況下，作物種植于鄉村、林場、溫室等光污染較少的區域，將攝像頭用于采集植株夜間圖像時，紅外補光燈可視作唯一點光源。此時，植物各部分照度符合照度第一定律，即與光線垂直的物體表面上的照度跟光源的發光強度成正比，跟被照亮的面到光源的距離平方成反比[17]。這意味著夜間植物灰度圖像中不同亮度的部分可以反映出各部分到攝像頭的不同距離，這就為從同一角度日間彩色圖像中分割出植物表型關鍵特征區域提供了基礎。相比深度相機，該方法獲取物體到相機的距離精度較低，但這足以在空間中分割出特征區域，且由于監控攝像頭價格低廉，該方法無疑具有較高的性價比。

1.1.2 試驗材料 本研究以歐洲甜櫻桃美早(P.avium“Tieton”)圖像作為試驗數據，分割圖像中的表型關鍵特征區域。歐洲甜櫻桃美早最早由美國華盛頓州立大學研發，然后由大連市農業科學研究所從美國引入，廣泛種植于我國遼東半島與膠東半島，是一個果大、質優、肉硬、耐貯運、豐產的早熟櫻桃的優良品種。遼寧省大連市金州區櫻桃產區設施櫻桃全年生長期從11月至次年4月，全程環境可控，是研究櫻桃表型的理想對象。

1.1.3 試驗圖像 不失一般性，本研究采用?？低昳DS-2DC4223IW-/GLT(S5)型號與iDS-2DC2204IW(S6)型號攝像頭，搭建了一套遠程圖像采集裝置(圖1)，采集遼寧省大連市金州區6個不同溫室大棚中的美早櫻桃圖像作為試驗數據。攝像頭云臺轉動并變焦，采集不同角度的美早櫻桃植株圖像。彩色圖片捕獲時間為15：00，灰度圖片拍攝時間為18：00。從時間序列圖像中隨機選取9組黑白與彩色圖片對作為試驗材料，圖像的采集日期、大棚編號、拍攝時的歐洲甜櫻桃物候期、拍攝景別記錄于表1中。試驗圖像采集于不同日期、不同大棚、不同景別，具有較強代表性。

表1 分時重疊分割算法性能

在獲取最佳權重及評價算法時，須要計算歐洲甜櫻桃表型關鍵特征實際區域與算法得出的區域的交并比(IoU)。試驗中用作標準對比的歐洲甜櫻桃表型關鍵特征實際區域是人工提取的。攝像頭捕獲的部分彩色圖像及其對應的灰度圖像、歐洲甜櫻桃表型關鍵特征實際區域圖像見圖2。

1.2 分時重疊算法獲取歐洲甜櫻桃圖像表型關鍵特征區域

為了自動分割歐洲甜櫻桃圖像表型關鍵特征區域，本研究對原始智能剪刀算法[18-19]進行改進設計，提出分時重疊分割算法。原始智能剪刀是一種輔助用戶手動選擇特征區域的交互式工具，可以從任意復雜的背景中快速提取物體。選擇一個接近目標邊緣的種子點，鼠標沿著物體邊緣不斷移動，該算法計算出一條火線(live-wire)自動貼合所需要的邊界[18-19]。然而，原始智能剪刀算法的應用場景為針對單張照片交互式手動選擇特征區域邊界，無法自動實現從歐洲甜櫻桃圖像中分割出特征區域。

由圖3可知，對于攝像頭捕獲的夜間紅外補光灰度圖像，采用二值化閾值處理方法提取夜間灰度圖像中的空間信息。植株易受風力擾動、植物生長等影響，采用夜間灰度圖確定的目標區域與日間彩色圖像區域不能完全吻合，需要進一步調整選區。對于攝像頭捕獲的日間圖像，首先建立權重圖，并將二值化圖像邊緣輪廓作為前置條件，對日間彩色圖像自動尋找關鍵特征區域邊緣路徑。采用粒子群算法求解算法中部分參數在某些條件下的最優值。分時重疊分割算法詳細示意見圖4-a至圖 4-f，算法設計過程分析如下。

1.2.1 閾值處理并提取初始邊緣 根據照度第一定律，歐洲甜櫻桃植株各部分照度與被照亮的面到光源的距離平方成反比，反映在圖像上即為不同亮度的區域。為了提取初始的輪廓，首先要對灰度圖進行閾值處理，使圖像中像素轉化為黑色或白色，從而凸顯出植物表型關鍵特征區域的輪廓，該過程被稱為二值化[20]。對于圖像f(x，y)，二值化后的圖像g(x，y) 為

式中：T1表示二值化時的閾值下限；T2表示閾值上限，maxval表示當前圖像系統的最大值?；叶戎翟陂撝祬^間內的像素點全置為maxval，否則置為0，對于大部分數字圖像系統maxval=255。由于在夜間灰度圖像中，像素的亮度中蘊含了空間上的距離信息，故T1、T2的值可參考特征區域到攝像頭的距離手動選定。

當表型關鍵特征區域在圖像中占比較大時，還可以采用大律法(Otsu法)自動尋找1個閾值并進行分割。Otsu是一種非參數、無監督的圖像分割閾值自動選擇方法。通過判別準則選擇一個最優閾值，最大限度地提高生成類在灰度級上的可分性[21]。

對二值圖像進行形態學濾波以便更好地提取區域輪廓。首先以13×13的結構元進行形態學閉運算，填充因光照不均勻而在閾值處理后產生的細小孔洞，平滑邊緣。再以9×9的結構元進行形態學開運算，進一步平滑邊緣。采用基于邊界跟蹤的數字化二值圖像拓撲結構分析獲取區域邊界[22]，此邊界即為日間圖像中歐洲甜櫻桃表型關鍵特征區域初始邊緣。令p為邊界點(x，y)處的像素，C記為邊界的點集，即P∈C。

圖4-a至圖4-c即為夜間灰度圖像閾值處理并提取初始邊緣的整個過程，圖4-a為灰度圖原圖，圖4-b是灰度圖經過Otsu閾值處理，并進行開運算與閉運算后的圖像，圖4-c是獲取的二值化圖像邊界。

1.2.2 權重圖生成 從夜間灰度圖得出初始邊緣后，即可以此為前置條件，開始自適應地尋找日間彩色圖像中的歐洲甜櫻桃表型圖像關鍵特征區域，首先需要計算含有每個像素到相鄰像素路徑代價的權重圖。

與原始智能剪刀算法類似，對于彩色圖像，從任意一個像素點s到其相鄰的像素點t的局部代價I(s，t)為

I(s，t)=ωZ·fZ(t)+ωD·fD(s，t)+ωG·fG(t)。

式中：fZ表示拉普拉斯過零點代價，確保像素節點位于邊緣點上；fG表示像素在x和y方向上的梯度，當有較大梯度值時，說明圖像存在邊緣；fD表示梯度方向代價，當2個像素具有相似的梯度方向但該方向和它們之間連接的方向接近垂直時給予高代，當2個像素具有相似的梯度方向且和它們之間連接的方向一致時給予低代價[18-19]。ωZ、ωD、ωG均表示權值，本研究通過粒子群優化算法獲取最佳權值。

將計算后的局部代價權重圖記為1個與原圖像相同形狀的矩陣A。

Apq=I(s，t)。

1.2.3 表型關鍵區域邊緣路徑尋找 由圖4-d至圖4-e，結合初始條件，設計算法，自主獲取植物表型關鍵特征區域。即在獲取權重圖矩陣A后，結合初始邊緣集合C，開始尋找最終目標邊緣集合Aend，步驟如下。

Step1：選取s=1、k=2作為初始的索引，s表示集合C中第s個元素；k表示集合C中第k個元素，設初始路徑計數器數列為

cn=0，n=1，2，3，4，…。

設初始最終路徑點集合為

Cend=?。

Step2：從二值化圖像的邊緣中選取一個點ps作為種子點，記為

pseed=ps，pseed∈C。

從pseed的鄰域內取一點pk作為自由點，記為

pfree=pk，pfree∈C∩N4(pseed)，ps=C。

其中：N4(pseed)表示像素4臨域。

Step3：通過pseed、pfree的坐標(xseed，yseed)、(xfree，yfree)在權重圖上定位2個節點，即矩陣A中的點Axfreeyfree、Axfreeyfree，使用Dijkstra算法[23]，得出pseed～pfree對應的節點在權重圖上的最短路徑，此路徑即為pseed～pfree的特征區域邊界段，記為數列{aN}。

Step4：將索引k向前移動1位，即

k:=k+1。

Step5：從集合C中取出第k個元素作為新的自由點，即

pfree=pk，pfree∈C∩N4(pseed)。

同“Step3”，獲取pseed至新的pfree的路徑，記為{bn}。

Step6：比較路徑{an}和{bn}，將路徑上的點按位與，則有數列{dn}：

dn=an∧bn，n=1，2，3，4，…。

此時，若在路徑第n個點上an=bn，則有dn=1；否則，dn=0。

Step7：將重合的路徑點所對應的計數器加1，從第1個不重合點開始，后面的路徑對應點計數器置0，即設g、h、m為數列的索引，則

?!g，dg=0，且?h

則有

ch:=ch+1，cm=，m≥g。

其中：dg、dh分別表示數列{dn}中的元素；ch、cm表示數列{cn}中的元素。

Step8：判斷路徑計數器數列{cn}，將大于閾值φ的路徑設為凍結路徑，本已經中閾值φ通過粒子群優化算法獲取。并將所述凍結路徑加入最終路徑點集合，同時重新選取種子點；即設i、j、l為數列的索引，則

?!i，?j≤i，cj≥φ；?l>i，cl<φ。

則有

Cend:=Cend∪{bj}。

其中：cj、cl分別表示數列{cn}中的元素；

此時最終路徑點集Cend中包含已凍結路徑點；選取新的種子點為

pseed=pi，pseed∈C。

將路徑計數器數列{cn}、路徑數列{bn}中對應的已凍結路徑的數值丟棄，并將未凍結的數值重新排列至前方，即

cn:=cn+i；

bn:=bn+i。

Step9：將索引k向前移動1位，并重設臨時路徑數列，即

k:=k+1；

{an}:={bn}。

判斷尋路是否結束，若?pk∈C，尋路繼續，返回“Step4”；若?/pk∈C，尋路結束，此時需要將路徑數列{bn}中剩余路徑加入到最終邊界點集Cend中，即

Cend:=Aend∪{bn}。

最終，點集Cend即為目標邊界點集。圖4-e中藍線為特征區域；在圖4-e的局部放大圖4-h中可以看出，邊緣點集Cend相比初始條件點集C更加接近實際特征區域邊緣；邊緣點集可進一步生成歐洲甜櫻桃表型關鍵特征區域圖4-f。

1.2.4 基于粒子群算法的參數調優 在分時重疊算法中，權重圖權值ωZ、ωD、ωG，凍結路徑閾值φ均為可調優的參數，可將求解最優參數的過程視作1個連續非線性函數的最優化問題。針對歐洲甜櫻桃圖像，采用交并比(IoU)[24]描述算法適應度，計算櫻桃表型關鍵特征實際區域與分時分割重疊算法得出的預測區域之間的交并比。根據歐洲甜櫻桃植株特征與算法特性，規定解空間為ωZ∈[0.1，1]、ωD∈[0.1，1]、ωG∈[0.1，1]、φ∈{10，11，特征與算]。構建最優化問題。

minf(ωZ，ωD，ωG，φ)=IoU

s.t. 0.1≤ωZ≤1

0.1≤ωD≤1

0.1≤ωG≤1

8≤φ≤40。

本研究基于粒子群算法求解最優參數。粒子群算法是一種元啟發式優化算法，通過一組簡單的數學表達式來模擬粒子間的通信及在解空間中進行的搜索[25]。

2 結果與分析

2.1 最優參數獲取及性能分析

分別針對不同歐洲甜櫻桃圖像對，采用粒子群算法求解優權重圖權值及最優路徑閾值，種群規模設為25，經過30次迭代，可獲取最優權重(表 2)。可見，在不同角度圖片歐洲甜櫻桃表型關鍵特征區域提取任務中，最優權值存在差異。在實際科研過程中，通常須要采集不同時間跨度下的時間序列圖像進行表型分析[26]。在時間序列中任取1張日間圖像及其對應的夜間圖像，手動選擇歐洲甜櫻桃表型關鍵特征實際區域，進而通過粒子群算法獲取最優參數，該參數可運用于整個時間序列所有歐洲甜櫻桃圖像中。

本研究采用IoU作為分時重疊分割算法的性能度量，對比僅進行閾值處理及形態學濾波獲得的二值化選區(簡稱“閾值處理”)與分時重疊所獲選取選區(表 2)。由圖5可知，閾值處理平均IoU為 0.834 6，分時重疊平均IoU為0.849 7，分時重疊分割算法獲取的特征區域平均IoU優于閾值處理獲取區域平均IoU。由圖6可知，在大多數情況下，該算法可有效修正因植物生長等因素導致的日間圖像與夜間圖像的偏差，使得選區更加貼合實際的特征區域。但仍有少部分情況算法未能起效，這是因為部分圖像存在日間與夜間圖像局部偏差過大的情況，使得算法無法找回正確的特征區域邊緣路徑。

表2 分時重疊算法權重

2.2 方法對比

試驗驗證分時重疊分割算法性能，將各類經典自動與交互式圖像分割算法與本研究方法進行對比。由表 3可知，針對日間彩色圖片，經典圖像分割Ostu算法平均IoU為0.382 6，經典綠色植物分割算法ExG-ExR(超綠色-超紅色)[5]平均IoU為0.334 6，需要人手動參與分割的交互式圖像分割算法GrabCut[7]及智能剪刀算法[18-19]平均IoU分別為0.753 3、0.850 8。分時重疊平均IoU為0.849 7，可較準確地獲取植物表型關鍵特征區域；其IoU優于GrabCut，接近智能剪刀，表明分時重疊算法分割植物關鍵特征區域能力達到交互式圖像分割算法相同水平。

表3 各算法IoU對比

3 結論

本研究提出并運用分時重疊分割算法，從歐洲甜櫻桃圖像中分割出表型關鍵特征區域圖像，其成本低、精度高，可廣泛適用于農業生產環境。第一，本研究從普通監控攝像頭的特性出發，結合照度第一定律，明確植物到攝像頭的距離可由夜間紅外補光植物灰度圖像中的亮度表征。第二，對于夜間紅外補光灰度圖像，對圖像閾值進行處理；進行形態學濾波，消除孔洞及平滑邊緣；并提取區域輪廓，輪廓中蘊含灰度圖像中的空間信息。對于日間彩色圖像，將輪廓“重疊”到圖像上，以此作為分割前置條件，自動尋找作物本體關鍵特征區域邊界。第三，算法中權重圖權值及最優路徑閾值是可以調節的參數，可將求解最優參數的過程視作一個連續非線性函數的最優化問題。構建最優化問題，采用粒子群算法求解，即可獲取特定圖像的最優參數，并可將參數運用于同一角度的時間序列圖像中。第四，經過測試，分時重疊算法平均IoU為0.849 7，分時重疊算法可較準確地獲取植物表型關鍵特征區域。其IoU優于GrabCut，接近智能剪刀，分割植物關鍵特征區域能力達到交互式圖像分割算法相同水平。且與僅進行閾值處理與形態學濾波的區域相比，更加貼合實際的特征區域。

綜上，分時重疊方法以較低的采集成本與訓練成本，可以獲取較高精度的歐洲甜櫻桃表型關鍵特征區域分割結果，魯棒性強，自動化程度高。在后續研究中將著重考慮獲取特征區域圖像后如何進一步用于農業生產實際建模，以期最終在歐洲甜櫻桃種植生產調節中形成閉環研究。