自然光溫室草莓葉片圖像邊緣提取的新多尺度分析算法

王建侖，韓 彧，趙霜霜，鄭鴻旭，何 燦，崔曉瑩，徐 云，陳建樹，王淑婷

(中國農業大學信息與電氣工程學院,北京 100083)

1 引言

分割是圖像分析在農業應用中的重要環節。準確和完整的植物葉片的邊緣信息為進行正確的作物生物量的獲取提供目標區域。例如，生長狀態的檢測，研究測定植物葉片葉綠素含量、病蟲害預警，以及葉片的三維重建和植物葉面積的計算等。草莓因其生長周期短、病害少、易于管理、具有較高的營養價值和經濟價值高等優點而在溫室廣泛栽培，溫室草莓葉片的圖像分割對數字化生產管理研究有重要意義。

目前，已經進行了大量的在特定的光照環境下的葉片圖像分割研究。關于圖像的形狀，紋理特征和反射吸收光學性質的研究方法至今已不計其數。本文提出了一種基于小波分析的自然光下的草莓葉片分割方法。本研究的目的是設計一個快速準確的草莓葉片邊緣檢測算法，用于在溫室自然光條件下的捕獲的遠程視頻流中的葉片圖像分割。在本課題組以往的研究中，集成了圖像增強、邊緣檢測、閾值、形態學處理等多種圖像處理方法，對復雜背景下棗葉進行了分割，取得了令人滿意的結果。然而，葉片光反射、卷曲、葉脈和紋理等對棗樹葉片分割與對草莓葉片分割相比其影響較小，所以自然光下的草莓葉片分割算法應該考慮更多的影響因素。

一些研究人員用彩色圖像閾值分割方法自動識別普通玉米和草莓葉病，并指出了自動閾值分割結果取決于拍攝光的均勻性和目標與背景之間的差異。通過分析病變葉片與正常玉米葉片的色相通道直方圖，利用先驗知識得到的單峰特性可以獲得更有效的分割閾值。還有研究首先標記的是連通區域結構完整性大于0.9的豆和雜草植物冠層圖像，采用Gustafsen-Kessel方法進行其他連通區域的綠色通道聚類，結構完整性用于選擇遺傳算法的適應度函數來重組這些片段，并重復上述過程直到所有連通域被標記，最終獲得的目標區域是最后的標示區域。一些研究人員研究了近紅外遙感圖像分析方法。紅綠通道形態聚類首先采用自然光照條件下的作物的CCD圖像，然后通過原始圖像與形態學開運算后的圖像之間的幾何差異比較得到葉脈信息，其中形態學開運算通過結合中心和聚類信息用以確保作物圖像中心位置，最終得到了分割結果。還有利用Otsu法和形態學侵蝕法研究植物葉片的內部和外部標記，然后利用標記物控制植物葉片和背景的分水嶺。

由于在溫室的非均勻光照條件下的光輻射和反射，獲得的草莓葉片圖像灰度顯著不相同，真正的草莓邊緣與其它紋理清晰的偽邊緣沖突，真正的葉片邊緣與其的葉脈及背景中某些東西可能具有相同的梯度變化，因此單一的分割方法用于草莓葉片圖像是不可行的。

在本研究中，考慮光照條件、葉片目標的形狀和復雜的葉片背景這三者與分割算法的關系，提出了在自然光下基于多尺度分析草莓葉片的邊緣檢測方法，分析了在不同尺度空間下不同的邊緣和紋理特征。該方法結合尺度空間、canny邊緣檢測、Otsu閾值分割和形態學處理方法，獲得了完整和精確的草莓葉片邊緣結果。

2 材料與方法

在這項研究中使用的草莓圖像（圖1）是CMOS攝像頭在自然光溫室里獲得的。

圖1 自然光溫室草莓圖像

2.1 多尺度空間

多尺度圖像分析被稱為數學顯微鏡，在分析過程中，可以分別從不同層次尺度空間中的細節和抽象重建不同點近似圖像。重建圖像被用來分析圖像的不同的特征，并獲得目標區域的邊緣。由于小波變換具有比傅立葉變換更好的局部時頻分析特性，因此小波變換在選擇方向、小波函數選擇和時頻分辨率選擇上更具靈活性。小波變換在圖像特征提取、目標識別、信號處理等領域有著廣泛的應用。在小波分解中可以捕捉到圖像的水平、垂直、對角線細節和近似小波分解系數。利用近似小波分解系數可以重構任意尺度下的高尺度空間和低尺度空間上的邊緣近似圖像。通過分析這些在高低尺度上重建的邊緣近似圖像，可以推斷出適當的分割方法。一般來說，如圖2所示的兩個葉片圖像樣本處理圖，如果尺度較大，那么重建圖像中保留的信息都較小，而且重建的圖像比較模糊，同時葉脈紋理較少。

圖2 在1～3層尺度中較高和較低尺度小波分解重建的草莓葉子圖像的近似邊緣對比

可以觀察到，Otsu分割的較高尺度重建圖像結果，雖然內部葉片孔洞隨著靜脈紋理的下降而降低，但是目標和背景的之間的粘連增加，并且目標位置變得模糊。隨著尺度的增大，canny算子檢測到的尺度重建圖像的邊緣變少。顯然，僅在一個尺度空間通過canny和Otsu一種分割不能獲得完整的和準確的邊緣。

本研究中，基于不同尺度間重建圖像的差異，用四層daubechies 5（‘db5’）小波分解構建基于不同尺度的邊緣提取算法。多尺度分析步驟如下所示。

1）對含有紋理特征最多的第一層小波分解重建圖像進行Otsu分割，得到準確的目標區域，然后對二值圖像結果進行形態學腐蝕，以減少粘連，得到葉片外區域模板，并在第一層尺度空間中去除葉片圖像邊緣的外部偽canny邊緣。

2）對紋理特征較少的第三層重建圖像進行Otsu分割，得到粗略的葉片區域，然后將該粗略的葉片區域作為掩模。在掩模區域內第三層重建圖像被第二次Otsu分割為前景和背景，對該前景和背景分別進行形態學處理和邏輯運算，然后可以得到的葉內部區域模板用以擦除葉片圖像邊緣內部相應映射空間區域的偽canny邊緣。

3）最后，通過邏輯運算，得到了無外部和內部canny偽邊緣干擾的精確完整的草莓葉片canny邊緣圖像。

2.2 偽canny邊緣的消除

一些因素顯然影響分割，如光線不均勻，葉片之間或葉片與雜草等之間的重疊或接觸，卷曲的葉子形狀等，所有這些因素都可能會導致葉片前景區域和背景區域的紋理細碎和葉片圖像邊緣內部灰度級不均。而具有同樣的表面法向量的葉片圖像的不同部位有相似的灰度級差，這可能會導致許多類似的canny邊緣。用canny算子分割葉片圖像時，結果圖像中會有許多紋理邊緣，有的是真實的葉片邊緣，有的則在真實的葉片邊緣之內外。通過上述分析，本研究將第一層小波分解重建圖像中的canny偽邊緣劃分為三類：

1）葉片圖像邊緣外部的偽canny邊緣被當作是第一類偽邊緣，它存在于4層“db5”小波分解空間中第一層小波分解重建圖像的Otsu分割結果二值圖像的背景區域中。

2）葉片圖像邊緣內部的一部分canny偽邊緣被當作是第二類偽邊緣，它的映射區域是第三層小波分解重建圖像在該層的掩模中的第二次Otsu分割的結果二值圖像的前景區域，該區域具有較高的亮度。

3）葉片圖像邊緣內部的另一部分內部canny偽邊緣被當作是第三類偽邊緣，它的映射區域是第三層小波分解重構圖像在掩模中的第二次Otsu分割的結果二進制圖像的背景區域，該區域具有顯著的灰度差異特征。

本文考慮三種不同區域之間的差異，構建了不同的處理方法，以獲得最終的真實葉片邊緣，排除這三種區域內的canny偽邊緣。

2.2.1 外部輪廓過程

葉片圖像邊緣的準確度取決于四層‘db5’小波的第一層小波分解重建圖像的Otsu分割過程，以及擦除葉外部偽邊緣的過程。上述分割的背景區域被用作第一類canny偽邊緣區域模板，以消除冗余的外部canny偽邊緣，然后使用形態學算子將模板與實際葉邊緣保持幾個像素的差距，以避免使用模板時造成不完整的葉片圖像邊緣。

因此，將第一類canny偽邊緣擦除的流程分為三個步驟。

1）重建小波分解后的第一層灰度圖像。

2）對第一層小波分解重建圖像進行canny邊緣檢測和Otsu分割，以獲得第一層重建圖像的canny邊緣圖像和二值區域圖像。

3）將第一層小波分解重建圖像的Otsu分割背景區域作為第一類canny偽邊緣區域模板，通過形態學和邏輯運算擦除葉外部區域中的canny偽邊緣。

由于第一層小波分解重建圖像紋理較復雜，對它進行Otsu分割可能會導致如圖4b的葉片內部區域中的孔洞。因此將該區域分割的前景用2像素半徑的圓形結構元形態學腐蝕和填充，再用4像素半徑的圓形結構元腐蝕，然后用8像素半徑的圓形結構元將結果中最大面積連通區域提取，進行形態學膨脹，將所獲得的結果的背景區域作為外部模板圖像。該模板距離葉片真實邊緣2個像素。多次腐蝕-填充的作用是避免擴大葉片圖像邊緣內部孔洞，并且斷開葉片和背景之間的粘連，來提取到完整的葉片圖像區域。多次腐蝕填充并膨脹得到外部模板的流程如圖3和圖4所示。

從圖4可以看出，對二進制區域直接用6像素結構元腐蝕可能導致由葉片內部紋理產生的葉片內部區域孔洞膨脹，進而造成葉片內部的碎片。而多次腐蝕可以在不加劇內部紋理孔洞的情況下分離粘附，獲得完整的葉片區域。

圖3 外部輪廓模塊流程圖

圖4 外部輪廓提取步驟

2.2.2 內部輪廓過程

將第三層小波分解重建圖像進行首次Otsu分割，前景區域用6個像素半徑的圓形結構元形態學腐蝕和填充孔洞，以確保掩模在葉邊緣內部，將結果中的最大連接域作為掩模。因為第三層重建圖像具有較少的紋理，使得作為掩模的Otsu分割前景的葉片區域更加完整，同時允許結果中可能存在背景的一些黏合。

圖5 內部輪廓步驟

將第三層小波分解重建圖像在掩模區域內第二次進行Otsu分割，獲得的前景區域為第二類偽canny邊緣區域，背景區域為第三類偽canny邊緣區域。

葉片處理和流程的步驟如圖5和圖6所示。

（a）小波分解第三層重建圖像f2；（b）“（a）”的OTSU閾值分割結果f5；（c）通過6個像素半徑的圓形結構腐蝕“（b）”；（d）填充“（c）”中的空洞并用3個像素半徑的圓形結構元腐蝕結果；（e）用3個像素半徑的圓形結構元膨脹前景區域中的最大連通區域“（d）”；（f）將結果“（e）”的最大連通區域作為掩模f8，在掩模下對第三層小波分解重建圖像進行第二次OTSU閾值分割的結果f9；（g）掩模下2次分割后圖像背景區域f10（其中不包括“（f）”的前景區域）；（h）用葉片圖像內部canny邊緣連接“（f）”中的圖片分割碎塊，形態學填充后提取最大連通區域作為第二類canny偽邊緣區域（葉片內部高亮區）f11；（i）用相應的葉片內部細化canny邊緣縫合“（g）”，形態學填充后提取最大連通區域作為第三類canny偽邊緣區域f16（葉片內部灰度不均勻區）；（j）對“（h）”和“（i）”進行邏輯AND運算的結合區域f17；（k）對“（j）”形態學填充后腐蝕獲得的小于葉片圖像邊緣2個像素的內部模板f18。

整個內部輪廓模塊的流程圖如圖6所示。

圖6 內部輪廓模塊流程圖

（1）葉內均勻區域

將第三層小波分解重建圖像進行第一次Otsu分割，以分割結果的前景作為掩膜。在掩模內對第三層小波分解重建圖像進行第二次Otsu分割。用第一層小波分解重建圖像的葉片圖像邊緣內部的canny邊緣縫合第三層小波分解重建圖像第二次Otsu分割的前景區域，再對該前景區域進行形態學運算獲得的最大區域是第二類canny偽邊緣區域，該區域是具有均勻灰度的內部高亮區域。第二類偽邊緣處理模塊的步驟如下：

①對第三層小波分解重建圖像進行第一次Otsu分割，形態學填充，然后將結果中最大連通區域作為掩模。

②在掩模區域內對第三層小波分解重建圖像進行第二次Otsu分割得到前景區域圖像。

③將第二次Otsu分割的前景區域圖像與第一層小波分解重建圖像的canny邊緣進行邏輯XOR運算，以縫合前景中碎片，經過形態填充，選擇最大的連通區域作為第二類canny偽邊緣區域模板。

④用第二類canny偽邊緣區域模板與第一層小波分解重建圖像的葉片圖像邊緣內部的canny邊緣進行邏輯AND運算來擦除葉片邊緣內部高亮區域的canny偽邊緣。

第二類canny偽邊緣區域的處理流程圖如圖7所示，處理步驟的實例圖如圖8所示。

圖7 第二類canny偽邊緣區域（高亮區）處理模塊流程圖

圖8 第二類canny偽邊緣區域處理的實例圖

（a）第一層小波分解重構圖像f1；（b）第一層小波分解重構圖像canny邊緣檢測結果f3；（c）外模板f4；（d）去除外部canny偽邊緣的圖像f7；（e）第三層小波分解重構圖像f2在掩模下第二次OTSU分割結果圖像f9；（f）用“（d）”與“（e）”邏輯異或運算，用邊緣連接分割區域前景中的碎片；（g）對“（f）”填洞；（h）選取“（g）”中的最大連通區域，作為第二類canny偽邊緣區域f11

（2）葉內不均勻區域

第三層小波分解重建圖像的第二次Otsu分割的背景區域是第三類偽canny邊緣區域，這是灰度不均勻的葉片內部區域，灰度接近背景進而可能導致葉片區域與背景區域粘連。第三類偽canny邊緣區域處理模塊的步驟如下：

①用4像素半徑的十字交叉結構元對第一層小波分解重建圖像的葉片內部canny邊緣進行形態學膨脹，以連接細碎的葉片內部canny邊緣。然后對膨脹后的葉片內部canny邊緣無限細化，獲得薄而連接的近似的葉片內部canny邊緣。

②將第三層小波分解重建圖像在其自身第一次Otsu分割得到的掩膜內進行第二次Otsu分割，對獲得的背景區域進行形態學腐蝕，得到一系列該背景區域碎片。將近似的葉片內部canny邊緣與上述完整的背景區域進行形態學AND運算，得到的canny連接線和完整的背景區域外部輪廓線一起將腐蝕后的背景區域碎片縫合，并斷開了葉片內部區域與外部區域的的粘連。

③將上述結果形態學填充，選取最大連通區域作為第三類canny偽邊緣區域。

第三類canny偽邊緣區域的處理流程圖如圖9所示，處理步驟的實例圖如圖10所示。

（3）完整精確的葉片canny邊緣的獲取

將第二類和第三類canny偽邊緣區域進行邏輯運算，獲得完整的葉片內部區域。將組合區域形態學腐蝕，結果作為完整的內部模板，它比實際葉片邊緣小一到兩個像素。

然后利用第一層小波分解重建圖像的canny邊緣圖像與內部模板和外部模板進行邏輯運算，從而擦除內外部canny偽邊緣，獲得整個葉片邊緣的canny邊緣線。

圖9 第三類canny偽邊緣區域（紋理區）處理模塊流程圖

圖10 第三類canny偽邊緣區域處理的實例圖

2.2.3 要點闡述

（1）最大連通區域

原始圖像被程序（通過可變的預設剪切框）自動剪切成葉片大小相似的子圖像。如果被剪切出的子圖像中的確含有一片完整的葉片，那么子圖像中完整葉片的面積占優并居中。根據子圖像的灰度條件，可以假設Otsu分割子圖像的前景中的最大連通區域是子圖像中的葉片區域；如果背景是葉面積，則第一類canny偽邊緣區域的背景和前景的處理過程將被交換。

（2）產生第二類和第三類canny偽邊緣區域的原因

葉片并不是平面，第二類canny偽邊緣區域產生的原因是葉面稍微折疊或卷曲，使得灰度受照度影響，出現高亮光區域。第二和第三類canny偽邊緣區域都是葉內部區域，是第二次Otsu分割第三層小波分解重建圖像的前景和背景。葉片內部的第三類canny偽邊緣區域的灰度接近葉片邊緣外部區域，即該區域的葉片邊緣兩側內部區域與外部區域灰度梯度不顯著，而該區域紋理特征與葉片外部顯著性相似，這是粘連主要原因（如圖2所示，圖a中的第一行）。

（3）第二類和第三類canny偽邊緣區域的相關操作

（a）葉片內部模板比第一層小波分解重建葉片圖像真實邊緣的canny線小一個或兩個像素。根據照度條件的不同，該模板可能包括與葉片內部區域粘連的一些葉片外部的區域。進行葉片內部區域處理的內部模板獲取將分為如下兩個階段。

（b）首先將第三層小波重建圖像的Otsu分割前景區首先作為掩模，對第三層小波重建圖像在該掩模下再次Otsu分割，所獲前景區域是葉片內部的第二類canny偽邊緣區域，所獲背景區域是第三類canny偽邊緣區域。

（c）將兩類區域由分別提取的相應區域內的近似canny邊緣線縫合，然后將兩類區域合并，得到完整的內部模板，并且將葉片外部區域的粘連斷開。

葉片內部區域模板與第二類和第三類canny偽邊緣區域的處理流程和步驟如圖5、6和7、8、9、10所示。

2.3 完整的算法過程

草莓葉邊緣提取的一般算法步驟如下，流程如圖11和12所示。

（1）將彩色子圖像變為灰度圖像，然后使用維納濾波算子對子圖像進行噪聲處理。

（2）去噪圖像f0用4級“db5”小波分解，重建四層“db5”小波分解的第一層圖像f1和第三層圖像f2。

（3）檢測f1的canny邊緣，對f1和f2進行Otsu閾值分割，結果分別命名為f3，f4和f5。

（4）葉片外部區域模板f6是對第一層小波分解重建圖像進行Otsu閾值分割，通過外部輪廓模塊流程獲得的。其目的在于擦除外部canny偽邊緣。葉片內部區域模板f18是對第三層小波分解重建圖像進行Otsu閾值分割，通過內部輪廓模塊流程獲得的，旨在消除內部canny偽邊緣。

（5）為了獲得完整精確的葉片canny邊緣圖像，首先用邏輯運算f7 = f3＆（～f6），來擦除葉片外部canny偽邊緣。

（6）再用邏輯運算f18 =（～f17）＆f7，來擦除葉片內部canny偽邊緣，以得到最終葉緣圖像f18。

整個算法過程由圖11中的兩個葉片樣本圖像處理實例描述，流程步驟如圖12所示。

圖11 小波重建葉片圖像處理的全過程實例圖

3 結果與討論

在這項研究中，所有草莓葉圖像都是通過CMOS攝像頭在自然光溫室中拍攝的。

基于上述所有實驗結果可知基于小波分析的方法有效地解決了自然光溫室中葉片照度引起的灰度不均勻、葉片重疊和卷曲等問題對草莓葉片分割的影響。由于尺度分析操作耗費了計算機系統的大量計算資源，所以簡化上述分割方法以避免小波尺度分析計算產生的問題；同時對上述實驗推導的小波分析方法加以改進，可以對原始灰度圖像進行直接有效的分割。

圖12 多尺度算法提取草莓葉片邊緣的總流程圖

3.1 不同分割方法的比較

圖13通過一組比較實驗，顯示了本文推導的分割方法與其他常用方法的區別。

比較實驗結果如下：

Gauss Laplace差分算子檢測到的邊緣主要表現為細碎和斷裂。葉片邊緣外部區域中的葉子、樹枝等與葉片圖像邊緣內部區域存在著嚴重的粘連，如圖13（b）。

canny方法可以檢測連續和唯一的單像素邊緣，但其邊緣結果包含由內部紋理，葉柄和樹枝引起的許多其他顯著的梯度變化引起的偽邊緣，如圖13（c）。

直接分水嶺法存在過度分割的嚴重現象。淹沒在噪聲或其他信號中的邊緣是由于不均勻的照度引起的，如圖13（d）。

改進的分水嶺分割方法基于形態學標記。與直接分水嶺分割方法相比，已經大大改善，但由于自然光溫室草莓葉片圖像成像條件和背景復雜，因此的改進的分水嶺方法存在將目標分割成多個不規則片段的現象，如圖13（e）。

Otsu分割方法可能會導致葉片內部區域與葉片外部區域的粘附，以及葉片內部區域的孔洞。這是由于部分葉片外部區域與葉片內部區域的紋理灰度差異小，以及待分割目標葉片圖像的內部灰度不均勻紋理狀況引起的，如圖13（f）。

圖13 不同分割方法的比較實驗結果

小波包方法可以獲得連續但局部葉片內部區域與外部區域粘連的邊緣；同時這種方法比其他方法消耗更多的計算資源，如圖13（g）。

本研究推導出的算法可以在自然光中獲得草莓葉片的完整和準確的邊緣，邊緣受到外部背景，內部紋理和不均勻照明的干擾較小。實際葉片圖像邊緣內部的或外部的canny偽邊緣幾乎完全被擦除，如圖13（h）。

比較實驗結果表明，本研究的算法效果顯著。

3.2 簡化分割算法

由于尺度操作耗費了大量的計算資源，所以考慮對原始灰度圖像直接應用尺度分析算法。本文改進了上述基于尺度重構的分割算法，將其應用于分割原始灰度圖像。

簡化的分割過程繼承了上述多尺度分析過程導出的分割方法，僅將canny偽邊緣區域劃分為兩類。一個是對葉片圖像邊緣外部的canny偽邊緣區域的處理，與上述第一層小波分解重建圖像中的外部canny偽邊緣區域處理相同。另一個是對整個葉片圖像邊緣內部的canny偽邊緣區域的處理，僅采用上述第三層小波分解重建圖像中的第三類偽邊緣區域處理方法對整個內部區域處理。簡化算法實例如圖14所示分割效果顯著。

圖14 基于直接應用小波分析過程的簡化分割算法過程

在簡化算法中，我們充分考慮了分割的復雜性，但是如果葉片內部區域的紋理特征太復雜，而外部模板可用，但不十分理想（圖14（d）），那么分割效果就會受到影響。在尺度分析中，第三層小波分解重構圖像也可以通過Otsu分割，將背景區域進行處理以獲得完整的外部模板以替代第一層小波分解重構圖像處理獲得的外部模板。但是，如果不用尺度分析計算，同時對原葉片子圖像處理獲得的葉片圖像邊緣的內部區域不完整（外部模板也不完整），則在簡化的分割方法中不能完全去除canny偽邊緣，獲得完整的葉片邊緣。如果發生這種情況，邊緣提取過程中應該采用小波分析過程來處理復雜葉片外部紋理條件下的葉片邊緣提取算法。

4 結論

通過實驗證明，提取草莓葉邊緣的多尺度算法是有效的，本文主要的貢獻如下：

（1）提出在自然光條件下，多尺度小波分析研究草莓葉片圖像邊緣的提取方法。在此過程中用Otsu算子將第一層小波分解重建的葉片圖像的canny偽邊緣分為三大類，它們分別是葉片圖像邊緣外部區域、葉片圖像邊緣內部的高亮灰度均勻區域和葉片圖像邊緣內部的不均勻灰度區域。

（2）在不同尺度空間的重建圖像的相應映射圖像空間區域（三類區域）中，推導出不同的方法來去除canny偽邊緣，以獲得完整和準確的葉片邊緣。

（3）在第三類區域的處理過程中，建立了一種新的水平和垂直方向均為4個像素的十字交叉線性結構單元，用于形態學腐蝕二進制圖像。

（4）利用相應空間映射區域的canny邊緣線縫合Otsu分割碎片，將需要處理的前景或背景區域整體化，同時可以斷開葉片圖像邊緣內部區域和外部區域的粘連。

（5）簡化的算法可以直接用于分割葉片的原始圖像。以節省尺度分析耗費的計算資源。實驗表明，除了發生一些不完整的外部模板情況時不能避免使用尺度分析方法之外，本文的簡化算法是有效的。

如前所述，自然光條件下，草莓葉片圖像邊緣提取算法的應用展望可以表述如下：可用于葉病害分析，葉面積計算，營養狀況監測和生長狀況監測，可以在今后的工作中實現果園數字化管理。