用于大豆品種識別的葉片深度特征學習方法①

游嘉偉,王 斌,2,曾 瑞

1（南京財經大學 信息工程學院,南京 210023）

2（武漢工程大學 智能機器人湖北省重點實驗室,武漢 430205）

3（悉尼大學 生物醫學工程學院,悉尼 2006）

1 簡介

大豆作為一種豆科植物,是一種能夠提供油脂和蛋白質的農作物,在許多國家和地區,都作為主要農作物.例如,大豆作為巴西出口的主要農作物產品,在巴西經濟中具有重要意義[1].由于大豆是美國最大的動物蛋白飼料來源和第二大植物油來源[2],因此是美國極為重要的農作物.由于在當前不利的環境條件下人口基數不斷增長,對大豆育種、生長、發育和產量加以研究以提供充足食物這一任務具有特別重要的意義.

大豆品種（cultivar）種類繁多,農業專家也在繼續開發具有高生產率和高利潤率的新的大豆品種.在低投入和有機耕作條件下,品種選擇和育種重新成為提高作物生長性能的主要工具[3].因此,大豆品種的鑒定和識別在大豆品種的評估、篩選和生產過程中起著至關重要的作用[4].

許多研究[5-8]已經證明了葉片圖像模式對于植物物種（species）識別的可用性,常使用的葉片特征有形狀,紋理,葉脈和顏色.然而,大豆葉片是否也可以作為大豆品種識別的重要線索,還是一個有趣但具有挑戰性的問題.許多植物物種具有明顯不同的葉片圖像模式,并且大多數葉片圖像模式可以很容易地從人類視覺感知中識別（請參見物種葉片圖像數據庫Leaf100[9],ICL[10]和MEW2012[11]中的示例）,與之不同的是,大豆葉片圖像模式在不同的品種之間,具有很高的相似性（見圖1）,這甚至導致即使是領域內的專家也很難簡單通過葉片圖像模式區分它們.

圖1 來自12個不同大豆品種的葉片樣本

最近,人們進行了一些從葉片圖像模式中探索大豆品種信息的可用性的嘗試[12,13],但是方法依賴于手工提取的特征,例如形狀,紋理和葉脈等.由于手工提取的特征在捕獲大豆品種之間的細微差異方面的性能有限,在處理大豆品種識別,這種非常細粒度的模式識別問題方面,有著很大的局限性,很難獲得令人滿意的分類準確率.

深度學習是一類機器學習技術,它能夠通過自動提取信息特征來克服手工方法提取特征的局限性.深度學習中用于識別任務的典型方法是由不同神經層（例如卷積神經層,Softmax層）的堆棧組成,并且隨著網絡訓練的不斷迭代,每一層都可以逐步學習更具代表性的抽象特征.最近的許多研究證明了深度學習技術可有效地實現葉片物種識別任務[14],但是將深度學習應用于大豆品種識別,這一類極具挑戰性的細粒度的葉片圖像識別問題還未見報道.

本文專注于使用深度學習技術來研究大豆的品種識別問題.我們提出了用于大豆品種識別的目標轉換注意力網絡（Transformation Attention Network,TAN）,它結合了注意力機制和仿射矩陣變換,分別用于放大葉片圖像上的興趣區域和糾正葉片姿勢.其中,注意力機制可以實現圖像中細粒度特征提取,該特征包含能夠區分不同的品種的有效信息,而姿勢矯正過程可以調整葉片圖像姿勢以減輕由旋轉和平移引起的方差問題.為研究該方法的有效性,我們構建了由240個品種組成的大豆葉片圖像數據庫,每個類別中有10個樣本,并使用構建的大豆葉片栽培品種數據集對提出的模型進行了評估,以證明其在研究葉片栽培品種識別任務方面的性能優于最新的方法,并確認了注意力機制和葉片姿勢矯正過程是栽培品種識別的兩個關鍵點.

2 相關工作

在過去的幾十年中,已經產生了大量基于葉片圖像模式的植物物種識別方法.這些方法主要可以分為手工方法和深度學習方法兩類.前者從葉片圖像中手動提取特征進行分類.后者使用深度學習模型直接從原始圖像數據中學習葉片特征.

當前許多手工提取的葉片特征已被用于區分植物種類,如葉片形狀與輪廓已被視為重要特征,并為人類專家作為區分植物的主要線索.近年來已經提出了葉片形狀描述子并在植物物種分類任務中取得了較高的分類精度.分層弦切法（HSC）[9]使用輪廓線段的所有點相對于其切割線段的字符串的空間分布信息來描繪輪廓特征,通過改變輪廓片段的長度,構建了多尺度的輪廓弦切描述子,它具有較高的輪廓描述能力以及較低的時間復雜度,適合需要競爭性和準確性的大型形狀數據庫檢索.為了描述葉片形狀還設計了不同形式的曲率量度方法,例如積分不變量[15],多尺度距離度量[5],三角形表示[16]等.此外,圖像矩和傅立葉描述符也廣泛用于葉片形狀特征的表征[11,17,18].

葉片紋理是區分植物種類的另一個重要線索.流行的紋理描述子（例如Gabor濾波器[19,20],灰度共現矩陣[21],局部二進制模式（LBP）[22]）已被應用于基于葉片的植物物種識別.而葉脈作為一種特殊的紋理結構模式可以用作補充線索,以進一步提高物種分類的準確性.Charters等[23]設計了一個新的描述子,稱為Eagle,它使用相鄰區域之間的邊緣模式來表征整個圖像葉脈結構,他們的實驗結果表明,Eagle描述子可以與SURF局部描述子相結合并在瑞典葉圖像數據集上獲得6%的性能提升.Larese等[24]提出在分割的葉脈上計算大量形態特征的方法,并驗證了其在豆類種類識別與分類任務中的有效性.

近年來,隨著深度學習技術的發展,一些研究人員已努力將深度學習技術應用于分析葉片圖像模式.Zhang等[25]構建了一個7層卷積神經網絡（CNN）,用于對32種植物的葉片進行分類.為了提高模型的泛化能力,他們在研究中使用了局部響應歸一化方法加以改進,研究證明了深度學習方法在葉子分類中的有效性.Grinblat等[7]專注于應用深度學習方法通過葉片的葉脈模式進行植物識別研究,實驗中特別考慮了3種豆科植物的分類:白豆,紅豆和大豆.Lee等[26]研究了利用深度學習技術直接從葉片圖像輸入數據的原始表示中學習出有效的描述子的方法,并從反卷積網絡（DN）中獲得了所選特征的直覺,研究中他們利用傳統的手工特征抽取算法進行了性能對比,實驗結果表明基于卷積神經網絡學習功能的描述子可以提供更好的葉片特征表示,且取得了更好的識別精確率.為了提供有效的植物物種自動分類方法,Tan等[27]提出了一種利用葉脈形態計量學對植物物種分類的新穎的卷積神經網絡模型,稱為D-leaf模型,該模型將多個預訓練的網絡模型（如經過預訓練的AlexNet和經過微調的AlexNet）結合在一起用于特征提取,然后通過將特征轉移到支持向量機、K-NN、卷積神經網絡等分類器方法中進行比較,驗證了D-leaf模型進行分類的效率.

現有的大多數用于葉片圖像分析的方法都只關注植物的種屬識別.同時,最近,也有一些研究人員探索葉片圖像模式是否可以進一步用于大豆品種識別.Larese等[14,24]提取、描述并分析了葉脈網絡所包含的特征以進行3個不同的大豆品種分類,并取得了可接受的分類結果.Wang等[13]首次嘗試同時使用來自大豆植物不同部位的葉片圖像特征描述子,將整合后的聯合葉片模式特征用于進行大豆品種分類,在研究過程中,通過多尺度滑弦測量來描繪每個葉片圖像模式特征,他們報告的實驗結果證明了大豆葉片圖像中蘊含的品種信息的可用性.

值得注意的是,盡管當前已有研究大豆品種識別方面的工作,但是由于細粒度圖像模式識別的挑戰性,他們對大豆品種的識別準確度明顯低于對物種的識別準確度.在本文中,我們嘗試使用深度學習來解決基于葉片圖像模式的大豆品種識別問題.據我們所知,這是一個使用深度學習技術進行大豆品種分類的首次嘗試,本研究工作,也將會進一步推動從物種識別到品種識別的葉片識別研究.

3 目標轉換注意力網絡

我們的目標是設計一個用于準確識別葉片品種的深度神經網絡,該網絡不僅可以規范葉片的姿勢,而且可以提取圖像細粒度的特征,從而能夠魯棒而精確的描述不同大豆品種之間的細微差異.圖2展示了我們提出的用于大豆品種識別的目標轉換注意力網絡的基本框架,它由卷積神經網絡主干和我們提出的目標轉換注意力網絡模塊組成.下面介紹該網絡模型的細節.

圖2 目標轉換注意力網絡的結構圖

3.1 卷積神經網絡框架

我們的目標是設計一種端到端的體系結構,該體系結構可以從葉片的圖像中魯棒且準確的提取有用的葉片特征.盡管當前圖像分類研究中已經提出了許多新型網絡,但是由于ResNet[28]已經在葉片分類任務中被多次成功應用[12,29],并被證明了其有效性.因此我們選擇ResNet[28]作為目標轉換注意力網絡的基本框架.考慮到用于農業的人工智能算法通常是在資源有限的環境中執行的,因此我們選擇使用具有可接受的性能水平和合理的資源要求的ResNet-34加以研究并改進.

本文中使用的ResNet-34包括4個運行階段,其中每個階段都包含特定數量的殘差模塊[28].根據其中使用的shortcut類型,殘差模塊被分為兩個不同的類別.在我們的論文中,我們嚴格遵循ResNet-34的正式構建方法搭建神經網絡.

3.2 目標轉換注意力網絡

文獻[8,26]證明了添加附加的輔助信息可以進一步改善模型的性能,已被廣泛用于葉片圖像物種識別任務.例如,邊界框注釋[8,26]被廣泛用于突出具有區分能力的葉脈和紋理信息.手工裁剪的補丁塊[30]被用于輔助葉脈的描述并消除形狀特征帶來的變異.盡管這些方法在葉片種類識別方面取得了巨大成功,但收集并標注這些輔助信息需要花費大量的精力,并且非常耗時.

當將這種方法用于葉片圖像品種分類任務時,這一困難尤為突出.例如,如圖3所示,與不同物種的葉片圖像不同,由于這些大豆品種葉片屬于同一個大豆物種,大量品種的葉片圖像在外觀特征上非常相似,甚至某些品種的葉片只在葉脈紋理結構上有細微的差別.因此,即使是農業植物學專家很難為葉片圖像進行標記以提供附加信息.此外,如果圖像被專家錯誤地標記,甚至會造成深度神經網絡的性能大大降低.

除了上述問題,由于葉片在圖像中的位置是多種多樣的,因此葉片圖像的姿勢也是重要的影響因素,可能會對識別精度產生不利的影響.此外,葉片的形狀可能由于生長環境或疾病而變形,因此這種葉片缺少一些形狀特征,這類因素會對圖像識別帶來重要影響.

上述兩個問題在品種識別任務中廣泛存在,并且不可避免地對最近提出的人工智能算法的結果產生負面影響.為了應對這些問題,我們提出了目標轉換注意力網絡,它同時利用了注意力機制和仿射變換.注意機制旨在通過自動定位感興趣的區域來區分不同品種葉片圖像的細微差別,從而可以為品種識別提供更多細節信息.以這種方式,所提出的方法免除了使用手動標記和附加信息的麻煩.仿射變換校正是從輸入圖像本身推斷出適當的仿射變換矩陣,然后將其通過縮放和旋轉操作來校正輸入葉片的姿勢,這樣就可以將葉片放置在更容易識別的形態上.需要注意的是,這兩個模塊是互為補充的,它們提供的功能對于葉片栽培品種數據集的識別至關重要.

目標轉換注意力網絡（見圖2）核心模塊由4個部分組成:注意力模塊（attention module）,定位網絡（localization）,網格生成器（affine grid）和采樣器（grIDSample）.網絡具體工作流程如下:

步驟1.對輸入圖像經過預處理及數據擴充（data augmentation）,統一圖像的大小與格式,并按照一定的比例設計訓練集和測試集后,再將之輸入卷積神經網絡早期 7×7的卷積層和最大池化層,生成的batch×channel×56×56的葉片圖像特征圖將作為目標轉換注意力網絡核心模塊中定位網絡和注意力模塊的輸入數據;

步驟2.研究中的注意力模塊應用的是結合了空間注意力和通道注意力的混合注意力模型.對于原始輸入特征圖,該模塊經過堆疊多個卷積核為1×1的卷積層生成大小為 batch×1×56×56的特征蒙版圖mask,此特征蒙板圖將與輸入圖像同時經過Softmax層激活功能生成在[0,1]之間連續分布的空間注意力特征圖,以此獲取原始圖像中受注意力機制標記并保留關鍵特征信息的區域范圍.為了達到增強原始圖像特征的目的,接著將此空間注意力關注標記的特征圖再次輸入池化層、卷積核為1×1的卷積層與激活函數,其輸出結果與原始圖像結合獲取當前區域內信息量大的某類特征,即通道注意力結果,用于強化并標記出特征空間中有意義的特征.由于特征蒙版圖的存在,使得注意力模塊不會由于反復乘積造成特征過小消失的情況,以類似于殘差模塊x=x+x×mask的思想保證了注意力模塊的收斂性.特別指出的是,Softmax函數輸出特征圖中每個像素的權重,并將特征圖中的原始像素與其對應的權重相乘以生成注意力增強的特征圖.這種經過注意力增強的特征圖更具描述性,可以更好地描述不同葉片品種之間的差異.同時,注意力模塊輸出的圖像增強特征圖將是采樣器在后續過程中接收到的兩個輸入數據之一.

步驟3.為了解決輸入葉片圖像中目標姿態不同的問題,以卷積神經網絡早期運行過程中卷積層生成的原始特征圖為輸入進入定位網絡,這個定位網絡是輕量級的卷積神經網絡,包括兩個卷積核大小為7×7卷積層、池化層及線性映射層,通過使用卷積層不斷迭代運算達到提取特征的目的,學習出batch×1000的特征向量,并通過線性映射層映射為2×3維度的仿射變換矩陣,隨著網絡的迭代將不斷學習和更新線性映射層的權重與偏置參數,從而生成合適的仿射矩陣并傳輸給后續的網格生成器用于仿射變換,該仿射變換可校正給定葉片圖像的姿勢.

這些更新的坐標將被傳入采樣器模塊用于糾正葉子圖像的姿勢.這是因為這些姿勢校正的坐標傳入采樣器是用于對注意力增強的特征圖進行采樣,以生成注意力特征增強的姿勢校正的特征圖.

步驟6.最后,將注意力機制增強的姿勢校正特征圖提供給卷積神經網絡主干網絡和全連接層（fully connected layer）,以進行進一步的特征提取和分類.這些特征圖相較于原始的輸入擁有更多信息,因此可以提高我們的網絡在葉片品種識別任務上的性能.此外,使用文獻[28]中所示的Softmax損失來訓練該網絡.

4 實驗結果和討論

為了驗證大豆葉片圖像模式中品種信息的可用性,并驗證所提出的目標轉換注意力網絡對大豆品種識別的有效性,我們建立了一個大豆品種栽培葉片圖像數據庫,并將我們的方法與包括手工方法和深度學習方法在內的幾種最先進的方法進行了比較,以驗證本文提出的方法的優越性.

4.1 數據集

雖然目前有一些網上公開的葉片圖像庫,如Leaf100[9],MEW2012[11],ICL[10],可供實驗研究,但這些數據庫都是作為物種識別研究的,還沒見到可供品種識別的葉片圖像庫.我們收集不同大豆品種的葉片來建立大豆品種葉片數據庫.該數據庫包含從240個大豆品種植株中收集的2400片葉子.對于每個品種,我們從不同植株的下部隨機采集10片葉子.所有葉片圖像均使用具有600 dpi高分辨率和48位真彩色設置的EPSON V850 Pro掃描儀獲得.圖3給出了每個品種的葉片示例,圖4則給出了前10個品種的所有葉片樣本作為示例.與網上公開的葉片圖像數據庫Leaf100[9],MEW2012[11],ICL[10]相比,大豆品種栽培葉片數據庫具有更高的類間相似性,因為所有葉片屬于同一物種,這使其成為研究葉片品種識別的一個新的且具有挑戰性的數據集.

圖3 取自大豆品種葉片圖像庫的240個品種的示例樣本（每個品種一個樣本）

圖4 大豆品種葉片圖像數據庫中前10個品種的所有樣本,每行顯示了同一大豆品種的所有圖像

4.2 實驗對比的方法

在我們的實驗中使用了6種對比方法,包括4種傳統的手工方法:局部二進制模式（LBP）[22],分層弦切法（HSC）[9],定向梯度直方圖（HOG）[31]和多尺度滑弦匹配（MSCM）[13].此外還有兩種深度學習方法,分別是濾波器學習區分網絡（DFL）[32]和導航-自指導-審查網絡（NTS）[33],這兩種深度網絡在對圖像進行細粒度分類都有較為優異的結果,它們被用于作為我們提出的模型的對比基準.我們的方法和其他兩個深度學習方法DFL和NTS的預訓練模型分別是ResNet-34,VGG16和ResNet-50.對于所有對比實驗,我們使用大豆品種葉片圖像庫中每個品種的前6個葉片圖像用作訓練樣本（共有1440個樣本）,其余960個葉片圖像作為測試樣本.下面是參與對比的所有方法的介紹.

HOG:梯度方向直方圖[31]是一種梯度信息的統計方法.由于梯度信息主要存在于圖像目標的邊緣區域,因此可以通過研究梯度的分布或邊緣的方向密度來適當地描述目標的外觀和形狀信息.該方法已廣泛用于植物葉片識別[34,35].

HSC:分層弦切線[9]旨在提取葉片的輪廓特征,其中輪廓段的特征在于輪廓點相對于其弦的空間分布信息.該方法是最新的形狀描述方法,可以提供快速而準確的葉片圖像分類結果.

LBP:局部二進制模式[36]被證明是最成功的局部外觀描述符之一,用于捕獲小的紋理細節和外觀.由于葉片具有非常精細的紋理和葉脈特征,而這些特征是葉片圖像分類的最重要標志之一,因此許多研究[22,37-39]已將LBP技術應用于葉片圖像識別任務.

MSCM:多尺度滑弦匹配[13]是一種最近發表的方法,致力于使用葉片圖像模式來區分大豆品種.它以從粗糙到精細的層次順序表征葉片圖像模式,并測量描繪葉片圖像的外部形狀和內部外觀的同步模式.為了增強品種描述的判別力,它結合了植物不同部位的葉片描述符,使得來自不同位置的信息相互補充,是一種有效的大豆品種鑒定方法.

DFL-NET:DFL-NET模型[32]是一種端到端深度學習方法,該方法使用具有卷積濾波器監督和非隨機層初始化的非對稱多流結構.旨在通過卷積過濾器來增強圖像特征中級表示與學習,以便在無須其他輔助信息情況下使用補丁程序獲取不同級別信息和圖像的全局外觀,并且網絡可以提取特定于類別的判別性補丁程序.

NTS-NET:NTS-NET模型[33]由導航代理模塊,教師代理模塊和審查程序代理模塊組成.通過計算圖像中多個區域的特征向量來訓練該導航器網絡.它可用于檢查導航代理模塊在教師代理模塊的指導下檢測到的信息量大的區域,并反饋建議信息,以便導航器網絡可以查看和融合這些特征向量用于分類任務.

DFL-NET和NTS-NET在公共細粒度數據集CUB-200-2011上都獲得了較高的分類精度[40].因此,我們選擇它們作為代表性的深度學習方法進行對比實驗.

4.3 結果與分析

表1給出了我們的方法和所有參與比較的方法在大豆葉片圖像庫上的實驗結果.可以看出,我們的方法達到了令人鼓舞的71.90%的分類準確度,證明了葉片圖像模式的品種信息的可用性,并驗證了葉片圖像模式對大豆品種識別的有效性.

表1 本文提出的方法與其他手工特征和深度特征方法在大豆葉片圖像數據庫上的分類準確率

從表1可以看出,我們的方法的分類準確率分別比4種手工特征方法HOG[31]、HSC[9]、LBP[36]、MSCM[13]高出 50.10%,48.98%,47.50% 和 35.55%.與深度學習方法相比,我們的方法的分類準確率分別比NTS[33]和DFL[32]高14.20%和16.59%.這些結果表明,我們的方法在表征葉片圖像模式方面效果更好,并且更適合于大豆品種的識別.

實驗結果還表明,在大豆葉片品種識別問題上,深度學習方法的分類精度比傳統的手工方法高出18.96%,該結果說明,與手工特征方法相比,深度學習方法在捕獲不同品種的葉片圖像模式非常細微的差異方面效果更好.值得注意的是,盡管DFL-NET[32]和NTSNet[33]這兩種深度學習模型在其他細粒度分類任務中均取得了良好的準確性,但它們比本文提出的方法分別低了16.59和14.20個百分點.其原因分析總結如下:

DFL[32]使用全局最大池為給定圖像的每個補丁塊生成響應權重.然后,將具有相應特征向量的響應權重用于描述給定圖像,以進行最終圖像分類.但是,由于每個補丁塊的特征圖中會存在精細葉脈特征所攜帶的代表性信息丟失的情況,因此DFL的網絡設計不適用于葉片品種識別.與DFL相比,我們的網絡使用了注意力機制,該機制能夠為每個像素分配權重得分,這種策略使我們的網絡能夠專注于細粒度的葉脈和邊緣像素,從而改善模型的性能.

NTS-NET[33]的成功使用取決于深度網絡自動檢測到并設置大型邊界框,這些邊界框是網絡自動關注的感興趣的矩形區域,NTS-NET在其中提取關鍵性的特征.通常情況下,這種邊界框區域中的特征很容易識別,特別是當測試圖像中的對象由許多不同的部分組成時.葉片葉脈信息是該數據集葉片十分獨特的部分,不能簡單地用大的邊界框來簡單地描述葉片葉脈特征模式.此外,當葉子的姿勢不正常時,特別是當在數據集的收集過程中其略微旋轉和平移時,矩形邊界框很容易標記錯位置.我們的網絡通過使用葉姿勢校正模塊解決了這個問題,因此我們的模型優于NTS-NET.

5 結論與展望

本文針對大豆品種識別這一極具挑戰性的葉片圖像模式的細粒度識別問題,提出一種稱為目標轉換注意力網絡的深度學習模型.為了有效地從葉片圖像中提取細粒度的特征表示,使用注意力機制來捕獲葉片圖像的細微的特征差異,然后使用仿射變換來糾正葉片的姿勢,使得方法更加魯棒.我們構建了一個由240個大豆品種圖像組成的葉片圖像數據庫,每個品種有10個樣本,以驗證葉片圖像模式中品種信息的可用性,并驗證我們的方法對大豆品種識別的有效性.實驗結果表明,我們的方法相比于最先進的手工方法和深度學習方法具有更高的分類精度,并且還證實了葉片圖像模式是大豆品種識別的重要線索.