基于Macbm-RCNN的葉片周長和面積測量方法

榮民希， 班 彬， 王智崢， 郭曉麗， 張衛正

(1.鄭州輕工業大學數學與信息科學學院，河南鄭州 450002； 2.鄭州輕工業大學計算機與通信工程，河南鄭州 450002)

光合作用、呼吸作用和蒸騰作用是影響植物生長的重要因素，這些都發生在植物的葉片中。由此可見，植物葉片對植物生長發育有著十分重要的作用，而測量植物葉片周長面積對評估植物的生長發育情況、作物產量以及殺蟲除害等方面都有著十分重要的意義。因此，建立一個快速、便捷、精確的植物葉片周長和面積測量方法對于研究植物各種生命活動有著重要意義。

測量植物葉片周長面積的方法主要分為3類：(1)葉面積儀測量法。這個方法雖然可以較為精準地測量葉片周長和面積，但因為其效率低、價格昂貴、后期維護麻煩等原因不能大規模使用。(2)傳統處理法。例如坐標紙法、方格法等，雖然相對于第一種方法價格上有一定的優勢，但因為測量起來操作繁瑣，得到的數據也不夠精確，所以也無法大規模使用。(3)Matlab軟件計算。這個方法雖然速度、準確率較傳統方法有所提升，但是計算過程復雜，對于背景情況復雜的圖片無法精確計算出圖片中葉片的周長或面積，且速度與準確率仍達不到實際應用的標準。

以上3種方法只能對簡單情況下的葉片進行處理，這導致無法在實際農業生產上大規模使用。針對這些問題，本研究中提出一種基于Macbm RCNN的葉片周長面積測量方法，該方法目的在于提高處理復雜背景下圖像的運算效率并且保證計算準確率。通過引入注意力機制，改變特征權重，提高葉片信息的識別效率，達到了識別復雜背景下葉片信息的要求。經驗證，本研究提出的Macbm RCNN網絡模型，能夠有效提高復雜情況下的訓練速度與準確率，在實際農業生產中能起到有效作用。

1 材料與方法

1.1 圖像采集與預處理

1.1.1 圖像采集 本試驗使用小米10手機作為圖像采集設備對葉片進行拍攝。在圖片拍攝時，將植物葉片盡量平鋪，拍攝時將拍照設備與背景板垂直安放，減少誤差。并且在光照條件充足且均勻的條件下拍攝，如果光照不足或不均勻會在后期處理中出現陰影，對后期的計算產生誤差。參照物選取方面選擇日常生活中常見的5角硬幣。為避免參照物因素的影響，在中途不會更換硬幣。選擇白色紙張作為綠色植物葉片背景，白綠色差能夠有效地區分葉片，提高葉片辨識度，方便后期對數據集的處理。

1.1.2 圖像壓縮 在進行數據集訓練前需要對圖像進行壓縮處理，因為采集得到的高像素圖像會調用大量系統資源，這會嚴重影響網絡的訓練速度。為解決這個問題，需要在不影響畫質的情況下先對獲得的圖片進行壓縮。經過多次測試，這里選取512×512像素作為最終選擇。

1.2 Mask RCNN網絡模型

Mask RCNN網絡是由何凱明團隊提出的一種實例分割算法，作用于目標檢測、目標實例分割、目標關鍵點檢測等。使用卷積神經網絡進行訓練后對目標物體進行預測。它是在Faster RCNN的基礎上提出的，Mask RCNN網絡在原本的2個分支上又添加了進行實例分割分支。此外Mask RCNN還通過引入特征金字塔(FPN)結構對主干網絡進行擴充。

1.3 Macbm RCNN網絡

1.3.1 Macbm RCNN模型 原有的ResNet101主干網絡已經不能滿足需求。為提高在復雜情況下的訓練速度以及葉片識別的準確率，在原框架基礎上提出Macbm RCNN模型。由圖1可知，Macbm RCNN模型是在Mask RCNN模型的基礎上融合了注意力機制后改良而成的，能夠精準有效地識別復雜情況下的葉片信息，提高效率。其主干網絡主要由Acbm Net和FPN組成，對輸入進來的圖片通過主干網絡進行提取出特征圖。然后將生成的特征圖傳入建議框得到興趣區域。通過ROI Align結構使用雙線性插值法將ROI準確映射到特征圖上并提取出相應的目標特征塊。特征塊分別輸入到全連接層FC和全卷積網絡FCN完成目標分類回歸和實例分割任務。

輸出網絡預測的結果，選取要進行計算的葉片，并進行灰度降噪處理，使用公式計算得出葉片周長。而面積的計算則需要通過進一步的填充處理，將填充的結果輸入面積公式便可以計算出葉片面積。

1.3.2 損失函數 Macbm RCNN的損失函數(式1)主要由邊界框的位置回歸損失、分類損失和掩膜損失部分的和構成。、、分別由式(2)(3)(4)等3部分公式計算得出。其中式(2)中為錨點前景的預測概率，為真實的概率。式(3)中=(，，，)，=(，，，)。式(4)中為掩碼預測的概率，為真實的概率。

=++；

(1)

(，)=-lg[+(1-)(1-)]；

(2)

(，)=(-)；

(3)

(，)=-[lg()+(1-)lg(1-)]。

(4)

1.3.3 評估指標 本研究使用平均精度均值()作為評估訓練精度的指標。平均精度均值即各個類別的平均精度，是指準確率(Precision)(式5)-召回率(Recall)(式6)曲線的線下面積，是預測目標位置及類別算法的性能度量標準，而值越高，說明準確率越高，這個模型越好。

(5)

(6)

(7)

其中，是指爭取預測中實際正確的數量占所有正確的數量比例；是指預測中實際正確的數量占預測數量的比例。是被正確劃分為正確例子的數量；是被錯誤劃分為正確例子的個數；是被錯誤劃分為錯誤的個數。

在引入平均精確度均值的同時，又引入了孟欣欣等提出的分割精度()(式8)，以達到更加精確評估的目的。其中，表示途中目標的像素數量，表示算法分割得到的圖像的像素數量。

(8)

1.3.4 Acb網絡改進 Mask RCNN網絡在處理復雜葉片時，會出現訓練速度慢、準確率低等問題。在解決實際問題時會使得成本大幅提升。為達到預期效果，提高準確率，提出了Acb Block網絡結構(圖2)。

Acb Block網絡是一種在Identity Block網絡的基礎上融合了注意力機制的全新網絡結構。Acb Block網絡中的注意力機制是一種混合的注意力機制，由空間注意力和通道注意力構成。其中空間注意力計算模型應該注意特征圖的位置，而通道注意力計算模型應該注意特征。通過兩者相結合，從而達到改變特征的權重，提高模型訓練的速度與準確率的目的。注意力機制可以有效地幫助我們在復雜情況下識別葉片的信息，降低對圖片背景的要求，使網絡能夠有效地使用在實際場景中。

Acb Block網絡的結構所示，在Acb Block網絡中使用的是瓶頸結構，首先通過1次1×1的卷積對通道數進行壓縮。之后通過1次3×3的深度可分離卷積對圖片進行特征提取。在此處插入了注意力機制。輸出特征提取后的結果，通過注意力機制輸出每個特征通道的概率。之后便將得到的概率與3×3的深度可分離卷積后的結果相乘。通過注意力機制來對通道權重進行調整操作，改變每一個特征通道所占的權重。注意力機制可以有效提高識別圖片的效率與準確率。最后再通過1次1×1的卷積進行通道數的返回。這種瓶頸結構的使用可以有效提升檢測效果，提高網絡的深度。通過這種注意力與瓶頸結構相結合的方式來改變特征權重，以此來達到更精準識別葉片信息、高效準確標記圖片的目的。

為防止因為網絡加深導致梯度消失爆炸以及退化問題，同時也為了提高網絡的性能，在Acb Block網絡中加入了殘差結構。將剛剛計算的結果與殘差邊所得到的結果相加，使網絡結構更加穩定。

Acb Block網絡通過注意力機制，提高了網絡的識別效率，可以在復雜背景的圖片中準確識別出圖中的葉片信息，這一改進使我們的網絡能夠在不對葉片進行采摘的情況下計算葉片的周長和面積，在農業生產方面有著重要的作用。

1.3.5 AcbmNet網絡結構 AcbmNet主干網絡是本研究提出的一種融合Acb Block網絡的全新的網絡結構。由圖3可知，圖片輸入網絡后，首先對圖片進行了步長為2的卷積，以此來壓縮圖片的長和寬。之后對圖片進行標準化和激活處理，對處理后的結果再進行1次最大池化將圖片壓縮。然后通過Conv Block網絡，在此保持圖片長寬不變，只調整通道數。對調整后的圖片再經過2次Acb Block網絡。

得到Acb Block網絡處理結果C2，之后再次進行1次步長為2的Conv Block網絡的壓縮處理，并且將結果通過Acb Block網絡進行處理。同樣提取出結果C3。然后再次經過1次Conv Block網絡進行壓縮，并且通過多次Acb Block網絡進行處理，同時提取出結果C4。最后提取出經過Conv Block網絡壓縮和Acb Block網絡處理的結果C5。

利用主干網絡中提取出的長寬壓縮2次、3次、4次、5次的結果分別為C2、C3、C4、C5，通過特征提取器(圖4)便可得到最終的有效特征層P2、P3、P4、P5。首先對C5進行2個卷積處理，得到有效特征層P5。然后取出C5第1次卷積處理的結果對其進行上采樣，將其與C4進行1次卷積處理的結果相加并進行1次卷積處理，就可以得到有效特征層P4。將C4第1次卷積與C5第1次卷積上采樣相加得到的結果進行1次上采樣，使其與C3的1次卷積的結果相加，并進行1次卷積即可得到有效特征層P3。同理，便可得到有效特征層P2。P2、P3、P4、P5便是通過特征提取器提取出的有效特征層。

1.4 葉片周長面積計算

1.4.1 灰度處理 選取圖片中要計算的葉片進行灰度處理。因為圖像采集設備所得到的圖像是彩色的，彩色圖片中葉片的脈絡會對圖片的計算產生干擾。采用加權平均法(公式9)來進行灰度處理，紅(R)、綠(G)、藍(B)3個通道分量的加權系數分別為0.33、0.57、0.12。采取這種方法進行灰度處理的時候，不會使圖片出現失真現象。

(，)=033(，)+057(，)+012(，)。

(9)

式(9)中(，)是葉片圖像在(，)處的灰度值，(，)、(，)、(，)分別為葉片圖像在(，)處的紅綠藍3色分量。

1.4.2 降噪處理 對灰度處理結束的圖片直接進行計算會出現計算的葉片和硬幣周長和面積遠遠超出實際情況，這是由于圖片中噪聲太多，干擾計算。所以需要進行降噪處理，突出圖像的邊界，以便于其后對圖像中葉片周長面積進行計算。

1.4.3 周長計算 使用降噪處理后的圖片對葉片的像素點進行計算，便可得到葉片在圖片上的相對周長。同理計算出硬幣在圖上的相對周長。最后根據公式(10)得到葉片的實際周長。

=×6437÷。

(10)

1.4.4 面積計算 使用降噪處理后的圖片進行填充操作，這樣可以方便計算葉片所占的像素點個數，提高計算的準確率。通過計算得到葉片在圖像中的相對面積，硬幣面積，令葉片的真實面積為，根據式(11)求出葉片的真實面積。

=×32989÷。

(11)

2 測量結果與分析

2.1 試驗裝置及環境

試驗硬件處理平臺：CPU：Intel Core i7-11700；內存：DDR4，32 GB；顯卡：華碩3080TI，12 G顯存；固態硬盤：500 G。使用tensorflow1.15+keras框架，同時采用CUDA11.5進行加速。同時為了提高網絡迭代的速度，采用遷移學習進行輔助訓練，本研究采用COCO數據集在Mask RCNN上的預訓練初始模型。對其進行優化關鍵參數，調整頭部參數的處理，以達到更精確識別的目的。之后利用Numpy、OpenCV等庫實現周長面積的計算。

試驗葉片數據于2021年采集于鄭州輕工業大學校園及鄭州市植物園，葉面儀(型號：WDY-500A)及方格法測量于2021年在鄭州輕工業大學食品與生物工程學院煙草行業煙草工業生物技術重點實驗室由相關專家指導完成，基于Macbm-RCNN模型測量于2021年在鄭州輕工業大學數學與信息科學學院人工智能實驗室完成。

2.2 規則圖形周長面積測量

為更進一步驗證準確性，選擇已知面積的長方形、正方形、三角形。使用同一5角硬幣作為參照物，在同一背景下進行測量。為確保數據準確，將同一物體重復5次進行測試。

測量的結果如表1、表2所示。通過試驗取得的數據來對本研究中葉片周長面積計算方法誤差率進行驗證，經驗證表明誤差均小于1.5%，達到預期效果。

表1 規則圖像周長測量

表2 規則圖像面積測量

2.3 葉片測試結果分析與對比

2.3.1 葉片預測結果以及面積計算 在保證數據集準確的情況下，通過Macbm RCNN網絡訓練完成后，選取任意背景下的葉片(圖5)與參照物的圖片進行預測，結果如圖6所示。可以看到在任意背景下，只要保證硬幣與葉片處于同一水平面，就可有效地識別出葉片信息。利用Macbm RCNN網絡預測的準確率與葉片標記情況都能達到預期效果。

2.3.2 周長計算 隨機選取1幅圖片進行計算。首先選取需要計算的葉片，對選中的葉片與硬幣進行灰度和降噪處理，得到葉片與硬幣的輪廓圖如圖7-a所示。經計算可得葉片的相對周長、硬幣周長。根據式(10)便可以得到葉片的實際周長=251.46 mm(圖8)，通過計算得到葉片的實際周長為253.12 mm，誤差為0.65%，小于1.5%，符合預期效果。

2.3.3 面積計算 對降噪處理后的圖片進行填充處理，填充圖如圖7-b、圖7-c所示。經計算得到硬幣和葉片的相對面積和，經過公式(11)計算得知葉片面積=2 316.36 mm(圖8)，計算得到葉片的實際面積為2 337.76 mm，誤差為0.915%，小于1.5%，在誤差范圍要求之內。

2.3.4 葉片周長面積不同測量方法對比 為驗證葉片周長和面積計算方法的準確性，隨機選取10張葉片圖片，通過方格法、葉面儀測量法、Macbm RCNN網絡模型等3種方法進行計算。由表3可知，Macbm RCNN相對于葉面儀精確度相差不大。同樣，對計算所花費時間進行統計。由表4可知，Macbm RCNN所花費的時間最短。由表3、表4可知，Macbm RCNN模型能夠在提高效率的同時保證準確率。

表3 葉片周長與面積測量

表4 周長面積平均計算時間

2.3.5 結果分析及比較 為驗證本研究中提出的Macbm RCNN改進網絡模型的優化作用，選取Mask RCNN(ResNet101)、Mask RCNN(ResNet50)與本研究的Macbm RCNN網絡在ResNet50和ResNet101基礎上的改進進行比較。對4個模型使用相同的數據集進行訓練，將每個模型的訓練結果進行比較。由表5可知，相比于Mask RCNN網絡，Macbm RCNN網絡結構在引入注意力機制后，在平均精度方面分別提升1.8%、1.5%。加入了注意力機制的Macbm RCNN網絡雖然在平均訓練時間和平均推理時間方面沒有太大提升。但是在復雜圖像處理中，訓練時間分別降低0.025、0.017 s，平均推理時間分別降低0.02、0.016 s。這說明提出的Macbm RCNN模型與Mask RCNN相比在處理復雜圖片時有明顯提升，Macbm RCNN網絡較Mask RCNN網絡有更快的速度和更高的準確率。由此可以總結出通過注意力機制，Macbm RCNN網絡能夠更有效地處理復雜圖片。

表5 結果比較

同樣，把Macbm RCNN 與Mask RCNN的錯誤率與準確率整理成圖(圖9)。由圖9可知，Macbm RCNN網絡的錯誤率下降速度快于Mask RCNN，穩定時間也明顯早于Mask RCNN。準確率的提升也明顯好于Mask RCNN。這充分說明了加入注意力機制的Macbm RCNN模型的效果要好于Mask RCNN。

通過利用注意力機制改變特征的權重，能夠有效提高計算的效率和計算的準確率。由此可以進一步肯定，本研究提出的Macbm RCNN網絡相比Mask RCNN更適合復雜情況下計算葉片的周長和面積問題。

4 結論與討論

本研究提出的Macbm RCNN模型與原始的Mask RCNN模型相比，能夠有效地提高訓練的速度與準確率。在面對復雜葉片圖片時，通過注意力機制，對圖片的特征權重進行調整，挑選出重要的特征重點關注，提高圖片的處理效率。在后期的訓練以及預測中，能夠更快地降低訓練的錯誤率，更好地提高訓練的準確率，相比Mask RCNN能夠更早地達到穩定。

與其他計算方式相比，Macbm RCNN模型對拍攝圖片的背景要求低，在實際應用中有更廣泛的應用環境，能夠在復雜情況下對葉片進行準確的標記，準確計算出葉片的周長和面積，且誤差小于1.5%。

在實際農業應用中，會出現更加復雜的情況。經試驗證明，相對于原始的Mask RCNN模型，Macbm RCNN模型能夠更準確更高效地完成葉片周長和面積的計算任務，面對復雜圖片具有更好的處理效果。因此在實際問題中，本研究提出的基于Macbm RCNN模型的算法更能滿足需求，更加適合應用在實際的葉片周長和面積計算問題中。出于后期提高模型適用性和便捷性的要求，考慮使用手機采集葉片圖片上傳，用遠程鏈接或遠程服務器的形式處理圖片進行識別與計算，最后以app或者微信小程序的方式輸出處理結果。