基于紋理特征與深度學(xué)習(xí)的小麥圖像中的穗粒分割與計(jì)數(shù)

許鑫 耿慶 鄭凱 石磊 馬新明

摘要：穗粒數(shù)是小麥產(chǎn)量構(gòu)成的重要因素和估測(cè)產(chǎn)量的參數(shù)之一，傳統(tǒng)的人工計(jì)數(shù)方法耗時(shí)費(fèi)力，人為因素影響大。為了實(shí)現(xiàn)對(duì)小麥穗粒數(shù)的智能、快速監(jiān)測(cè)，以百農(nóng)307、新麥26、稷麥336這3個(gè)小麥品種為試驗(yàn)材料，利用智能手機(jī)于小麥灌漿后期拍攝麥穗圖像，隨后對(duì)麥穗圖像進(jìn)行預(yù)處理并歸一化為480×480像素大小，結(jié)合深度學(xué)習(xí)和遷移學(xué)習(xí)機(jī)制，構(gòu)建基于凍結(jié)-解凍機(jī)制的HRNet模型的小麥小穗圖像分割計(jì)數(shù)深度學(xué)習(xí)模型，利用圖像處理算法、小麥小穗圖像紋理特征確定小穗像素?cái)?shù)與穗粒數(shù)之間的關(guān)系閾值，構(gòu)建小穗粒數(shù)預(yù)測(cè)模型，實(shí)現(xiàn)對(duì)小麥穗粒的預(yù)測(cè)計(jì)數(shù)。結(jié)果表明，對(duì)比同樣采用凍結(jié)-解凍機(jī)制的PSPNet模型、DeeplabV3+分割模型、U-Net模型及無凍結(jié)解凍機(jī)制的HRNet模型，采用基于凍結(jié)-解凍機(jī)制的HRNet模型對(duì)小麥小穗的分割效果更優(yōu)，且具有更好的魯棒性，分割精確度為0.959 4，平均交并比（mIoU）為0.911 9，類別平均像素準(zhǔn)確率（mPA）為0.941 9，召回率為0.941 9；通過3個(gè)不同品種小麥的麥穗圖像對(duì)小穗進(jìn)行計(jì)數(shù)，所得決定系數(shù)（R2）為0.92，平均絕對(duì)誤差為0.73，平均相對(duì)誤差為2.89%；籽粒計(jì)數(shù)的R2為0.92，平均絕對(duì)誤差為0.43，平均相對(duì)誤差為5.51%。由研究結(jié)果可知，基于凍結(jié)-解凍機(jī)制得出的HRNet模型的小麥小穗圖像分割算法能夠有效分割小麥圖像中的小穗，并獲得更加豐富的語義信息，可用于解決小目標(biāo)圖像分割困難及訓(xùn)練欠擬合問題，通過粒數(shù)預(yù)測(cè)模型可以快速、精確地對(duì)小麥的籽粒數(shù)進(jìn)行預(yù)測(cè)，從而為小麥高效、智能化估產(chǎn)提供算法支撐。

關(guān)鍵詞：麥穗；籽粒數(shù)；圖像處理；HRNet；深度學(xué)習(xí)；圖像分割

中圖分類號(hào)：TP391；S512.1文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1000-4440（2024）04-0661-14

Segmentation and counting of wheat spikes and grains based on texture features and deep learning

XU Xin1，GENG Qing1，ZHENG Kai2，SHI Lei2，MA Xin-ming1，3

（1.College of Information and Management Science， Henan Agricultural University， Zhengzhou 450002， China；2.National Bureau of Statistics Henan Survey Corps， Zhengzhou 450002， China;3.College of Agronomy， Henan Agricultural University， Zhengzhou 450002， China）

Abstract： The number of grains per ear is an important factor in the composition of wheat yield and one of the parameters for estimating wheat yield. The traditional manual counting method is time-consuming and labor-intensive， and human factors have a great influence. In order to realize the intelligent and rapid monitoring of the number of grains per ear， three varieties of Bainong 307， Xinmai 26 and Jimai 336 were used as test materials， and the wheat ear images were taken with a smart phone at the late stage of wheat grain filling. Based on the image processing technology， the wheat ear images were preprocessed and normalized to 480×480 pixels. Combining deep learning and transfer learning mechanisms， a HRNet wheat spikelet segmentation and counting deep learning model based on the freeze-thaw mechanism was constructed. Image processing algorithms and wheat spikelet texture features were used to determine the threshold of the relationship between the number of spikelet pixels and the number of grains per spike. The spikelet-grain number prediction model was constructed to realize the prediction and counting of wheat spikes. The results showed that compared with PSPNet， DeeplabV3 + segmentation model， U-Net which also used freeze-thaw mechanism and HRNet without freeze-thaw mechanism， the HRNet model based on the freeze-thaw mechanism had a better segmentation effect on wheat spikelets， and had better robustness. The segmentation accuracy was 0.959 4， the mean intersection over union （mIoU） was 0.911 9， the mean pixel accuracy （mPA） was 0.941 9， and the recall rate was 0.941 9. The spikelets were counted by the images of three different wheat varieties. The determination coefficient （R2） was 0.92， the average absolute error was 0.73， and the average relative error was 2.89%. The R2 of grain counting was 0.92， the average absolute error was 0.43， and the average relative error was 5.51%. It shows that the HRNet wheat spikelet image segmentation algorithm through the freeze-thaw mechanism can effectively segment wheat spikelets and obtain richer semantic information， which can be used to solve the problems of difficult segmentation of small target images and training underfitting. The model can quickly and accurately predict the number of wheat grains， so as to provide algorithm support for efficient and intelligent yield estimation of wheat.

Key words：wheat ear;grain number;image processing;HRNet;deep learning;image segmentation

小麥?zhǔn)侵袊?guó)重要的糧食作物，2021年中國(guó)小麥總產(chǎn)量達(dá)1.37×108 t，約占糧食總產(chǎn)量的21%。小麥產(chǎn)量關(guān)乎國(guó)家糧食安全[1]，科學(xué)準(zhǔn)確地預(yù)測(cè)小麥產(chǎn)量有助于保障糧食供給安全和社會(huì)穩(wěn)定[2]。小麥灌漿期是決定其產(chǎn)量形成的關(guān)鍵生長(zhǎng)期，小麥的單位面積產(chǎn)量由單位面積穗數(shù)、每穗粒數(shù)和千粒質(zhì)量3個(gè)要素構(gòu)成[3]，因此研發(fā)快速準(zhǔn)確的小麥測(cè)產(chǎn)方法是科學(xué)估測(cè)小麥產(chǎn)量的迫切需求。傳統(tǒng)的小麥估產(chǎn)方式主要是在小麥?zhǔn)斋@前進(jìn)行人工調(diào)查，估測(cè)的產(chǎn)量不僅常常受到人為因素的影響，而且耗時(shí)耗力、效率低，從而制約了小麥產(chǎn)量估測(cè)的時(shí)效性、準(zhǔn)確度[1，3]。相反，圖像處理、機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺等技術(shù)可以快速準(zhǔn)確地進(jìn)行小麥產(chǎn)量估測(cè)，能夠?yàn)樾←溨仓瓯硇托畔⒌墨@取提供技術(shù)支持[4]。

穗粒數(shù)是進(jìn)行禾谷類作物產(chǎn)量估測(cè)的3個(gè)要素之一，已經(jīng)成為智能化估產(chǎn)的重要研究方向。趙三琴等[5]采用稻穗結(jié)構(gòu)圖像特征測(cè)量方法，明確了稻穗結(jié)構(gòu)圖像特征與籽粒數(shù)間的相關(guān)關(guān)系，為稻穗穗粒數(shù)的估測(cè)提供了依據(jù)。王棟等[6]在無需脫粒的條件下設(shè)計(jì)了一種智能表型解析算法，通過分析稻穗圖像的表型信息，結(jié)合圖像處理、深度學(xué)習(xí)方法考察每穗粒數(shù)和多種穗粒的相關(guān)性狀。通過借鑒水稻穗粒數(shù)的估測(cè)研究，杜世偉等[7]從小麥穗的結(jié)構(gòu)特征入手，通過小麥小穗面積像素?cái)?shù)與穗粒數(shù)間的關(guān)系間接獲取穗粒數(shù)，證明了通過麥穗結(jié)構(gòu)特征研究穗粒數(shù)的可行性。

圖像處理和機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，為麥穗數(shù)、穗粒數(shù)的分割識(shí)別提供了一種重要的監(jiān)測(cè)手段[8]。雖然圖像處理技術(shù)被廣泛用于識(shí)別麥穗數(shù)和穗粒數(shù)，但這些方法側(cè)重于紋理特征、顏色特征和形態(tài)特征的提取，在效率、實(shí)際應(yīng)用方面仍存在問題。基于農(nóng)學(xué)知識(shí)，杜世偉等[7]采用擬合拋物線的方法對(duì)麥穗的小穗進(jìn)行分割，并對(duì)小穗數(shù)、籽粒數(shù)進(jìn)行精確統(tǒng)計(jì)，準(zhǔn)確率高達(dá)97%。Fernandez-Gallego等[9]采用局部最大峰值法計(jì)算大田紅-綠-藍(lán)（RGB）彩色圖像中的麥穗數(shù)，計(jì)數(shù)成功率高于90%。在目前的圖像處理技術(shù)中，圖像特征的提取仍然需要大量人工干預(yù)，這對(duì)環(huán)境、技術(shù)提出了很高要求，而機(jī)器學(xué)習(xí)被證明在圖像分割和識(shí)別領(lǐng)域具有顯著優(yōu)勢(shì)。劉哲等[10]基于顏色特征、K-means聚類技術(shù)提出了一種全新的小麥麥穗計(jì)數(shù)算法，其識(shí)別準(zhǔn)確率可達(dá)94%。Xu等[11]通過K-means聚類算法實(shí)現(xiàn)了麥穗輪廓特征的自動(dòng)提取，進(jìn)而成功構(gòu)建了一種高效卷積神經(jīng)網(wǎng)絡(luò)（CNN），將麥穗識(shí)別精度提高到98.3%。然而，傳統(tǒng)圖像處理技術(shù)和機(jī)器學(xué)習(xí)方法仍然存在識(shí)別分割時(shí)間較長(zhǎng)且效率較低、復(fù)雜圖像的識(shí)別分割效果差等問題[5，12]。

深度學(xué)習(xí)技術(shù)在不同領(lǐng)域、應(yīng)用場(chǎng)景和尺度下展現(xiàn)出了優(yōu)異的特征提取能力和泛化能力，被廣泛應(yīng)用于識(shí)別麥穗數(shù)、穗粒數(shù)。Wei等[13]結(jié)合遷移學(xué)習(xí)方法構(gòu)建了Faster R-CNN網(wǎng)絡(luò)，并優(yōu)化了小麥籽粒檢測(cè)與計(jì)數(shù)模型，使模型的籽粒計(jì)數(shù)錯(cuò)誤率小于3%。Hu等[14]基于注意力機(jī)制實(shí)現(xiàn)了一種全新的生成對(duì)抗網(wǎng)絡(luò)來計(jì)算小麥穗數(shù)、小穗數(shù)，識(shí)別分割小麥穗和小穗的F1值為84.9%。Dandrifosse等[15]在灌漿期獲取小麥圖像，并將深度學(xué)習(xí)方法與小麥的RGB圖像相結(jié)合，實(shí)現(xiàn)了田間小麥麥穗的計(jì)數(shù)，麥穗檢測(cè)、分割的平均F1值分別為0.93、0.86，相較于人工觀察方法取得了更好的結(jié)果。Zhao等[16]提出了一種改進(jìn)的YOLOv5方法，用于準(zhǔn)確檢測(cè)無人機(jī)圖像中的小麥穗，平均檢測(cè)準(zhǔn)確率（AP）為94.1%。雖然深度學(xué)習(xí)技術(shù)在小麥表型信息的提取方面有著不可比擬的優(yōu)勢(shì)，能夠?qū)崿F(xiàn)較高精度的圖像分割與識(shí)別[17]，但仍然存在小麥穗粒圖像的獲取大多需要專業(yè)相機(jī)等設(shè)備、難以在復(fù)雜的生產(chǎn)中應(yīng)用[18]、針對(duì)密集小目標(biāo)的圖像識(shí)別與分割能力不足、目標(biāo)之間容易出現(xiàn)粘連、精度難以提高等問題[4，14]。

基于小麥穗粒識(shí)別、分割及計(jì)數(shù)中存在的精度、效率問題，本研究擬以小麥穗粒數(shù)為研究對(duì)象，選擇百農(nóng)307、新麥26和稷麥336這3個(gè)小麥品種進(jìn)行大田試驗(yàn)，利用移動(dòng)終端拍攝麥穗圖像，構(gòu)建麥穗穗粒數(shù)深度學(xué)習(xí)分割模型。利用圖像處理技術(shù)對(duì)小麥小穗的分割結(jié)果進(jìn)行處理，結(jié)合小麥小穗紋理特征構(gòu)建小穗粒數(shù)預(yù)測(cè)模型，以期實(shí)現(xiàn)對(duì)小麥穗粒的預(yù)測(cè)計(jì)數(shù)，獲得快速高效的分割計(jì)數(shù)結(jié)果并對(duì)小麥產(chǎn)量進(jìn)行精確估測(cè)。

1材料與方法

1.1試驗(yàn)設(shè)計(jì)

試驗(yàn)在河南農(nóng)業(yè)大學(xué)原陽科教園區(qū)（35°6′46″N， 113°56′51″E）進(jìn)行，選擇主栽小麥品種百農(nóng)307、新麥26和稷麥336，按照正常施氮量施肥，圖1為試驗(yàn)地點(diǎn)的無人機(jī)圖像。小麥播種量采用當(dāng)?shù)刈罴巡シN量，百農(nóng)307的播種量為187.5 kg/hm2，新麥26的播種量為187.5 kg/hm2，稷麥336的播種量為142.5 kg/hm2，播種日期為2021年10月23日，行距為20 cm。試驗(yàn)施用的氮肥均為尿素（含46% N），磷肥為過磷酸鈣（含12% P），鉀肥為氯化鉀（含60% K），氮肥作基肥、追肥的比例為6∶4，追肥在拔節(jié)期施入，磷鉀肥作基肥一次性施入。田間管理措施同一般高產(chǎn)田。

1.2數(shù)據(jù)采集

從小麥灌漿期開始進(jìn)行采樣，圖像采集設(shè)備為HUAWEI Mate 40 Pro（主攝像頭像素5.000×107，副攝像頭像素2.000×107）和Realme Q3（主攝像頭像素4.800×107，副攝像頭像素8.000×106），拍攝時(shí)間為9：00-16：00。由于數(shù)據(jù)集的復(fù)雜性和多樣性對(duì)模型的泛化水平有很大影響，因此試驗(yàn)采用2種圖像采集方式：一種是離體取樣，在實(shí)驗(yàn)室環(huán)境下對(duì)麥穗進(jìn)行圖像采集；另一種是就地取樣，在大田環(huán)境下對(duì)麥穗進(jìn)行圖像采集[4]。在對(duì)每株麥穗進(jìn)行圖像采集后，對(duì)麥穗的小穗數(shù)、籽粒數(shù)進(jìn)行人工計(jì)數(shù)。圖像采集時(shí)，將移動(dòng)設(shè)備平行于麥穗，通過調(diào)整與麥穗之間的距離使麥穗完整清晰地出現(xiàn)在移動(dòng)設(shè)備取景框中，并顯示清晰的穗部圖像。為了降低拍攝距離差異所造成的誤差，拍攝設(shè)備與麥穗之間的距離保持在10 cm左右。根據(jù)該方法得到的原始麥穗圖像如圖2所示。

分別取不同品種、不同氮肥處理、不同拍攝背景的小麥30～40株，獲得原始麥穗圖像共660張，麥穗數(shù)據(jù)集的情況見表1。

1.3技術(shù)路線

對(duì)麥穗圖像進(jìn)行預(yù)處理，形成麥穗數(shù)據(jù)集，并使用深度學(xué)習(xí)分割網(wǎng)絡(luò)對(duì)小麥小穗進(jìn)行圖像分割，經(jīng)過訓(xùn)練得到預(yù)測(cè)模型，并調(diào)用預(yù)測(cè)模型對(duì)測(cè)試集進(jìn)行測(cè)試，結(jié)合圖像處理技術(shù)確定小穗面積像素?cái)?shù)和穗粒數(shù)之間的閾值關(guān)系，構(gòu)建粒數(shù)預(yù)測(cè)模型，從而實(shí)現(xiàn)小麥穗粒數(shù)的精準(zhǔn)預(yù)測(cè)和計(jì)數(shù)。圖3展示了本研究中擬采用的技術(shù)路線。

1.4數(shù)據(jù)預(yù)處理

1.4.1數(shù)據(jù)歸一化數(shù)據(jù)歸一化是將所有圖像轉(zhuǎn)換成統(tǒng)一尺寸以方便模型的訓(xùn)練，同時(shí)可降低模型運(yùn)算量、減少過擬合的風(fēng)險(xiǎn)。當(dāng)原始麥穗圖像的尺寸過大時(shí)，對(duì)設(shè)備的要求會(huì)較高。為了兼顧設(shè)備運(yùn)算能力、圖像數(shù)量及質(zhì)量，需要對(duì)原始圖像進(jìn)行歸一化處理[16]。因此，在對(duì)本研究中的模型進(jìn)行訓(xùn)練前，先將數(shù)據(jù)集中的圖像尺寸歸一化為480×480像素。

1.4.2數(shù)據(jù)增強(qiáng)圖像數(shù)量會(huì)影響模型的訓(xùn)練，導(dǎo)致測(cè)試精度下降。數(shù)據(jù)增強(qiáng)利用原始數(shù)據(jù)集中的圖像進(jìn)行擴(kuò)展，能夠解決圖像數(shù)量不足的問題[14]。隨機(jī)裁剪可能會(huì)去除麥穗圖像的特征信息，因此主要通過旋轉(zhuǎn)90°、180°、270°及水平、垂直翻轉(zhuǎn)來增強(qiáng)數(shù)據(jù)集。圖像的細(xì)節(jié)層次和噪聲都能影響模型的訓(xùn)練，這就需要通過高斯模糊對(duì)圖像進(jìn)行處理。通過不斷調(diào)整高斯卷積核大小找出最合適的高斯模糊處理。經(jīng)比較，將高斯卷積核的大小設(shè)置為5×5。

1.4.3數(shù)據(jù)集的構(gòu)建為了實(shí)現(xiàn)麥穗圖像的分割任務(wù)，本研究采用監(jiān)督學(xué)習(xí)模式，即先人工標(biāo)注數(shù)據(jù)樣本，再訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)使其具備一定的泛化能力[19]。通過Labelme圖像標(biāo)注工具手動(dòng)標(biāo)記小麥小穗、背景2類分割對(duì)象，并通過標(biāo)注信息將其轉(zhuǎn)為遮罩圖像。麥穗圖像與其遮罩圖像一起構(gòu)成了深度學(xué)習(xí)分割模型所需的數(shù)據(jù)集。在麥穗數(shù)據(jù)集中，3個(gè)品種、每種處理的圖像數(shù)量均勻分布，訓(xùn)練集和驗(yàn)證集的分布比例為9∶1[11]，其中訓(xùn)練集有594張圖像，驗(yàn)證集有66張圖像，測(cè)試集有66張圖像。

1.5模型的構(gòu)建

小麥小穗圖像的分割是復(fù)雜背景下的二分類任務(wù)，小穗圖像之間像素點(diǎn)相近，圖像粘連嚴(yán)重，因此對(duì)深度學(xué)習(xí)模型的解析力和全局信息獲取能力要求較高。為了確保分割精度和計(jì)算效率，本研究構(gòu)建HRNet、PSPNet、DeeplabV3+分割模型及U-Net來進(jìn)行小麥小穗圖像的分割研究。

1.5.1HRNet模型HRNet的特點(diǎn)是多個(gè)分辨率分支并行和不同分支信息的交互，能夠保持高分辨率，并獲得強(qiáng)大的語義信息、精準(zhǔn)的位置信息，從而在不斷上下采樣的過程中避免大量有效信息的丟失，對(duì)于位置敏感的語義分割任務(wù)而言效果顯著。將數(shù)據(jù)集中的麥穗圖像轉(zhuǎn)換為特征圖后，經(jīng)過多個(gè)卷積塊的并行及多分辨率融合模塊得到不同融合輸出。針對(duì)語義分割任務(wù)，HRNet的表征分支通過上采樣來提高低分辨率特征圖像的分辨率，并將其堆疊、融合在一起形成小穗預(yù)測(cè)圖[20]。基于HRNet的麥穗小穗數(shù)分割網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

1.5.2PSPNet模型PSPNet在全卷積網(wǎng)絡(luò)（FCN）的基礎(chǔ)上進(jìn)行了改進(jìn)，以增加了空洞卷積的ResNet網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，對(duì)輸入的麥穗圖像進(jìn)行特征提取。將提取的特征輸入到金字塔池化模塊，便得到不同深度且維度縮減后的金字塔特征。這些金字塔特征經(jīng)過上采樣和特征合并，最終輸出小穗特征圖[21]。基于PSPNet的麥穗小穗數(shù)分割網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

1.5.3DeeplabV3+分割模型DeeplabV3+分割模型為編碼器-解碼器結(jié)構(gòu)[22]。在編碼器部分，數(shù)據(jù)集中的麥穗圖像通過Backbone和空洞空間金字塔池化（ASPP）處理得到5組特征圖并將其融合，最后作為解碼器的輸入[23]。在解碼器部分，經(jīng)過通道降維、插值上采樣和卷積塊等處理，便能得到分辨率大小與原圖相同的小穗預(yù)測(cè)圖[24]。基于DeeplabV3+分割模型的麥穗小穗數(shù)分割網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

1.5.4U-Net模型U-Net也是編碼器-解碼器結(jié)構(gòu)的深度學(xué)習(xí)網(wǎng)絡(luò)。數(shù)據(jù)集中的麥穗圖像通過編碼器提取小穗特征，其中主要采用卷積模塊、池化層獲得輸入圖像的高層級(jí)特征向量，并將其作為解碼器的輸入[25]。在解碼器中，通過反卷積來增大特征圖像分辨率并用解碼模塊對(duì)其進(jìn)行解碼。經(jīng)過解碼器處理之后，能得到特征圖中像素屬于小穗類別的概率，從而判斷像素的類別，最終生成小穗圖像分割結(jié)果[26]，基于U-Net的麥穗小穗數(shù)分割網(wǎng)絡(luò)結(jié)構(gòu)見圖7。

1.6基于紋理特征的小穗粒數(shù)預(yù)測(cè)模型

有研究發(fā)現(xiàn)，由麥穗結(jié)構(gòu)特征間接獲取穗粒數(shù)具有可行性，通過觀察麥穗的幾何和紋理特征，能夠明確麥穗結(jié)構(gòu)圖像特征與籽粒數(shù)間的相關(guān)關(guān)系[6-7，12]。小麥小穗通常成對(duì)存在于穗軸兩側(cè)，但是由于頂端的小穗是幼穗分化后最后出現(xiàn)的小穗，因此并沒有與其成對(duì)的小穗。在確定小穗數(shù)量及其面積像素?cái)?shù)（圖像面積對(duì)應(yīng)的像素?cái)?shù)）之后，通過基于紋理特征的小穗粒數(shù)預(yù)測(cè)模型便能獲得各個(gè)小穗對(duì)應(yīng)的籽粒數(shù)，各小穗對(duì)應(yīng)的籽粒數(shù)之和就是小麥總穗粒數(shù)。小麥小穗的紋理特征如圖8所示。

選取的麥穗樣本經(jīng)過深度學(xué)習(xí)分割模型預(yù)測(cè)后，部分小穗之間會(huì)有粘連，需要用圖像處理方法消除重疊或粘連的部分。通過OpenCV、NumPy讀入預(yù)測(cè)結(jié)果[27]，并對(duì)預(yù)測(cè)結(jié)果進(jìn)行灰度處理，將色彩空間由RGB轉(zhuǎn)換為灰度（GRAY），之后便可以120為閾值進(jìn)行二值化處理，大于該閾值的像素點(diǎn)的值設(shè)置為255（即白色），小于該閾值的像素點(diǎn)的值設(shè)置為0（即黑色）。二值化圖像需要通過腐蝕變換來消除噪點(diǎn)[28]，隨后可以發(fā)現(xiàn)原本重疊的部分不再重疊，便可根據(jù)提供的邊界點(diǎn)繪制形狀，從而進(jìn)行輪廓提取與輪廓面積的計(jì)算。提取到的輪廓數(shù)、輪廓面積即為小麥的小穗數(shù)、面積像素?cái)?shù)。

不同拍攝距離對(duì)小麥小穗像素?cái)?shù)和穗粒數(shù)之間的關(guān)系閾值有一定影響，為了避免這種影響帶來的誤差，在圖像采集過程中使移動(dòng)設(shè)備與麥穗之間的距離基本保持一致，以確保小麥穗部圖像的一致性[5，7]。各個(gè)小麥品種均選取200個(gè)小穗樣本，從而確定小穗面積像素?cái)?shù)與穗粒數(shù)之間的關(guān)系閾值，通過該閾值可以獲得具有1～4個(gè)籽粒小穗的面積像素?cái)?shù)范圍。

根據(jù)分割后各小穗面積的像素?cái)?shù)推測(cè)其代表的粒數(shù)，而粒數(shù)不同會(huì)導(dǎo)致明顯的面積差異。由圖9可以看出，小穗的像素?cái)?shù)（Y）被3 條閾值線分為4個(gè)區(qū)間，分別是Y<700、700≤Y<1 500、1 500≤Y≤2 100與Y>2 100，小穗面積像素?cái)?shù)分別對(duì)應(yīng)1個(gè)、2個(gè)、3個(gè)、4個(gè)籽粒。該方法可以消除麥穗一側(cè)各小穗之間重疊與粘連的部分，并準(zhǔn)確地計(jì)算其面積對(duì)應(yīng)的像素?cái)?shù)，從而根據(jù)劃定的閾值預(yù)測(cè)各小穗代表的籽粒數(shù)。

1.7精度評(píng)價(jià)指標(biāo)

本研究采用精確度（Precision）、召回率（Recall）、類別平均像素準(zhǔn)確率（mPA）和平均交并比（mIoU）等評(píng)價(jià)指標(biāo)評(píng)估分割模型的精度，這些指標(biāo)都是由混淆矩陣中的參數(shù)計(jì)算得出的，而混淆矩陣的作用是對(duì)每個(gè)真實(shí)像元的位置和預(yù)測(cè)像元的位置進(jìn)行比較，從而對(duì)模型進(jìn)行評(píng)估[29]。

Precision=TP/（TP+FP）（1）

Recall=TP/（TP+FN）（2）

IoU=TP/（TP+FP+FN）（3）

mPA=sum（Pk）k（4）

mIoU=1k+1∑ki=0TPTP+FP+FN（5）

式中，TP為被分割模型預(yù)測(cè)為真的正樣本數(shù)，F(xiàn)P為被分割模型預(yù)測(cè)為真的負(fù)樣本數(shù)，F(xiàn)N為被分割模型預(yù)測(cè)為假的正樣本數(shù)，IoU為交并比，k為總類別數(shù)，Pk為每個(gè)類別的像素預(yù)測(cè)準(zhǔn)確率。

為了評(píng)估計(jì)數(shù)模型的精度，本研究采用的指標(biāo)包括均方根誤差（RMSE）、平均絕對(duì)誤差（MAE）、平均相對(duì)誤差（MRE）和決定系數(shù)（R2）[30]。其中，以人工計(jì)數(shù)得到的小穗數(shù)、穗粒數(shù)作為真實(shí)值，以根據(jù)圖像分割算法、粒數(shù)預(yù)測(cè)模型得到的小穗數(shù)、穗粒數(shù)作為預(yù)測(cè)值。

pi=|xi-yi|xi×100%（6）

R2=1- ∑ni=1（xi-yi）2∑ni=1（xi-x—）2（7）

RMSE=1n∑ni=1（xi-yi）2（8）

MAE=1n∑ni=1|xi-yi|（9）

MRE=1n∑ni=1pi×100%（10）

式中，pi為單個(gè)樣本的相對(duì)誤差，xi為樣本麥穗小穗數(shù)或籽粒數(shù)的真實(shí)值，yi為樣本麥穗小穗數(shù)或籽粒數(shù)的測(cè)量值，x—為樣本麥穗小穗數(shù)或籽粒數(shù)真實(shí)值的平均值，n為各個(gè)小麥品種的樣本數(shù)量。

1.8訓(xùn)練環(huán)境

本研究模型的訓(xùn)練環(huán)境如下：中央處理器（CPU）為Intel （R） Xeon （R） Silver 4114 CPU@2.20 GHz處理器，內(nèi)存為64 GB，圖形處理器（GPU）為NVIDIA Corporation GP104GL（16 GB顯存），操作系統(tǒng)為Ubuntu，深度學(xué)習(xí)框架為Pytorch 1.12，編譯環(huán)境為Python 3.9.12，在相同試驗(yàn)環(huán)境下對(duì)所有算法進(jìn)行對(duì)比。

一般情況下，網(wǎng)絡(luò)若從0開始訓(xùn)練得到的效果并不好，出現(xiàn)這種現(xiàn)象的原因主要是權(quán)值太過隨機(jī)、特征提取效果不明顯[30]。因此根據(jù)遷移學(xué)習(xí)的思想，本研究構(gòu)建了凍結(jié)-解凍機(jī)制。由于神經(jīng)網(wǎng)絡(luò)主干的特征提取部分提取到的特征具有通用性，因而模型的預(yù)訓(xùn)練權(quán)重在不同數(shù)據(jù)集上也有通用性。為了加快訓(xùn)練效率及防止權(quán)值被破壞，可以對(duì)神經(jīng)網(wǎng)絡(luò)的主干部分進(jìn)行凍結(jié)訓(xùn)練[31]。在凍結(jié)訓(xùn)練階段，主干網(wǎng)絡(luò)被凍結(jié)，使用預(yù)訓(xùn)練權(quán)重進(jìn)行訓(xùn)練，特征提取網(wǎng)絡(luò)不變，只細(xì)微地調(diào)整網(wǎng)絡(luò)。在解凍訓(xùn)練階段，主干網(wǎng)絡(luò)被解凍，特征提取網(wǎng)絡(luò)發(fā)生改變，所有參數(shù)都將被更新。

凍結(jié)階段的訓(xùn)練參數(shù)如下：模型開始的訓(xùn)練世代（Init_Epoch，取值為0）、模型凍結(jié)訓(xùn)練的迭代次數(shù)（Freeze_Epoch，取值為50）及模型凍結(jié)訓(xùn)練的批大小（Freeze_batch_size，取值為16）。解凍階段的訓(xùn)練參數(shù)如下：模型訓(xùn)練的總迭代次數(shù)（UnFreeze_Epoch，取值為300），模型在解凍后的批大小（Unfreeze_batch_size，取值為8）。

2結(jié)果與分析

2.1小麥小穗分割模型的訓(xùn)練結(jié)果

使用基于凍結(jié)-解凍機(jī)制的HRNet模型、PSPNet模型、DeeplabV3+分割模型及U-Net模型對(duì)相同的麥穗訓(xùn)練集進(jìn)行訓(xùn)練。從圖10可以看出，在不斷迭代的過程中，4種模型的mIoU值都處于上升趨勢(shì)，并且迭代次數(shù)的增加使分割模型逐漸穩(wěn)定，最終達(dá)到穩(wěn)定收斂的狀態(tài)，基于凍結(jié)-解凍機(jī)制的HRNet模型的mIoU值基本穩(wěn)定在0.910 0左右，可見該模型對(duì)麥穗數(shù)據(jù)集的分割效果較好。該模型在訓(xùn)練和驗(yàn)證的過程中表現(xiàn)出良好的穩(wěn)定性，損失值快速下降并最終收斂到0.014 0左右，網(wǎng)絡(luò)的訓(xùn)練效果、收斂速度較好，不存在損失值突變的情況，且變化幅度較小。損失值在訓(xùn)練集、驗(yàn)證集上的變化趨勢(shì)基本一致，差距也很小，說明在梯度計(jì)算過程中，該模型能夠迅速找到合適的梯度方向，具有較好的性能穩(wěn)定性和學(xué)習(xí)效果，并且泛化能力較強(qiáng)。

2.2小麥小穗分割模型的性能比較

為了衡量本研究所提模型的有效性，根據(jù)不同分割模型采用不同主干網(wǎng)絡(luò)、優(yōu)化器及學(xué)習(xí)率，并采用多種評(píng)價(jià)指標(biāo)對(duì)比模型訓(xùn)練的結(jié)果和性能。由表2可以看出，以hrnetv2_w32為主干網(wǎng)絡(luò)、Adam為優(yōu)化器的基于凍結(jié)-解凍機(jī)制的HRNet模型取得了最好的分割精度（mIoU=0.911 9），以hrnetv2_w32為主干網(wǎng)絡(luò)、Adam為優(yōu)化器的基于無凍結(jié)-解凍機(jī)制的HRNet模型次之（mIoU=0.901 9），以MobileNetv2為主干網(wǎng)絡(luò)、SGD為優(yōu)化器的PSPNet模型的分割精度最低（mIoU=0.814 2）。針對(duì)HRNet模型，通過對(duì)比是否使用凍結(jié)-解凍機(jī)制，證明了基于遷移學(xué)習(xí)的凍結(jié)-解凍機(jī)制能夠提高模型的精度，加快訓(xùn)練效率，原因在于該機(jī)制能夠使主干權(quán)值不過分隨機(jī)，從而提高特征提取的效果。4種模型使用Adam優(yōu)化器的訓(xùn)練結(jié)果要優(yōu)于使用SGD優(yōu)化器的訓(xùn)練結(jié)果，原因在于Adam通過結(jié)合一階動(dòng)量和二階動(dòng)量來自適應(yīng)學(xué)習(xí)率，解決了SGD優(yōu)化器下降速度慢、容易取得局部最優(yōu)解的問題[29]。

2.3小麥小穗分割效果比較

在采用最優(yōu)主干網(wǎng)絡(luò)和優(yōu)化器為Adam的情況下，使用麥穗測(cè)試集對(duì)比分析基于凍結(jié)-解凍機(jī)制的HRNet模型、U-Net模型、PSPNet模型及DeeplabV3+分割模型的分割能力，分割效果如圖11所示。從分割效果看，對(duì)于輸入的麥穗圖像，PSPNet模型、DeeplabV3+分割模型的分割效果不是很理想，雖然能夠劃分小麥小穗和背景，但是小穗之間粘連嚴(yán)重，這是因?yàn)樾∷胫g的灰度特征相似，像素值相近，容易被劃分為一個(gè)整體，而背景灰度值與麥穗相差較遠(yuǎn)，容易被劃分出來[27-28]。U-Net模型的分割效果雖然好一些，但在復(fù)雜環(huán)境下丟失了一些細(xì)節(jié)。相比之下，以hrnetv2_w32為主干網(wǎng)絡(luò)、Adam為優(yōu)化器的基于凍結(jié)-解凍機(jī)制的HRNet模型對(duì)于麥穗圖像的分割能力較強(qiáng)，不易受其他噪聲影響，能夠準(zhǔn)確分割出小穗并計(jì)算小穗的數(shù)量和面積。

2.4麥穗粒數(shù)的計(jì)數(shù)精度分析與評(píng)價(jià)

每個(gè)小麥品種選取30張樣本圖像，采用基于凍結(jié)-解凍機(jī)制的HRNet模型和圖像處理算法對(duì)小麥樣本圖像中的小穗進(jìn)行分割與計(jì)數(shù)，再根據(jù)劃定的面積像素?cái)?shù)閾值計(jì)算各個(gè)小穗的籽粒數(shù)、麥穗總籽粒數(shù)，并與人工計(jì)數(shù)法所得結(jié)果進(jìn)行對(duì)比分析，可得小穗粒數(shù)預(yù)測(cè)模型的計(jì)數(shù)結(jié)果（圖12）及小穗、籽粒的計(jì)數(shù)精度評(píng)價(jià)結(jié)果。由圖12、表3可以看出，3個(gè)小麥品種麥穗圖像中小穗計(jì)數(shù)的均方根誤差（RMSE）為0.63，平均絕對(duì)誤差為0.73，平均相對(duì)誤差為2.89%，決定系數(shù)（R2）為0.92；籽粒計(jì)數(shù)的RMSE為2.84，平均絕對(duì)誤差為0.43，平均相對(duì)誤差為5.51%，R2為0.92。由研究結(jié)果可以看出，基于凍結(jié)-解凍機(jī)制的HRNet模型和圖像處理算法相較于傳統(tǒng)圖像處理算法，對(duì)小穗、籽粒的計(jì)數(shù)準(zhǔn)確度較高，MAE、MRE都更低，預(yù)測(cè)值與真實(shí)值的擬合程度較好。因此本方法適用于不同品種的麥穗，能夠顯著提高小穗數(shù)的計(jì)數(shù)精度，進(jìn)而實(shí)現(xiàn)單株麥穗籽粒數(shù)的高精度、自動(dòng)化計(jì)數(shù)[32]。

3討論

本研究結(jié)果表明，基于凍結(jié)-解凍機(jī)制的HRNet模型和圖像處理算法得到的小麥小穗數(shù)、穗粒數(shù)與人工計(jì)數(shù)結(jié)果基本一致。Alkhudaydi等[33]的研究結(jié)果表明，在小麥灌漿后期可以獲得質(zhì)量較好的圖像，有利于提高深度學(xué)習(xí)分割模型的精度。由本研究結(jié)果可知，分割和計(jì)數(shù)結(jié)果在不同小麥品種間的表現(xiàn)基本一致。麥穗圖像的采集時(shí)間是2022年5月15日、6月8日，在數(shù)據(jù)量一般的條件下，基于凍結(jié)-解凍機(jī)制的HRNet模型不僅取得了良好的分割效果，而且在其他日期采集的圖像上的表現(xiàn)突出[5]。研究發(fā)現(xiàn)，在晴朗多云的環(huán)境下，將移動(dòng)設(shè)備平行于麥穗并相距10 cm左右拍攝的圖像能夠獲得更好的效果，因?yàn)樵摼嚯x能夠清晰地獲取麥穗表型細(xì)節(jié)，并有助于實(shí)際應(yīng)用。相較于采用互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）工業(yè)相機(jī)[7]、無人機(jī)等進(jìn)行圖像采集，使用移動(dòng)設(shè)備采集圖像的實(shí)用性更好，適用性更強(qiáng)，更方便快捷。趙三琴等[5]率先確定了稻穗結(jié)構(gòu)圖像特征與籽粒數(shù)間的相關(guān)關(guān)系，杜世偉等[7]將這種方法引入小麥研究中，證明通過小穗像素?cái)?shù)間接獲取穗粒數(shù)的可行性。小穗粒數(shù)預(yù)測(cè)模型通過確定小穗像素?cái)?shù)與穗粒數(shù)間的關(guān)系閾值來預(yù)測(cè)每個(gè)小穗對(duì)應(yīng)的粒數(shù)，以深度學(xué)習(xí)分割模型預(yù)測(cè)的結(jié)果作為輸入。相較于以處理后的RGB圖像作為輸入，這種方法能夠更快速、準(zhǔn)確地計(jì)算小穗像素?cái)?shù)，從而精確預(yù)測(cè)穗粒數(shù)。

總的來說，通過在相同數(shù)據(jù)集中對(duì)比同樣采用凍結(jié)-解凍機(jī)制的PSPNet模型、DeeplabV3+分割模型、U-Net模型及無凍結(jié)-解凍機(jī)制的HRNet模型，提出了基于凍結(jié)-解凍機(jī)制的HRNet模型，該模型在灌漿期小麥圖像中小穗和穗粒的分割方面表現(xiàn)出了較好的性能（mIoU=0.911 9）。利用圖像處理算法對(duì)預(yù)測(cè)圖像進(jìn)行各個(gè)小穗的分割，計(jì)算小穗的數(shù)量和像素?cái)?shù)，并根據(jù)粒數(shù)預(yù)測(cè)模型，由各小穗的像素?cái)?shù)得到籽粒數(shù)，進(jìn)而獲得整個(gè)麥穗的籽粒數(shù)。相較于傳統(tǒng)圖像處理算法[12]，本研究方法極大提高了小穗數(shù)的識(shí)別精度，能夠?qū)崿F(xiàn)對(duì)單株麥穗籽粒進(jìn)行較高精度的自動(dòng)計(jì)數(shù)[34]。

本研究結(jié)果有助于開發(fā)一種低成本、快速且易于實(shí)施的小麥小穗和穗粒計(jì)數(shù)系統(tǒng)。目前的研究主要通過固定拍攝高度[35]或設(shè)置參考物和地面標(biāo)準(zhǔn)[36]等措施來降低誤差，這在一定程度上影響了該方法的實(shí)用性，未來使用無人機(jī)低空采集圖像來進(jìn)行小麥小穗、穗粒的計(jì)數(shù)是研究目標(biāo)之一。

4結(jié)論

為了對(duì)小麥圖像中的穗粒進(jìn)行更加精確的分割與計(jì)數(shù)，本研究通過獲取小麥材料和數(shù)據(jù)，提出一種基于凍結(jié)-解凍機(jī)制的HRNet模型，結(jié)合圖像處理算法，實(shí)現(xiàn)了小麥穗粒的精確計(jì)數(shù)，主要結(jié)論如下：1）針對(duì)麥穗圖像語義信息比較復(fù)雜，圖像中的小穗及穗粒之間粘連覆蓋現(xiàn)象嚴(yán)重等問題，提出在原始HRNet模型基礎(chǔ)上，根據(jù)遷移學(xué)習(xí)思想，增加凍結(jié)-解凍機(jī)制，以提高特征提取效率，防止權(quán)值太過隨機(jī)，從而加快訓(xùn)練效率。基于凍結(jié)-解凍機(jī)制的HRNet模型預(yù)測(cè)出的效果明顯優(yōu)于對(duì)比組的網(wǎng)絡(luò)模型，證明該模型魯棒性較好。2）使用基于凍結(jié)-解凍機(jī)制的HRNet模型對(duì)麥穗數(shù)據(jù)集圖像進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試，用mIoU等指標(biāo)對(duì)分割結(jié)果的準(zhǔn)確性及分割效果進(jìn)行評(píng)估。結(jié)果顯示，小麥穗粒的分割精確度為0.959 4，mIoU值為0.911 9，mPA值為0.941 9，召回率為0.941 9，與同樣采用凍結(jié)-解凍機(jī)制的PSPNet模型、DeeplabV3+分割模型、U-Net模型及無凍結(jié)-解凍機(jī)制的HRNet模型相比，分割精確度有所提升，表現(xiàn)出較強(qiáng)的泛化能力。3）本研究從小麥小穗圖像入手，采用圖像處理算法確定小穗像素?cái)?shù)與穗粒數(shù)的關(guān)系閾值，根據(jù)農(nóng)學(xué)知識(shí)找出麥穗總粒數(shù)的計(jì)算方法，通過計(jì)算人工計(jì)數(shù)結(jié)果和預(yù)測(cè)值的擬合程度和誤差，發(fā)現(xiàn)相較于傳統(tǒng)圖像處理算法，本研究方法極大提高了小穗數(shù)的計(jì)數(shù)精度，能夠?qū)崿F(xiàn)對(duì)單株麥穗籽粒進(jìn)行較高精度的自動(dòng)計(jì)數(shù)。4）本研究方法可用于估算小麥小穗數(shù)和穗粒數(shù)，提高小麥產(chǎn)量估算效率，同時(shí)還可為農(nóng)業(yè)工作者提供快速、自動(dòng)化的高通量小麥小穗、穗粒計(jì)數(shù)系統(tǒng)，提高工作效率。本研究方法同樣適用于小麥圖像中小穗、穗粒的分割和計(jì)數(shù)，也可以用于其他植物圖像中的分割和計(jì)數(shù)。在未來的工作中，預(yù)計(jì)目標(biāo)是降低圖像采集成本，提高該方法的計(jì)數(shù)精度和應(yīng)用范圍。由于本方法是間接獲取麥穗籽粒數(shù)，后續(xù)需要探索新的方法以消除間接誤差。

參考文獻(xiàn)：

[1]張領(lǐng)先，陳運(yùn)強(qiáng)，李云霞，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的冬小麥麥穗檢測(cè)計(jì)數(shù)系統(tǒng)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50（3）：144-150.

[2]LI Q Y， CAI J， BERGER B， et al. Detecting spikes of wheat plants using neural networks with laws texture energy[J]. Plant Methods，2017，13（1）：1-13.

[3]HU W J， FAN J， DU Y X， et al. MDFC-ResNet： an agricultural IoT system to accurately recognize crop diseases[J]. IEEE Access，2020，8：115287-115298.

[4]MISRA T， ARORA A， MARWAHA S， et al. SpikeSegNet-a deep learning approach utilizing encoder-decoder network with hourglass for spike segmentation and counting in wheat plant from visual imaging[J]. Plant Methods，2020，16（1）：1-20.

[5]趙三琴，李毅念，丁為民，等. 稻穗結(jié)構(gòu)圖像特征與籽粒數(shù)相關(guān)關(guān)系分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45（12）：323-328.

[6]王棟，陳佳瑋，沈利言，等. 基于圖像的水稻穗粒相關(guān)性狀智能檢測(cè)算法研究[J]. 植物生理學(xué)報(bào)，2022，58（5）：957-971.

[7]杜世偉，李毅念，姚敏，等. 基于小麥穗部小穗圖像分割的籽粒計(jì)數(shù)方法[J]. 南京農(nóng)業(yè)大學(xué)學(xué)報(bào)，2018，41（4）：742-751.

[8]QIU R， HE Y， ZHANG M. Automatic detection and counting of wheat spikelet using semi-automatic labeling and deep learning[J]. Frontiers in Plant Science，2022，13：872555.

[9]FERNANDEZ-GALLEGO J A， KEFAUVER S C， GUTIRREZ N A， et al. Wheat ear counting in-field conditions： high throughput and low-cost approach using RGB images[J]. Plant Methods，2018，14（1）：1-12.

[10]劉哲，黃文準(zhǔn)，王利平. 基于改進(jìn)K-means聚類算法的大田麥穗自動(dòng)計(jì)數(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35（3）：174-181.

[11]XU X， LI H Y， YIN F， et al. Wheat ear counting using K-means clustering segmentation and convolutional neural network[J]. Plant Methods，2020，16：106.

[12]李毅念，杜世偉，姚敏，等. 基于小麥群體圖像的田間麥穗計(jì)數(shù)及產(chǎn)量預(yù)測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34（21）：185-194.

[13]WEI W， YANG T L， RUI L， et al. Detection and enumeration of wheat grains based on a deep learning method under various scenarios and scales[J]. Journal of Integrative Agriculture，2020，19（8）：1998-2008.

[14]HU G， QIAN L， LIANG D， et al. Self-adversarial training and attention for multi-task wheat phenotyping[J]. Applied Engineering in Agriculture，2019，35（6）：1009-1014.

[15]DANDRIFOSSE S， ENNADIFI E， CARLIER A， et al. Deep learning for wheat ear segmentation and ear density measurement： from heading to maturity[J]. Computers and Electronics in Agriculture，2022，199：107161.

[16]ZHAO J， ZHANG X， YAN J， et al. A wheat spike detection method in UAV images based on improved YOLOv5[J]. Remote Sensing，2021，13（16）：3095.

[17]MISRA T， ARORA A， MARWAHA S， et al. Web-SpikeSegNet： deep learning framework for recognition and counting of spikes from visual images of wheat plants[J]. IEEE Access，2021，9：76235-76247.

[18]LI J， LI C， FEI S， et al. Wheat ear recognition based on RetinaNet and transfer learning[J]. Sensors，2021，21（14）：4845. DOI：10.3390/s21144845.

[19]段凌鳳，熊雄，劉謙，等. 基于深度全卷積神經(jīng)網(wǎng)絡(luò)的大田稻穗分割[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34（12）：202-209.

[20]WANG J D， SUN K， CHENG T H， et al. Deep high-resolution representation learning for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，43（10）：3349-3364.

[21]ZHAO H， SHI J， QI X， et al. Pyramid scene parsing network[C]. Honolulu， HI， USA：IEEE，2017：2881-2890.

[22]CHEN L C， ZHU Y， PAPANDREOU G， et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[C]. Berlin：Springer，2018：801-818.

[23]邱云飛，溫金燕. 基于DeepLabV3+與注意力機(jī)制相結(jié)合的圖像語義分割[J]. 激光與光電子學(xué)進(jìn)展，2022，59（4）：130-139.

[24]馬冬梅，李鵬輝，黃欣悅，等. 改進(jìn)DeepLabV3+的高效語義分割[J]. 計(jì)算機(jī)工程與科學(xué)，2022，44（4）：737-745.

[25]RONNEBERGER O， FISCHER P， BROX T. U-net：convolutional networks for biomedical image segmentation[C]. Berlin：Springer International Publishing，2015：234-241.

[26]梁波，盧軍，曹陽. 基于改進(jìn)U-Net卷積神經(jīng)網(wǎng)絡(luò)的鋼軌表面損傷檢測(cè)方法[J]. 激光與光電子學(xué)進(jìn)展，2021，58（2）：334-340.

[27]MA J C， LI Y X， DU K M， et al. Segmenting ears of winter wheat at flowering stage using digital images and deep learning[J]. Computers and Electronics in Agriculture，2020，168：105159.

[28]ALHARBI N， ZHOU J， WANG W. Automatic counting of wheat spikes from wheat growth images[C]. Funchal， Madeira， Portugal：SciTePress，2018：346-355.

[29]FERNANDEZ-GALLEGO J A， KEFAUVER S C， GUTIRREZ N A， et al. Wheat ear counting in-field conditions： high throughput and low-cost approach using RGB images[J]. Plant Methods，2018，14（1）：22.

[30]KHAKI S， SAFAEI N， PHAM H， et al. Wheatnet： a lightweight convolutional neural network for high-throughput image-based wheat head detection and counting[J]. Neurocomputing，2022，489：78-89.

[31]WANG Y， QIN Y， CUI J. Occlusion robust wheat ear counting algorithm based on deep learning[J]. Frontiers in Plant Science，2021，12：645899. DOI：10.3389/fpls.2021.645899.

[32]MAJI A K， MARWAHA S， KUMAR S， et al. SlypNet：spikelet-based yield prediction of wheat using advanced plant phenotyping and computer vision techniques[J]. Frontiers in Plant Science，2022，13：889853.

[33]ALKHUDAYDI T， ZHOU J， DE LA LGLESIA B. Counting spikelets from infield wheat crop images using fully convolutional networks[J]. Neural Computing and Applications，2022，34（20）：17539-17560.

[34]XU C， JIANG H Y， YUEN P， et al. MHW-PD： a robust rice panicles counting algorithm based on deep learning and multi-scale hybrid window[J]. Computers and Electronics in Agriculture，2020，173：105375.

[35]HASAN M M， CHOPIN J P， LAGA H， et al. Detection and analysis of wheat spikes using convolutional neural networks[J]. Plant Methods，2018，14（1）：1-13.

[36]SADEGHI-TEHRAN P， VIRLET N， AMPE E M， et al. DeepCount： in-field automatic quantification of wheat spikes using simple linear iterative clustering and deep convolutional neural networks[J]. Frontiers in Plant Science，2019，10：1176.

（責(zé)任編輯：徐艷）

收稿日期：2023-02-27

基金項(xiàng)目：國(guó)家統(tǒng)計(jì)局重大統(tǒng)計(jì)專項(xiàng)（2022ZX11）；河南省科技創(chuàng)新杰出人才項(xiàng)目（184200510008）；河南省現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)技術(shù)體系項(xiàng)目（S2010-01-G04）

作者簡(jiǎn)介：許鑫（1984-），男，河南鄧州人，博士，副教授，主要從事智慧農(nóng)業(yè)與大數(shù)據(jù)技術(shù)方面的研究。（E-mail）xuxin468@163.com

通訊作者：馬新明，（E-mail） wheatdoctor@163.com