基于深度相機的水稻穗層高度檢測研究

摘要：為實現(xiàn)水稻穗層高度檢測，基于深度相機對水稻穗層高度計算方法開展研究，以期為水稻割臺高度控制、收割機智能化提供技術(shù)支持。為選擇一種適用于水稻穗層分割的顏色空間，分別在RGB、HSV、LAB和i1i2i3顏色空間中對成熟水稻圖像進行3D可視化，通過觀察水稻穗層像素分布分析其可分離性；在此基礎(chǔ)上，基于多閾值分割法、小聯(lián)通區(qū)域移除、圖像腐蝕等方法對水稻穗層進行提取；提出一種基于深度相機的水稻穗層高度（包括穗層最高高度Hhs、最低高度Hls）計算方法，并分別在實驗室及田間進行驗證試驗。結(jié)果表明：水稻穗層在HSV顏色空間中具有較好的可分離性，所采用的圖像分割、處理方法可有效提取水稻穗層；水稻穗層高度計算方法的實驗室測試結(jié)果顯示，Hhs與Hls的計算誤差均小于1.5%，田間測試結(jié)果顯示Hhs與Hls的計算誤差分別為1.6%和18.2%。

關(guān)鍵詞：穗層；水稻；高度檢測；深度相機；顏色空間

中圖分類號：S24

文獻標識碼：A

Research on rice spike layer heights detection based on depth camera

Abstract：

In order to realize rice spike layer height detection， a research on rice spike layer height calculation method based on depth camera was carried out to provide technical support for the height control of harvester header. In order to select a color space suitable for rice spike layer segmentation， this paper visualized mature rice images in RGB， HSV， LAB and i1i2i3 color spaces in 3D space respectively， and analyzed the separability of rice spike layer by observing pixels distribution. The rice spike layer was extracted based on the multi-threshold segmentation method， small joint region removing and image erosion. A spike layer heights calculation method was proposed based on a depth camera and the method was validated in the laboratory and in the field. The results showed that the rice spike layer had the best separability in HSV color space， and the adopted image segmentation and processing methods could effectively segment the rice spike layer. The laboratory test of the developed calculation method showed that the calculation errors of both Hhs and Hls were less than 1.5%， and the field test showed that the calculation errors of Hhs and Hls were 1.6% and 18.2%， respectively.

Keywords：

spike layer; rice; height detection; depth camera; color space

0 引言

在水稻收割機作業(yè)過程中，割臺作業(yè)高度決定進入收割機物料的草谷比［12］，直接影響收割機脫粒、分離、清選過程［34］，對收割機作業(yè)性能、整機功耗均有重要影響［5］。收割機割臺的作業(yè)高度需要根據(jù)水稻的田間收獲環(huán)境［6］（主要包括水稻長勢、田間泥腳深度）的變化實時做出調(diào)整，以保證收割機作業(yè)質(zhì)量［7］。現(xiàn)階段，收割機割臺的高度基本仍由收割機駕駛員依靠經(jīng)驗進行調(diào)整。然而，收割機駕駛員乘坐于駕駛艙內(nèi)，相對水稻及稻田地面均處于俯視位置，缺少參照物、難以觀察到這些收獲條件的變化，致使調(diào)整滯后或錯誤，機器視覺可以有效解決這一問題［8］。

在采用機器視覺進行水稻長勢信息獲取方面，國內(nèi)外已有少量相關(guān)研究。曹英麗等［9］利用無人機在不同高度對稻田進行拍攝，結(jié)果顯示在HSV顏色空間中且拍攝高度3 m時穗層識別效果最佳。黃瓊等［10］采用大津法進行水稻穗層分割，識別率可達90.94%。段凌鳳［11］在實驗室光照條件下，基于閾值分割法實現(xiàn)了揚花期和成熟期水稻的穗部識別與分割。Sritarapipat等［12］基于數(shù)碼相機開發(fā)了一種自動水稻作物高度測量方法，可用于長期檢測水稻長勢。Phan等［13］利用無人機搭載Lidar對水稻長勢進行觀測，實驗表明所測得穗層高度與水稻長勢具有良好的相關(guān)性。Tilly等［14］利用地面激光掃描（TLS）技術(shù)對水稻進行建模，所建模型分辨率為1 cm，可用于水稻株高觀測。綜上，利用機器視覺進行水稻長勢監(jiān)測、產(chǎn)量預(yù)測等研究已較為深入，但以上研究大多以水稻整體為研究對象且實時性較差，因此無法應(yīng)用于水稻收割機割臺控制。

本文以水稻穗層為研究對象，基于深度相機研究水稻穗層的圖像分割方法、高度計算方法，為收割機駕駛員精準控制割臺高度、確保收臺的作業(yè)質(zhì)量提供參考，為水稻收割智能化提供技術(shù)儲備。本文主要研究內(nèi)容如下：（1）為穗層分割尋找到合適的顏色空間及分割方法；（2）開發(fā)基于深度相機的穗層高度計算方法；（3）通過實驗室及田間試驗驗證穗層高度檢測方法的準確性及有效性。

1 試驗材料與方法

1.1 水稻穗層分割方法

顏色空間選擇：為選擇合適的顏色空間進行水稻穗層分割，基于Python編寫圖像可視化程序，該程序可用于繪制圖像像素在顏色空間中3D散點圖，可通過觀察該散點圖中目標像素的分布對其可分離性進行分析。本文采用該程序分別在RGB、HSV、LAB和i1i2i3顏色空間中對水稻圖像進行可視化并對比水稻穗層在這些顏色空間中的像素分布及可分離性，所使用水稻圖像之一如圖1所示，該水稻品種為豐兩優(yōu)911，圖像分辨率為4 032像素×3 024像素。

圖像分割及處理方法：在選擇適宜的顏色空間后，需要通過圖像分割及圖像處理方法將水稻穗層從圖像中完整的分割出來。大津法是一種被廣泛應(yīng)用的圖像分割方法［15］，但是只能用于單一類型目標（屬于同一灰度范圍）的分割［16］。由于水稻植株之間成熟度存在差異，且受光照條件和陰影的影響［17］，黃色的水稻穗層像素在顏色空間中的分布范圍較大，因此，該大津法無法應(yīng)用于水稻穗層的分割。本文采用基于3D散點圖的多閾值分割方法［18］對水稻穗層進行分割，并配合小聯(lián)通區(qū)域移除和圖像腐蝕法進一步過濾非目標黃色像素（主要是偏黃水稻葉片及莖稈）。

1.2 基于深度相機的穗層高度計算方法

如圖2所示，本文所計算的穗層高度包括穗層最高高度Hhs及最低高度Hls。本文采用深度相機計算水稻穗層高度（型號Realsense D435），其高度計算原理如式（1）及圖2所示，目標像素的高度（Htp）為該像素與深度相機的縱向距離（Htd）和深度相機距地高度（Hdg）之和，其中Hdg為定值，Htd可由Realsense D435配套程序計算得到。

Htp=Htd+Hdg（1）

本文所提供水稻穗層高度計算的具體流程（圖3）如下：（1）初始化Realsense D435相機；（2）獲取水稻RGB圖像及深度圖像；（3）將RGB圖像與深度圖像對齊；（4）指定深度相機取景景深范圍，濾除景深范圍以外的像素，其原因見2.1節(jié)。（5）將圖像從RGB轉(zhuǎn)換至HSV顏色空間；（6）采用多閾值分割方法分割穗層；（7）通過進一步圖像處理（包括小聯(lián)通區(qū)域移除和圖像腐蝕法）移除非目標像素（經(jīng)過以上步驟，默認所有留存像素皆為水稻穗層像素）；（8）選取所分割圖像中從上至下分別位于1%、99%的像素的深度值代入式（1），得出穗層最高（Hhs）、最低（Hls）高度的單次計算值。（9）重復(fù)步驟2～步驟7七次，記錄七組穗層高度數(shù)據(jù)；（10）對上述七組數(shù)據(jù)去除最大、最小值并取均值，得到Hhs和Hls的終值。

1.3 實驗室測試方法

為了驗證所開發(fā)的穗層高度計算方法，在Python軟件中編寫相應(yīng)程序，并在實驗室中采用水稻模型進行初步驗證（圖4）。所使用水稻模型被插入泡沫板中進行固定，水稻模型之間的株距和行距均為100 mm。經(jīng)測量，水稻模型穗層的平均最高和最低高度分別為885 mm、715 mm，深度相機與第一行水稻模型之間的距離為1 205 mm，相機離地高度為600 mm，相機設(shè)置的景深范圍為1～1.4 m，深度相機RGB模塊及深度模塊幀速率均為30 fps。

1.4 田間測試方法

為了進一步驗證所開發(fā)計算方法可靠性，將深度照相機安裝于收割機側(cè)面，在收割機的工作過程中對該方法進行驗證，試驗過程中通過Python中自行編寫的程序?qū)崟r記錄數(shù)據(jù)，各數(shù)據(jù)點時間間隔為0.05 s。該試驗中深度相機安裝高度（Hdg）為600 mm，安裝位置如圖5所示，相機與其正對的稻谷之間距離為1210 mm，收割機的前進速度設(shè)定為0.25 m/s。該試驗于2021年8月9日進行，試驗地點為鎮(zhèn)江市白沙村，水稻品種為越光稻（圖6），水稻平均株高為769 mm±52 mm。試驗當日氣溫為34℃～37℃，由于持續(xù)高溫，部分水稻已呈倒伏狀，且枯萎、發(fā)黃葉片與莖稈較多，為過濾這些影響因素，設(shè)定此次測試中相機的景深范圍為1.1～1.3 m，深度相機RGB模塊及深度模塊幀速率均為30 fps。

為充分評估所開發(fā)計算方法的準確性，在收割機收割過程中，在任意10處位置暫停收割機、深度相機，并記錄穗層高度計算值（Hhs和Hls），在相機取景范圍內(nèi)均勻地取10處穗層最高、最低點，并手動測量其高度，將測量值代入式（2）、式（3）計算穗層高度測量值。獲取10組數(shù)據(jù)后，將數(shù)據(jù)代入式（4）、式（5）計算整個收割過程中測量值與計算值之間的誤差。

式中：

Hmhsi——第i次暫停中穗層最高高度測量值均值，mm；

Hmlsi——第i次暫停中穗層最低高度測量值均值，mm；

Hmhsij——第i次暫停中第j個穗層最高點的測量值，mm；

Hmlsij——第i次暫停中第j個穗層最低點的測量值，mm。

式中：

Eh——整個收割過程中穗層最高高度計算值的平均誤差，%；

El——整個收割過程中穗層最低高度計算值的平均誤差，%；

Hhsi——第i次暫停中穗層最高高度計算值，mm；

Hlsi——第i次暫停中穗層最低高度計算值，mm。

2 試驗結(jié)果與分析

2.1 水稻穗層分割結(jié)果

圖7為圖2在四個不同顏色空間中的像素分布。圖7（a）為RGB顏色空間中的像素分布，其中黃色像素在R、G和B三軸上分布均較廣，因此基于該三軸的值難以實現(xiàn)黃色水稻穗層的分割。圖7（b）為HSV顏色空間的3D散點圖，在該空間中黃色像素較為集中，雖在Saturation軸上分布范圍較大，但在Hue軸和Value軸均處于較小范圍內(nèi)。在LAB顏色空間中，像素云呈扇形且黃色像素聚集在扇形的頂部附近，如圖7（c）所示。圖7（d）為i1i2i3顏色空間的可視化結(jié)果，該空間中黃色像素在三軸上均較為分散，且與綠色像素混雜，基于該顏色空間進行分割較為困難。結(jié)果表明，HSV和LAB顏色空間具備穗層分割的可行性。

根據(jù)黃色像素在HSV和LAB顏色空間的分布情況，結(jié)合多閾值分割方法對圖2進行圖像分割。本文中，HSV顏色空間中選擇閾值為（0， 75， 120）和（25， 255， 255），LAB顏色空間為（50， 115， 160）和（160， 160， 180），其分割結(jié)果如圖8所示。在這兩種顏色空間中，穗層均能被完整地分割出來，觀察可得，LAB顏色空間中像素較為松散，而HSV顏色空間中像素之間的聯(lián)通范圍較大（尤其是穗層區(qū)域），有利于使用小聯(lián)通區(qū)域移除和圖像腐蝕法對非目標像素的移除。因此，最終選擇HSV顏色空間作為水稻穗層分割的顏色空間。

圖9為經(jīng)小聯(lián)通區(qū)域移除和圖像腐蝕法處理后的效果圖，可見大部分的非目標像素已被去除且穗層區(qū)域穗層已被完整地分割出來（紅框中為穗層像素），然而可以發(fā)現(xiàn)在紅框外仍然存在大量較大像素塊。通過與原始圖像的對比，這些像素塊為發(fā)黃水稻葉片及莖稈，這些像素與穗層像素處于相同的閾值范圍內(nèi)，因此從圖像分割的角度難以剔除。然而，這些像素與目標穗層處于深度相機的不同景深范圍，基于這一特點，通過選擇合適的相機景深范圍提前過濾大部分非目標像素。

2.2 實驗室測試結(jié)果

圖10為實驗室測試中穗層高度計算各步驟效果圖，圖10（a）和圖10（b）為水稻模型原始RGB圖像及深度圖像。圖10（c）為濾除選定景深范圍以外像素后的結(jié)果，這一操作可大大減輕計算量從而加快圖像處理速度。將圖10（c）的RGB圖像轉(zhuǎn)換至HSV顏色空間后，采用閾值分割法進行圖像分割，分割結(jié)果如圖10（d）所示，圖中穗層像素已被完全分割出來，僅剩部分下一些非目標像素，這一部分像素通過小聯(lián)通區(qū)域移除和圖像腐蝕處理后即可被濾除，如圖10（e）所示。對剩余像素進行處理，并采用1.2節(jié)所提出計算方法進行計算，計算結(jié)果如圖10（f）所示，Hhs、Hls計算結(jié)果分別為878 mm和724 mm，單次計算耗時0.05 s，計算誤差均小于1.5%。上述試驗結(jié)果表明，所開發(fā)的方法可以有效、快速、準確地實現(xiàn)穗狀層高度的計算。

2.3 田間測試結(jié)果

圖11為所提出算法的田間測試結(jié)果，由圖11（a）中可得穗層已被分割出來（紅框中為穗層像素），但框外仍存在大量非目標像素，其原因是試驗對象受炎熱天氣影響，造成各部位均偏黃且存在倒伏現(xiàn)象，致使相機選定景深范圍內(nèi)仍存在大量與穗層顏色接近的莖稈及葉片。如圖11（b）所示，穗層最高和最低高度的計算值分別為789 mm、487 mm，其誤差分別為1.1%、20.1%。結(jié)果表明，所提出穗層計算方法中的穗層最高高度滿足割臺精度控制需求，而穗層最低高度誤差值較大。

所記錄數(shù)據(jù)的部分曲線如圖12所示，可得穗層最高高度曲線相對平滑，而最低高度曲線因黃色葉片、莖稈、倒伏穗頭影響而波動較大。將數(shù)據(jù)代入式（2）～式（5），可得到最高高度誤差Eh為1.6%，而最低高度誤差El達18.2%。上述結(jié)果表明，所提出穗層計算方法可以有效應(yīng)用于穗層區(qū)域無干擾情況（圖2）下的水稻收割機割臺控制，而對于存在倒伏、偏黃葉片及莖稈偏多的情況，可以單以穗層最高高度作為割臺高度的調(diào)整依據(jù)。

3 結(jié)論

為了實現(xiàn)對水稻穗層高度的計算，將水稻圖像在不同顏色空間進行可視化，并觀察其像素分布。在選擇合適顏色空間的基礎(chǔ)上，采用多閾值分割穗層，并采用小聯(lián)通區(qū)域移除和圖像腐蝕法進一步處理圖像。基于深度相機，提出了穗層高度計算方法，并分別進行實驗室及田間驗證。

1）" 根據(jù)水稻圖像在四種顏色空間中的3D可視化結(jié)果，水稻穗層的黃色像素在HSV顏色空間中具有較好的可分離性，且有利于后期圖像處理方法的應(yīng)用。

2）" 實驗室測試結(jié)果顯示，計算所得穗層最高和最低高度分別為878 mm和724 mm，單次計算耗時0.05 s，誤差均小于1.5%。

3）" 田間測試表明，最高高度Eh和最低高度El誤差分別為1.6%和18.2%。

綜上所述，所提出穗層計算方法簡單、快速，可有效應(yīng)用于穗層區(qū)域無干擾情況下的水稻收割機割臺控制，對于存在倒伏、偏黃葉片及莖稈偏多的情況，可單以穗層最高高度作為割臺高度的調(diào)整依據(jù)。

參 考 文 獻

［1］ Huang M， Li Y， Chen A， et al. Design and test of double-cutterbar structure on wide header for main crop rice harvesting ［J］. Applied Sciences， 2020， 10（13）： 4432.

［2］ 孫韜， 李耀明， 徐立章， 等. 草谷比對多滾筒脫粒分離裝置性能影響的試驗研究［J］. 農(nóng)業(yè)裝備與車輛工程， 2013， 51（11）： 13-17.

Sun Tao， Li Yaoming， Xu Lizhang， et al.. Experimental study on effects of ratio of straw to rice on the performance of multi-cylinder threshing and separating device ［J］. Agricultural Equipment amp; Vehicle Engineering， 2013， 51（11）： 13-17.

［3］ 周平， 周愷， 劉濤， 等. 水稻倒伏監(jiān)測研究進展［J］. 中國農(nóng)機化學(xué)報， 2019， 40（10）： 162-168.

Zhou Ping， Zhou Kai， Liu Tao， et al. Progress in monitoring research on rice lodging ［J］. Journal of Chinese Agricultural Mechanization， 2019， 40（10）： 162-168.

［4］ 李偉. 基于無人機圖像的智能稻麥聯(lián)合收割機清選系統(tǒng)研究［D］. 合肥： 中國科學(xué)技術(shù)大學(xué)， 2019.

Li Wei. Research on the cleaning system of intelligent combine harvester based on unmanned aerial vehicle image ［D］. Hefei： University of Science and Technology of China， 2019.

［5］ Xu F， Zhang L， Zhou X， et al. The ratoon rice system with high yield and high efficiency in China： Progress， trend of theory and technology ［J］. Field Crops Research， 2021， 272： 108282.

［6］ 安剛強. 基于無人機遙感的水稻長勢精準監(jiān)測方法［D］. 成都： 電子科技大學(xué)， 2021.

An Gangqiang. Precision monitoring methods of rice growth status based onUAV remote sensing data ［D］. Chengdu： University of Electronic Science and Technology of China， 2021.

［7］ 徐峰， 劉德普， 彭俊明， 等. 南方雙季稻栽植機械化發(fā)展的影響因素和關(guān)鍵技術(shù)措施［J］. 中國農(nóng)機化學(xué)報， 2023， 44（2）： 1-7.

Xu Feng， Liu Depu， Peng Junming， et al. Influencing factors and key technical measures of mechanization development of double cropping rice in south China ［J］. Journal of Chinese Agricultural Mechanization， 2023， 44（2）： 1-7.

［8］ 宋揚. 聯(lián)合收獲機割臺高度自適應(yīng)調(diào)節(jié)系統(tǒng)設(shè)計與試驗［D］. 武漢： 華中農(nóng)業(yè)大學(xué)， 2022.

Song Yang. Design and test of adaptive adjustment system for combine harvester header height ［D］. Wuhan： Huazhong Agricultural University， 2022.

［9］ 曹英麗， 劉亞帝， 馬殿榮， 等. 基于最優(yōu)子集選擇的水稻穗無人機圖像分割方法［J］. 農(nóng)業(yè)機械學(xué)報， 2020， 51（8）： 171-177， 188.

Cao Yingli， Liu Yadi， Ma Dianrong， et al. Best subset selection based rice panicle segmentation from UAV image ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（8）： 171-177， 188.

［10］ 黃瓊， 楊紅云， 肖小梅. 水稻稻穗圖像的分割方法研究［J］. 生物災(zāi)害科學(xué)， 2020， 43（1）： 90-95.

Huang Qiong， Yang Hongyun， Xiao Xiaomei. Research on segmentation methods of rice ear images ［J］. Biological Disaster Science， 2020， 43（1）： 90-95.

［11］ 段凌鳳. 水稻植株穗部性狀在體測量研究［D］. 武漢： 華中科技大學(xué)， 2013.

Duan Lingfeng. Panicle traits measurement of rice plant in vivo ［D］. Wuhan： Huazhong University of Science and Technology， 2013.

［12］ Sritarapipat T， Rakwatin P， Kasetkasem T. Automatic rice crop height measurement using a field server and digital image processing ［J］. Sensors， 2014， 14（1）： 900-926.

［13］ Phan A T T， Takahashi K. Estimation of rice plant height from a low-cost UAV based Lidar point clouds ［J］. International Journal of Geoinformatics， 2021， 17（2）： 89-98.

［14］ Tilly N， Hoffmeister D， Cao Q， et al. Multitemporal crop surface models： accurate plant height measurement and biomass estimation with terrestrial laser scanning in paddy rice ［J］. Journal of Applied Remote Sensing， 2014， 8（1）： 083671-083671.

［15］ 張洪超. 基于大津法和區(qū)域生長法結(jié)合的彩色圖像分割方法研究［D］. 濟南： 山東師范大學(xué)， 2016.

Zhang Hongchao. Research of color image segmentation based on the combination of Otsu and region growing method ［D］. Jinan： Shandong Normal University， 2016.

［16］ 楊萬里， 段凌鳳， 楊萬能. 基于深度學(xué)習(xí)的水稻表型特征提取和穗質(zhì)量預(yù)測研究［J］. 華中農(nóng)業(yè)大學(xué)學(xué)報， 2021， 40（1）： 227-235.

Yang Wanli， Duan Lingfeng， Yang Wanneng. Deep learning-based extraction of rice phenotypic characteristics and prediction of rice panicle weight ［J］. Journal of Huazhong Agricultural University， 2021， 40（1）： 227-235.

［17］ 王秋萍， 李曉丹， 戴芳， 等. 基于改進雙種群水母搜索算法的多閾值圖像分割［J］. 純粹數(shù)學(xué)與應(yīng)用數(shù)學(xué)， 2022， 38（3）： 392-402.

Wang Qiuping， Li Xiaodan， Dai Fang. Multi-threshold image segmentation based on improved double population Jellyfsh search algorithm ［J］. Pure and Applied Mathematics， 2022， 38（3）： 392-402.

［18］ 杜慧敏， 蔣忭忭， 常立博， 等. 膨脹與腐蝕算法的改進及并行實現(xiàn)［J］. 西安郵電大學(xué)學(xué)報， 2017， 22（1）： 88-93.

Du Huimin， Jiang Bianbian， Chang Libo， et al， Improvement and parallel implementation of dilation and erosion algorithms ［J］. Journal of Xian University of Posts and Telecommunications， 2017， 22（1）： 88-93.