遮擋情況下的行人檢測方法研究

劉雯雯 孫裕晶 姜樹輝 姜鵬

摘要：障礙物檢測是環境感知中的關鍵技術，直接影響到智能農機作業的安全性和可靠性，其中田間行人作為非結構、非固定的障礙物，是影響農機行駛安全的重要因素。遮擋情況是行人檢測中的研究重點和難點，也是為滿足農機自主作業的避障需求必須考慮的問題。因此對行人檢測傳感器技術和行人檢測算法的國內外應用情況進行綜述，重點關注各種檢測技術和算法在復雜農田環境中的適用性。首先，梳理總結從單一傳感器檢測技術到多傳感器融合技術的優缺點及其應用情況。其次，分別對利用傳統方法和深度學習方法處理優化遮擋情況的行人檢測算法的研究應用進行分析。最后，提出現有技術存在單一傳感器技術的應用相對局限、多傳感器融合技術的穩定性不足、行人檢測算法對遮擋問題的處理效果有限等問題，同時對采集信息的多樣化、無人機輔助避障、建立完整農田環境感知系統進行展望。

關鍵詞：行人檢測；障礙物檢測；傳感器；機器視覺；農田環境

中圖分類號：S24

文獻標識碼：A

文章編號：20955553 （2023） 070179

08

Study on pedestrian detection methods under occlusion

Liu Wenwen， Sun Yujing， Jiang Shuhui， Jiang Peng

（College of Biological and Agricultural Engineering， Jilin University， Changchun， 130025， China）

Abstract： Obstacle detection is a crucial technology in environment perception， which directly affects the safety and reliability of intelligent agricultural machinery equipment operation. People working in the fields， as non-structural and non-fixed obstacles， are important factors affecting the safety of agricultural machinery. This paper reviews the application of pedestrian detection sensor technology and pedestrian detection algorithms in China and internationally， focusing on the applicability of various detection technologies and algorithms in complex farmland environments. Firstly， the advantages， disadvantages， and applications ranging from single-sensor detection technology to multi-sensor fusion technology are summarized. Secondly， the research and applications of pedestrian detection algorithms using traditional methods and deep learning methods to deal with occlusion are analyzed. Finally， it identifies limitations of current technologies， such as relatively limited application of single sensor technology， insufficient stability of multi-sensor fusion technology， and limited effect of pedestrian detection algorithm in handling occlusion. This paper proposes prospects for the diversification of collected information， UAV-assisted obstacle avoidance， and the establishment of a complete farmland environment sensing system.

Keywords： pedestrian detection; obstacle detection; sensors; machine vision; farmland environment

0 引言

隨著全球人口老齡化日趨嚴重，越來越多的國家傾向于使用更智能的半自動化或全自動機械從事生產活動，目標檢測技術因此得到廣泛應用［12］。行人檢測作為目標檢測的一種特殊情況，有著重要的研究價值和實際意義，當然它的技術進步也與一般目標檢測的發展密切相關［3］。行人檢測即對行人進行位置標定、姿態評估和活動預測，從而根據獲得的信息進行下一步工作［4］。然而，受環境背景的復雜性、拍攝角度有限性、人體姿態多樣性等因素影響，使得行人檢測具有極大的挑戰性。目前行人檢測的研究多集中在城市和室外空曠環境，且通常關注的是行走或站立的人，在考慮遮擋情況的農田環境中的研究還不夠充分。在復雜的農田環境中，人們不僅可能會被植被、作業設備或者其他物體所遮擋，而且可能存在各種各樣的作業姿勢也會提高遮擋程度，進而增加行人檢測的難度［5］。對于田間作業區中的人畜如果作業機械不能實時發現并及時避讓，不僅會影響農業生產效率，還會威脅農業工作設備、人員的安全。

本文對農業環境下行人檢測傳感器技術和行人檢測算法的國內外應用情況進行總結。首先對不同傳感器技術的研究應用情況進行分析梳理，探究能夠更好地實現農田場景中遮擋行人檢測的硬件設備；其次對近年來快速發展的遮擋行人檢測處理算法的研究情況進行總結，側重于適合在農業場景應用的技術；最后對亟待解決的問題進行總結并展望了未來可能的研究方向。

1 行人檢測傳感器技術

行人檢測技術要求對周邊環境進行非接觸探測，以獲取可能對機器系統產生影響的人畜等障礙物的各類信息。按照所使用的傳感器的工作機理可以分為基于超聲波、雷達、機器視覺、紅外成像和基于多傳感器融合等［67］。本節分析每一類的技術特點和應用情況，旨在針對農田作業區的系統開放性、非結構化、干擾信息多、人畜存在遮擋等環境特點，探究各種傳感器技術在該場景中的適用性［8］。

1.1 超聲波檢測技術

超聲波傳感器是一種將超聲波信號轉換成以電信號為主的其他能量信號的非接觸式傳感器［9］。超聲波檢測的基本原理是通過傳感器發出超聲波，遇物體反射，在接收回波后計算超聲波的飛行時間來確定物體的大致位置［10］。

近年來利用超聲波技術來實現行人檢測的試驗研究不在少數，且取得了一定的成果。Guo等［9］提出了一種利用陣列式超聲波傳感器在低速交通混雜區檢測區分行人、自行車和車輛的方法，雖然行人和騎自行車的人由于外形相似而較難被區分，但本研究有助于進一步拓展利用超聲波傳感器對同一事件中多個物體進行檢測和定位的工作。Koyama等［11］研究空氣聲學感應利用長波的衍射現象實現一種可以檢測遮擋區域內待檢目標的聲波傳感系統。試驗結果表明，利用低頻調制信號可以檢測遮擋區域內的物體。信號頻率越低，空間分辨率越差。在實際應用時，需要考慮發射信號的頻率和空間分辨率等因素來選擇信號。

Dvorak等［12］研究單個超聲傳感器對人畜、植物和柵欄桿等農業環境中常見物體的檢測能力。試驗過程中多次未探測到狗模型的存在，因為其蓬松的表面會吸收超聲波，致使傳感器難以接收到回波。另外干擾測試表明，超聲波傳感器面對視野范圍內的多個物體，只會報告離其最近的對象。那么在復雜的農田環境中，如果作業人員身著質地柔軟的衣物，超聲波傳感器的檢測效果將大打折扣，而當出現作物及其他植被對行人存在遮擋的情況時，單獨使用超聲波傳感器將無法完成檢測。

綜上可以看出，超聲波技術目前只適用于相對簡單、空曠的場景，在復雜的農田環境中如果出現行人和作物混雜在一起的情況，單獨使用超聲波技術幾乎無法實現檢測，將其與其他傳感器檢測技術結合使用是未來研究的趨勢。

1.2 雷達檢測技術

雷達檢測的工作原理是通過向待檢目標發射探測波，再將接收到的反射信號送至接收設備進行適當處理，獲得目標位置、方向、速度等特征信息［13］。常用的雷達探測介質有激光、毫米波、超聲波、紅外線等，尤以屬于電磁波的毫米波、激光為主。

毫米波雷達具有體積小、成本低、空間分辨率高的優點，而且不受光照條件的影響，還能穿透雨、霧、煙、灰塵等，常用于非結構化農田的動態障礙物的檢測與跟蹤。Pan等［14］利用毫米波雷達對動態目標進行檢測跟蹤，搭配可減少噪聲的擴展卡爾曼濾波器，提升目標跟蹤精度。Doerr等［15］采用毫米波雷達輔以激光雷達掃描儀，利用空間裁剪（Space clipping）檢測算法消除作物或斜坡造成的數據點，通過對作物進行檢測來間接得到人類、野生動物和其他農業設備等外來物體的存在。研究表明檢測率和車輛速度、遮擋率之間存在負相關關系，較矮的目標在作物中幾乎隱身，很難檢測到。

相對于基于其他探測介質的雷達，三維激光雷達因為探測距離較遠且精度高、受光照變化的影響小，而且可以對場景進行三維重建，近年來國內外基于三維激光雷達在農業領域的研究逐漸增多。張明宇等［16］在噴桿式噴霧機田間作業環境下利用三維激光雷達對障礙物的距離和高度進行檢測。該研究只對靜態障礙物進行了檢測，無法檢測動態障礙物或者突然出現的障礙物。另外該研究中使用的三維固態激光雷達無法給出障礙物的顏色、軟硬度和厚度等信息。Kragh等［17］利用三維激光雷達掃描獲取三維點云，然后通過使用支持向量機（Support Vector Machine，SVM）分類器，根據從局部鄰域提取的特征將單個3D點分類為地面、植被或其他物體對象。試驗表明，該方法對行人、牲畜、車輛和建筑物等物體的檢測準確率為81.1%。三維激光雷達獲得的信息直觀且全面，但系統造價昂貴，目前僅存在于理論研究階段。

基于雷達的檢測技術能夠很好地適應農業環境，尤其在雨、雪等特殊天氣條件下有更多的應用優勢。但雷達檢測技術在面對存在遮擋的情況表現得并不出色，在實際農田應用中很難將隱藏在作物中的農田作業區行人有效檢出并定位。

1.3 機器視覺檢測技術

機器視覺，又稱計算機視覺，是利用圖像和圖像序列來識別和認識三維世界，使其能夠實現與人類眼睛類似的視覺功能。機器視覺根據檢測范圍可分為單目視覺、雙目視覺和全景視覺［18］。本文中主要討論以RGB相機為采集設備的視覺檢測技術。

近年來不少學者對機器視覺在農田場景中的應用開展研究，例如張磊等［19］采用2個平行放置的攝像機形成立體視覺對農田中的障礙物進行檢測，魏建勝等［20］搭建雙目視覺障礙物感知系統利用深度卷積神經網絡（Convolutional Neural Network，CNN）對農田作業區中的障礙物進行檢測，都具有不錯的檢測效果。基于雙目立體視覺的行人檢測系統覆蓋的視野范圍較寬，能夠基于視差原理重建物體三維輪廓及位置，在一定程度上解決了局部遮擋問題［21］。與之相比，全景視覺具有更大的視場，可以獲得360°的農機周圍圖像。Xu等［18］基于全景攝像機對農業機械周圍的動態障礙物進行快速檢測，結果顯示行人檢測正確率為81.61%，整體正確率為82.93%。上述利用機器視覺進行農田障礙物的檢測雖然搭建在農業車輛上，但只在室外空曠環境下進行研究測試，幾乎不考慮遮擋情況。

Wei等［22］模擬人腦的識別功能，利用雙目視覺系統在農田中獲取圖像，從圖片中獲取色彩、亮度等基本信息以及場景的深度分布信息，然后通過抑制待檢目標附近區域的背景影響，最后根據深度顯著圖的顯著性信息實現識別前后被遮擋的行人。韓永華等［23］采用Haar小波多分辨率分解，利用非作物與作物之間的頻率及分布差異，標出疑似障礙物區域，再通過對其進行頻率分層等操作，判斷是否存在障礙物。其中采集的農田圖像來自菜地、各個時期的麥田和生長期水稻田等，試驗表明包括土堆、石頭等靜態障礙物和人、其他作業機械等動態障礙物都可有效檢出，識別準確率達100%。

以RGB相機為代表的可視化技術，以低成本和高信息量為優勢，隨著圖像處理技術的快速發展，機器視覺技術會在目標檢測領域得到更多的應用。從上述的應用情況可以看出，除了硬件安裝位置和數量帶來的視野寬度不同外，其他方面大多大同小異，區別是后續使用的處理算法的不同。

1.4 熱成像檢測技術

紅外熱成像技術屬于被動傳感器，其本身并不發出探測波，而是通過吸收目標物體輻射的紅外線電磁波，再經過光電轉換、信號處理，將肉眼不可見的紅外輻射轉換為可視熱像圖或視頻［2426］。紅外熱成像技術使人類突破視覺局限，可以“看到”物體表面的溫度分布狀況［27］。

紅外熱成像設備最初是作為軍用夜視偵查工具開發的，但隨著成本下降，使其能夠更廣泛地應用于民用領域，近年來在行人檢測領域的應用研究也不斷增多［28］。Yeom［29］利用無人機采集的紅外熱視頻對人體進行檢測和跟蹤。當無人機飛行高度低于50m，以冬季夜晚的平坦路面和山區為背景拍攝時，平均檢出率為91.6%，當飛行高度達到100m，以夏季白天的停車場為背景，復雜的背景加上遠距離拍攝造成的小目標，使得平均檢出率只有79.8%。在一定程度上說明，紅外熱成像技術在環境溫度相對較低的冬季夜晚工作優勢明顯。Steen等［30］利用熱成像技術結合數字圖像處理算法形成的系統，對草原棲息地中的野雞和野兔進行模擬檢測。結果表明，在大多數情況下，檢出率接近100%，盡管密集的作物可能會妨礙動物的檢出率。在割草作業中高草對于小型野生動物的遮擋程度不亞于農機作業中作物對于行人的遮擋，說明紅外熱成像技術應用于存在遮擋的行人檢測場景中有很大的前景。

Christiansen等［31］通過搭建多傳感器平臺，對以站立或躺倒的姿態出現在行進軌跡上的行人進行檢測，其中高草對不同姿態的成人或兒童呈現不同程度的遮擋，通過試驗給出了用于檢測的不同傳感器模式的初步評估。其中熱感攝像機在測試中顯示了巨大的能力，因為它能夠利用溫度信息檢測到高草中的行人，而不管人體姿態如何。然而，當氣溫升高，生物的熱信號變得模糊，檢測結果便不太理想。

人類作為恒溫動物，幾乎不受環境溫度的影響而保持恒定體溫的特性，使其很容易在熱像圖的環境背景中脫穎而出。在行人檢測領域，熱感相機相比普通相機可能是更好的選擇。

1.5 多傳感器融合檢測技術

每一個單一的目標檢測技術都有各自的限制，多傳感器系統集成的技術特點是目標信息的互補性［32］。隨著城市自動駕駛與農業機械自主作業的不斷推進，多傳感器組合平臺將成為實時檢測系統的主流趨勢。

1.5.1 機器視覺與雷達的技術結合

目前國內比較成熟且使用廣泛的是雷達和機器視覺融合技術。視覺與非視覺傳感器的結合，也將提高目標檢測的準確性，因而實現較理想的避障效果［33］。Wang等［34］利用毫米波雷達和機器視覺獲得的空間信息生成感興趣區域（Region of Interest，ROI），然后基于從中提取的雷達微多普勒特征和圖像特征融合來實現目標分類。試驗結果表明，該系統具有良好的檢測和分類性能。薛金林等［35］利用激光雷達獲取障礙物坐標作為先驗性信息，同時通過單目機器視覺獲取的圖像信息進行顯著檢測，然后基于區域生長法對顯著圖完成障礙物分割。上述研究表明機器視覺與二維雷達技術的感知數據融合，不僅可以在距離、深度方面實現互補，還能結合視覺獲取障礙物的輪廓信息和雷達獲得的位置信息準確快速地完成檢測。

對于果園自動化作業拖拉機，固定的障礙物可以通過路徑規劃來規避，但是可移動的障礙物只能通過實時感知系統檢測并避開。Moorehead等［36］搭建由雷達和攝像頭組成的感知系統來探測障礙物，該感知系統利用基于幾何形狀的檢測器和基于外觀的分類器來感知識別潛在的障礙。幾何探測器在果園的開闊區域能夠大展拳腳，但在靠近果樹的區域無法將站在果樹旁的人從茂盛的樹葉中區分出來，而外觀分類器可以利用紋理和顏色特征信息正確地識別出行人并標記為不可通過區域。不過在雜草阻礙視線或者光照極差的情況下，系統便只能停止拖拉機，并向遠程監控人員發出信號以確定是否能通行。

1.5.2 其他形式的技術結合

隨著技術的發展和設備的更新，國內外研究人員也積極引入新型裝置以建立新的融合檢測平臺，這為在農田場景中實現環境感知提供了更多可能性。Benet等［37］利用TOF相機（Time of Flight Cameras）與RGB相機形成新型雙目視覺系統，對割草機前方的待測物體（草、木、枝）進行識別分類，完成穿越操作。TOF相機可以在光照變化的條件下進行三維幾何測量，再搭配RGB相機，便能夠實現對前方的待檢目標的比色和幾何測量。在其試驗設定中，樹枝或樹木等其他物體被認為是障礙物，而同樣對行車視線存在一定遮擋的草類則是可穿越的對象。從結果分析可以看出，割草機在該方法的輔助下可避開檢測到的其他物體。但本試驗并未安排對動態障礙物的檢測，所以是否能夠通過該方法來實現遮擋行人的檢測還有待商榷。Reina等［38］利用HDR立體視覺和熱成像融合，并在后期處理算法中將色度權重歸零，高度和溫度的權重設置為相等，可以很好地檢測出各類田間障礙。立體視覺和熱成像技術的融合可以提供強大的環境感知能力，不是空曠的視野才能被認定為可通過的，可以更好地滿足農機作業要求。另外特定的目標可被分配更高的優先級，比如人類，以便更好地實現行人檢測，降低傷人風險。缺點是探測距離不夠遠，無法給大型農機避障提供足夠的反應時間。

近年來隨著各類傳感器的成本降低和融合處理技術的快速發展，國內外研究學者都不再拘泥于使用單一傳感器進行檢測，不僅視覺技術與激光雷達、超聲波的傳統融合技術越發成熟，而且隨著新的儀器設備的引入，不斷有新的技術融合系統出現。但是設備的成本、系統的穩定性仍是多傳感器集成系統在農田場景實際應用前亟待解決的問題。

不同檢測傳感器技術各有優缺點，對于遮擋情況的處理程度也各不相同。如表1所示，本文對各類傳感器技術的優缺點和適用范圍進行對比總結。

2 遮擋情況下行人檢測算法

基于機器視覺得到的圖像和視頻通過特定的行人檢測算法可以對遮擋情況進行處理優化以便后續分析研究。行人檢測算法主要分為兩類如表2所示，傳統的行人檢測算法通過滑動窗口遍歷得到候選區域，經由人工提取行人特征，訓練得到分類器，利用訓練好的分類器對掃描窗口進行區域分類并輸出目標檢測的結果，經典算法如HOG+SVM、Haar+Adaboost等；深度學習算法是通過自主地學習大量的訓練數據提取圖像內部層級特征的一類神經網絡算法，代表算法有CNN、YOLO、SSD等［3940］。

2.1 傳統機器學習行人檢測算法

對于遮擋情況下行人檢測，傳統機器學習目標檢測算法主要有以下兩種思路［41］。一是通過處理分析被測目標的特征信息，利用未被遮擋部分推測行人位置。Chen等［42］提出一種雙圓形窗口描述符，可以更好地區分頭部與非頭部，實現人員精準定位。廖暢等［43］利用TOF相機在俯視角度下獲取的深度圖像，通過注水算法尋找潛在頭部所在的局部最大區域，進而完成行人檢測。在高稈作物收獲等高遮擋的農業場景中隱形行人探測問題，將傳感器平臺安放于離地較高的位置有利于提升檢測寬度和距離，那么在俯視角度下頭部相對于人體其他部位是更好的檢測目標。可以預見，行人頭部檢測方法可以在該領域中得到更多的應用。二是從遮擋物的角度出發，訓練特定分類器，盡可能地降低遮擋的影響來獲得行人位置。西班牙的Campos等［44］設計了一個三類支持向量機分類器來識別植物（玉米植株和雜草）、土壤和玉米地中的其他物體目標，特別是行人目標。支持向量機［45］是由Cortes和Vapnik在1995年提出的一種機器學習分類方法，不同的特征信息在分析和比較后將被作為分類器的描述符得以利用，與其他分類器相比降低了小樣本模型學習的難度，具有運算速度快且分類準確的特點。通過對單目彩色相機獲取的圖像進行處理驗證，采用三類SVM分類器進行目標識別，準確率可達94.3%。

2.2 基于深度學習的行人檢測算法

相較于費時費力的人工提取特征法，基于深度學習的目標檢測算法在執行效率、檢測精度上優勢明顯，所以用其來處理遮擋情況的研究不斷增加，但真正將此技術運用到農田場景中的還是少數。蔣浩［46］通過在玉米地、大豆地、小麥地中采集的測試集樣本，利用深度學習完成不同姿態的行人在部分遮擋的農田環境中的檢測，并通過設置不同的待檢目標安放距離來測試模型的檢測精度，分別確定了一種適用于移動端和云端障礙物檢測平臺的模型。李文濤等［8］以YOLOv3-tiny （You only look once version 3 tiny）為基礎框架，采用混合注意力機制中的多個模塊達到弱化背景強化目標，緩解了背景干擾和植被遮擋導致的目標漏檢問題，使其能夠滿足農機作業正常行進速度下對田間行人和農機障礙物實時檢測的需求。

相對于其他戶外場景，果園中有叢生的雜草、茂密的樹葉以及高大的果樹，使得對果園中的人進行檢測更具挑戰性。崔學智等［47］利用輕量級神經網絡對葡萄園田間障礙進行快速檢測，其中YOLOV3-tiny在既保證高精度的同時檢測速度又能達到最快，但資源占用較高。劉慧等［48］通過對單次多重檢測器（Singleshot multibox detector，SSD）模型進行改進優化，使其能夠更好地對不同運動狀態、不同姿態和遠近程度不同的果園行人進行檢測，但并未考慮遮擋問題的影響。Pezzementi等［49］利用在拖拉機頂部安裝的攝像頭采集不同姿態、不同程度遮擋的田間行人數據集，再利用用于城市行人檢測的三種CNN算法和一種改進算法對獲得的數據集進行處理，并對結果進行評估比較。結果顯示改進算法相比其他三種CNN算法檢測效果更好，說明即使在城市場景中已相對成熟的檢測算法也不能直接在戶外領域中應用。正如預期的那樣，檢測率隨著遮擋程度的增加而下降，以至于在重度遮擋情況下顯著下降。特別地，以一定速率在果園中移動的人相對于站立不動的人更容易被檢測到。

近年來由于圖像處理相關理論的快速發展及計算能力的提升，各類行人檢測算法在處理遮擋情況上都取得了較大的突破［48］。在自動駕駛產業蓬勃發展的帶動下，基于結構化道路環境的行人檢測研究成為熱點，也使得在這一領域的算法的更新優化和行人數據庫的建立足夠快。雖然人的外觀在城市和戶外農田環境中不會變化很大，但兩者周圍環境的外觀特征有明顯差異，會在一定程度上影響算法的辨別力和定位能力。另外對于遮擋情況，在城市環境中行人之間互相遮擋是主要的問題，而由于農田作業環境的特殊性，人員密集程度較低，遮擋情況主要發生在作物、雜草等其他對象對待檢行人的遮擋。這也使得來自城市領域的算法和數據集很難直接應用于戶外農田場景的檢測中。

3 存在問題

針對農田環境中各類障礙物的檢測的研究不在少數，但目前很多研究都只適用于簡單、空曠環境，而并未考慮農業機械穿越作業區時作物、其他作業機械等非障礙物對待檢目標的遮擋。國外一些學者嘗試在高草農場、果園和玉米田等場景中開展相關試驗研究，不過僅存在于理論階段，而國內對這個領域的研究還比較少，有待擴充。整體來說，近年來行人檢測技術的檢測速度和準確度都有很大提高，但是目前針對非結構化的農田作業區的感知技術還需加強，尚有諸多問題亟待解決。

3.1 單一傳感器存在應用局限

不同傳感器技術存在各自的特性，對于遮擋問題的處理能力和在農田環境的適用性也不同。超聲波傳感器探測速度快、成本低，但檢測效果受物體表面類型影響大，另外由于超聲波對于多物體出現在視野內只報告近者，使其很難應用于存在遮擋的農田環境中進行行人檢測。雷達探測距離遠且受環境光變化的影響小，但獲得的信息較為單一，單獨使用時具有一定局限，不過搭配SVM分類器使用，可以處理一定程度的遮擋問題。機器視覺設備成本低、安裝加工靈活、適用性廣，但在數據處理上相對復雜，且受環境因素影響嚴重，農田環境中的光照變化和雨霧等天氣條件會對其產生較大影響。熱感成像技術可以幫助人類超越視覺局限，但探測距離有限，且受環境溫度影響大，不過對于存在遮擋的人畜檢測問題，熱成像設備目前仍是該研究領域最佳的設備選擇。

3.2 多傳感器融合技術研究不夠深入

如今國內外學者對于多傳感器融合在農業環境的應用研究逐漸增多，但想要解決存在遮擋情況的農田環境中的行人檢測問題，還需要更多的新的角度而不能只依靠簡單的設備組合。目前關于多傳感器技術結合方法的應用研究還不深入，大部分結合形式仍處于模擬試驗階段，另外加入新型設備的融合技術的穩定性問題仍需更多的嘗試和探索。

3.3 檢測算法對遮擋情況的處理優化效果有限

遮擋下的行人檢測算法可以對遮擋情況進行處理優化，但只能起到畫龍點睛的作用，面對嚴重遮擋的情況更是束手無策。另外，深度學習算法的檢測效果要視目標與訓練集相關程度而定，但目前針對農業環境的行人數據庫有限，導致研究人員在模型訓練階段需要花費大量時間和精力自行擴充訓練集。

4 展望

農業環境與城市駕駛環境有許多不同，即使城市行人檢測技術在越發成熟的城市規劃帶動下迅速進步，但在復雜的農田環境中想要實現行人檢測對其只能借鑒，不能照搬，尤其兩個領域在算法方面由于側重點大不同，需要具體問題具體分析，也需要更多針對農田場景的技術改進與創新。

4.1 采集信息的立體化和多樣化

隨著計算機計算力、數據處理能力的增強，可以在未來的研究中更多地加入深度、立體信息，例如引入TOF相機，它能夠提供場景各點的深度信息，有助于判斷待檢目標的形貌、距離等。再比如Kinect傳感器，它不僅可以通過RGB視覺傳感器獲取彩色圖像，還可以利用兩側的紅外傳感器獲取景深數據和紅外數據，對農田場景進行三維重建。

4.2 無人機輔助避障

相比利用傳統車載平臺搭載傳感器進行運動目標檢測，考慮使用農用無人機攜帶檢測設備保持與作業農機以相同的速率下前進，并在正前方獲取圖像等信息，不僅可以有更多的數據處理時間以及農機避障反應時間，而且可以削弱水平視角下作物的遮擋問題。

4.3 建立完整環境感知系統

本文主要針對田間行人的檢測，但是對于農田作業安全，對靜態障礙物、困難地形以及牲畜、其他農業設備等農田中的移動障礙的檢測也是必不可忽略的。另外對于農田環境的認識研究仍需進一步深入，包括行人在內的障礙物的檢測定位只是其中一環，對于搭建真正完整的系統尚需路徑規劃、車輛控制和避障策略的制定等部分。

參 考 文 獻

［1］ 李翠妮， 葛晶， 趙沙俊一. 人工智能、老齡化與經濟高質量發展［J］. 當代經濟科學， 2022， 44（1）： 77-91.

［2］ 芮挺， 費建超， 周遊， 等. 基于深度卷積神經網絡的行人檢測［J］. 計算機工程與應用， 2016， 52（13）： 162-166.

Rui Ting， Fei Jianchao， Zhou You， et al. Pedestrian detection based on deep convolutional neural network ［J］. Computer Engineering and Applications， 2016， 52（13）： 162-166.

［3］ Benenson R， Omran M， Hosang J， et al. Ten years of pedestrian detection， what have we learned？ ［C］. European Conference on Computer Vision. Springer， Cham， 2014： 613-627.

［4］ Xiao Y， Zhou K， Cui G， et al. Deep learning for occluded and multiscale pedestrian detection： A review ［J］. IET Image Processing， 2021， 15（2）： 286-301.

［5］ Tabor T， Pezzementi Z， Vallespi C， et al. People in the weeds： Pedestrian detection goes off-road ［C］. 2015 IEEE International Symposium on Safety， Security， and Rescue Robotics （SSRR）. IEEE， 2015： 1-7.

［6］ 郭烈， 王榮本， 顧柏園， 等. 世界智能車輛行人檢測技術綜述［J］. 公路交通科技， 2005（11）： 137-141.

Guo Lie， Wang Rongben， Gu Baiyuan， et al. Overview of worldwide intelligent vehicle pedestrian detection technology ［J］. Journal of Highway and Transportation Research and Development， 2005（11）： 137-141.

［7］ 羅錫文， 廖娟， 胡煉， 等. 我國智能農機的研究進展與無人農場的實踐［J］. 華南農業大學學報， 2021， 42（6）： 8-17， 5.

Luo Xiwen， Liao Juan， Hu Lian， et al. Research progress of intelligent agricultural machinery and practice of unmanned farm in China ［J］. Journal of South China Agricultural University， 2021， 42（6）： 8-17， 5.

［8］ 李文濤， 張巖， 莫錦秋， 等. 基于改進YOLOv3-tiny的田間行人與農機障礙物檢測［J］. 農業機械學報， 2020， 51（S1）： 1-8， 33.

Li Wentao， Zhang Yan， Mo Jinqiu， et al. Detection of pedestrian and agricultural vehicles in field based on improved YOLOv3-tiny ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（S1）： 1-8， 33.

［9］ Guo L， Zhang Q， Han S. Agricultural machinery safety alert system using ultrasonic sensors ［J］. Journal of Agricultural Safety and Health， 2002， 8（4）： 385-96.

［10］ 何勇， 蔣浩， 方慧， 等.車輛智能障礙物檢測方法及其農業應用研究進展［J］. 農業工程學報， 2018， 34（9）： 21-32.

He Yong， Jiang Hao， Fang Hui， et al. Research progress of intelligent obstacle detection methods of vehicles and their application on agriculture ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（9）： 21-32.

［11］ Koyama S， Okubo K， Tagawa N. Performance comparison of signal coding method in acoustic sensing for occlusion area using super-directional sound source ［C］. 2019 IEEE International Ultrasonics Symposium （IUS）. IEEE， 2019： 603-606.

［12］ Dvorak J S， Stone M L， Self K P. Object detection for agricultural and construction environments using an ultrasonic sensor ［J］. Journal of Agricultural Safety and Health， 2016， 22（2）： 107-119.

［13］ 李洋. 智能車輛障礙物檢測技術綜述［J］. 大眾科技， 2019， 21（6）： 65-68.

Li Yang. Overview of obstacle detection technology for intelligent vehicles ［J］. Popular Science & Technology， 2019， 21（6）： 65-68.

［14］ Pan S， Xie Y， Chen K， et al. Obstacle tracking based on the extended kalman filter and millimeter-wave radar ［C］. 2022 7th International Conference on Intelligent Computing and Signal Processing （ICSP）. IEEE， 2022： 1770-1775.

［15］ Doerr Z J L， Lagu C. Evaluating the ability to detect foreign objects in crops using laser range scanners mounted on agricultural vehicles ［C］. 2009 Reno， Nevada， June 21-June 24， 2009. American Society of Agricultural and Biological Engineers， 2009： 1.

［16］ 張明宇， 齊瑞鋒， 王強， 等. 噴桿機械臂障礙物檢測系統設計與性能測試［J］. 中國農業信息， 2021， 33（2）： 49-56.

Zhang Mingyu， Qi Ruifeng， Wang Qiang， et al. Design and performance test of obstacle detection system for boom manipulator ［J］. China Agricultural Informatics， 2021， 33（2）： 49-56.

［17］ Kragh M， Jrgensen R N， Pedersen H. Object detection and terrain classification in agricultural fields using 3D lidar data ［C］. International Conference on Computer Vision Systems. Springer， Cham， 2015： 188-197.

［18］ Xu H， Li S， Ji Y， et al. Dynamic obstacle detection based on panoramic vision in the moving state of agricultural machineries ［J］. Computers and Electronics in Agriculture， 2021， 184.

［19］ 張磊， 王書茂， 陳兵旗， 等. 基于雙目視覺的農田障礙物檢測［J］. 中國農業大學學報， 2007（4）： 70-74.

Zhang Lei， Wang Shumao， Chen Bingqi， et al. Detection of obstacles in farmland based on binocular vision ［J］. Journal of China Agricultural University， 2007（4）： 70-74.

［20］ 魏建勝， 潘樹國， 田光兆， 等. 農業車輛雙目視覺障礙物感知系統設計與試驗［J］. 農業工程學報， 2021， 37（9）： 55-63.

Wei Jiansheng， Pan Shuguo， Tian Guangzhao， et al. Design and experiments of the binocular visual obstacle perception system for agricultural vehicles ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（9）： 55-63.

［21］ 吳迪. 基于紅外圖像的行人檢測算法研究［D］. 西安： 中國科學院大學（中國科學院西安光學精密機械研究所）， 2017.

Wu Di. Research on the algorithm of pedestrian detection based on infrared images ［D］. Xian： Xian Institute of Optics & Precision Mechanics， Chinese Academy of Sciences， 2017.

［22］ Wei W， Cheng L， Xia Y， et al. Occluded pedestrian detection based on depth vision significance in biomimetic binocular ［J］. IEEE Sensors Journal， 2019， 19（23）： 11469-11474.

［23］ 韓永華， 汪亞明， 康鋒， 等. 基于小波多分辨率分解的農田障礙物檢測［J］. 農業機械學報， 2013， 44（6）： 215-221.

Han Yonghua， Wang Yaming， Kang Feng， et al. Detection of obstacles in farmland based on wavelet multi-resolution transform ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2013， 44（6）： 215-221.

［24］ Gade R， Moeslund T B. Thermal cameras and applications： A survey ［J］. Machine Vision and Applications， 2014， 25（1）： 245-262.

［25］ 孫曉剛， 李云紅. 紅外熱像儀測溫技術發展綜述［J］. 激光與紅外， 2008（2）： 101-104.

Sun Xiaogang， Li Yunhong. Review of the development of temperature measurement technology with infrared thermal imager ［J］. Laser & Infrared， 2008（2）： 101-104.

［26］ 伍利兵， 陳朝方， 林國生， 等. 紅外熱成像技術在安全檢測領域的應用現狀［J］. 品牌與標準化， 2021（4）： 97-100.

Wu Libing， Chen Chaofang， Lin Guosheng， et al. Application status of infrared thermal imaging technology in the field of safety inspection ［J］. Brand & Standardization， 2021（4）： 97-100.

［27］ 鄧連軍， 王沖， 雷克輝， 等. 紅外熱成像掃描技術在原油儲罐油泥測量中的應用［J］. 清洗世界， 2020（6）： 15-16， 52.

［28］ 陳紅強. 非接觸式紅外熱成像測溫技術探析［J］. 中國安全防范技術與應用， 2020（4）： 14-18.

［29］ Yeom S. Moving people tracking and false track removing with infrared thermal imaging by a multirotor ［J］. Drones， 2021， 5（3）： 65.

［30］ Steen K A， Villa-Henriksen A， Therkildsen O R， et al. Automatic detection of animals in mowing operations using thermal cameras ［J］. Sensors， 2012， 12（6）： 7587-7597.

［31］ Christiansen P， Kragh M， Steen K A， et al. Platform for evaluating sensors and human detection in autonomous mowing operations ［J］. Precision Agriculture， 2017， 18（3）： 350-365.

［32］ 孔微雨. 基于多源信息的拖拉機安全預警及避障系統研究［D］. 西北農林科技大學， 2021.

Kong Weiyu. Safety warning and obstacles avoidance system of tractor using multi-information ［D］. Northwest A & F University， 2021.

［33］ 蘭玉彬， 王林琳， 張亞莉. 農用無人機避障技術的應用現狀及展望［J］. 農業工程學報， 2018， 34（9）： 104-113.

Lan Yubin， Wang Linlin， Zhang Yali. Application and prospect on obstacle avoidance technology for agricultural UAV ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（9）： 104-113.

［34］ Wang Z， Miao X， Huang Z， et al. Research of target detection and classification techniques using millimeter-wave radar and vision sensors ［J］. Remote Sensing， 2021， 13（6）： 1064.

［35］ 薛金林， 董淑嫻， 范博文. 基于信息融合的農業自主車輛障礙物檢測方法［J］. 農業機械學報， 2018， 49（S1）： 29-34.

Xue Jinlin， Dong Shuxian， Fan Bowen. Detection of obstacles based on information fusion for autonomous agricultural vehicles ［J］.Transactions of the Chinese Society for Agricultural Machinery， 2018， 49（S1）： 29-34.

［36］ Moorehead S J， Wellington C K， Gilmore B J， et al. Automating orchards： A system of autonomous tractors for orchard maintenance ［C］. Proceedings of the IEEE international conference of intelligent robots and systems， workshop on agricultural robotics， 2012.

［37］ Benet B， Rousseau V， Lenain R. Fusion between a color camera and a TOF camera to improve traversability of agricultural vehicles ［C］. Conférence CIGR-AGENG 2016. The 6th International Workshop Applications of Computer Image Analysis and Spectroscopy in Agriculture. 2016： 8.

［38］ Reina G， Milella A， Rouveure R， et al. Ambient awareness for agricultural robotic vehicles ［J］. Biosystems Engineering， 2016， 146： 114-132.

［39］ 李柯泉， 陳燕， 劉佳晨， 等. 基于深度學習的目標檢測算法綜述［J］. 計算機工程， 2022， 48（7）： 1-12.

Li Kequan， Chen Yan， Liu Jiachen， et al. Survey of deep learning-based object detection algorithms ［J］. Computer Engineering， 2022， 48（7）： 1-12.

［40］ 方路平， 何杭江， 周國民. 目標檢測算法研究綜述［J］. 計算機工程與應用， 2018， 54（13）： 11-18， 33.

Fang Luping， He Hangjiang， Zhou Guomin. Research overview of object detection methods ［J］. Computer Engineering and Applications， 2018， 54（13）： 11-18， 33.

［41］ 陳寧， 李夢璐， 袁皓， 等. 遮擋情形下的行人檢測方法綜述［J］. 計算機工程與應用， 2020， 56（16）： 13-20.

Chen Ning， Li Menglu， Yuan Hao， et al. Review of pedestrian detection with occlusion ［J］. Computer Engineering and Applications， 2020， 56（16）： 13-20.

［42］ Chen S， Bremond F， Nguyen H， et al. Exploring depth information for head detection with depth images ［C］. 2016 13th IEEE International Conference on Advanced Video and Signal Based Surveillance （AVSS）. IEEE， 2016： 228-234.

［43］ 廖暢， 馬秀麗. 基于TOF相機的俯視行人檢測［J］. 電子測量技術， 2019， 42（6）： 104-108.

Liao Chang， Ma Xiuli. People detection under an overhead time-of-flight camera ［J］. Electronic Measurement Technology， 2019， 42（6）： 104-108.

［44］ Campos Y， Sossa H， Pajares G. Comparative analysis of texture descriptors in maize fields with plants， soil and object discrimination ［J］. Precision Agriculture， 2017， 18（5）： 717-735.

［45］ Cortes C， Vapnik V N. Support vector networks ［J］. Machine Learning， 1995， 20（3）： 273-297.

［46］ 蔣浩. 基于RTK技術的農業機械自動導航系統研究［D］. 杭州： 浙江大學， 2019.

Jiang Hao. Research on automatic navigation system of agricultural machinery based on RTK technology ［D］. Hangzhou： Zhejiang University， 2019.

［47］ 崔學智， 馮全， 王書志， 等. 邊緣設備上的葡萄園田間場景障礙檢測［J］. 中國農機化學報， 2021， 42（9）： 150-156.

Cui Xuezhi， Feng Quan， Wang Shuzhi， et al. Vineyard scene obstacle detection based on edge devices ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（9）： 150-156.

［48］ 劉慧， 張禮帥， 沈躍， 等. 基于改進SSD的果園行人實時檢測方法［J］. 農業機械學報， 2019， 50（4）： 29-35.

Liu Hui， Zhang Lishuai， Shen Yue， et al. Real-time pedestrian detection in orchard based on improved SSD ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2019， 50（4）： 29-35.

［49］ Pezzementi Z， Tabor T， Hu P， et al. Comparing apples and oranges： Off-road pedestrian detection on the national robotics engineering center agricultural person-detection dataset ［J］. Journal of Field Robotics， 2018， 35（4）： 545-563.