死雞識別機器人系統設計與試驗*

姜來，王文娣，2，3，霍曉靜，2，3，王輝，2，3，唐娟，2，3，李麗華，2，3

(1. 河北農業大學機電工程學院,河北保定,071000; 2. 農業農村部肉蛋雞養殖設施工程重點實驗室,河北保定,071001; 3. 河北省畜禽養殖智能裝備與新能源利用重點實驗室,河北保定,071001)

0 引言

目前,國內外大部分禽畜養殖場基本已實現了自動上料、自動給水和環境調控等自動化養殖模式[1-2]。但籠內死雞識別工作主要仍采用人工作業方式,存在作業效率低、勞動強度大、養殖成本高等弊端[3]。因此,開展籠內死雞識別機器人系統研究是家禽養殖業內的重中之重[4-5]。

機器人在實際生活中的應用大大改善了勞動力短缺的現狀,它們既可代替人們完成危害人體健康的工作,又能降低生產成本,節約能源[6]。隨著畜禽養殖業的不斷發展壯大,養殖場的工作強度與工作環境也隨之改變,使機器人有了更廣大的應用與發展空間[7]。馮青春等[8]研究了一款畜禽防疫消毒機器人,該機器人既能自主移動又能進行遙控操作,藥液噴嘴噴藥流量最大可達400 mL/min,霧滴直徑最大達137.23 um,可實現舍內消毒和免疫藥液的智能噴灑。Liu等[9]研制了一種針對平養模型下蛋雞的舍內死雞自動清除機器人,該機器人采用履帶式行走方式,一次最多能清掃兩只死雞,且識別精度高達95.24%。李騰飛[10]基于規?；半u籠養模式,設計了一種蛋雞健康行為檢測機器人,試驗表明該機器人定位精度可達到16 mm,死雞識別率達到87.5%,但該機器人采用可視攝像頭,不適用于亮度較暗的養殖場,且當有光照影響時成功率較低僅為4.69%。

與蛋雞相比,肉雞生長速度快且養殖密度大,羽毛覆蓋不均勻,導致死雞檢測難度較大,且目前未見有關肉雞識別機器人研究的相關報道。與可視攝像頭相比,紅外攝像頭可以應用在特殊的光照條件下,探測能力強[11-13],適用范圍更廣。且紅外熱成像目前也已廣泛地應用在畜禽養殖中,部分國外學者利用熱成像技術來預測豬只感興趣區域體表平均溫度,利用此平均溫度結合實際豬只狀態判斷豬只狀態,研究結果表明此方法的檢測精度為85%,靈敏度指標為86%。本研究以層疊式籠養肉雞為研究對象,基于機器人技術、紅外熱成像技術及圖像處理技術開發了一款死雞識別機器人系統,對機器人構成及其作業原理進行了介紹,對機器人的檢測性能進行現場試驗測試,并對結果進行分析。

1 死雞識別機器人系統介紹

1.1 機器人系統構成

死雞識別機器人系統結構如圖1所示,總體長度為74 cm、寬度為56 cm、高度為139 cm。機器人箱體用來放置筆記本及電源等設備,采用筆記本電腦來實時顯示機器人處理圖像的效果。行走方式采用的輪式結構可降低巡檢時產生的噪聲,減緩對肉雞干擾,以免造成雞只的應激反應。裝配上下兩個紅外熱成像攝像頭,可同時檢測上下兩層雞籠。配備了循跡裝置,可根據電磁及紅外傳感器自動尋找任務點。配備蓄電池和逆變器可為筆記本電腦、控制器及紅外模塊供電。

圖1 死雞識別機器人系統主體結構圖

1.2 機器人作業原理

死雞識別機器人系統是由死雞識別算法和系統硬件平臺兩部分結合而成。死雞識別機器人系統工作原理見圖2。系統硬件平臺主要負責獲取目標紅外圖像,搭載死雞識別算法,完成目標檢測任務。紅外圖像由紅外探測傳感器根據檢測到的物體熱輻射能量獲得,機器人自主移動靠嵌入式處理器通過處理接收到的電磁信號和光電信號來控制。死雞識別機器人按照鋪設好的電磁軌跡進行巡檢,當到達需要進行檢測的工作位置時,控制器會收到紅外傳感器產生的感應信號,然后控制底盤停止并對當前雞籠進行檢查,檢查完畢后,控制器會根據識別結果進行下一步命令的發出,如若此雞籠存在死雞則會通過通信模塊將結果傳輸給終端,然后繼續進行下一個雞籠的巡檢,如若不存在死雞則直接進行下一個雞籠的巡檢。

圖2 死雞識別機器人工作原理

1.3 機器人總體設計

死雞識別機器人系統軟件結構如圖3所示,具體分為初始化配置模塊、數據采集與處理模塊、機器人運動控制模塊和結果處理模塊。初始化配置模塊用來加載函數庫、初始化相關程序等;數據采集與處理模塊用來對識別目標的圖像采集、儲存及運行死雞識別算法對目標狀態進行判斷;機器人運動控制模塊負責機器人移動尋找檢測點,到達檢測點后開始檢測,檢測完畢后繼續移動;結果處理模塊負責對檢測結果的實時顯示與遠程預警。

圖3 系統軟件功能結構圖

系統硬件結構如圖4所示。

圖4 系統硬件結構圖

由圖4可知,系統硬件主要由視覺模塊、信息處理模塊、底盤控制模塊組成,各個模塊主要組成及功能如下。

1) 視覺模塊:主要由紅外攝像頭、升降桿及角度調節裝置組成。紅外攝像頭相當于死雞識別機器人系統的眼睛,負責獲取被檢測雞籠的紅外圖像,并傳輸給控制器。升降桿及角度調節裝置負責根據雞籠規格不同對紅外攝像頭的高度及角度進行調節,使其獲取更高質量的紅外圖像,便于后續處理及分析。

2) 信息處理模塊:由OpenMV4嵌入式控制器組成,是死雞識別機器人系統的大腦。既要用來對紅外攝像頭、電磁傳感器等相關設備的數據解析,又要對紅外圖像進行分析與處理、同時又是底盤運動的控制中心。

3) 底盤控制模塊:底盤控制模塊主要由電機驅動器、紅外傳感器、電磁循跡裝置等組成,電機驅動器主要功能為根據處理器發出的信號控制底盤運動,紅外傳感器接收負責控制底盤停止的信號,電磁循跡裝置負責使移動底盤按照規定路線進行巡檢。

4) 顯示模塊:顯示模塊由筆記本電腦、WiFi模塊及路由器組成。筆記本電腦負責現場觀察識別結果及修改系統參數等,WiFi模塊及路由器負責將識別結果告知養殖場巡檢人員。

5) 電源模塊:電源模塊主要由兩塊12 V蓄電池,12～220 V逆變器及插排組成。主要用來給整個系統供電。

1.4 系統硬件設計

1.4.1 移動地盤選取

移動平臺是巡檢系統的關鍵部件。試驗中采用輪式底盤作為死雞識別機器人系統的移動平臺,使得機身移動起來更加輕便,轉彎更加靈活,方便在空間狹小的養雞舍內進行作業。通過對系統所應用環境及所需求功能進行分析,最終選擇TRACER移動機器人底盤,是一款采用模塊化、智能化的設計理念的多功能模塊化的行業應用移動機器人開發平臺,具有強大載荷能力和強勁動力系統的它有廣泛的應用領域。TRACER移動底盤長寬高分別為685 mm、570 mm和155 mm,各輪采用獨立驅動,采用兩輪差速轉向,能夠在養殖場內能夠靈活移動。

1.4.2 紅外攝像頭選取

紅外攝像頭的好壞會直接影響到死雞識別機器人系統的檢測精度。綜合考慮了像素尺寸、鏡頭焦距和測溫性能三個參數指標后,最終選用高分辨率紅外熱成像模塊Lepton3.5作為紅外攝像頭,具有體積小、功能強和易于集成等優點。Lepton3.5的像素尺寸為12 μm,分辨率為160像素×120像素,溫度分辨率為0.05 ℃,均滿足本設計要求。

1.4.3 嵌入式微處理器選取

嵌入式微處理器的好壞直接關系到整個系統的性能,主要用來計算和控制整個系統。根據系統需求,包括接收并處理紅外熱成像、控制底盤運動和利用WiFi模塊進行信息回傳等功能,選用OpenMV4作為系統的核心控制器。該控制器以STM32H7為核心處理器,擁有480 MHz主頻,1MB RAM,2MB flash等優良性能。該控制器還支持大量數據接口,如USB接口、SPI總線、普通IO接口等,可滿足本系統所有需求。

1) 通信模塊。由于機器人在工作中是不斷移動的,使用有線通信會受到較大限制,故而選擇無線通信,選擇WiFi模塊ESP8266作為通信模塊。

2) 電磁感應模塊。為了使系統能夠自主行走,使用電磁導航作為巡檢方式,型號為MLSE-0500A2NP0。

2 死雞識別算法設計

2.1 死雞識別算法概述

肉雞的紅外圖像中活雞與周圍背景有明顯的顏色區分,因而可以考慮通過圖像處理方法檢測圖像中活雞數量,再與籠內實際數目做比較,以此判斷籠內是否存在死雞。死雞識別算法流程見圖5。

利用圖像處理方法對紅外圖像中雞只進行分割提取,然后確定此區域最大溫度,通過此溫度與閾值進行比較從而確定籠內活雞數量。溫度閾值根據對多幅活雞及死雞紅外圖像進行溫度提取與分析確定。若算法得出的活雞數目與籠內雞只總數相同,則表明籠內不存在死雞,相反則表明籠內存在死雞。

2.2 基于Otsu算法的圖像分割

傳統閾值分割算法有最大類間方差法(Otsu法)、最小誤差法、最大熵法等[14-15]。其中,Otsu法是一種經典的全局、非參數、無監督自適應閾值選取方法,且目前已經被廣泛應用于禽畜檢測領域[16-17]。此種方法計算簡單,是圖像分割中閾值選取的最佳算法,且在一定條件下最大類間方差法可不受圖像對比度與亮度變化的影響。因此本文選用此方法對雞頭進行提取,具體實現過程如下。

假設存在一個閾值TH將整個圖像的像素分為小于TH的C1和大于TH的C2兩類,各自均值為m1和m2,全局均值為mG,C1和C2所占概率分別為P1和P2,建立關系如式(1)和式(2)所示。

P1×m1+P2×m2=mG

(1)

P1+P2=1

(2)

根據方差的概念,類方差公式如式(3)所示。

清水磚：整體墻面砂灰抹面，涂料或者真石漆飾面，墻角采用灰色涂料或者真石漆做500高外飾面，墻脊掛灰色小青瓦；

σ2=P1(m1-mG)2+P2(m2-mG)2

(3)

將式(1)代入式(3)推出類間方差公式,如式(4)所示。

σ2=P1×P2×(m1-m2)2

(4)

從0～255遍歷TH值,求使σ2最大的TH值即為閾值。

依據上述所述,使用Otsu法閾值分割前后圖像對比見圖6,圖6(a)里面共有三只活雞一只死雞,根據圖6(b)分割結果可以看出主要的分割噪聲來自他籠雞只,但與分割目標相比噪聲面積較小,故而接下來可以考慮根據面積大小來消除噪聲。

(a) 白羽肉雞紅外圖像原圖

2.3 圖像去噪與最大溫度提取

經過閾值分割之后,可明顯看出待檢測目標已與背景進行了分離。但是仍然有一些殘留區域存在,這些殘留區域主要包括其他籠中肉雞,或者剛死亡不久后的肉雞。為減少殘留區域對圖像處理的影響,采用開操作將小面積區域進行去除。經過大量的圖片測試,確定去除區域面積的閾值,處理后得到的結果見圖7。

(a) 閾值分割后二值圖像

紅外熱像儀拍攝的圖像分辨率為320像素×240像素,圖像中每個像素點在對應的CSV文件中對應著一個溫度數據,即一副圖像中存在320×240個溫度數據,獲取像素點的橫縱坐標便可獲取此像素點的溫度數據。確定經過閾值分割及去噪處理后的雞只位置,使用矩形框對其進行選取,調整輸出結果獲取矩形框左上角和右下角的坐標和矩形框的長度與寬度,從對應位置的溫度矩陣中提取該區域的最高溫度。通過對紅外圖像中雞只最大溫度進行分析,從而確定雞只狀態的溫度閾值?；铍u數量確認圖像分割后雞只數量計算與最大溫度提取結果圖像見圖8。

(a) 原始圖像

3 現場測試試驗

為驗證死雞識別機器人識別性能,課題組于2021年9月在河北省保定市定興縣玖興肉雞養殖場下的規?；瘜盈B式籠養肉雞舍進行現場試驗。

3.1 試驗材料

試驗器材有死雞識別機器人、筆記本電腦、電磁導軌、量角器、卷尺。試驗對象為35日齡籠養羅斯308白羽肉雞。養殖場采用六列籠具四通道的布局方式,所用籠具均為二層層疊式結構,整個雞場大小為113.2 m×12.54 m;通道寬度從左到右分別為1.47 m、1.80 m、1.80 m及1.47 m,籠具首端離墻距離為2.6 m,末端離墻2.30 m;每個籠具空間尺寸(長×寬×高)為102 cm×73 cm×40 cm。

3.2 試驗方法

據測量,紅外熱成像模塊的視野范圍大概為0.25 m2,根據肉雞養殖密度15只/m2,選取3～4只雞進行試驗。按照活雞死雞數量為3∶0、3∶1、4∶0及4∶1分為四組,機器人同時對上下兩層雞籠進行處理,每組重復做20次試驗。試驗籠具為在原籠具基礎上中間使用鐵網進行阻隔重新劃分為0.25 m2的新雞籠,具體試驗方法與步驟如下:(1)將死雞識別機器人放到劃分后的待試驗籠具正中間位置,根據獲取的紅外圖像,對紅外攝像頭高度、角度及距雞籠距離進行調整。(2)按照步驟1確定的死雞識別系統距雞籠位置,布置電磁軌道,并在正對著試驗雞籠中間位置軌道上鋪設黑色橫條。以便死雞識別系統檢測到橫條位置后進行后續操作。(3)將機器人放置于電磁軌道上,使軌道正對電磁信號接收裝置的中間,啟動系統,使系統進行運行狀態開始進行圖像采集及處理分析。(4)當前試驗雞籠處理完成后,沿著電磁軌道移動到下一個籠具前繼續進行處理與分析。

3.3 試驗結果

按照試驗方法,首先對攝像頭高度及角度進行調節,攝像頭角度確定為105.9°,底層攝像頭高度為73 cm,上層攝像頭高度為126 cm。死雞識別機器人對雞只進行識別的結果如表1所示。死雞識別機器人對不同層雞籠的識別率結果如表2所示。

表1 死雞識別機器人識別性能試驗統計Tab. 1 Recognition performance test statistics of dead chicken recognition robot

表2 死雞識別機器人識別性能試驗總體統計Tab. 2 Overall statistics of the overall recognition performance test of the dead chicken recognition robot

從表2可以看出,機器人在針對上層雞籠內的籠養肉雞識別率高于下層雞籠,且針對存在3只肉雞的識別率高于4只的識別率;上層2只活雞1只死雞的識別率最高,達到88.0%,下層的4只活雞識別率最低,為70.0%?？芍?當籠內肉雞數量越多時,機器人識別率越低:造成識別率低的主要原因是雞只容易互相遮擋,導致分割困難,會出現兩只雞被誤認為一只的情況。綜合來看,機器人在針對雙層籠養肉雞的平均識別率能達到80.0%,表明機器人的識別效果較好。

死雞識別機器人系統死雞識別效果展示見圖9。如圖9(a)所示,籠中共存在3只活雞1只死雞,系統成功將三只活雞識別并提取了其最大溫度,經過運算后得出此籠內有死雞結果。如圖9(b)所示,籠中存在2只活雞1只死雞,經過運算后系統成功得出籠內有死雞結果。如圖9(c)所示為機器人死雞識別失敗的典型情況,圖9(c)中由于右下角雞只溫度較低,機器人未將其成功分割出來,導致識別失敗,得出籠內存在2只死雞1只活雞的結果。如圖9(d)所示,由于雞只重疊嚴重,在圖像分割時未將左側兩只雞成功分割,得出籠中存在1只死雞的錯誤識別結果,實際籠中不存在死雞。

(a) 識別成功樣例

4 討論

近年來,畜禽養殖逐漸向規?；图s化方向發展,大部分肉雞養殖場已經通過傳輸帶、飼料車及補水裝置、溫濕度傳感器等方式實現了自動飼養、清糞和環境控制,大大增加了生產效率。但是在病死雞巡檢工作上,目前還是采用人工作業方式,不利于養殖業向智能化的方向發展。為了解決這些問題,設計了基于圖像處理技術的死雞識別機器人,通過算法設計及軟硬件開發,實現了籠養環境下死雞自動識別功能。

目前,已有大量研究證明采用圖像處理技術來判斷雞只健康狀態是一種有效的方法[10, 18-21]。瞿子淇[18]通過圖像處理方法提取蛋雞形狀特征對活雞死雞進行分類,試驗表明該死雞檢測方法具有較高的準確率。李亞碩等[21]運用數理統計分析健康雞與病雞的雞冠顏色特征差異以此判斷雞只是否生病,在檢測雞冠顏色時同樣用到圖像處理等技術。以上研究以圖像處理技術為依托、以蛋雞和可視圖像為研究對象,設計了不同的死雞識別算法,得到了較好的識別效果。

本研究死雞識別機器人在肉雞養殖場初步應用顯示,針對上層雞籠死雞識別率為83.0%,下層雞籠的死雞識別率為77.0%,整體識別率為80.0%。結果顯示上層雞籠內的死雞識別率高于下層雞籠:主要原因可能是下層攝像頭高度及角度位置不佳,下層籠在底層,攝像頭位置調得太高,一部分視野會被上層籠遮擋。后續可對機器人的整體結構進行優化,使上下兩層攝像頭都能保持最佳角度與高度拍攝。其次可能是因上下層雞籠距地面高度不同,下層溫度較上層溫度低,在紅外圖像中雞只與周圍環境差異不如上層大,因而分割效果不如上層好,從而導致識別率略低于上層。與采用可視圖像的死雞識別機器人[10]相比,本研究采用紅外攝像頭,可在應用時不受雞舍環境光照亮度以及不同籠層光照亮度差異的影響。但圖像質量不如可視圖像好,具備的細節較少、可提取的特征較少。后續研究中可針對這些存在的問題繼續優化死雞識別算法,可采用深度學習算法代替傳統圖像處理方法檢測目標區域再提取溫度,也可對圖像處理基本方法展開研究,使其在紅外圖像上的應用效果更好,最終提高死雞識別機器人的應用效率和推廣價值。

5 結論

為促進家禽養殖業向全自動化和智能化邁進,同時加快農業機器人走出試驗室的進程,本文對規?；B雞場內死雞的自動識別問題展開了研究。

1) 首先利用Ostu算法將圖像中的雞只與背景進行分割,通過與操作去除面積較小的噪聲,然后通過坐標搜尋獲取各雞只的最大溫度,以此溫度與閾值進行比較從而確定籠內活雞數量。若得出的活雞數目與籠內雞只總數相同,則表明籠內不存在死雞,相反則表明籠內存在死雞。

2) 對視覺模塊、信息處理模塊、底盤控制模塊和電源四大模塊進行設計,并對移動底盤、紅外熱成像模塊、嵌入式處理器等系統硬件選取及集成開發。

3) 對死雞識別機器人進行了現場試驗,對上層雞籠死雞識別率為83.0%,對下層雞籠的死雞識別率為77.0%,整體識別率為80.0%,識別率較高,可初步代替人工進行舍內死雞巡檢,為規模化養殖場死雞自動識別工作提供了研究基礎。