基于點云語義分割的豬只體尺測量方法研究

耿艷利 季燕凱 岳曉東 付艷芳

(1.河北工業大學人工智能與數據科學學院, 天津 300130;2.智能康復裝置與檢測技術教育部工程研究中心, 天津 300130; 3.河北省畜牧總站, 石家莊 050035)

0 引言

我國是世界上最大的豬肉生產國和消費國[1],為了高效地發展我國生豬養殖行業,“十四五”畜牧發展規劃提出到2025年,大幅推進全國生豬養殖行業現代化建設[2]。現代化養殖育種離不開精準的數據[3],而豬只體尺參數的測量在豬的科學養殖中占有關鍵地位。生豬的體尺參數是生豬生長情況的重要評判指標,傳統的豬只體尺參數采集需要人與豬直接接觸[4],容易導致豬只出現應激反應,甚至導致豬只死亡。在體尺測量過程中,使用非接觸設備測量可以有效避免豬只應激,并且有效解決傳統測量方法的效率、精度和動物福利問題[5-7]。

近幾年,為了解決非接觸式測量問題,研究者研究了機器視覺[8-10]測量動物的方法[11-13]。司永勝等[14]利用最小外接矩形對豬只背部圖像中的姿態進行調整,利用豬背實現體尺測量。馬學磊等[15]通過法向量特征實現羊體點云分割,利用手工選點測量羊體體尺。張馨月等[16]應用主成分分析法對提取出的奶牛背部點云進行基于法矢量與曲率相結合的精簡操作,完整保留了奶牛背脊點和邊緣特征點。王可等[17]利用地面法向量結合主成分分析法矯正豬只點云坐標,便于豬只測點的選取與測量。WANG等[18]提出了一種基于豬腿部形狀約束的體尺測點定位方法,并根據測點間距自動計算相應體尺,無需人工定位體尺測點,平均誤差為7.73%。LI等[19]利用龍門架安裝5個深度相機,對采集的點云預處理、配準和三維重建并測量體尺參數,計算出體尺和體寬的最大誤差為20 mm。趙宇亮等[20]利用深度學習模型在豬背圖像上檢測身體測量的關鍵點,為動物體尺測量提供了新思路。

綜上所述,利用相機俯視拍攝動物背部的彩色圖與深度圖數據測量方法,只能獲取長度與寬度信息,無法測量圍度信息。利用動物三維點云數據進行測量,由于身體結構復雜,部分測點特征相似,測點選取難度大,多數為手動交互式選點測量。為了實現自動測量豬只體尺,借鑒語義分割[21]模型,本文提出一種融合注意力機制的點云語義分割豬只體尺測量方法,將豬只分為頭部、肩部、腹部、臀部4部分,對帶有語義標簽的點云數據分別設計測量方法,以實現豬只體尺自動測量。

1 材料與方法

1.1 豬只點云采集平臺搭建

豬只點云數據采集平臺結構示意圖如圖1所示,豬只在進食時無大幅度運動,體態相對穩定,利于豬只點云數據的采集,因此模擬豬只進食情況,在實驗室中設計搭建豬只點云采集平臺。該平臺主要由點云數據采集單元、耳標觸發單元、采集通道和上位機組成。點云數據采集單元選用KinectV2相機,其主要由RGB攝像頭(分辨率1 920像素×1 080像素)、深度傳感器(分辨率為512像素×424像素)和紅外發射器等組成,深度檢測范圍為0.5～4.5 m,視場70°×60°。耳標觸發單元采用無線射頻識別裝置KLM900,射頻范圍為0～0.8 m,采樣頻率50 幀/s。采集通道長1.6 m,寬0.9 m,相機對稱放置在通道兩側,高度為0.8 m,水平相距1.2 m,與地面水平夾角35°～40°。當豬只進入采集通道時,無線射頻識別裝置識別豬只身份信息傳輸給上位機并且觸發相機采集5幀數據,觸發最小間隔設置為10 s。

圖1 豬只點云信息采集平臺

1.2 豬只點云數據采集

試驗數據分兩次采集,2020年12月22—27日于滄州市東辛莊某養殖場和2022年12月14—20日于山西省沁源縣某養殖場采集豬只點云,品種為大約克夏豬,日齡80～110 d。如圖2所示,在豬舍的水嘴處設置鐵絲網,通道僅允許單只豬通過,同實驗室放置條件一樣,將KinectV2相機安裝在通道兩側。兩次分別采集56、15頭豬,共71頭,3 510個點云數據。使用Matlab自帶的Stereo Camera Calibrator程序完成兩個相機外參數標定,通過輸出外參數系數完成2個相機所拍攝的點云拼接。

圖2 養殖場豬只點云采集

1.3 豬只點云預處理

當采集通道固定時,豬只所在范圍也是相對固定的。為了方便后續對豬只點云進行分割與測量,需要提取完整的豬只點云。對拍攝點云進行預處理:

(1)豬只點云粗濾波獲取豬只點云區域。兩相機拼接完成后的點云數據中,如圖3a所示,只有豬只所在的部分點云需要進行后續處理,該部分點云與相機的相對位置基本固定,本文使用直通濾波器在坐標軸上設定閾值,去除閾值之外的無關點云,快速獲取豬只區域點云,如圖3b所示。

圖3 豬只點云預處理

(2)基于隨機采樣一致性算法去除地面點云。地面點云會對后續處理造成不利影響,因此通過隨機采樣一致性算法去除點云中的地面部分。具體操作為在點云中任意取3個點,計算其對應的平面方程為

ax+by+cz+d=0

(1)

式中a、b、c、d——平面方程系數

x、y、z——點云坐標值

計算所有點至該平面的代數距離為

di=|axi+byi+czi+d|

(2)

式中di——距離i——點序號

xi、yi、zi——任意一點的坐標值

選取閾值dmax,若di≤dmax,則該點被認為是該平面的點,否則為平面外的點。重復以上步驟,設置最大迭代次數N,得到平面點數最多的面,然后將其刪除掉,達到去除平面的效果,如圖3c所示。

(3)基于統計濾波器去除離群點:豬只點云中的離群點會對體尺測量造成巨大的影響,使用統計濾波器將游離在豬體外的點去除。首先對每個點的鄰域進行統計分析,將點云中所有的距離假設構成高斯分布,其形狀由均值μ和標準差σ決定,設點云中的第n個點坐標為Pn(Xn,Yn,Zn),該點到任意一點Pm(Xm,Ym,Zm)的距離Si為

(3)

計算遍歷每個點到任意點之間距離的平均值μ和標準差σ為

(4)

(5)

式中n——點云總數

當某點臨近K個點的平均距離在標準范圍(μ-xσ,μ+xσ)內則保留該點,不在該范圍內定義為離群點刪除,如圖3d所示。

(4)基于體素下采樣的點云精簡。豬只點云點數龐大,嚴重影響后續分割的處理速度。為了提升后續處理速度且保留更多的特征信息,對豬只點云進行體素網格下采樣處理。計算點云的包圍盒,將包圍盒離散成小體素。設置體素大小為1 mm,獲取落在每個體素中的點集,在每個體素中取一個采樣點代替原來的點集,如圖3e所示。

1.4 融合注意力機制的豬只點云語義分割

1.4.1自注意力模塊

自注意力機制可以依據目標去關注輸入信息的部分細節,挖掘更深層次的語義特征。自注意力機制首先通過卷積將輸入特征X線性映射為query(查詢矩陣)、key(鍵矩陣)和value(值矩陣)3個分支,先將query與key進行點積得到對應的權重, 隨后利用 Softmax 函數進行歸一化處理,最后通過加權求和得到注意力,具體計算公式為

(6)

式中Q——查詢矩陣dk——維數

K——鍵矩陣V——值矩陣

A——輸入矩陣

WQ——Q的權重矩陣

WK——K的權重矩陣

WV——V的權重矩陣

經過上述過程,可以對當前點特征進行更新,有利于相同類別點云進行相互補充,加強點云特征學習,增強網絡魯棒性。

1.4.2融合注意力模塊

自注意力模塊能夠增強網絡對特征的感知和學習能力,豐富點的特征信息。本文設計的融合注意力模塊的語義分割網絡結構如圖4所示,該網絡的輸入是N個原始的點云數據,每個點云數據包含X、Y、Z、R、G、B共6個維度信息,之后每個點云數據與T-Net空間變換網絡進行乘積,使得點云旋轉到隱含的規范空間,得到更好進行特征提取的角度。空間變換網絡的輸出結果將作為多層感知器(Multi-layer perceptron, MLP)的輸入,以將點云數據升維至N×64,提取到點云高層次局部特征。高層語義特征將通過注意力模塊,以提取到關鍵的特征維度信息。注意力模塊輸出的數據通過多層感知器將數據的維度從64維擴大到1 024維,利用最大池化操作提取到點云的全局描述特征。此時點云的全局特征中忽略了局部信息的表達,將N×1 024全局特征信息與注意力模塊輸出的關鍵特征信息N×64拼接成N×1 088,以增強數據中包含的語義信息的豐富度,最終通過多層感知器將語義分割的結果輸出,得到分割后的豬只點云數據。

圖4 融合注意力模塊的語義分割網絡

1.5 體尺測量

鑒于豬只的體尺參數比較豐富,確定體長、體高、腹圍、肩寬、腹寬、臀寬6種能夠反映豬只體型特征的體尺參數。如圖5所示,人工測量標準如下:①體長:豬只耳根到尾根的水平距離。②體高:豬只耆點(一般為肩部最高點)和地面的垂直距離。③肩寬:肩部的最大寬度。④腹寬:豬只腹部的最大寬度。⑤臀寬:豬只臀部的最大寬度。⑥腹圍:豬只腹部的最大寬度處繞腹部一周的距離。根據實際人工測量方法結合豬只身體特點設計自動測量方法。

圖5 人工測量特征示意圖

1.5.1點云坐標系矯正

由于豬只點云在分割時利用了T-Net空間變換網絡,導致豬只實際坐標系與測量所需坐標系存在差異,故測量之前先對坐標系進行矯正[22]。首先對豬只點云做最小包圍長方體,根據豬只體尺特征,體長與長方體長度方向一致,體高與長方體高度方向一致 ,體寬與長方體寬度方向一致。利用長方體長、寬、高的方向與長方體中心,重新對豬只建立坐標系,完成坐標系矯正,如圖6所示。

圖6 坐標系矯正

1.5.2肩寬、腹寬、臀寬測量

手工測量豬只體尺時,選取肩部、腹部、臀部最突出的位置為肩寬、腹寬、臀寬的測量點,根據手工測量方法,設計豬只寬度測量方法。分別將語義分割后的肩部、腹部與臀部3部分做xoz面垂直投影,如圖7所示,其中x軸方向為體長方向,z軸方向為體寬方向。遍歷點云,分別計算每一部分沿z軸的最大值與最小值,確定兩點位置(x1,z1)、(x2,z2),計算兩點之間的距離為

圖7 不同寬度測量示意圖

(7)

式中d——相應語義分割后對應部位的寬度

1.5.3體長、體高測量

手工測量時,豬只體高為肩部最高點到地面的垂直距離。如圖8a所示,選取肩部點云,作xoy平面投影,y軸方向為體高方向,遍歷y軸,獲得最大值y1與最小值y2。計算豬只體高h為

圖8 體高與體長測量示意圖

h=|y1-y2|

(8)

豬只體長為耳根點到尾根點(尾巴在預處理時作為離散點去除)的距離,進行語義分割處理時,以耳根作為頭部與肩部的分割點,因此選取肩部、腹部與臀部點云測量。后肢的位置容易對測量造成影響,故將豬只的腿部點云去除掉,如圖8b所示。所以體長測量只需要遍歷去除腿部點云的x軸,獲取最大值x1與最小值x2,豬只體長l計算公式為

l=|x1-x2|

(9)

1.5.4腹圍切片與測量

腹圍是反映豬只生長情況的重要參數,手工測量時,圍繞體寬測點測量腹部周長。提取語義分割后的腹部點云,過體寬測量點做yoz面豎直切片,對切片點云進行橢圓擬合,如圖9所示。橢圓周長計算式為

圖9 腹圍切片與橢圓擬合測量示意圖

L=2πr2+4(r1-r2)

(10)

式中r1——擬合橢圓的長軸半徑

r2——擬合橢圓的短軸半徑

L——豬只腹圍長度

2 結果與分析

2.1 語義分割分析

本文在自制數據集上進行驗證。共采集71頭豬只數據,得到3 510組點云數據,對每組點云數據進行預處理,得到3 510組數據樣本,其中訓練集2 910組,驗證集600組。數據標簽分為頭部、肩部、腹部、臀部4類。采用平均精度(Average precision, AP)與總體精度(Overall accuracy, OA)對結果進行統計分析。結果如表1所示。

表1 自制訓練集語義分割精度

由表1可知,PointNet在自制數據集的分割效果表現最差,這是由于PointNet模型對點云中的點進行單獨處理,忽視了點之間的聯系,局部特征提取能力較差,導致其模型性能不佳。PointNet++在PointNet基礎上進行改進,加強模型在局部特征上的提取能力。3D-RCNN是一種針對點云數據的卷積方法,利用關系形狀設計網絡模塊,通過提取點云特征包含的形狀信息,輔助語義分割,該網絡結構更為復雜。可以看出與基準網絡PointNet相比,本文方法在OA方面提升8個百分點,并且每個部位的AP均有明顯提升;與其他網絡相比也有小幅提升,因此本文的融合注意力機制的語義分割算法性能上優于其他語義分割網絡,驗證了所提算法的有效性。從圖10來看,出現錯誤點多數集中在兩類標簽的分界處,對后續體尺測量幾乎沒有影響。

圖10 豬只點云分割結果

2.2 體尺測量結果分析

為了驗證體尺算法的有效性,利用語義分割后的點云,自動測量肩寬、腹寬、臀寬、體高、體長與腹圍。在養殖場對71頭豬只進行3次人工體尺測量,取3次平均值作為人工測量值。實際采集點云時,豬只身體會出現卷曲或者頭部擺動等非自然站立姿態情況,體尺測量會產生較大誤差,因此人為對每頭豬篩選5組接近自然站立且身體保持直立狀態的豬只點云作為自動測量的數據,通過算法計算5組點云的體尺數據,將5次測量的平均值作為自動測量值,部分數據如表2所示,體尺平均絕對誤差與相對誤差如表3所示。

表2 人工測量與自動測量對比

表3 豬只體尺參數的平均絕對誤差與平均相對誤差

利用箱線圖對肩寬、腹寬、臀寬、體高、體長與腹圍數據的絕對誤差進行統計分析,如圖11所示。因為肩寬與臀寬的特征明顯,不易受姿態影響,絕對誤差明顯小于其他部位,但是該測量部位實際長度較短,所以其相對誤差沒有明顯小于其他部位。腹寬測量易受豬只姿態影響,導致相對誤差最大。肩寬的絕對誤差在-2.6～3.5 cm之間,平均相對誤差為4.21%;腹寬的絕對誤差在-4.6～4.5 cm之間,平均相對誤差為5.74%;臀寬的絕對誤差在-2.9～3.1 cm之間,平均相對誤差為3.83%;體高的絕對誤差在-5.8～5.4 cm之間,平均相對誤差為4.67%;體長的絕對誤差在-4.8～5.9 cm之間,平均相對誤差為3.98%;腹圍的絕對誤差在-6.3～6.8 cm之間,平均相對誤差為4.39%。

圖11 測量部位絕對誤差箱線圖

對比文獻[12,14,19],利用背部圖像進行體尺測量,無法提取圍度信息。本文基于三維點云進行體尺測量,通過腹部橢圓擬合的方法,實現腹圍測量。對比文獻[13,15],其利用完整動物點云,基于交互式人工選點測量動物體尺。本文將豬只點云分割成4個部位,對每個部位單獨設計體尺測量方法,實現豬只體尺自動測量。文獻[16]采用完整豬只點云,對整體設計體尺測量方法,平均相對誤差為7.76%,將整體測量方法應用于本試驗采集的豬只點云,測量結果的整體平均相對誤差為6.81%,均高于本文方法的4.47%。對于豬只點云測量,由于豬只身體結構復雜,且不同的體尺參數可能存在相同的體尺特征,導致直接在整體點云上計算測點難度大。本文通過改進的語義分割模型對豬只關鍵部位分割,將整體測量轉變為部分測量,對每一個分割部位單獨設計測量方法,降低了體尺測量難度。

3 結束語

基于人工測量豬只體尺方法,本文將豬只分割為頭部、肩部、腹部、臀部4個關鍵部位,測量肩寬、腹寬、臀寬、體高、體長與腹圍關鍵參數。基于PointNet網絡,提出了融合注意力機制的語義分割算法,自注意力模塊在低維度的特征中根據貢獻度矩陣和所有點的特征對當前點的特征進行更新,挖掘更深層次的語義特征,將深層次特征與全局特征結合,提升特征區分度以提高分割精度。試驗結果表明,語義分割模型準確率為86.3%,相較于PointNet、PointNet++和3D-RCNN分別高8、5.7、2.6個百分點。基于語義分割的結果,對分割部位分別設計體尺測量方法,以實現肩寬、腹寬、臀寬、體高、體長與腹圍的自動測量,各項體尺的平均相對誤差均小于6%,平均絕對誤差均小于5 cm,表明利用分割后的部位進行測量,有助于提高體尺測量精度。