基于Kinect v4的牛體尺測量方法

趙建敏，趙成，夏海光

（內蒙古科技大學 信息工程學院，內蒙古 包頭 014010）（?通信作者電子郵箱zhao_jm@imust.edu.cn）

基于Kinect v4的牛體尺測量方法

趙建敏*，趙成，夏海光

（內蒙古科技大學 信息工程學院，內蒙古 包頭 014010）（?通信作者電子郵箱zhao_jm@imust.edu.cn）

針對基于機器視覺的牛體尺測量方法中圖像背景復雜、特征點提取難度大的問題，提出了一種基于Kinect v4傳感器的牛體尺測量方法來采集彩色和深度圖像，并結合目標檢測、Canny邊緣檢測、三點圓弧曲率等算法提取體征特征點進而計算體尺數據。首先，制作了牛體尺特征部位圖像數據集，并利用深度學習YOLOv5目標檢測算法檢測牛體尺特征部位信息，以減少牛體其他部位和背景對體尺測點提取的干擾；其次，借助OpenCV圖像處理庫中的Canny邊緣檢測、輪廓提取等圖像處理算法獲取牛體尺測點所在的關鍵輪廓；然后，對關鍵輪廓采用多項式擬合和三點圓弧曲率等算法從而在二維圖像中提取牛體尺測點；最后，利用深度信息將二維圖像中的測點信息轉換到三維坐標系下，并結合隨機抽樣一致（RANSAC）算法在三維坐標系下設計牛體尺測量方法。經過在復雜環境下傳感器和牛體側面成不同偏角時的實驗測量結果和人工測量結果的比較得出，牛體尺數據中鬐甲高的平均相對誤差為0.76%，體斜長的平均相對誤差為1.68%，體直長的平均相對誤差為2.14%，臀端高的平均相對誤差為0.76%。實驗結果表明，所提方法在復雜環境下具有較高的測量精度。

牛；體尺測量；目標檢測；圖像處理；Kinect傳感器；深度信息

0 引言

牛體尺參數是評價牛生長狀況的重要指標，能直觀反映牛的生長發育狀況，同時也是種牛選擇和育種的重要因素之一［1］。傳統的牛體尺測量方法主要采用測杖、圓形觸測器、軟尺等工具通過人工接觸式測量［2］。這種測量方法費時費力，對牛的姿態要求較高且測量效率低下。近年來，人工智能研究與畜牧業生產相結合，在國內外已經有部分成功案例［3］。江杰等［4］、劉同海等［5］、常海天［6］分別基于背景差分法和空間分辨率方法測量了羊、豬、牛體尺參數；趙建敏等［7］基于Kinect v1傳感器采集深度圖像尋找測點進而計算羊體尺數據；馮恬［8］基于雙目立體視覺通過歐氏距離原理測量了牛體體尺數據；李琦等［9］基于雙目立體視覺，結合Mask R-CNN（Mask Region-based Convolutional Neural Network）提取牛體輪廓曲線，測量體尺數據。上述方法都要在無干擾環境下進行實驗，對測量環境、動物站姿要求較高，在背景復雜的情況下，提取效果差，難以提取牛體輪廓，會增大體尺測量誤差；而且雙目立體視覺和空間分辨率法對光線影響敏感，當相機參數發生變化時模型可能不再適用。Kinect v1深度圖像基于結構光原理，其深度信息精度隨著距離的增加會變差。

目前，由于牛的養殖環境復雜、牛站姿變化較大，在復雜背景和光線等影響下導致牛體關鍵部位輪廓提取難度大、精度低，這是牛體尺測點準確提取面臨的重要問題。針對上述問題，本文提出了一種基于Kinect v4傳感器的牛體尺測量方法。本文的主要工作如下：1）采用基于時差測距（Time of Flight， ToF）［10］原理的Kinect v4深度傳感器獲取牛體RGB-D（Red Green Blue-Depth）圖像信息，并利用深度學習YOLOv5（You Only Look Once v5）［11］目標檢測算法和彩色信息檢測牛體尺特征部位信息，減少背景和牛體其他部位對測點提取的干擾；2）根據得到的牛體尺特征部位信息，對牛體尺特征部位進行圖像裁剪；3）根據牛體身體特征對于裁剪圖像通過深度或彩色信息結合Canny邊緣檢測算法和輪廓提取算法提取關鍵輪廓，對輪廓進行擬合，選擇輪廓中距離擬合曲線曲率最大點最近的點作為測點；4）最后，基于深度信息和隨機抽樣一致（RANdom SAmple Consensus， RANSAC）算法［12］在三維坐標系下計算體尺數據。在復雜環境下傳感器與牛體側面成不同偏角的情況下進行了實驗，實驗結果驗證了本文方法的有效性。

1 牛體尺測量相關方法

1.1 材料和方法流程

牛體尺參數主要包括鬐甲高、體斜長、體直長、臀端高，表1中給出了本文測量的牛體尺項目的測量規定。

表1 牛體尺測量規定Tab. 1 Cattle body size measurement regulations

本文方法包括牛體尺特征部位檢測方法、牛體尺測點提取方法和牛體尺計算方法三個部分。本文方法的流程如圖1所示，相應的偽代碼如算法1所示。

圖1 本文方法的流程Fig. 1 Flow chart of proposed method

算法1 基于Kinect v4傳感器的牛體尺測量方法。

輸入 RGB-D圖像RGB?D_img；

輸出 多項體尺參數Body_oblique、Body_height、Hip_ height、Body_length。

9） else：

17） else：

1.2 體尺特征部位檢測方法

目標檢測算法的主要任務是對圖像中的目標進行識別和定位，是計算機領域的關鍵任務。近年來，隨著圖像數據的大量增加，深度學習模型在圖像檢測方面的準確度明顯提高。

本文從內蒙古蘇尼特左旗和察哈爾右旗牧場采集大量牛體全身彩色圖像視頻，根據體尺測量的需要標注了5 600余張含牛（cattle）、牛頭（head）、軀干（body）、牛尻（tail）、前后關節（joint）和四個牛足（hoof）部位的牛體尺特征部位圖像，制作了牛體尺特征部位數據集CABM2021（Cattle A Body Measurement 2021）。

本文將CABM2021數據集按照4∶1的比例劃分為訓練集和測試集。通過深度學習目標檢測模型YOLOv5［11］中的YOLOv5s模型對訓練集進行訓練。YOLOv5目標檢測模型的結構如圖2所示。該網絡模型將輸入圖像經過縮放操作后大小統一到像素，通過Backbone網絡提取特征、Neck網絡處理特征，并采用Prediction網絡預測出圖像中包含的目標框和類別。最后，通過非極大值抑制（Non-Maximum Suppression， NMS）算法排除冗余目標框，保留檢測效果最好的目標框作為特征部位的檢測結果。

圖2 YOLOv5模型結構Fig. 2 Structure of YOLOv5 model

本文訓練模型的系統環境為：RTX2080Ti GPU，10.75 GB顯存，深度學習框架Pytorch1.60，Cuda10.1。設定YOLOv5s模型初始學習率（）為0.01，隨機最速下降法（Stochastic Gradient Descent， SGD）動量（momentum）為0.937，權重衰減系數（Weight Decay）為0.000 5，訓練最大迭代輪數（epoch）為300，模型訓練每次輸入圖像數量批尺寸（Batch Size）為16，輸入圖片大小（Img Size）為。

平均準確度（Average Precision， AP）表示準確率（Precision）和召回率（Recall）曲線圍成的面積大小，是評價深度學習目標檢測模型每個類別檢測好壞的重要指標，AP值越大表示該類別的檢測效果越好。均值平均準確度（mean Average Precision， mAP）表示所有類別AP值的均值，是衡量模型好壞的重要指標，mAP值越大表示模型的檢測結果越好。圖3中給出了本文訓練模型的訓練輪數（epoch）和mAP在交并比（Intersection over Union， IoU）［13］大于0.5時的曲線以及訓練輪數和損失函數值的曲線。loss損失函數曲線表示模型訓練過程的損失變化，損失值隨著訓練輪數的增加而減小。在訓練過程中，loss曲線損失值收斂于0.075，達到了較好的模型訓練效果。

圖3 YOLOv5訓練過程中的loss曲線和mAP曲線（mAP@0.5）Fig. 3 Loss curve and mAP curve （mAP@0.5） in YOLOv5 training process

將訓練完成模型在訓練集和測試集標注的6個類別上進行測試，測試結果的AP值如表2所示。

表2 訓練集和測試集上各類別的平均準確度Tab. 2 Average accuracy of each category on training set and test set

YOLOv5模型對不同種類牛在不同背景環境和姿態的牛體尺特征部位檢測結果如圖4所示。

圖4 YOLOv5模型對牛體尺特征部位的檢測效果Fig. 4 Detection effect of YOLOv5 model on feature parts of cattle body size

提取RGB-D圖像信息的前三個彩色通道，通過訓練好的YOLOv5目標檢測模型［11］對圖像進行檢測，得到牛體尺特征部位信息。牛體尺特征部位信息由多個體尺部位的檢測框信息構成，檢測框信息包含檢測框類別名稱、類別置信度、檢測框的左上角在原圖中的坐標、檢測框的寬度和高度。

根據牛體尺特征部位信息中的兩個關節部位（joint）和四只牛足（hoof）部位檢測框中心位置到牛頭（head）部位檢測框中心位置的二維平面歐氏距離式（1），可將牛體尺關鍵特征部位信息中的關節部位（joint）劃分為前關節（joint1）和后關節（joint2），牛足部位（hoof）劃分為前足（hoof1）和后足（hoof2）。

牛鬐甲測點在平面圖像中位于牛兩前足之間，牛肩胛處測點在牛的前關節附近，牛坐骨處測點在牛尾端附近，牛所站地面的點集在牛足邊緣附近。可以根據牛體身體特征和牛體尺特征部位信息建立新的牛體尺特征部位信息，新的牛體尺特征部位信息如圖5所示。圖5中黑色的陰影點為深度相機采集信息失效的點，這是由傳感器采集深度信息的誤差導致。Kinect v4深度相機的深度信息采集失敗的原因包括IR（Infra?Red）信號飽和、IR信號強度低、濾波異常、超出IR照明罩、多路徑干擾、由墻面反射造成的歧義深度等。傳感器會將失效的像素點深度值表示為0。

圖5 處理后的關鍵部位Fig. 5 Key parts after processing

1.3 圖像牛體關鍵輪廓提取方法

通過邊緣檢測得到的二值圖像并非簡單的邊緣輪廓，而是帶有多條復雜信息的輪廓，本文借助NumPy（Numeric Python）［14］和OpenCV（Open source Computer Vision）［15］這兩個開源技術庫的圖像處理技術，通過上述牛體尺特征部位檢測方法得到的牛體尺特征部位信息對RGB-D圖像進行裁剪，裁剪圖像左上角在圖像中坐標為對應類別檢測框的左上角坐標，裁剪圖像寬度和高度為對應類別檢測框的寬度和高度。根據牛體尺特征部位信息裁剪得到鬐甲、肩胛、坐骨三處測點所在的裁剪圖像。裁剪的框線參見圖5中withers、tail、joint1檢測框。

對去除噪聲后的平滑圖像根據邊緣部位的幾何特征，分別運用不同雙閾值的Canny邊緣檢測算法［16］進行邊緣檢測，得到含有多條輪廓信息的二值圖像。

采用輪廓提取算法［17］對數值二值圖像進行拓撲分析，區分二值圖像邊界之間的包圍關系。對通過Canny邊緣檢測算法［16］得到的二值圖像采用OpenCV圖像處理庫中的輪廓提取函數（findContour）進行輪廓提取，得到含有多條輪廓的輪廓集合。由于在裁剪圖像中，測點所在關鍵輪廓長度最長，故本文從含有多條輪廓的輪廓集合中篩選出最長的一條輪廓作為關鍵輪廓進行測點提取。

圖6（a）給出了彩色圖像在復雜環境下邊緣檢測的效果。由于邊緣位置往往和外界環境相鄰接，彩色圖像在邊緣檢測時容易受到外界環境的干擾，導致邊緣檢測的閾值難以選擇。在復雜場景下，由彩色圖像通過邊緣檢測得到的二值圖像信息混亂，不利于輪廓的提取，即文獻［4-6，8-9］中的方法難以適用。圖6（b）給出了深度圖像在同樣復雜的環境下邊緣檢測的效果圖，為了可視化方便，圖6（b）中的深度圖像是經過轉換后的偽彩圖像。深度圖像的形成只與采集器到各點之間的距離相關，不易受外界環境影響，邊緣信息提取的效果較好。

圖6 彩色圖像和深度圖像的邊緣檢測對比Fig. 6 Edge detection comparison between color image and depth image

利用深度圖像的性質，本文在對鬐甲和坐骨處測點的邊緣檢測時采用深度信息進行。由于牛的肩胛處測點不在牛體的外邊緣，深度圖像難以區分肩胛輪廓，故肩胛處測點的邊緣檢測使用彩色信息。但是一些牛體由于膚色差異問題，肩胛點使用彩色信息也難以檢測到肩胛輪廓信息，本文則尋找位于其肩胛所在牛腿上的測點來代替牛肩胛處的測點。在這種情況下，尋找測點的關鍵輪廓在牛體邊緣輪廓上，則采用深度信息來提取邊緣信息。

1.4 圖像牛體測點提取方法

根據牛體的輪廓特征，輪廓曲線中曲率最大的點是本文要尋找的測點。但是在進行曲率計算時，需要較為平滑的曲線才能保證曲率計算的準確性，文獻［7，9］方法忽略了這一點。由于輪廓的曲線表達式未知，故本文首先對關鍵輪廓中的點集進行三次多項式擬合，擬合方程形式為。

表3 關鍵輪廓點集中的部分點集Tab. 3 Some point set of key contour point set

注：加粗數據為測點數據。

圖7中給出了關鍵輪廓中的全部點集位置信息和擬合曲線以及曲線方程的表達式。

本文由上述方法得到了牛鬐甲端、坐骨端、肩胛端的在裁剪圖像中3個測點的位置信息，但還需將其轉換回原圖像中所對應的位置信息，通過式（5）將得到的3個測點轉換回原圖像中對應的點。

圖7 關鍵輪廓點集的擬合曲線和測點Fig. 7 Fitting curves and measuring points in key contour point set

1.5 牛體尺計算方法

由深度信息、相機參數和官方軟件開發工具包（Software Development Kit， SDK）得到二維坐標系點向三維坐標系點的轉換矩陣。由于深度相機采集深度信息時存在失效的點，而邊緣點往往是容易失效的位置，故本文將二維圖像坐標系下的測點轉換到三維坐標系下的測點時，基于二維高斯分布函數原理采用式（6）計算轉換后的點的近似坐標。本文建立的空間坐標系軸正方向參見圖8（a）。

表4 測點及其周圍點的深度值Tab. 4 Depth value of measuring points and points around them

注：加粗數據為測點數據。

計算牛鬐甲高、臀端高不光需要牛鬐甲端、坐骨端處的測點，還需要知道測點在三維坐標系下到地面的距離。故本文基于牛體尺特征部位信息，通過對牛體關鍵輪廓提取的方法提取四個牛足關鍵輪廓。同時，采集二維平面中牛足關鍵輪廓附近的點集，將這些點集通過轉換矩陣轉換到三維坐標系下。然后，基于RANSAC算法對點集進行擬合和分割，地面點集分割為內點，非地面點集分割為外點。本文將距離地面擬合方程10 mm內的點集視作內點，之外的視作外點。RANSAC算法擬合地面方程的形式為。牛四足站立的平面參見圖8（a）。

本文在真實三維坐標系下設計體尺參數計算方法，測量結果不易受牛的站姿變化影響。本文采用點到平面距離式（7）計算鬐甲高和臀端高，采用三維空間歐氏距離式（8）計算體斜長。

本文設計的體直長計算方法需要結合體斜長、臀端高和肩端高的數值。圖8（b）中給出了由肩端測點、坐骨測點和肩胛前端至坐骨結節后端垂直線與水平線的垂點所構成的三角形。其中三角形的斜邊長度為體斜長的數值，兩個直角邊的長度分別為體直長和臀端高與肩端高的差值。

圖8（b）中上方給出了本文方法測量的體尺數據，圖像中直線分別為體斜長、體直長、鬐甲高和臀端高的近似測量直線。

圖8 二維和三維坐標系下的牛體Fig. 8 Cattle bodies in two-dimensional and three-dimensional coordinate systems

2 實驗與結果分析

為驗證本文方法的有效性，在背景環境復雜的實驗室內使用Inter i5-8250U CPU、8 GB內存的筆記本電腦，Kinect v4設備深度相機窄視場非裝箱（NFOV unbinned）模式。該模式下深度相機具有分辨率、的較寬視角和0.5 m～3.86 m的有效深度工作范圍。彩色相機使用分辨率模式，相機幀速率設定為15 frame/s，設定深度相機和彩色相機采集信息同步。手動設定相機白平衡值為4 500，其他彩色相機控件為自動，Kinect v4的其他相關參數使用默認值。Kinect v4設備在出廠之前已經校準，本文在實驗中使用的Kinect v4相機參數為設備出廠時的校準參數。

由于Kinect v4深度相機的NFOV unbinned模式有深度相機視角和分辨率問題，在距離實驗室黃牛側面約2 m距離時，深度相機才能完整獲取實驗室黃牛的側面所有信息。本文在距離實驗室內模型牛測量區域2 m～3 m處擺放Kinect設備。實驗設定式（6）相關參數為，。人工測量牛體尺時使用的工具為卷尺，精度為1 mm，在保持人工測點與牛特征部位體尺測點一致情況下進行了多次測量并求均值后取整。人工測量的體尺數據參見表5。每次采集實驗數據時將實驗室黃牛模型旋轉一定的角度，使Kinect傳感器與實驗室黃牛側面成一定偏角。本文在偏角～15°每隔3°偏角進行一次實驗數據統計。本文實驗時的復雜環境和本文方法檢測的測點及體尺測量數值信息如圖8（b）所示，數值顯示在圖像上方，測點位置和體尺測量直線在圖中進行了展示。將本文所提方法檢測的鬐甲高、體斜長、體直長、臀端高與人工測量的結果進行了對比，測量結果和相對誤差如表5所示，本文采用的相對誤差計算式為式（10），平均相對誤差計算式為式（11）。

本文的牛體尺測量方法在三維坐標系下基于RANSAC算法對地面平面進行擬合。在實驗中多次得到的擬合平面結果法向量都平行于軸，圖8（a）中展示了本文建立的三維坐標系，其中向下箭頭方向為軸正向，故本文通過RANSAC算法得到的擬合平面平行于地面平面。由表5可知，鬐甲高的最大、最小相對誤差分別為1.24%和0.09%；臀端高的最大、最小相對誤差分別為2.09%和0.14%。這兩項體尺數據的平均測量相對誤差分別為0.76%和0.76%，都小于1%，故本文對臀端高和鬐甲高的測量具有較高的精度且比較穩定。實驗結果表明，本文基于深度信息和RANSAC算法測量臀端高和鬐甲高的方法有效，測量臀端高和鬐甲高兩個牛體尺數據的精度比較高。當偏角絕對值增大時，臀端高和鬐甲高的相對誤差會增大，這是由于Kinect設備拍攝牛體側面獲得的信息會隨著偏角的增大而減少，導致檢測方法對邊緣信息的檢測效果會變差，獲取的邊緣輪廓曲線平滑程度下降，則本文所提方法對于坐骨端和鬐甲處測點的檢測效果會變差，測點檢測的位置會隨著偏角絕對值增大漸漸偏移，從而導致相對誤差增大。

表5中，體斜長的最大、最小相對誤差分別為4.72%和0.19%，平均相對誤差為1.68%，體斜長的測量誤差不是很穩定。體斜長在角度6°～9°時體斜長測量效果較好，這是因為實驗黃牛在制作時，肩端平面與牛體成一定夾角，在偏角時，Kinect v4設備與肩端所在平面所成夾角較小，采集肩端處信息比較多，故對肩端處輪廓提取效果較好，測點的尋找較為準確。在測量時體斜長相對誤差較小，原因是隨著角度的減小不僅肩胛點周圍的信息采集在減少，主要干擾肩端測點提取牛腿周圍和脖頸周圍的信息采集也在減少，所以肩端測點的提取誤差變化不明顯。在時，體斜長的測量相對誤差較大的原因在于這個角度范圍內對肩胛處獲取的信息較少，但是由于傳感器采集信息時幾乎正對牛體側面，對于脖頸和大腿處的信息獲取相對較多，從而導致輪廓邊緣提取效果不好，進而造成測點提取偏移，體斜長相對誤差增大。此外，體斜長的測量誤差不光和肩端處測點的準確提取相關，還和坐骨處測點的準確提取相關。隨著角度絕對值的增大，坐骨處采集的信息也在減少，導致臀端處測點的提取位置偏移，故當偏角絕對值等于9°時，隨著偏角絕對值的增大體斜長相對誤差也隨之增大。

表5中，體直長的最大、最小相對誤差分別為5.79%和0.23%，平均相對誤差為2.14%。體直長測量誤差相較于其他體尺數據的測量誤差最不穩定，且平均相對誤差最大。這是由于本文設計的體直長測量方法與體斜長、臀端高、肩端高多個體尺數據相關聯，導致體斜長的測量與肩端處測點、臀端處測點、地面平面擬合精度相關聯。故體直長的測量平均相對誤差是本文方法的所有體尺數據中最大、最不穩定的一項，其測量精度和其他體尺測量的精度相關聯。當其他體尺數據相對誤差較大時，體斜長的相對誤差也會比較大。

表5 人工和本文方法測量體尺的結果對比Tab. 5 Result comparison of measuring body size by manual and proposed methods

注：BH表示鬐甲高，BS表示體斜長，BO表示體直長，HH表示臀端高。

基于上述分析可知，大多數體尺數據在偏角絕對值超過一定大小時，會導致體尺測量誤差的增大。因為隨著偏角絕對值的增大，體尺測點處的信息采集量在減少，而干擾信息的采集量在增加，從而導致本文測點尋找準確度下降，進而導致體尺測量誤差的增大。此外，當偏角絕對值增大時，YOLOv5［11］目標檢測算法對于牛體尺特征部位信息的檢測框置信度下降：在偏角達到一定程度時，將無法檢測到部分牛體尺特征部位信息；當偏角達到時實驗牛肩胛處的信息將不再被檢測到；當偏角絕對值達到25°左右和35°左右時，牛的前腿間或后腿間會形成遮擋，牛足的采集信息不足，導致地面平面擬合的效果不穩定，且無法準確確定牛體鬐甲處測點所在輪廓位置。綜上，本文得到的最佳檢測偏角范圍為，最佳測量距離為，在這個范圍內所有牛體尺數據都可以獲得較好的測量結果。

3 結語

本文提出了一種基于Kinect v4的牛體尺測量方法，利用YOLOv5目標檢測算法和深度圖像信息特性，有效地減少了在復雜背景下牛體其他部位和測量背景環境對牛體測點提取的干擾。本文所提的體尺測量方法利用深度信息將測點轉換到三維坐標系，在三維坐標系下計算體尺數據，不易受站姿偏角的影響。本文的方法在不同偏角下測量體尺數據具有較高的精確度，滿足應用的需要，為基于機器視覺測量牛體尺數據提供了新的研究方向。

[1] 張智慧，李偉，韓永勝.牛體尺影響因素及其應用［J］.中國畜牧雜志，2018，54（1）：9-13.（ZHANG Z H， LI W， HAN Y S. Influence factors and applications for body size of cattle ［J］. Chinese Journal of Animal Science， 2018， 54（1）： 9-13.）

[2] 王永智.牛的外貌鑒定、體尺測量及體重估測［J］.養殖技術顧問，2013（12）：20.（WANG Y Z. Appearance identification， body size measurement and weight estimation of cattle ［J］. Technical Advisor for Animal Husbandry， 2013（12）： 20.）

[3] 陸蓉，胡肄農，黃小國，等.智能化畜禽養殖場人工智能技術的應用與展望［J］.天津農業科學，2018，24（7）：34-40.（LU R， HU Y N， HUANG X G， et al. Application and prospect of artificial intelligence technology in intelligent livestock and poultry farms ［J］. Tianjin Agricultural Sciences， 2018， 24（7）： 34-40.）

[4] 江杰，周麗娜，李剛.基于機器視覺的羊體體尺測量［J］.計算機應用，2014，34（3）：846-850，887.（JIANG J， ZHOU L N， LI G. Sheep body size measurement based on computer vision ［J］. Journal of Computer Applications， 2014， 34（3）： 846-850， 887.）

[5] 劉同海，滕光輝，付為森，等.基于機器視覺的豬體體尺測點提取算法與應用［J］.農業工程學報，2013，29（2）：161-168.（LIU T H， TENG G H，FU W S， et al. Extraction algorithms and applications of pig body size measurement points based on computer vision ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2013，29（2）： 161-168.）

[6] 常海天.種牛體尺非接觸測量系統研究［D］.長春：長春工業大學，2018：22-54.（CHANG H T. The study on the non-contact measurement system of cattle body ［D］. Changchun： Changchun University of Technology， 2018： 22-54.）

[7] 趙建敏，趙忠鑫，李琦.基于Kinect傳感器的羊體體尺測量方法［J］.江蘇農業科學，2015，43（11）：495-499.（ZHAO J M， ZHAO Z X， LI Q. Sheep body size measurement method based on Kinect sensor ［J］. Jiangsu Agricultural Sciences， 2015， 43（11）： 495-499.）

[8] 馮恬.非接觸牛體測量系統構建與實現［D］.楊凌：西北農林科技大學，2014：22-39.（FENG T. Constructing and implementing for non-touch measurement system of cattle body ［D］. Yangling： Northwest Aamp;F University， 2014： 22-39.）

[9] 李琦，劉偉，趙建敏.基于雙目視覺及Mask RCNN的牛體尺無接觸測量［J］.黑龍江畜牧獸醫，2020（12）：46-50，159-160.（LI Q， LIU W， ZHAO J M. Non-contact measurement of bovine body size based on binocular vision and Mask RCNN ［J］. Heilongjiang Animal Science and Veterinary Medicine， 2020（12）： 46-50， 159-160.）

[10] LI L. Time-of-flight camera — an introduction ［R］. Dallas， Texas： Texas Instruments， 2014.

[11] JOCHER G， STOKEN A， BOROVEC J， et al. Ultralytics/yolov5： v4.0-nn.SiLU（） activations， Weights amp; Biases logging， PyTorch Hub integration ［EB/OL］. ［2021-01-15］. https：//zenodo.org/record/4418161#.

[12] FISCHLER M A， BOLLES R C. Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography ［J］. Communications of the ACM， 1981， 24（6）： 381-395.

[13] YU J H， JIANG Y N， WANG Z Y， et al. UnitBox： an advanced object detection network ［C］// Proceedings of the 2016 24th ACM International Conference on Multimedia. New York： ACM， 2016： 516-520.

[14] HARRIS C R， MILLMAN K J， VAN DER WALT S J， et al. Array programming with NumPy ［J］. Nature， 2020， 585（7825）： 357-362.

[15] BRADSKI G. The openCV library ［J］. Dr. Dobb’s Journal： Software Tools for the Professional Programmer， 2000， 25（11）：120-123.

[16] CANNY J. A computational approach to edge detection ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1986， 8（6）： 679-698.

[17] SUZUKI S， ABE K. Topological structural analysis of digitized binary images by border following ［J］. Computer Vision，Graphics， and Image Processing，1985， 30（1）： 32-46.

[18] 燕霞.海倫-秦九韶公式［J］.數學通報，1955（3）：4.（YAN X. Heron-Qin Jiushao formula ［J］. Journal of Mathematics （China）， 1955（3）： 4.）

Cattle body size measurement method based on Kinect v4

ZHAO Jianmin*， ZHAO Cheng，XIA Haiguang

（School of Information Engineering，Inner Mongolia University of Science and Technology，Baotou Inner Mongolia014010，China）

Aiming at the complexity of image background and difficulty of feature point extraction in cattle body size measurement based on machine vision， a new cattle body size measurement method based on Kinect v4 sensor was proposed. In this method， the color and depth images were collected，and the body size data were calculated by the body feature points extracted by the combination of algorithms such as object detection，Canny edge detection， and three-point arc curvature. Firstly， an image dataset of feature parts of cattle body size was created， and the deep learning You Only Look Once v5 （YOLOv5） target detection algorithm was used to detect feature part information of cattle body size in order to reduce the interference of other parts of cattle body and background on the extraction of body size measuring points. Secondly， with the help of Canny edge detection，contour extraction and other image processing algorithms in Open source Computer Vision （OpenCV） image processing library， the key contours with measuring points of cattle body size were obtained. Then， the algorithms such as polynomial fitting and three-point arc curvature were performed on the key contours to extract the measuring points of cattle body size in two-dimensional image. Finally， the depth information was used to convert the measuring point information in two-dimensional image to three-dimensional coordinate system， and the cattle body size measurement method was designed in three-dimensional coordinate system with the RANdom SAmple Consensus （RANSAC） algorithm. Through the comparison between the experimental measurement results with the sensor and the side of cattle body at different angles and manual measurement results in a complex environment， it can be seen that the average relative error of withers height is 0.76%， the average relative error of body oblique length is 1.68%， the average relative error of body straight length is 2.14 %， and the average relative error of hip height is 0.76% in cattle body measurement data. Experimental results show that the proposed method has high measurement accuracy in complex environment.

cattle; body size measurement; target detection; image processing; Kinect sensor; depth information

TP391

A

1001-9081（2022）05-1598-09

10.11772/j.issn.1001-9081.2021030532

2021?04?08；

2021?06?30；

2021?06?30。

內蒙古自治區科技重大專項（2019ZD025）；內蒙古自治區自然科學基金資助項目（2019LH06006）；包頭市昆區科學技術發展項目（YF2020014）。

趙建敏（1982—），男，內蒙古包頭人，副教授，碩士，主要研究方向：圖像處理、機器學習； 趙成（1997—），男，天津人，碩士研究生，主要研究方向：計算機視覺、圖像處理； 夏海光（1981—），男，內蒙古赤峰人，助理研究員，碩士，主要研究方向：圖像處理。

This work is partially supported by Major Science and Technology Special Project of Inner Mongolia Autonomous Region （2019ZD025）， Natural Science Foundation of Inner Mongolia Autonomous Region （2019LH06006）， Science and Technology Development Project of Kunqu District， Baotou City （YF2020014）.

ZHAO Jianmin， born in 1982， M. S.， associate professor. His research interests include image processing， machine learning.

ZHAO Cheng， born in 1997， M. S. candidate. His research interests include computer vision， image processing.

XIA Haiguang， born in 1981， M. S.， assistant research fellow. His research interests include image processing.