基于Kinect傳感器的羊體體尺測量方法

趙建敏　趙忠鑫　李琦

摘要：在基于機器視覺的羊體體尺測量中，當受到光線、背景等干擾時，彩色圖像無法精確提取羊體輪廓。此外，羊體站姿的變化也會造成測量誤差。為解決彩色鏡頭受背景干擾的問題，采用Kinect傳感器采集羊體彩色、深度圖像，利用深度信息不受光干擾的特點，提出彩色與深度圖像相結合的方法提取羊體輪廓；在特征點提取中，采用U弦長曲率得到臀部點，位置關系掃描得到前蹄點、后蹄點、耆點；為解決站姿干擾問題，利用傳感器深度信息建立羊體空間輪廓線擬合平面，并計算其與像平面夾角，進行體位站姿糾偏，計算出羊體體尺數據。最后，基于VS2010軟件搭建測量系統，經過實地測試，準確測量得到羊體體尺數據，且相對誤差小于4.3%。

關鍵詞：機器視覺；輪廓提取；特征點；體尺測量；Kinect

中圖分類號： S818文獻標志碼： A文章編號：1002-1302（2015）11-0495-04

收稿日期：2014-11-19

基金項目：內蒙古科技大學大學生科技創新基金（編號：2012NCL027）。

作者簡介：趙建敏（1982—），男，內蒙古包頭人，碩士，講師，主要從事人機交互、模式識別研究。E-mail：zhao479059413@163.com。

通信作者：趙忠鑫，碩士研究生，主要從事機器視覺、圖像處理研究。E-mail：zhao479059413@163.com。基于機器視覺的家畜體尺測量是非接觸式測量手段。劉同海等利用背景減法、去除噪聲算法去除背景干擾，尋找豬體體尺測點[1]。劉波等將自動閾值分割與形態學處理相結合，進行輪廓分割[2]。江杰等利用基于灰度的背景差分法提取羊體輪廓[3]。以上基于機器視覺的家畜體尺測量研究均在無干擾環境下利用背景差法或閾值分割法提取家畜輪廓。實際應用中，當背景與家畜顏色相近時，彩色圖像差分結果殘缺，閾值難以確定，導致無法單純分割出目標家畜。此外，以往研究往往忽略了家畜與像平面夾角，對體尺計算造成很大誤差。為解決這些問題，本研究采用Kinect傳感器，將彩色、深度圖像多元信息相融合，提取羊體輪廓線，保證羊體輪廓完整的同時，利用傳感器深度信息建立輪廓點三維坐標，通過擬合平面對羊體與像平面夾角進行計算，進行體尺糾偏后得到更加準確的體尺數據，旨在為精確測量家畜體尺提供依據。

1輪廓提取

為克服單一鏡頭抗干擾能力差的問題，本研究利用Kinect傳感器，采用彩色與深度圖像相結合的方法提取羊體輪廓。Kinect傳感器可同時采集彩色、深度圖像，利用連續光（近紅外光）對測量空間進行照射編碼，再通過CMOS感應器得到編碼后的光線，將數據傳給ps1080系統級芯片SoC進行解碼運算，最終得到具有深度的圖像[4]。本研究利用NuiInitialize（NUI_INITIALIZE_FLAG_USES_COLOR ）、NuiInitialize（NUI_INITIALIZE_FLAG_USES_DEPTH）函數對彩色、深度視頻流進行初始化，采用逐幀讀取視頻流的方法，通過CvCapture結構體保存圖像捕獲的信息。CvCapture自動獲取下一幀的位置，每獲取一幀，這些信息立即更新，獲取下一幀回復，通過截取深度、彩色數據流獲得現場圖像（圖1）。

Kinect傳感器獲取的羊體彩色與深度圖像如圖2所示，標記羊A為目標羊，其所處環境背景復雜，提取輪廓時，單一彩色圖像中背部存在顏色干擾，單一深度圖像中腿部深度差不明顯。為準確提取目標羊A輪廓，將彩色圖像單獨閾值分割后，與深度圖像同時進行輪廓提取，經過去除噪聲干擾，采用膨脹法得到羊體閉合輪廓線。

1.1預處理

本研究采用8鄰域窗口對圖像進行平滑處理[5]。濾波時，遍歷原始彩色圖像像素點，把其灰度值設置成8鄰域中灰度值的中值。根據局部自適應閾值算法將圖2-a二值化，成功地將羊A腿部色差較大部分完整分割出來。采用Canny邊緣檢測算子對彩色圖像閾值分割后的結果及深度圖像進行邊緣檢測，結果如圖3所示。

為去除干擾，規定8鄰域連通區域面積（像素點個數）小于20時為干擾。首先標記8連通區域，分別計算每個連通區域面積，若小于閾值則將其顏色更改為背景色。圖4-a、圖4-b 分別為彩色、深度圖像輪廓提取去除干擾后的結果。

圖2、圖4表明：彩色圖像中，羊A背部輪廓由于位于其身后羊體干擾導致缺失，彩色圖像無法進行恢復，深度圖像同一位置處不受干擾；深度圖像中，由于蹄部與地面之間深度差距小，導致前蹄、后蹄區域輪廓損失嚴重，但彩色圖像中此處輪廓完好。因此，借助彩色、深度圖像結合的方法可以克服上述問題，準確提取目標羊體A的輪廓線。

1.2閉合輪廓線提取

圖4中輪廓線處像素點灰度為255，其余部分灰度為0。在目標羊A處生成1個灰度值為200的標記點。規定與像素點a有公共邊的像素為其鄰位，如b1、b2、b3、b4為a鄰位（圖5）。

若灰度值為200的像素點a鄰位存在灰度值為0的像素點，則稱a為奇異點。定義奇異點的膨脹操作為將鄰位中灰度值為0的位置灰度改變為200。閉合輪廓提取算法流程如圖6。算法以標記點開始膨脹，在判斷無奇異點的情況下，羊體A區域被灰度值為200的像素點填充，輪廓提取算法中取閾值T=200，此處閾值分割公式如下：

分割后圖像被二值化（圖7），再經Canny算子提取輪廓，最終得到羊體閉合輪廓。閉合輪廓線利用彩色、深度圖像的各自優勢，提取過程克服了單一鏡頭信息不足的缺點，得到了

目標羊體閉合輪廓線。

2羊體特征點提取

根據傳統羊體測量方法，得知羊體體尺特征點包括臀部特征點、前后蹄點、耆點[6]。本研究采用羊體側面輪廓線提取各特征點（圖8）。

2.1臀部特征點檢測

由于羊體臀部骨骼突起，造成其輪廓在一定范圍內曲率最大，且臀部位置與羊的移動關系較小，曲率不會發生較大變化。背部輪廓線屬于離散曲線[7]，故本研究采用U弦長曲率[8]尋找臀部特征點。

由約束條件：

確定。其中U>0，需初始設定，為任意兩像素點間歐式距離，即：

數字化曲線具有離散性，故上述結果只可近似滿足約束條件公式（3），根據參考文獻[9]中的隱式精化數字曲線策略提高其準確性，使公式（2） 能被精確地滿足，令

根據條件，‖pipif‖=U，求出待定系數u的值，從而確定領域前端點pif，同理可得領域后端點pib，此時領域被調整。

計算曲線曲率時，利用與支持領域前、后臂矢量夾角相關的某一余弦值作為離散曲率。本研究取角∠pifpipib的余弦值為離散曲率（圖9）。以輪廓上Pi點為中心，以U為半徑的支持領域，逐步迭代計算曲率。

Pi點離散曲率：

cosθ=‖pipib‖2+‖pipif‖2-‖pibpif‖22×‖pipib‖×‖pipif‖。（6）

臀部特征點位于羊體上輪廓線后半部分，因此分解出羊體上輪廓線，保留后半部分。在有可能出現臀部特征點的一定區域內逐點計算輪廓線曲率。經過篩選，得到曲率最大值所對應的點為臀部特征點。研究結果表明，U在6～20范圍內結果較好。

2.2前蹄、后蹄點檢測

前蹄、后蹄點處于所得的圖像中最下方位置，根據此關系，采用逐點掃描的方法，由最底行向上，由最左列向右遍歷各點，第1個像素值非零點即為一蹄點。圖像空間分辨率為640×480，在可疑區域內搜索另一蹄點，可疑區域為：

式中：x為行數，y為列數，px（top）為輪廓最上端像素點對應的行數，py（d）為檢測到的第1個蹄點像素點列數。

2.3耆點檢測

根據前蹄點像素點位置，沿著行數減小的方向尋找，耆點與前足點列坐標相同。設fy為前足點所在列，因此耆點也在第fy列。找出輪廓線上所有列數為fy的點，所在行數分別為T1、T2、T3，…，Tn。最終根據限定條件：

坐標（x，y）即為耆點坐標。

2.4特征點檢測結果

圖10為獲取的部分羊體上輪廓線，共186個輪廓點。

根據公式（6）依次計算獲取上輪廓線上各個點所對應的曲率角余弦值，選定支撐領域半徑U=9，結果如圖11所示。

橫坐標為輪廓像素點的點數，縱坐標為對應的余弦值。橫坐標x=43所對應的輪廓點余弦值最大，即此點處曲率最大，經計算其值為-0.791。輪廓線左起半徑U=9范圍內的9個點不參與計算余弦值，所以輪廓線左起第52個點，即圖10中K點為臀部特征點，其對應的坐標為（264，262）。按上述前蹄點、后蹄點、耆點尋找方法對樣本羊體輪廓進行檢測，得其特征點的坐標值（表1）。

3站姿糾偏

實際測量中，由于羊體站姿存在一定隨機性，導致羊體中心線與測量平臺中心線并不平行，存在一定的角度θ（圖12）。

二維圖像中測量得到的體尺數據L′ 為真實體尺L在二維圖像平面上的投影長度。若不考慮特征點深度值則測量結果會產生一定誤差，因此結合深度信息進行測量。

3.1建立空間直角坐標系

由羊體二值化輪廓線坐標結合深度圖像中獲得的深度值可以構成羊體空間輪廓線。本研究以x、y軸表征輪廓點位置，z軸表征深度信息，建立三維直角坐標系。

3.2空間分辨率

體尺測量中，需要確定空間分辨率，即確定圖像上2個像素點的距離所代表的實際尺寸。每個像素（u，v）在x軸與y軸方向上的物理尺寸為dx、dy，則圖像中任一像素的坐標為：

實際操作時，攝像頭與羊體監控位置保持不變，根據墻面標記點A、B標定攝像頭，已知AB距離為2 m，A、B處于同一行，相隔469個像素，故可確定dx=dy=0.427 cm（圖13）。

羊體深度圖像由Kinect獲取，本研究選用的深度圖像灰度值為0～255，根據Kinect相關信息，深度值分辨率為1.6 cm。

3.3剔除不可信點

考慮到計算量等因素，將隨機采樣空間輪廓線上部分點表示到三維直角坐標系中。獲取深度信息時，由于深度傳感器Kinect自身的因素，對羊體邊緣部分的深度測量存在許多隨機誤差與不確定的結果，而且往往由于深度干擾，會出現虛假邊緣的判定，這些點的深度信息不可靠，應將其剔除。求出采樣輪廓點深度值的均值：

di為第i個采樣點的深度值，設定閾值：

dmax為采樣點中的最大深度值。利用閾值對采樣點進行限制，滿足條件：|di-d|

3.4擬合平面

得到較為可信的羊體空間輪廓點之后，根據各個點的坐標位置可基本確定羊體在空間中的站位姿態，為了更加精確表征羊體站姿狀態，采用最小二乘法，對可信的空間輪廓線采樣點進行擬合運算得到擬合平面。空間平面的一般表達式為：

對于空間中分布的n（n≥3）個點，坐標為（xi，yi，zi），根據最小二乘法則，用這n個點擬合上述平面方程。部分輪廓采樣點坐標見表2。

利用最小二乘法對輪廓采樣點進行平面擬合，得到采樣點擬合平面的一般表達式的各個參數A=-0.000 797 2，B=0.000 265 7，C=-0.005 4。因此擬合平面的一般方程為：-0.000 797 若M′、N′為2特征點坐標，將特征點坐標沿z軸映射到擬合平面上，得點M（x1，y1）、N（x2，y2）。在不考慮深度坐標時，測量得到的羊體體尺長度L′為真實體尺長度L在xoy坐標平面的投影長度。所以線段L（MN）的長度為體尺數據的真實值（圖16）。

將體尺計算由二維平面轉入三維空間，對克服羊體站姿問題有一定幫助。

4試驗結果

本研究基于VS2010軟件，結合微軟公司提供的SDK，搭建羊體尺測量系統，主界面如圖17所示。

5結論

本研究采用Kinect傳感器采集羊體彩色、深度圖像，采用彩色、深度圖像融合的方法分割得到羊體輪廓線，有效克服了現場背景復雜、光線及羊體站姿變化的干擾，在實地測量中，所得體尺數據相對誤差在4.3%之內，對機器視覺技術在家畜體尺測量方面的應用具有積極意義。

參考文獻：

[1]劉同海，滕光輝，付為森，等. 基于機器視覺的豬體體尺測點提取算法與應用[J]. 農業工程學報，2013，29（2）：161-168.

[2]劉波，朱偉興，霍冠英. 生豬輪廓紅外與光學圖像的融合算法[J]. 農業工程學報，2013，29（17）：113-120.

[3]江杰，周麗娜，李剛. 基于機器視覺的羊體體尺測量[J]. 計算機應用，2014，34（3）：846-850，887.

[4]趙建敏，許曉偉，賈慧媛. 基于Kinect體感傳感器的心理宣泄系統的實現[J]. 傳感器與微系統，2014，33（8）：119-122.

[5]王琰濱，蔣龍泉，馮瑞. 一種低圖像質量車輛牌照的字符分割方法[J]. 計算機應用與軟件，2013，30（3）：108-110，117.

[6]田亞磊，高騰云，白繼武，等. 河南小尾寒羊體尺與體重的相關性分析[J]. 中國畜牧獸醫，2009，36（11）：200-202.

[7]王德超，涂亞慶，張鐵楠. 一種多尺度Harris角點檢測方法[J]. 計算機應用與軟件，2008，25（12）：242-243，262.

[8]郭娟娟，鐘寶江. U弦長曲率：一種離散曲率計算方法[J]. 模式識別與人工智能，2014，27（8）：683-691.

[9]鐘寶江，廖文和. 基于精化曲線累加弦長的角點檢測技術[J]. 計算機輔助設計與圖形學學報，2004，16（7）：939-943.許健才. 一種非下采樣輪廓波變換域水果圖像預處理方法[J]. 江蘇農業科學，2015，43（11：499-501.