動物二維圖像3D重構及其特征識別系統研發

陳義松，岳　帥，石　悅，劉同海（天津農學院 計算機與信息工程學院，天津　300384）

?

動物二維圖像3D重構及其特征識別系統研發

陳義松，岳帥，石悅，劉同海
（天津農學院 計算機與信息工程學院，天津300384）

摘要：為解決動物二維圖像3D重構及其特征識別問題，實現動物無接觸、無應激提取其特征參數，利用立體視覺原理，以動物為研究對象，使用雙目攝像機采集的圖像，基于被動線索的方法，采用計算機視覺庫OpenCV函數庫，開發了3D重構系統，實現雙目標定、特征識別、雙目立體匹配、三維模型重建和提取特征等功能。通過實驗驗證，建立的動物三維模型，可有效識別動物體尺等特征信息，其提取結果相對誤差為1.5％。本研究可應用于動物無應激量算體尺，為開展福利養殖提供了一種方法。

關鍵詞：OpenCV；雙目視覺；立體匹配；特征識別

自然界中的物體是多維的，人體通過眼睛獲取物體的三維信息。然而，一個攝像系統只能記錄下來物體圖像的二維信息，致使大量信息丟失。計算機視覺是一門專門研究如何讓機器模仿人類眼睛“看”物體的科學，更形象的說，就是指用雙目攝像機代替人的眼睛，對目標物體進行身份識別、運動跟蹤和數據測量，并做數字化處理，通過計算機處理不僅適合人眼直接觀察而且成為能夠傳送給儀器檢測的數字化信息。計算機視覺不僅包括圖像處理、模式識別等功能，還包括空間形狀的數字化描述、構建幾何模型以及特征識別等功能[1]。實現利用機器做到圖像識別是計算機視覺的終極目標。隨著計算機視覺的發展和技術的進步，讓冰冷的機器具有人類一樣的視覺功能，是機器智能化的一個進步。從實用性的角度來看，雙目立體視覺(Binocular)是最經濟和科學的方法。

OpenCV是由一系列 C 函數和少量 C++ 類接口所組成的開源計算機視覺庫，它擁有計算機視覺相關的諸多通用性算法[4]，而且具有效率高、程序執行速度快、可跨平臺移植性等優點[2]，是從事計算機視覺研究的一個方便的工具。

動物體尺測量是畜牧養殖育種過程中所要做的一項重要工作，一般是由工作人員直接人工測量，工作強度非常大，且測量人員需要直接接觸動物，對其應激大，動物甚至會對工作人員進行攻擊，存在一定的安全隱患[5]。通過雙目視覺技術，可以用攝像機獲取圖像數據，對動物個體進行無接觸測量，達到減少應激、提高效率、降低工作人員危險的目的。

1　動物三維重構基本原理

雙目視覺的基本原理[6]：就是通過兩臺平行放置的攝像機，模仿人的眼睛觀察目標物體，來獲取同一目標物體的左右兩幅圖像，通過對兩幅圖像進行數據分析，計算左右圖像視差獲取目標物的三維數據，并基于三維坐標信息，獲取目標物體的尺寸數據。具體方法是利用兩個規格相同的攝像機平行放置，同時采集同一動物的兩幅圖像，以某一個攝像機焦點為坐標原點建立空間坐標系，確定空間點的準確位置坐標，兩個攝像機進行矯正坐標數據，使得兩副圖像盡可能的一致，以達到設定的精度。利用矯正之后的坐標數據計算出同一空間點分別在兩幅圖像中的坐標，計算出空間點的深度數據。其原理示意圖如圖1所示。

圖1　雙目立體視覺原理圖

2　系統主要功能

本研究在雙目立體視覺理論下，開發了動物二維圖像3D重構及其特征識別系統，實現了圖像獲取、攝像機標定和雙目矯正、立體匹配、視差圖和三維重構及動物特征提取等功能。其系統硬件平臺如圖2所示。

圖2　硬件平臺

3　動物三維重構系統構建

3.1雙目攝像機獲取圖像

圖像的獲取是雙目立體視覺的基礎，圖像獲取的方式是利用兩個平行的攝像機同時抓取目標物體的兩幅畫面。圖像采集的質量不僅取決于攝像機自身內部參數，還與動物所處的光環境、動物的特征等因素有關。本研究利用兩個USB攝像機平行同步抓取畫面。抓取效果如圖3所示。

圖3　雙目攝像頭同時采集圖像效果

3.2動物雙目圖像校正

雙目圖像校正可分為兩個過程，攝像機標定[7]和圖像校正。攝像機標定是為了建立動物空間坐標系，通過相機標定來確定坐標系中動物特征點的坐標值。其操作是首先需要直接估計出攝像機的內部參數，例如焦距、光軸方位、相機位置等，然后通過諸如最小二乘法擬合等具體算法處理，準確地構建一個空間坐標系。計算出空間點的精確坐標，進而能夠計算出目標物體的準確位置，用于解決三維重構過程中的立體匹配問題。

雙目圖像校正是根據標定獲得的單目相機內參數據和另一個攝像機相對位置關系（例如旋轉矩陣和平移向量等），分別對左右兩個視圖進行消除畸變和行對準操作。使得左右兩個視圖的成像原點坐標盡量一致；兩攝像機光軸盡量平行；左右成像平面盡可能共面；對極線行盡可能對齊等。如果校正以后左右視圖的邊角區域是不規則的，將會對后續的雙目匹配和求取視差的結果產生不利影響。因為這些邊角區域的數值也參與到匹配操作過程中。校正效果如圖4所示：

圖4　雙目圖像校正效果

3.3動物圖像立體匹配

動物三維測量的關鍵就是利用建立的空間坐標系獲取動物表面點的準確坐標，其前提需要進行立體匹配。立體匹配的過程：需要知道匹配點分別在左右兩副圖像上的像素坐標，在左右圖像中尋找盡可能多的匹配點的坐標[8]。匹配特征點的選取對重建動物三維的效果來說影響很大。動物，尤其是活體，由于形狀不規則，特征點的提取是其三維重構的關鍵。

3.4動物三維重構

立體匹配的工作完成以后，就很容易得到矢量化的視差數據了。只需在目標范圍之內選取疊加匹配代價最優點作為相互矯正的匹配點。例如，直接對原始匹配代價的點進行處理的全局算法會先給出一個能量評價的具體函數，然后會通過優化算法來分析，計算出其能量的最小值，這樣就能計算出目標范圍內每個點的視差值。視差效果如圖5所示：

圖5　彩色視差圖

在獲取到視差數據后，是不能直接看出三維效果的，我們再利用 OpenCV 的 Bouquet 校正方法獲得Q 矩陣就能得到目標物體的三維點云坐標數據，然后利用reProjectImageTo3D 重繪三維坐標數據來展現三維重構效果。

4　動物特征提取

雙目測量是利用了視差與目標點到成像平面的距離Z存在著反比例的關系：Z=fT/d。為了精確地求出某個點在三維坐標系里的距離Z，需要獲得的參數有攝像機的焦距f、目標點的視差d、攝像機的中心距Tx。如果知道左右圖像平面的坐標系與三維坐標系中原點的偏移量cx和cy，就可以計算出目標點的橫坐標和縱坐標。f、Tx、cx和cy四個參數的值可以通過立體標定來獲得初始值，通過雙目校正等優化操作，使得兩個攝像機在數學概念上完全平行放置，并且cx，cy和f的兩個值完全相同。所以立體匹配所需要做的工作，就是計算出的視差值d。從而計算出一個目標點準確的三維坐標所[9]。

圖6　雙目測量原理圖

通過建立的動物三維模型，以及雙目測距原理可以測出任意兩點之間的實際距離。然后利用動物的體尺間存在的相關關系，通過雙目視覺三維測量所獲取的動物的體寬、體長等值，基于所建立的估算模型，還可估測動物的體重[10-11]。可見，通過動物三維重構，可無接觸獲取到動物的體寬、體長、體重等數據，便于指導動物育種及養殖等工作。

利用OpenCV的雙目測距算法，經驗證，在2 m的距離之內，測得的動物體的體長、體寬誤差都是小于 1.5％，可見該系統可以達到一定精度。5結論與討論

本研究在雙目立體視覺模型[12]的基礎上，開發了動物二維圖像3D重構及其特征識別系統，實現了圖像獲取、攝像機標定和雙目矯正、雙目立體匹配、三維重構及動物特征提取等功能。

在使用OpenCV相關算法的基礎上，通過實測數據及估算數據，對其算法進行了驗證和分析，并對算法進行了完善。通過測試發現：在攝像機距離動物2 m之內，其體尺的估算誤差小于 1.5％，其體尺提取精度較高。

但由于環境光照影響以及標定誤差等影響，導致動物左右圖像采集紋理不清晰，及在距離相機大于2 m的動物三維重構及體尺提取精度較差，今后將對其算法繼續進行完善。

參 考 文 獻

[1] VE RNON D. Machine vision-automated visual inspection and robot vision[M] . Englewood Cliffs, NJ:Prentice Hall, 1991:2.

[2]史進，李健.一種基于OpenCV的三維重建實現方案[J].計算機與信息技術，2008（4）：47-49.

[3]陳付幸．基于非定標圖像序列的三維重建關鍵技術研究[D].長沙：國防科學技術大學，2006．

[4] Open source computer vision library reference manual(2001) INTEL CORPORATION[EB/OL].[2015-11-15]. http://www.doc88.com/p-2701612807693.html.

[5]劉同海，滕光輝，付為森，等. 基于機器視覺的豬體體尺測點提取算法與應用[J]. 農業工程學報，2013，29（2）：161-168.

[6] YU X, HAY T S, LEONG H W.3D reconstruction and enrichment of broadcast soccer video. [EB/OL].[2015-11-15]. http://www.doc88.com/p-0384369494102.html.

[7]劉俞平，馮成良，王紹慧．定向戰斗部研究現狀與發展趨勢[J].飛航導彈，2010（10）：88-93．

[8]PARDO X M,RADEVA P．Discriminant snakes for 3D reconstruction in medical images[J]．Pattern Recognition，2002，(3):336-339．

[9] KAEHLER A ，BRADSKI G R. Learning OpenCV[M]. 于仕琪，劉瑞禎，譯.北京：清華大學出版社，2008.

通訊作者簡介：劉同海（1977-），副教授，碩士生導師，主要從事農業物聯網及計算機視覺研究，E-mail：tonghai_1227@126.com

作者簡介：主要陳義松（1991-），男，主要從事物聯網工程及圖像處理研究，E-mail：cysleroy@outlook.com

基金項目：國家級大學生創新訓練項目（201410061077）

收稿日期：2016-01-17

文章編號：1002-0659（2016）01-0007-03

中圖分類號：S818.9

文獻標識碼：A