基于雙目視覺的點特征物體三維運動捕捉方法

梁爽

摘要：基于雙目視覺系統的點特征物體三維運動捕捉方法，是以雙目相機為核心，通過對不同特征物體進行檢測和跟蹤，實現對不同物體三維運動姿態的捕捉。在工業現場應用中，常采用由多臺相機組成的立體視覺系統來完成物體三維運動姿態的捕捉。基于此，文章介紹了基于雙目視覺的點特征物體三維運動捕捉方法的優勢和問題，并探討捕捉方法要點，以供參考。

關鍵詞：特征信息；匹配算法；三維重建

doi：10.3969/J.ISSN.1672-7274.2024.01.019

中圖分類號：TP 391.41? ? ? ? ? ? 文獻標志碼：B? ? ? ? ? ? 文章編碼：1672-7274（2024）01-00-03

A Method for 3D Motion Capture of Point Feature Objects Based on Binocular Vision

LIANG Shuang

（Jiangsu Vocational College of Commerce， Nantong 226011， China）

Abstract： The point feature object 3D motion capture method based on binocular vision system is centered on a binocular camera， which detects and tracks different feature objects to capture the 3D motion posture of different objects. In industrial field applications， a stereo vision system composed of multiple cameras is often used to capture the three-dimensional motion posture of objects. Based on this， this article introduces the advantages and problems of point feature object 3D motion capture methods based on binocular vision， and explores the key points of capture methods for reference.

Key words： feature information; matching algorithm; three-dimensional reconstruction

1? ?基于雙目視覺的點特征物體三維運動

捕捉方法的優勢

1.1 操作簡便

傳統的三維運動捕捉技術需要人工操作，安裝設備后還要進行標定。比如，除了安裝相機、激光發射器、激光測距儀等，還需要一個人花費數小時去調試和標定，同時設備安裝過程中還需要考慮布線、安裝和校準的問題。立體視覺在操作上更加簡便，只需要在相機和激光測距儀上分別粘貼一個小的標記點，就可以在設備中實現三維運動捕捉功能。用戶只需要準備一臺相機和激光測距儀即可。而且設備可以直接使用，無須任何其他輔助設備，甚至不用考慮安裝環境。另外，采用立體視覺技術進行三維運動捕捉的成本也比采用傳統的三維運動捕捉技術低很多。同時，由于設備安裝過程中不需要考慮布線的問題，也降低了后期維護的難度和成本。

1.2 安全性高

傳統的運動捕捉主要依靠視覺系統與機械臂進行交互，其中視覺系統中的攝像機起到了至關重要的作用。但隨著機器視覺技術的發展，計算機視覺的精度也越來越高，使得攝像機所拍攝的圖像分辨率越來越高，這就要求攝像機必須具備足夠高的分辨率。但如果機械臂出現故障，或操作者遇到安全隱患時，可能會導致機械臂發生意外，造成嚴重的損失。雙目視覺具有很好的穩定性和安全性，不會因機械臂的故障而導致操作人員受傷。在安裝過程中也不需要考慮機械臂出現故障時會對人體造成傷害，在應用過程中也不需要擔心人為因素導致采集數據發生錯誤。此外，雙目視覺還具備非常高的系統集成性。這意味著使用雙目視覺技術可以將所有機械臂控制裝置整合到一套設備中，這就可以大大簡化機器人操作人員的工作流程。即使機械臂發生故障，也不會影響整個系統運行。

2? ?基于雙目視覺的點特征物體三維運動捕捉方法存在的問題

2.1 獲取的點特征信息不夠準確

根據雙目視覺原理，通過測量物體表面的幾何形狀可以重建三維模型。這種方法能夠準確還原物體表面的幾何形狀，但存在一個致命缺陷，那就是重建結果的精度問題。由于雙目視覺只能測量物體表面的幾何形狀，無法獲取顏色信息，因此對于有顏色信息的物體表面，精度會受到影響。此外，不同相機拍攝同一物體照片存在參數和采集方式的差異，導致共同特征影響重建結果的精度。

2.2 攝像機標定不準確

攝像機標定是計算機視覺的核心技術之一，通過標定可以消除攝像機在成像過程中的畸變，提高系統精度和魯棒性。本文基于雙目視覺原理，通過建立攝像機模型，推導出攝像機參數矩陣，再使用MATLAB中的多種算法對攝像機參數進行求解。但實際應用中，由于標定不準確，重建后模型存在較大誤差。解決方法如下：首先根據攝像機成像原理建立攝像機模型，在此基礎上，對攝像機進行標定。其次利用雙目視覺原理建立三維坐標系，通過求解相機坐標系與世界坐標系的轉換關系，得到攝像機參數矩陣。然后使用MATLAB中的多種算法對該矩陣進行求解。最后對優化后的參數矩陣進行標定，從而得到精確的相機參數。由于攝像機模型建立過程存在較大誤差，使得攝像機標定結果不準確，對重建結果產生較大影響。因此需要對重建后模型進行標定，消除誤差。

3? ?基于雙目視覺的點特征物體三維運動捕捉方法要點

3.1 點云數據的預處理

基于雙目視覺的運動捕捉目標是使用攝像機拍攝一個完整的場景，其中包括物體、人和背景。在獲得完整場景后，需要對場景進行分割、特征提取和匹配，然后使用三維重建技術重建物體。在點云數據的處理過程中，可以先將點云數據分為點、線和面，然后再將其轉換為形狀特征。對于運動捕捉來說，點云數據中的噪聲可能會破壞物體表面的形狀，因此需要進行去噪處理。去除噪聲時可以使用平面擬合、距離變換等方法來去除點云數據中的點噪聲。而對于不同的目標對象，其形狀特征可能也會有很大的差異，因此還需要進行特征提取和匹配。為了獲得更準確的點云數據，在處理點云數據之前需要對點云進行預處理。預處理工作主要包括去除噪聲、坐標轉換和匹配等。對于平面物體（如汽車、自行車等）來說，其表面通常是光滑的，因此可以使用平面擬合或距離變換等方法來去除噪聲；而對于立體物體（如汽車、火車等）來說，其表面通常是彎曲的，因此需要使用體素化和體素分割等方法來去除噪聲。對于三維立體物體，如飛機，其表面通常是復雜的曲面，因此需要使用法線估計和投影變換等方法來去除噪聲。在運動捕捉中應用點云數據之前需要對點云數據進行預處理，這樣可以減少后續計算所需的時間和空間。當目標物體具有復雜表面形狀時，需要進行噪聲去除、特征提取和匹配。在運動捕捉中，常見的方法包括基于平面擬合或距離變換的方法。為了確保點云數據與實際物體一致且避免過度擬合，通常需要對點云數據進行去噪處理。如果需要進行特征提取和匹配，還需要對點云數據進行預處理以去除噪聲并提取特征。

3.2 點云配準

點云配準是指通過一組點的坐標來確定兩個或多個點云的坐標，使其在空間中具有一定的位置和姿態。在雙目視覺中，點云配準是通過標定相機，使得兩個相機的焦點一致，從而獲取空間物體的兩張點云的方式實現的。最常見的標定相機方法是通過調整兩個攝像機之間的距離來實現的，兩個攝像機之間的距離通常稱為視差圖，而通過圖像間的幾何關系來計算兩個攝像機之間的位置關系稱為幾何變換。利用雙目視覺可以實現多點位姿態參數的確定。當雙目視覺系統檢測到一個物體時，由于相機是固定在某個位置上，可以通過比較雙目視覺系統獲得物體表面特征點與相機內參數之間的關系，從而確定物體表面特征點在圖像上的位置，這就是特征點與相機參數之間關系。利用上述關系可以確定兩個相機之間位置、姿態等參數。這種方法不需要任何標定設備，只需拍攝物體圖像即可實現三維重建。然而由于兩個攝像機獲取的圖像是不同時刻拍攝到的，會導致兩幅圖像之間存在較大誤差。為了保證重建后得到的三維點云數據能夠真實反映物體表面特征點在圖像上的位置，就需要將兩幅圖像進行配準。常用配準方法有四種：基于特征點匹配法、基于極線約束法、基于空間變換法和基于區域增長法^[1]。

3.3 相機內參數計算

在確定相機參數之前，首先需要對相機的成像模型進行分析，通常使用幾何透視理論和線性攝像機模型來描述攝像機的成像模型。攝像機成像模型一般分為三個基本部分：內部參數（鏡頭畸變和光學畸變）、外部參數（光軸偏差、鏡頭中心的位置和透視投影）和相機內參數。在使用雙目視覺進行運動捕捉時，通常要將這三個參數求出，然后進行標定和優化。以相機坐標系通過內參矩陣轉換為圖像像素坐標系為例：

式中，f代表相機焦距；X_c、Y_c、Z_c代表相機實際空間坐標；x、y、1代表歸一化的圖像物理坐標。

攝像機內部參數是指鏡頭畸變程度，它直接影響雙目視覺系統對三維世界的感知。鏡頭畸變不完全取決于鏡頭本身，還取決于鏡頭與圖像采集系統之間的相對位置關系。畸變主要分為線性畸變和非線性畸變。線性畸變指鏡頭本身的畸變，如鏡頭彎曲、扭曲等，不需要附加任何計算就可以直接測量，非線性畸變是由攝像機內部參數變化引起的畸變，通常需要附加計算才能測量。如果是非線性畸變，則需要計算出畸變系數k，而k就是線性畸變系數。目前常用的內參標定方法有很多，常見的有張正友標定法、張氏標定法、立體視覺標定法、基于特征點的標定法、基于灰度的標定法等。其中最常用的是基于特征點的標定法，通過分析圖像中點的特征信息和像素之間的對應關系來確定相機內參數。但這種方法在處理一些旋轉、縮放和尺度變化比較大的物體時就會遇到困難，并且如果圖像中存在大量不平行于鏡頭中心線的點時，很難通過這種方法進行標定。因此，在實際應用中，需要綜合考慮各種因素才能確定準確的相機內參數。

3.4 立體匹配與特征提取

立體匹配是雙目視覺中最為關鍵的問題之一，其本質就是找到兩幅圖像中的視差，然后利用視差來恢復被遮擋的物體。立體匹配首先需要計算兩幅圖像之間的視差，然后根據視差圖來進行匹配。由于在實際應用中，通常是使用相機采集多幅圖像來獲得被遮擋的物體，因此在進行立體匹配時需要對圖像進行預處理，以提高匹配精度。通常對預處理后的圖像使用中值濾波方式來濾除噪聲，然后根據圖像的局部特征和灰度特征來計算局部極值點和對應的視差。同時，還可以使用聚類分析來判斷兩幅圖像是否存在較大的視差，或者對物體進行分割并計算其視差。在特征提取方面，除了在傳統的灰度特征、紋理特征和結構特征基礎上進行了改進，還有一些新的方法，如基于深度學習的點云數據預處理、基于深度學習的點云數據配準云分割等。

3.5 匹配點的獲取

匹配點的獲取是根據已知的視差信息，計算兩幅圖像中像素點的坐標，并通過對應點的位置關系計算出它們之間的對應關系實現的。在雙目視覺系統中，通常采用以下幾種方式來獲取匹配點。

（1）直接觀察法。直接觀察法是指利用兩臺攝像機同時采集同一物體圖像，然后通過計算兩幅圖像中像素點的空間位置關系來確定匹配點。

（2）特征提取法。特征提取法是指在兩臺攝像機獲取的圖像中，利用特定物體自身的結構特征或外部特征進行匹配。其優點是精度高、計算速度快、操作簡單等；缺點是需要對兩臺相機進行標定。

（3）多參考匹配法。其優點是精度較高、計算速度較快；缺點是對相機自身參數和鏡頭畸變比較敏感。

（4）幾何約束法。幾何約束法是指通過對雙目相機拍攝得到的兩幅圖像進行約束，來獲得在空間坐標系中物體間的位置關系，并計算出物體間的視差關系。

3.6 三維重建

三維重建技術利用雙目視覺系統獲取的二維圖像信息，通過計算機技術計算出三維空間點的位置、姿態和紋理等特征，從而重建出三維場景的模型。雙目視覺系統能夠獲取物體的深度信息，但無法得到物體的幾何信息，因此只能重建物體的表面模型。

傳統的三維重建方法通常使用攝像機標定技術來對攝像機進行標定，以獲得精確的成像參數。然后根據匹配原理，提取出對應的特征信息，并對圖像進行匹配。然而，由于相機是被動成像設備，在獲取圖像過程中可能受到環境光照、陰影、閃爍等因素的干擾，導致難以準確獲取攝像機之間的相對位置和空間位姿信息。

基于雙目視覺系統的點特征物體三維運動捕捉方法采用多臺相機同時進行拍攝，每臺相機獲取一幅圖像，然后對這些圖像進行匹配。如果兩張圖像存在交疊部分，則需要計算出交疊區域內對應點的灰度值差異，從而確定兩幅圖像中的點之間的空間位置關系。然后，根據這些位置關系計算出相機之間的相對位姿。最后，利用拍攝得到的深度圖和相對位姿結果進行三維重建。

4? ?結束語

運動捕捉是指通過物體運動的信息來恢復物體的位置和姿態，通常是利用傳感器在不同時刻獲取同一對象的多幅圖像，利用圖像處理、分析和重建技術獲取物體的三維信息。在工業領域中，三維數據獲取通常需要對場景進行建模，然后使用攝像機捕捉物體的運動信息來重建場景，基于雙目視覺的運動捕捉方法可以實現高精度、高效率、非接觸式三維數據獲取。

參考文獻

[1] 趙寶樂，姬五勝，陳建敏．基于雙目視覺的機器人抓取目標的研究[J]．物聯網技術，2023，13（5）：73-76.

作者簡介：梁? 爽（1980-），女，漢族，山西運城人，講師，本科，研究方向為計算機。