基于Kinect三維行動重建應用于傳統武術教學訓練研究

劉堅斌，黃敏敏，劉志鋒

在傳統武術教學訓練中，運動技能學習可以通過視頻觀察玩家在目標運動中的行為來促進運動技能學習。視頻觀察動作的最佳視角取決于學習的目的。例如，當學習者想要學習球員在足球比賽中如何移動時，鳥瞰視角對觀察最有效，而當學習者想要知道球員的球控制技術時，從球員前面的正面角度觀察是更好的。因此，通過視頻觀察來學習需要一個視點變化函數。

近年來，電視體育節目采用了多視點攝像頭系統［1］，促進了電視節目中視點的平滑切換。另一方面，將多個攝像機帶到運動場上進行私人拍攝是困難的。因此，大多數私人視頻都是用一個攝像機從一個固定的點拍攝的。本研究的目的是開發一種方法，從單個圖像中生成玩家（即虛擬玩家）的3D人體模型，從而能夠從任何角度觀察虛擬玩家的行為。使用此方法時，可以產生以下效果：

1）通過使用的單視圖視頻圖像，從最佳角度觀察示范動作的可能性。

2）學習者可以從不同的角度來檢查學習者自己的行為。自我觀察對運動技能學習也是有用的。［2］，因此該方法必須通過自我觀察來促進學習。

3）學習者可以從視頻檔案中創建虛擬的3D內容運動。這意味著，例如，他們可以從穆罕默德面前的一個角度觀看穆罕默德·阿里的射門。一些使用虛擬人類的研究已經在計算機支持系統上進行。用于控制虛擬播放器的方法在這些系統中很重要。在［3］中提出的虛擬教育環境中，虛擬教練由運動路徑規劃算法和反向運動學控制。在［4］中提出的系統顯示虛擬玩家玩橄欖球，以協助橄欖球的決策學習。球員是由使用光學運動捕捉系統從專業橄欖球運動員那里預先捕獲的運動數據來控制。雖然大多數研究對虛擬人使用了特定的運動捕捉系統或運動生成方法，但本研究采用了一個普通的單個攝像機，并估計了玩家在二維圖像中的三維位置。

最近推出的RGB－D相機（如微軟公司的Kinect），價格更便宜，也更容易獲得，促進了從單一視圖出發的3D重建應用程序。然而，RGB－D相機中的深度傳感器對距離測量有嚴格的限制。因此，人們對利用二維圖像的三維重建進行了許多研究。為了從二維圖像中生成三維人體模型，需要對二維圖像進行聯合檢測，并從關節的二維坐標中進行三維坐標估計。大多數關于人體重建的研究都是通過將三維人體模型擬合到二維圖像［5］［6］上的人體區域來檢測關節和估計三維姿態。然而，擬合方法生成的人體模型無法觀察玩家之間的三維位置，因為該方法無法獲得玩家之間的互動。在［7］中，利用從攝像機到真實關節的視線上的幾何約束，解決了三維關節坐標估計的反問題。但是，如果不指定關節之間的實際距離，就不可能計算出位置。因此，本研究提出了一種基于圖像射影幾何形狀的計算關節與位置之間距離的方法。

作為第一步，本研究以傳統武術對打作為重建的目標，從而開發了一種三維聯合坐標估計方法，利用傳統武術對打的先驗信息（例如，傳統武術演奏的墊子是方形的）。在第一步中，將手動指定二維圖像上的關節。近年來的聯合檢測研究提出了一種基于機器學習［8］［9］的檢測方法。本研究的第二步是利用了該檢測方法。本文描述了在第一步中使用的方法。

1 基于Kinect三維行動重建應用步驟

1.1 三維行動重建基礎設備

我們提出的方法使用拍攝圖像校準用于拍攝傳統武術的相機。練習傳統武術的墊子是一個正方形。每邊的長度都是已知的。焦距f是由正方形的兩對平行邊的兩個消失點計算出來的。在這里，使用偏斜0和比例因子1進行校準。為了簡化解釋，本文采用了攝像機坐標系進行了三維計算。

圖一 傳統武術墊子上的方形面積

1.2 三維行動重建比賽場地平面方程

該方法采用墊面方程計算傳統武術運動員的三維坐標。因此，利用邊［10］的長度計算了正方形的三個頂點的三維坐標。該方法從坐標中找到方程。

1.3 三維行動重建人體模型

圖二（左）為該方法中采用的人體模型。該模型有15個關節、面部、右腳趾和左腳趾。總共有18個點是要用三維方法計算出來的點。設（xi、yi、zi）（ui、vi）分別為點的三維坐標和圖像上投影的pi的二維坐標。在圖像上手動獲得二維坐標。坐標之間的關系由

圖二 （左）人體模型和（右）圖像進行計算

有17對具有固定距離的點（例如，胸肩－右肩）。讓我們把這兩點之間的線段稱為線段。一般來說，直接測量每個玩家的片段是困難的。因此，該方法計算每個點pi的三維坐標作為特定的三維平面和由公式（1）得到的點pi的三維視線的交集（見圖。2（right））。穿過腳底兩側并垂直于墊子平面的平面（見圖。作為具體的2（右）平面計算點，腳趾除外。對于腳趾，墊子平面被用作特定的三維平面。該段的長度（sk，k＝1，...，17）從這些點的三維坐標中獲得2.43D重建點與線段長度之間的關系方程由

當關節不發生閉塞時，k的值為17。用腳趾在墊子平面上的z坐標的方程給出了計算除腳趾以外的點的z坐標的遞推公式：

其中pi，pj表示sk的端點，是穆爾彭羅斯逆矩陣。腳趾的z坐標計算為墊子平面與腳趾的三維視線的交點。對于腳趾位于墊子平面上方的圖像幀，腳趾的z坐標由前者和后者的腳趾的兩個z坐標估計。采用兩種約束條件，（1）關節的可移動范圍和（2）所有關節必須存在于墊面上或以上，從多個解中選擇正確的解。最后，圍繞相應的部分設置身體部件模型。

2 實驗評價

在大學傳統武術俱樂部的幫助下，拍攝了一場傳統武術拳擊比賽，并進行了3D重建簡單的實驗（見圖三），據傳統武術教練說，重建工作的質量很好。

圖三 （左）原始傳統武術拳擊圖像，（中間）從側面的3D場景，（右）從左側的觀點的相同的模擬環境

3 結論

本研究提出了一種傳統武術拳擊的半自動三維重建方法。關節檢測、腳趾與墊面之間的接觸測定以及被遮擋關節的位置估計將有待進一步研究。