基于高速視覺的乒乓球旋轉(zhuǎn)速度實時測量方法

呂程旭，李清都，季云峰

（1.上海理工大學(xué) 光電信息與計算機工程學(xué)院；2.上海理工大學(xué) 機器智能研究院，上海 200093）

0 引言

旋轉(zhuǎn)在乒乓球運動中普遍存在，是運動員在比賽中克敵制勝的重要技術(shù)。因此對旋轉(zhuǎn)飛行乒乓球的運動狀態(tài)和軌跡進行預(yù)測是乒乓球機器人學(xué)習(xí)旋轉(zhuǎn)球擊打任務(wù)、提升擊球能力的重要基礎(chǔ)。

在乒乓球運動中，旋轉(zhuǎn)會使乒乓球在飛行過程中受到馬格努斯力的影響而發(fā)生偏移，使機器人難以精確預(yù)測球的軌跡，導(dǎo)致旋轉(zhuǎn)球難以應(yīng)用到乒乓球機器人中。目前大多數(shù)乒乓球機器人的軌跡預(yù)測工作主要集中在非旋轉(zhuǎn)球的軌跡分析上，未考慮乒乓球的旋轉(zhuǎn)。如Zhang 等［1］使用神經(jīng)網(wǎng)絡(luò)離線訓(xùn)練模型參數(shù)與球狀態(tài)之間的關(guān)系，實現(xiàn)了各種情況下的運動狀態(tài)估計，但主要側(cè)重單打擊點的預(yù)測；對此，Huang 等［2］提出一種構(gòu)建乒乓球軌跡預(yù)測圖的方法，通過球的初始和反彈軌跡更新球圖，通過組合學(xué)習(xí)的方法預(yù)測反彈后的整個軌跡，具有較高的預(yù)測精度。以上方法均未考慮旋轉(zhuǎn)的影響，難以實現(xiàn)對旋轉(zhuǎn)球的精度軌跡預(yù)測。

在實際乒乓球?qū)Υ蜻^程中，球與球拍、球桌碰撞時會使乒乓球產(chǎn)生旋轉(zhuǎn)，因此旋轉(zhuǎn)球的軌跡預(yù)測問題至關(guān)重要。近年來，有相關(guān)學(xué)者對乒乓球的旋轉(zhuǎn)進行了探討，如任艷青等［3］設(shè)計了一種基于模糊反向傳播神經(jīng)網(wǎng)絡(luò)的軌跡分類器，通過乒乓球的軌跡識別出上、下、左、右類型的旋轉(zhuǎn)球；Zhang 等［4］將補償模糊算法與遞歸神經(jīng)網(wǎng)絡(luò)相結(jié)合，準(zhǔn)確區(qū)分了乒乓球的旋轉(zhuǎn)狀態(tài)。雖然上述方法可預(yù)測旋轉(zhuǎn)球的軌跡，但需大量的神經(jīng)網(wǎng)絡(luò)離線訓(xùn)練，且對球的旋轉(zhuǎn)分類簡單。針對此問題，季云峰等［5］利用人工神經(jīng)網(wǎng)絡(luò)探討了輸入和輸出之間的相關(guān)性，驗證了乒乓球旋轉(zhuǎn)與運動軌跡之間的密切關(guān)聯(lián)；張遠輝等［6］利用擴展卡爾曼濾波器對乒乓球旋轉(zhuǎn)進行了實時測量，但卡爾曼濾波性能不穩(wěn)定，估計效率較低；隨后，張康潔等［7］在張遠輝的方法上做出改進，采用無跡卡爾曼濾波的方法對乒乓球旋轉(zhuǎn)進行估計，該方法直接使用系統(tǒng)的非線性模型，估計效果更可靠；此外，Zhao 等［8-9］計算空氣阻力所需的速度范數(shù)，通過微分方程求解擬合速度和自旋值，但不能適應(yīng)運動狀態(tài)變化大的乒乓球；Blank 等［10］使用球拍上的傳感器捕捉擊球動作，結(jié)合了球與球拍之間的反彈模型預(yù)測球的旋轉(zhuǎn)，但實際比賽中不能在球拍安裝傳感器。

上述通過分析乒乓球運動模型的方法只能獲得大致的旋轉(zhuǎn)信息，而隨著軌跡預(yù)測在乒乓球機器人領(lǐng)域的逐步深入，獲得精確的旋轉(zhuǎn)信息至關(guān)重要。因此，有相關(guān)學(xué)者提出在乒乓球上做標(biāo)記測量球的旋轉(zhuǎn)，如Nakashima等［11-14］在乒乓球表面做不規(guī)則標(biāo)記，通過估計兩幅圖像之間變換的參數(shù)實現(xiàn)乒乓球的旋轉(zhuǎn)測量，但在球上做標(biāo)記的行為會改變球的物理屬性。對此，季云峰等［15-16］利用乒乓球商標(biāo)的運動軌跡參數(shù)方程，根據(jù)空間轉(zhuǎn)換關(guān)系獲得乒乓球旋轉(zhuǎn)的三維速度及大小，但此方法僅限于二維圖像中的轉(zhuǎn)速分析；Zhang 等［17-18］提出一種實時估計球旋轉(zhuǎn)狀態(tài)的方法，通過識別商標(biāo)在球上的位置并恢復(fù)球的三維姿態(tài)，利用平面擬合的方法對球的自旋進行實時估計，得到了較精確的轉(zhuǎn)速測量結(jié)果。此方法關(guān)鍵在于準(zhǔn)確找到商標(biāo)中心，但當(dāng)商標(biāo)位于圖像邊緣時無法獲得準(zhǔn)確的中心；隨后，Tebbe 等［19］采用與Zhang 等類似的方法，且考慮商標(biāo)位于圖像邊緣的情況，提出采用圓段擬合的方法改進了乒乓球的自旋檢測技術(shù)，解決了商標(biāo)邊緣情況。以上方法均需確保商標(biāo)能夠被準(zhǔn)確提取，但限于環(huán)境等因素，很難保證視野范圍內(nèi)一直存在完整的商標(biāo)。針對此特點，季云峰［20］提出利用乒乓球的軌跡反推乒乓球轉(zhuǎn)速的方法，該方法通過建立球的旋轉(zhuǎn)模型和運動模型，利用文獻［15］［16］中提出的算法進行大量實驗，以獲取模型中所需的數(shù)據(jù)，實現(xiàn)了乒乓球旋轉(zhuǎn)速度的反推。當(dāng)前，基于乒乓球商標(biāo)的旋轉(zhuǎn)測量方法僅能實現(xiàn)低速旋轉(zhuǎn)球的轉(zhuǎn)速測量，乒乓球識別的實時性較差，不適用于旋轉(zhuǎn)狀態(tài)變化較大的乒乓球轉(zhuǎn)速測量；在乒乓球商標(biāo)識別的過程中未考慮商標(biāo)的完整性要求，商標(biāo)中心計算存在較大誤差，嚴重影響了旋轉(zhuǎn)測量精度。

針對上述問題，本文提出一種基于高速視覺的乒乓球旋轉(zhuǎn)速度實時測量方法。為實現(xiàn)高速旋轉(zhuǎn)球的轉(zhuǎn)速測量，提出一種全新視覺系統(tǒng)方案，解決了高速相機的大流量數(shù)據(jù)傳輸問題，滿足高速旋轉(zhuǎn)球的轉(zhuǎn)速測量要求；將特定動態(tài)感興趣區(qū)域（Region of Interests，ROI）方法引入到乒乓球識別中，實現(xiàn)了識別的實時性；考慮到全局圖像乒乓球商標(biāo)不明顯問題，提出一種基于動態(tài)窗口的乒乓球?qū)崟r分割方法，能有效分割出乒乓球區(qū)域，為商標(biāo)識別奠定基礎(chǔ)；針對商標(biāo)識別未考慮商標(biāo)的完整性問題，提出一種基于輪廓拼接的商標(biāo)中心三維位置求解方法，能降低商標(biāo)中心的計算誤差，提高旋轉(zhuǎn)測量精度；最后分析商標(biāo)中心在空間中的運動并對乒乓球旋轉(zhuǎn)進行估計。所提出的方法能夠?qū)崿F(xiàn)高速旋轉(zhuǎn)乒乓球的轉(zhuǎn)速估計，同時得到低速旋轉(zhuǎn)下的精確轉(zhuǎn)速測量結(jié)果，相較于傳統(tǒng)方法更適用于旋轉(zhuǎn)狀態(tài)變化大的乒乓球旋轉(zhuǎn)測量中。

1 全新視覺系統(tǒng)方案

本文構(gòu)建了一種全新視覺系統(tǒng)方案，該方案采用兩臺200 萬像素、最高幀率可達3 000fps 的高速相機作為雙目視覺系統(tǒng)。整體視覺系統(tǒng)由高速相機、數(shù)據(jù)傳輸鏈路、存儲系統(tǒng)、觸發(fā)系統(tǒng)、光源系統(tǒng)組成，如圖1所示。

Fig.1 New vision system erection plan圖1 全新視覺系統(tǒng)架設(shè)方案

其中，視覺系統(tǒng)的拍攝范圍為乒乓球桌中網(wǎng)前后30cm，用于乒乓球三維空間定位和局部乒乓球圖像分割；數(shù)據(jù)傳輸鏈路使用USB3.0 進行圖像傳輸，可通過光纖轉(zhuǎn)換模組實現(xiàn)數(shù)據(jù)傳輸增程；補光光源采用吊頂安裝，使整個拍攝區(qū)域的亮度達到拍攝要求。考慮到高速相機受帶寬限制無法實現(xiàn)大流量數(shù)據(jù)傳輸?shù)膯栴}，系統(tǒng)采用改造高速相機的傳輸機制，常規(guī)狀態(tài)關(guān)閉高速相機的I/O 接口，當(dāng)乒乓球進入球桌視野時給出觸發(fā)信號傳輸圖像。

本文提出的乒乓球轉(zhuǎn)速實時測量方法主要包括乒乓球的三維空間定位、商標(biāo)中心三維還原和乒乓球旋轉(zhuǎn)速度估計三個部分，獲得乒乓球的三維空間位置是轉(zhuǎn)速測量的重要條件。為獲得乒乓球的三維空間位置，需要對雙目相機進行標(biāo)定，并通過標(biāo)定后相機的內(nèi)外參數(shù)及圖像處理結(jié)果，實現(xiàn)乒乓球的三維空間定位，雙目相機的標(biāo)定結(jié)果如圖2所示（彩圖掃OSID 碼可見，下同）。

Fig.2 Calibration result of binocular camera圖2 雙目相機標(biāo)定結(jié)果

經(jīng)雙目相機標(biāo)定，通過相機標(biāo)定參數(shù)及圖像處理后的乒乓球識別結(jié)果，最終實現(xiàn)乒乓球的三維空間定位。此外，為了后續(xù)相關(guān)計算，本文將左右相機的世界坐標(biāo)系建立在球桌中央，如圖1 所示。經(jīng)實驗驗證乒乓球的三維定位誤差小于5mm，左右相機世界坐標(biāo)系的重合誤差小于1.5mm，基本實現(xiàn)世界坐標(biāo)系的重合，滿足后續(xù)乒乓球旋轉(zhuǎn)測量的精度要求。

2 球與球標(biāo)的識別分割

2.1 乒乓球的識別與分割

常見目標(biāo)檢測方法主要有幀間差分法［21］和背景差分法［22］。幀間差分法利用前幀圖像與后幀圖像進行差分運算得到前景目標(biāo)，但存在空洞現(xiàn)象；背景差分法通過對每幀待檢測圖像與背景圖像進行圖像差分得到運動目標(biāo)物體。

在實際乒乓球機器人視覺場景中，圖像背景是僅有乒乓球桌在內(nèi)的部分物體，具有背景不變性的特點，因此本文利用背景差分法實現(xiàn)對運動目標(biāo)的初次檢測，并通過背景差分與特征信息進行組合的方式實現(xiàn)乒乓球的識別。本文將圖像背景定義為相機啟動后拍攝到的第一幀圖像，以左相機為例，如圖3所示。

Fig.3 Image background frame圖3 圖像背景幀

當(dāng)相機視野范圍內(nèi)出現(xiàn)運動目標(biāo)物體時，根據(jù)背景差分法將具有物體的圖像幀與圖像背景幀進行圖像差分，并經(jīng)適當(dāng)閾值得到圖像中的運動物體。為進一步判斷圖像中的運動物體是否為乒乓球，本文利用特征信息實現(xiàn)乒乓球的識別，即通過目標(biāo)物體的圓度、面積等特征實現(xiàn)乒乓球的識別。其中，圓度是度量對象與理論圓的接近值，如式（1）所示。

式中，M代表圓度，A代表面積，C代表周長；面積是度量對象的面積值。經(jīng)上述背景差分與特征信息結(jié)合的方法最終實現(xiàn)了乒乓球的識別，圖4 為差分閾值及乒乓球識別結(jié)果。

Fig.4 Differential threshold and recognition result圖4 差分閾值及識別結(jié)果

為提高識別的實時性，采用類似的預(yù)測感興趣區(qū)域的方法［23］，該方法的原理是利用前一幀圖像中乒乓球的檢測結(jié)果預(yù)測下一幀圖像中乒乓球的位置，能夠減少圖像處理時間。本文采用特定動態(tài)ROI 方法，其特點是能夠事先設(shè)置感興趣區(qū)域的大小，并根據(jù)不同情況隨時進行調(diào)整。具體來說，首先在初始階段進行離線分析，選取乒乓球可能出現(xiàn)的有效區(qū)域提前設(shè)置好一定大小的roi 區(qū)域，并確保此區(qū)域不影響初始的乒乓球識別，如圖5 為初始設(shè)置的roi區(qū)域。

Fig.5 Initially set roi area圖5 初始設(shè)置的roi區(qū)域

當(dāng)相機識別到乒乓球后，基于前一幀全局圖像中的乒乓球識別結(jié)果，在此位置附近設(shè)置較小的ROI 區(qū)域，利用局部圖像代替全局圖像，可減少圖像處理時間，提高乒乓球的識別精度。基于本文的乒乓球識別需求，設(shè)置了大小為200×200 的正方形動態(tài)ROI 區(qū)域，且根據(jù)實時的乒乓球識別結(jié)果，隨時對roi 和ROI 進行切換。圖6 為基于ROI 的乒乓球識別結(jié)果，圖中黑色區(qū)域為設(shè)置的動態(tài)ROI，此方法能夠滿足乒乓球識別的實時性要求。

由于本文通過乒乓球的商標(biāo)實現(xiàn)了乒乓球的旋轉(zhuǎn)測量，故商標(biāo)的準(zhǔn)確提取至關(guān)重要。但全局圖像中乒乓球的商標(biāo)不明顯，很難在全局圖像中找到較小的商標(biāo)特征。對此，本文提出一種基于動態(tài)局部窗口的乒乓球?qū)崟r分割方法，根據(jù)設(shè)置的ROI 區(qū)域和圖像中乒乓球的球心識別結(jié)果進行乒乓球的動態(tài)分割。假設(shè)當(dāng)前時刻圖像中得到的球心坐標(biāo)為Pt，由上述可知感興趣區(qū)域為ROI，且球的半徑rt大小已知，那么動態(tài)窗口的左上角點坐標(biāo)Dyn可用式（2）表示。

Fig.6 Prediction of Region of Interest（ROI）圖6 預(yù)測感興趣區(qū)域（ROI）

Fig.7 Table tennis dynamic segmentation圖7 乒乓球動態(tài)分割

式中，Pt_x為球心的x軸坐標(biāo)；Pt_y球心的y軸坐標(biāo)；ROIx為感興趣區(qū)域左上角點x 軸坐標(biāo)；ROIy為感興趣區(qū)域左上角點y軸坐標(biāo)。

為保證球體分割的完整性，本文將乒乓球的直徑大小作為動態(tài)窗口的長寬。通過以上方法，得到一個以(Dynx，Dyny)為左上角點坐標(biāo)，以2rt為長寬的動態(tài)窗口。由公式（2）可知，動態(tài)窗口會隨著球心的求取結(jié)果將乒乓球動態(tài)分割。所分割出的乒乓球圖像具有較小的尺寸且大小相同，如圖7 所示。可以看出通過此方法能夠明顯看到商標(biāo)特征，便于商標(biāo)提取。

2.2 乒乓球商標(biāo)提取

常用商標(biāo)分割方法是通過識別到運動的有標(biāo)乒乓球圖像和無標(biāo)乒乓球圖像做圖像差分，經(jīng)過閾值得到商標(biāo)像素區(qū)域。但由于環(huán)境、閾值不當(dāng)?shù)纫蛩兀荒茌^好地提取到完整商標(biāo)，如圖8 第二行所示，分割出來的商標(biāo)不具有完整性。

Fig.8 Incomplete trademark situation圖8 商標(biāo)不完整情況

針對此問題，本文提出一種基于像素填充的商標(biāo)提取方法，此方法對上述動態(tài)分割的乒乓球進行圖像處理，考慮直接設(shè)定閾值后商標(biāo)區(qū)域與球外區(qū)域出現(xiàn)的連通域連接，導(dǎo)致難以得到商標(biāo)輪廓并識別商標(biāo)的問題，首先根據(jù)乒乓球圓心坐標(biāo)與半徑定義一個圓形掩膜，通過圓形掩膜對局部圖像中僅有球的區(qū)域進行提取，接著以球形區(qū)域為界限，將球外區(qū)域進行與商標(biāo)區(qū)域相反像素填充，消除商標(biāo)與球外區(qū)域可能出現(xiàn)的相融，最后將處理后的圖像進行適當(dāng)閾值取反，通過輪廓查找即可得到商標(biāo)輪廓并提取完整商標(biāo)。如圖9 為不同商標(biāo)提取方式下的識別結(jié)果，可見此方法能夠完整提取商標(biāo)。

3 基于輪廓拼接的商標(biāo)中心三維位置求解

3.1 相機坐標(biāo)系下的商標(biāo)輪廓三維位置

Fig.9 Complete trademark extraction圖9 完整商標(biāo)提取

由于乒乓球是繞經(jīng)過球心的轉(zhuǎn)軸做旋轉(zhuǎn)運動，在乒乓球旋轉(zhuǎn)運動的過程中，其商標(biāo)中心相對于球心作圓周運動，即以球心為原點的圓周運動。因此，通過求解商標(biāo)中心在三維空間中相對于球心的運動，就可以估算出乒乓球的旋轉(zhuǎn)。

如上所述，本文希望通過分析乒乓球商標(biāo)中心在三維空間中的運動實現(xiàn)旋轉(zhuǎn)估計。因此，如何將乒乓球商標(biāo)中心還原到三維空間是一個重要問題。由相機的內(nèi)參數(shù)可以得到圖像像素坐標(biāo)系與相機坐標(biāo)系之間的關(guān)系如公式（3）所示。

其中，(Xc，Yc，Zc)T為相機坐標(biāo)系下的三維點坐標(biāo)，fx，fy，u0，v0為相機的內(nèi)參，s為縮放系數(shù)，(u，v)T為該點對應(yīng)的圖像坐標(biāo)。由像素坐標(biāo)系與相機坐標(biāo)系之間的關(guān)系可知，相機坐標(biāo)系下的任意一點能夠得到唯一的像素點，但從圖像像素點到相機坐標(biāo)系并沒有唯一的對應(yīng)關(guān)系。為將乒乓球商標(biāo)中心還原到三維空間，還需要其他輔助信息。

假設(shè)單相機單個商標(biāo)輪廓像素點的坐標(biāo)為(xm，ym)，還原到相機坐標(biāo)系下的坐標(biāo)為Pm=(Xm，Ym，Zm)，對于每個需要求解的商標(biāo)輪廓，其對應(yīng)在相機坐標(biāo)系下的位置都落在以球心Pp=(Xp，Yp，Zp)為中心（球心坐標(biāo)已在實驗準(zhǔn)備階段求出），以球的半徑r為半徑的圓上，即滿足：

將式（3）與式（4）結(jié)合，可以得到單相機單個商標(biāo)輪廓像素點在相機坐標(biāo)系下的位置：

其中，a，b，c為中間變量，如式（6）所示：

式（5）求解Zm時會存在兩個解，即從相機和商標(biāo)輪廓像素點連接的直線與球有兩個交點，實際只有面向相機的交點才是所求的商標(biāo)輪廓像素點在相機坐標(biāo)下的Zm值，因此較小的Zm值才是方程的實際解。

通過對所有商標(biāo)輪廓像素點進行以上三維還原計算，即可獲得商標(biāo)輪廓像素點在相機坐標(biāo)系下的三維位置。如圖10 所示為還原后的一個商標(biāo)輪廓坐標(biāo)點，通過對所有還原后的輪廓點進行擬合曲面，可以看出此曲面近似乒乓球商標(biāo)處的弧面。

Fig.10 3D restoration result of trademark outline圖10 商標(biāo)輪廓三維還原結(jié)果

同理，三維空間的商標(biāo)中心可直接通過計算圖像商標(biāo)中心點和上述輔助信息來計算，但由于商標(biāo)中心位于乒乓球的球形表面上，直接將其投影到像平面上會存在較大的形變。而在商標(biāo)識別的過程中，可得到整個商標(biāo)輪廓的像素點，因此可以先通過上述關(guān)系式將每個商標(biāo)輪廓像素點還原到三維空間，利用所有還原的三維輪廓像素點計算三維輪廓中心，即為準(zhǔn)確的三維商標(biāo)中心。

3.2 世界坐標(biāo)系下的商標(biāo)中心三維位置

乒乓球在飛行過程中做旋轉(zhuǎn)運動，只有商標(biāo)出現(xiàn)在相機視野中時才能準(zhǔn)確分割出商標(biāo)，但單相機的商標(biāo)識別過程大部分會出現(xiàn)商標(biāo)不完整的情況，由于最終所用到的信息是所識別到的商標(biāo)中心，因此必須要考慮到商標(biāo)識別的完整性要求，才能獲得準(zhǔn)確的三維商標(biāo)中心。

針對此問題，本文提出一種基于輪廓拼接的乒乓球商標(biāo)中心三維位置求解方法，該方法將兩個相機當(dāng)前時刻識別到的商標(biāo)像素輪廓還原到三維空間，求出每個相機在各自相機坐標(biāo)系下三維輪廓點相對于球心的位置，并通過旋轉(zhuǎn)矩陣還原到同一世界坐標(biāo)系，最后在同一世界坐標(biāo)系將兩個相機還原得到的三維商標(biāo)輪廓進行拼接，還原乒乓球商標(biāo)的整體輪廓，得到準(zhǔn)確的三維商標(biāo)中心。相機坐標(biāo)系下單相機單個輪廓像素點相對于球心坐標(biāo)計算過程如公式（7）所示：

由于單相機單個輪廓像素點的空間位置是由輪廓像素點和球心之間的相對位置關(guān)系決定的，所以在相同尺度的不同坐標(biāo)系中，其值的改變只與坐標(biāo)系之間的旋轉(zhuǎn)變換有關(guān)，而與坐標(biāo)系的原點位置無關(guān)。假設(shè)已求得相機坐標(biāo)系下單相機單個輪廓像素點相對于球心的坐標(biāo)，設(shè)世界坐標(biāo)系與相機坐標(biāo)系之間的旋轉(zhuǎn)矩陣為R，則單相機單個輪廓像素點在世界坐標(biāo)系下的三維位置可通過公式（8）轉(zhuǎn)換：

綜上所述，當(dāng)兩臺相機同時工作且分別僅識別到一部分商標(biāo)時，通過將兩臺相機還原得到的三維商標(biāo)輪廓進行輪廓拼接，就可以還原商標(biāo)的整體輪廓，滿足商標(biāo)的完整性要求，實現(xiàn)三維商標(biāo)中心的準(zhǔn)確計算。由于還原后的商標(biāo)輪廓在三維空間中的分布是不均勻的，因此不能直接計算所有商標(biāo)輪廓的平均值獲得其商標(biāo)中心，而是通過構(gòu)造三維商標(biāo)輪廓外接長方體的方法，得到兩臺相機輪廓拼接后的外接長方體的幾何體中心，即為當(dāng)前時刻準(zhǔn)確的三維商標(biāo)中心。

上述所提出的三維商標(biāo)中心計算方法同時解決了兩種不同情形下的三維商標(biāo)中心還原結(jié)果：一種是左右相機能夠分別識別到整體商標(biāo)，即理想情況下識別到完整商標(biāo)的情況；一種是左右相機分別識別到一部分商標(biāo)，即左相機和右相機同時識別到一部分商標(biāo)，經(jīng)過本文所提出的算法還原完整商標(biāo)情況。對于只有一臺相機識別到部分的情況，不在考慮范圍內(nèi)。

4 乒乓球旋轉(zhuǎn)速度估計方法

4.1 旋轉(zhuǎn)軸方向

乒乓球的旋轉(zhuǎn)速度包括旋轉(zhuǎn)速度的方向和大小，方向即為乒乓球的轉(zhuǎn)軸，大小即為乒乓球的角速度大小。當(dāng)獲得還原的連續(xù)運動三維商標(biāo)中心后，通過分析商標(biāo)中心的圓周運動情況，就可以估算出乒乓球的旋轉(zhuǎn)，圖11 為乒乓球旋轉(zhuǎn)運動過程中三維商標(biāo)中心的連續(xù)運動結(jié)果。由圖可見，商標(biāo)中心在不同時刻的位置基本均勻分布在一個平面上，且運動軌跡基本為圓形軌跡，由此可以假設(shè)乒乓球在運動產(chǎn)生旋轉(zhuǎn)的過程中，其旋轉(zhuǎn)速度大小和方向幾乎不發(fā)生改變，且旋轉(zhuǎn)軸經(jīng)過乒乓球的球心。

Fig.11 3D trademark center movement results圖11 三維商標(biāo)中心運動結(jié)果

因此通過擬合商標(biāo)中心在三維空間中的分布所在的平面，并求其經(jīng)過圓心且與平面法線平行的直線，就可以大致擬合出乒乓球的轉(zhuǎn)軸，估算出旋轉(zhuǎn)速度方向；通過分析乒乓球商標(biāo)中心在三維空間中的運動，就可以大致估算出乒乓球的旋轉(zhuǎn)速度大小。

由于旋轉(zhuǎn)速度方向（即乒乓球旋轉(zhuǎn)軸）與平面法線平行，所以可以求出連續(xù)運動的商標(biāo)中心在三維空間中分布所在的平面，擬合乒乓球轉(zhuǎn)軸所在的直線，求其與空間坐標(biāo)系中x，y，z坐標(biāo)軸的夾角，大致估算出轉(zhuǎn)速的方向。本文利用隨機抽樣一致（Random Sample Consensus，RANSAC）方法［24］擬合三維商標(biāo)中心在空間中分布所在的平面，同時獲得平面的法向量。假設(shè)經(jīng)RANSAC 平面擬合所求得的最優(yōu)平面如公式（9）：

那么該平面的法向量可以表示為NORM=[A，B，C]，轉(zhuǎn)軸方向就可以表示為平面法向量NORM分別與向量Vx=[1，0，0]、Vy=[0，1，0]、Vz=[0，0，1]之間的夾角。向量之間夾角計算公式如下：

式（10）所求結(jié)果可根據(jù)實際需求進行弧度值與角度值轉(zhuǎn)換。因此，經(jīng)以上方法就可以大致估算出乒乓球的旋轉(zhuǎn)方向，即旋轉(zhuǎn)乒乓球的轉(zhuǎn)軸方向。

4.2 旋轉(zhuǎn)速度大小

理想情況下，乒乓球在空間中做旋轉(zhuǎn)運動時，其旋轉(zhuǎn)速度是均勻恒定且轉(zhuǎn)軸經(jīng)過球心的，所以乒乓球表面商標(biāo)中心在以球心為原點運動的情況下，其在空間中的周期運動就表現(xiàn)為勻速圓周運動。但受相機標(biāo)定及圖像處理等誤差影響，還原后的商標(biāo)中心在空間中的分布可能會在實際運動平面附近上下擺動，直接計算轉(zhuǎn)速會引入較大誤差。為得到精確的轉(zhuǎn)速結(jié)果，可將一段時間內(nèi)的商標(biāo)中心還原結(jié)果投影到同一平面上，在投影后的平面上進行旋轉(zhuǎn)估計，如圖12為商標(biāo)中心點的平面投影情況。

Fig.12 Center point plane projection圖12 中心點平面投影

根據(jù)以上方法，本文選取視覺系統(tǒng)檢測到一段時間內(nèi)乒乓球旋轉(zhuǎn)飛行過程中連續(xù)幾幀還原得到的商標(biāo)中心，并將所有得到的商標(biāo)中心投影到同一個平面上，最后根據(jù)一個旋轉(zhuǎn)運動過程中連續(xù)幾幀運動的角度和幀間時間，大致估算出乒乓球的旋轉(zhuǎn)速度大小，轉(zhuǎn)速計算公式如下：

其中ω為角速度大小，即乒乓球旋轉(zhuǎn)速度大小；θn為連續(xù)兩個還原到三維空間的商標(biāo)中心點之間的夾角；T為幀間時間；k為三維空間中連續(xù)商標(biāo)中心的個數(shù)。

5 實驗驗證及結(jié)果

5.1 驗證裝置

由于乒乓球機器人受自身系統(tǒng)和高速相機等硬件差異影響，在旋轉(zhuǎn)測量方法上沒有可以進行對比驗證的統(tǒng)一標(biāo)準(zhǔn)。為驗證算法的有效性，本文自制了一種用于測試旋轉(zhuǎn)的實驗驗證裝置，該裝置通過電機轉(zhuǎn)軸與乒乓球連接，且轉(zhuǎn)軸經(jīng)過球心，利用電機帶動乒乓球按照設(shè)置好的轉(zhuǎn)速對乒乓球的旋轉(zhuǎn)速度進行估計驗證，實驗驗證裝置如圖13所示。

Fig.13 Experimental verification device圖13 實驗驗證裝置

實驗通過分析三種不同情況下的乒乓球旋轉(zhuǎn)狀態(tài)對本文所提出的旋轉(zhuǎn)測量方法進行驗證。一種是低速情況下將實驗驗證裝置固定在乒乓球桌上，即旋轉(zhuǎn)乒乓球固定位置情況下的實驗結(jié)果；一種是低速情況下將實驗驗證裝置固定在移動的平臺上，啟動電機的同時控制平臺運動，即旋轉(zhuǎn)乒乓球運動的情況下的實驗結(jié)果；一種是高速情況下將實驗驗證裝置固定在乒乓球桌上的實驗結(jié)果。

5.2 低速驗證裝置固定結(jié)果分析

將實驗驗證裝置固定在球桌上，其上固定乒乓球商標(biāo)處于世界坐標(biāo)系中球的中上部分便于相機的圖像識別，接著將電機設(shè)置不同的轉(zhuǎn)速大小，以設(shè)置的電機轉(zhuǎn)速作為實際值，通過實際值與估計值對比進行誤差估計。圖14 給出了將電機轉(zhuǎn)速設(shè)置為94.25rad/s 時連續(xù)運動商標(biāo)中心還原到三維空間的結(jié)果，此時轉(zhuǎn)速估計結(jié)果約為94.12rad/s，實驗誤差約為0.13rad/s。

為驗證算法在不同轉(zhuǎn)速情況下的適用性，實驗通過設(shè)置不同的電機轉(zhuǎn)速進行誤差分析。表1 給出了驗證裝置不動并設(shè)置不同電機轉(zhuǎn)速情況下的部分乒乓球轉(zhuǎn)速估計結(jié)果和誤差。從表中可知，此方法能夠得到精確的轉(zhuǎn)速估計結(jié)果，在乒乓球沒有空間運動只有固定位置旋轉(zhuǎn)情況下的誤差較小。其中，轉(zhuǎn)速估計最小誤差約為0.06rad/s，最大誤差約為0.31rad/s。

Ta★★★★★★★★★★★★★ble 1 Error analysis under fixed device situation表1 裝置固定情況下的誤差分析 rad/s

5.3 低速驗證裝置移動結(jié)果分析

在實驗驗證裝置移動的情況下，將乒乓球設(shè)置特定轉(zhuǎn)速旋轉(zhuǎn)的同時，控制平臺沿著乒乓球桌中線運動，且每次實驗要盡可能保持移動速度穩(wěn)定。如圖15，將驗證裝置固定在可移動的平臺上，將電機轉(zhuǎn)速設(shè)置為94.25rad/s 時的連續(xù)運動的商標(biāo)中心還原到三維空間的結(jié)果，此時轉(zhuǎn)速估計結(jié)果約為95.04rad/s，實驗誤差約為0.79rad/s。

在裝置移動的情況下，同樣設(shè)置不同的電機轉(zhuǎn)速進行誤差分析。表2 給出了驗證裝置移動并設(shè)置不同電機轉(zhuǎn)速情況下的乒乓球轉(zhuǎn)速估計結(jié)果和誤差，從表中可知，在乒乓球同時具有位移和旋轉(zhuǎn)的情況下，轉(zhuǎn)速估計結(jié)果具有一定誤差，但整體誤差在可接受的范圍之內(nèi)。其中，轉(zhuǎn)速估計最小誤差約為0.62rad/s，最大誤差約為1.72rad/s。

Ta★★★★★★★★★★★★★ble 2 Error analysis under moving device situation表2 裝置移動情況下的誤差分析 rad/s

Fig.14 Restoration results of fixed device圖14 裝置固定情況下的還原結(jié)果

Fig.15 Restoration results of moving device圖15 裝置移動情況下的還原結(jié)果

由以上兩種不同驗證方法的實驗結(jié)果可知，乒乓球在運動情況下的旋轉(zhuǎn)速度估計結(jié)果誤差稍大于固定時的情況，這是因為在實驗驗證裝置運動的過程中會引入運動的抖動，或存在其他方面的干擾。

5.4 高速旋轉(zhuǎn)乒乓球轉(zhuǎn)速結(jié)果分析

前兩節(jié)在乒乓球低速旋轉(zhuǎn)情況下得到精確的旋轉(zhuǎn)測量結(jié)果，證明了本文所提出的旋轉(zhuǎn)測量方法的有效性。本節(jié)對乒乓球高速旋轉(zhuǎn)情況下的結(jié)果進行分析，實驗中視覺系統(tǒng)的幀率設(shè)置為1 000fps，實驗驗證平臺的電機轉(zhuǎn)速設(shè)置為150r/s，圖16為圖像采集系統(tǒng)及相機參數(shù)設(shè)置情況。

Fig.16 Image acquisition system圖16 圖像采集系統(tǒng)

通過圖像采集系統(tǒng)進行相機參數(shù)調(diào)整，進一步完成高速旋轉(zhuǎn)乒乓球的轉(zhuǎn)速測量，實驗得到1 000fps 相機幀率，150r/s 電機轉(zhuǎn)速情況下的轉(zhuǎn)速估計結(jié)果約為149.28r/s，轉(zhuǎn)速估計誤差約為0.72r/s，誤差控制在0.48%，與其對應(yīng)的三維商標(biāo)中心運動情況如圖17 所示。可見，在誤差允許范圍內(nèi)，該方法基本實現(xiàn)了高速旋轉(zhuǎn)球的精確轉(zhuǎn)速測量。

Fig.17 High speed rotating trademark center result圖17 高速旋轉(zhuǎn)商標(biāo)中心結(jié)果

綜上所述，基于全新視覺系統(tǒng)方案下的乒乓球旋轉(zhuǎn)速度實時測量方法能夠?qū)崿F(xiàn)高速旋轉(zhuǎn)球的精確轉(zhuǎn)速估計，在低速旋轉(zhuǎn)情況下也具有高精度的旋轉(zhuǎn)測量結(jié)果，相較于傳統(tǒng)方法更能適用于旋轉(zhuǎn)狀態(tài)變化大的乒乓球旋轉(zhuǎn)測量中，為乒乓球旋轉(zhuǎn)測量研究提供了一種全新的思路和方法，對后續(xù)乒乓球機器人實現(xiàn)旋轉(zhuǎn)球軌跡預(yù)測具有一定的參考價值。

6 結(jié)語

本文針對當(dāng)前大多數(shù)乒乓球機器人視覺系統(tǒng)未考慮乒乓球旋轉(zhuǎn)，難以對旋轉(zhuǎn)球進行精準(zhǔn)預(yù)測的問題，提出一種基于高速視覺的乒乓球旋轉(zhuǎn)速度實時測量方法。該方法基于全新視覺系統(tǒng)方案，解決了高速相機的大流量數(shù)據(jù)傳輸問題，滿足高速旋轉(zhuǎn)球的轉(zhuǎn)速測量要求；提出一種基于輪廓拼接的商標(biāo)中心三維位置求解方法，能減少商標(biāo)中心的計算誤差，提高旋轉(zhuǎn)測量精度，可根據(jù)商標(biāo)中心的圓周運動估計乒乓球旋轉(zhuǎn)。該方法能夠?qū)崿F(xiàn)高速旋轉(zhuǎn)球的精確轉(zhuǎn)速估計，同時適用于低速旋轉(zhuǎn)情況下的旋轉(zhuǎn)測量，相較于傳統(tǒng)方法更適用于旋轉(zhuǎn)狀態(tài)變化較大的乒乓球旋轉(zhuǎn)測量中，可以很容易地轉(zhuǎn)化為其他應(yīng)用，甚至在軍事上提供技術(shù)支持。在后續(xù)工作中，希望能進一步研究圖像處理技術(shù)，減少圖像處理時間，滿足乒乓球機器人的實時性要求。