真三維顯示器上立體空間鼠標的實現及優化

潘 浩，田 豐，朱柯燁，王思純，趙慈航，沈秋萍

（上海大學 影視藝術技術學院，上海 200072）

真三維顯示器上立體空間鼠標的實現及優化

潘 浩，田 豐，朱柯燁，王思純，趙慈航，沈秋萍

（上海大學 影視藝術技術學院，上海 200072）

通過介紹基于視覺的空間定位方法，解釋了真三維立體鼠標的實現原理，搭建了真三維立體鼠標系統。針對真三維立體鼠標的空間靜態與動態抖動問題，研究了真三維立體鼠標的去抖方法。為了實現兩點觸控，提出了鬼點去除方法，實現了兩個指尖的位置識別。實驗證明，在不需要佩戴任何標記和傳感器的條件下，基于視覺的立體鼠標能夠在真三維顯示器上準確繪制圖形且不受室內環境光干擾。

真三維顯示；立體鼠標；動態抖動；鬼點

人們為了能真實地再現客觀世界，對于立體顯示技術的研究從未間斷[1-4]。基于體掃描的真三維顯示是目前最新的立體顯示技術之一，它無需佩戴任何類型的立體眼鏡，立體圖像就能呈現出來[5-7]。真三維顯示中所顯示的是真實三維空間中真實存在的，提供了幾乎所有的視覺深度信息、全角度立體畫面，與人們觀察世界的真實感受相一致，同時也符合所有生理和心理的深度暗示。真三維顯示技術被一致認為在教育、科研、醫療、國防等領域將有良好的應用前景和重大的戰略價值，同時也將成為改變人們日常工作、學習和生活方式的新一代顯示媒體之一。

目前，課題組已有可用于演示的真三維顯示器，且真三維圖像的處理能力也達到了實時人機互動的要求。傳統鼠標和觸摸面板只能實現在一個平面內的精確書寫，當它用于真三維顯示器時，不能實現物理空間的三維指示，限制了真三維顯示器的交互功能和應用范圍。文獻[8]對真三維顯示的用戶界面進行了方案研究，提出了幾種可行的人機交互方式，文獻[9]提出了基于手勢識別的真三維顯示交互方法和系統，實現了立體影像的操控。但基于手勢的交互方法不能實現立體鼠標的精確定位和空間繪圖；與用戶習慣的觸控手勢不同的專用手勢需要學習；為了識別準確的手勢，手指需要佩戴標記；只實現3個自由度的旋轉、平移、縮放等操作，未能實現更豐富的交互操控。現有基于腦電波、眼動、數據手套等新型人機交互界面大部分必須佩戴傳感器，它們與深度傳感器類似，目前都不能在手的運動范圍內實現小于1 mm的三維空間精確定位[10-13]；無法完成三維空間的繪圖與書寫功能。

為此，本文提出了一種用于真三維顯示器的低成本立體鼠標實現方法，并且對該立體鼠標的繪制效果進行了優化。實驗表明，本文提出的立體鼠標系統在不佩戴標記的條件下實現了精確三維空間交互，完成了三維空間書寫功能，能在室內環境下正常使用，同時也擴展了真三維顯示器的應用領域。

1 真三維立體鼠標的實現原理

經過數個立體顯示課題的研究，課題組已獲得數套可用于演示的真三維顯示器。

真三維顯示器可在空間呈現預先生成的靜態和動態立體影像，但由于缺乏交互方法，影像不能由用戶任意控制且不能實現準確的空間書寫與繪圖。

通常使用普通鼠標、觸摸板可實現二維平面內的精確定位，而這些常用的方式并不能滿足三維空間定位要求。為了實現真三維顯示中的精確書寫、繪圖和影像互動等功能，本文提出一套基于光學反射的立體鼠標系統。在用戶指尖上不安裝任何輔助裝置的條件下，實現真三維顯示的精確繪圖和互動功能。

如圖1所示，基于紅外光反射感應的真三維立體鼠標由固定于體空間支架上的紅外發光二極管、CMOS傳感器和環繞體空間的紅外定向反射材料組成。兩顆額定電流60 mA的紅外發光二極管、經結構集成后的一片850 nm紅外濾鏡與CMOS傳感器組成光傳感器。左傳感器和右傳感器這兩個光傳感器共同完成空間定位。三組定向反射帶分別位于外框底部、左側、右側，它們共同組成紅外反射面。紅外光由紅外發光二極管發出，射到反射面后沿原路返回，被CMOS傳感器接收。上述原理如圖1所示。紅外光場會在指尖進入時被遮擋，導致部分光線不能正常反射，從而手和指尖的陰影和形狀出現在CMOS獲得的圖像上。左右兩個傳感器的探測過程類似，左傳感器探測通過底部和右側反光獲得回歸光線，右傳感器探測通過左側和底部反光獲得回歸光線。紅外光接收傳感器獲取指尖的遮擋信息，再利用三角定位算法對遮擋點進行定位，從而確定指尖的位置。

圖1 真三維立體鼠標的光學原理及最終結構圖

圖1中展示的真三維立體鼠標系統的最終立體結構圖。它對反射帶作了簡化，僅在桌面上鋪滿紅外回歸反射帶，在桌面兩側安裝攝像傳感器。

2 真三維立體鼠標的實現方法

CMOS圖像傳感器能夠靈敏地獲取紅外光線。實用的真三維立體鼠標應達到普通光電鼠標的60 f/s（幀/秒）響應速度且同時具有較高的圖像分辨率。OV7725CMOS芯片能夠達到上述技術指標，故以它作為整個立體鼠標系統的圖像傳感器。視頻圖像獲取與處理模塊包含ARM處理器、圖像存儲器、電源與通信單元，如圖2所示。兩組視頻圖像獲取與處理模塊同時獲取指尖的圖像投影坐標。

圖2 立體鼠標系統模塊接連圖

配制OV7725（A級）的工作模式為：VGA 640×480視頻格式，以YUV8∶4∶4數據格式輸出，ARM處理器只存儲并處理Y分量信號，舍棄UV信號，視頻速率設置為60 f/s，最后設定OV7725為固定曝光模式。指令通過ARM的I2C總線配制CMOS傳感器。CMOS產生的信號包括像素時鐘、行同步、場同步和像素值，為了讓ARM處理器實時獲得VGA中的有效畫面，在CMOS和ARM處理器中添加一個異步FIFO。FIFO用來緩沖數據、隔離時鐘并保存CMOS輸出的部分圖像。2個ARM處理器各自分析有效圖像中指尖的圖像投影坐標，通過RS-232串口把投影坐標發送給計算機。計算機依據標定板合成計算指尖的實際物理空間坐標。根據連續位置的識別，計算機下達真三維顯示的繪制指令或控制指令。圖3為第一代立體鼠標實物系統。

圖3 第一代立體鼠標實物系統

3 真三維立體鼠標的優化

3.1 靜態抖動的去除

手指舉在空中總是不斷在晃動，即使指尖相對空間靜止，其采樣的坐標也會微小變化，即出現靜態抖動現象。

方差用來度量隨機變量和其數學期望（即均值）之間的偏離程度。被記錄的一組點坐標值方差過大時，說明這一組點坐標變化范圍較大，即點在快速運動，反之一組點的坐標值方差較小時，說明此組點的坐標值在小范圍內波動，一定范圍內的波動可認為出現了靜止狀態下的抖動。首先計算一組點坐標的平均值

計算一組點的xyz坐標值的方差均在方差閾值L以內，即

最后分別用其均值Pˉ代替每個點的xyz坐標值，則可以去除靜態抖動，即

圖4為靜態去抖的流程圖。

圖4 靜態去抖流程圖

3.2 動態抖動的去除

當指尖慢速畫線時會出現鋸齒狀抖動，即出現動態抖動現象。如式（4）和圖5所示，P4，P3，P2，P1為依次得到的4個連續指尖位置。當前點為P1，它與上一點P2的距離大于閾值R時，認為P1是相對于P2的突變點，將P1與P2的中點坐標值作為當前指尖位置的坐標，即M1的坐標

圖5 一次慢畫動態去抖的基本原理

在實驗過程中，指尖慢速畫線會存在大量點在小范圍內變化。如圖5中P3與P3'，此時當前點P3'與點P3的距離小于閾值R，即在一個半徑為R的球內，如果仍按上式計算將出現鋸齒點，為避免這種情況的發生，應丟棄P3'點坐標。當大于閾值R的P2點出現時，將P2作為當前點計算，其計算方法為

圖6為一次慢畫動態去抖的算法流程圖。

圖6 一次慢畫動態去抖流程圖

圖7為一次慢畫動態去抖算法在二維平面上測試結果，即46 in（1 in=2.54 cm）屏幕上的觸控效果。動態去抖動的目的是讓慢畫的筆跡更平滑，鋸齒線為去抖動前的原始立體鼠標的運動路徑，平滑線為一次動態修正后的繪制路徑。

圖7 動態去抖算法在二維平面上投影效果

一次慢畫動態去抖能有效減弱繪圖時的抖動情況，但仍不能滿足用戶書寫的流暢體驗。故在一次慢畫動態去抖的基礎上再做二次去抖算法。二次去抖算法以求和平均為基礎，判定指尖運動速度，分區間設定求和平均總數，即運動距離D越小，求和平均數量I越多。

按運動距離D分為A，B，C共3個區域，對應3個求和平均數量I，I∈{a,b,c}，當運動距離判定從A進入B時，I的值從a直接變為b，但運動速度在臨界區域中來回變化，出現書寫跳筆。為解決區域劃分帶來的跳筆，本文提出求和平均變速算法。當運動距離判定從A進入B時，I的值從a漸變為b，當運動距離判定在A和B之間不斷變化時，I的值在a和b之間漸變。圖8為各級去抖算法的平面顯示器繪制結果。

圖8 各級去抖算法的平面顯示器繪制結果

3.3 快畫插值

CMOS傳感器的數據頻率為60 Hz，即計算機每秒接收60個觸控點的數據，因此當快速畫線尤其畫曲線時，數據量不足而導致畫出的曲線出現較長直線段現象，從而使得曲線不夠圓滑，鼠標快速繪制也出現類似現象。雖然無法做到絕對的圓滑，但本文采用三次樣條插值的方法對原始數據進行補點，通過增加發送點的數量縮短點與點之間線段的長度，從而改善快畫時不夠圓滑的問題。插值算法流程如圖9所示。

圖9 動態去抖算法在二維平面上投影效果

3.4 兩點鬼點去除

為了實現立體影像的縮放、旋轉，立體鼠標系統需支持兩點的輸入。如圖10所示，兩個手指進入反射區域可實現兩點輸入。按單點檢測法可獲得兩個指尖的圖像坐標，但僅根據兩個攝像機拍攝的畫面無法判斷兩個指尖的物理位置。

如圖11所示，指尖的坐標根據左右傳感器拍攝到的手指的陰影來計算得到，當圖中的黑色圈或者灰色圈分別為兩個指尖的位置時，兩個傳感器同時看到的指尖影子位置是相同的，即探測結果相同，無法判斷兩個指尖的空間位置，出現了鬼點現象。

圖11 鬼點現象

指尖在圖像中的投影包含指尖的圖像坐標和指尖的寬度信息。利用指尖在兩個傳感器上的圖像坐標來計算指尖的空間位置，同時可以用指尖的寬度信息來排除鬼點。寬度信息代表了指尖與傳感器的距離，但寬度信息并不能準確估計距離，只能提供一個距離的大致范圍。本文提出兩點寬度疊加比較的方法，能夠基本解決鬼點問題。W1L為左側傳感器獲得的1號手指寬度，W2L為左側傳感器獲得的2號手指寬度，W1R為右側傳感器獲得的1號手指寬度，W2R為右側傳感器獲得的2號手指寬度，滿足式（7），可判定兩個手指在a、c區域內。

滿足式（8），可判定兩個手指在b、d區域內。

4 結果和討論

原型設計驗證了基于光學的立體鼠標系統的有效性。圖12展示了作者用手在空間書寫并在真三維顯示器上顯示軌跡。當手指在空中保持相對靜止時，立體鼠標不產生抖動，當手指在空中慢速繪圖時，動態的鋸齒也被去除，當手指快速書寫時，補充的插值點使得曲線更光滑。在室內光環境下能從各個角度清晰地觀察到繪制的三維影像。

圖12 三角形與掃描面的匹配分類（截圖）

由于成像空間在一個有限的范圍內，手指不能直接伸入顯示空間，缺少書寫的驗證反饋信息，故需要用戶的練習才能完成空間繪制；系統目前沒有加入手勢識別功能，手指進入光學反射面范圍就開始連續繪制，不能斷筆，書寫連筆字與真正意義上的文字書寫比較還有距離，需要加入簡單的手勢識別方法來完成類似鼠標按鍵的功能；兩個手指的遮擋會帶來坐標計算的誤差，這是由于遮擋后，不能區分兩個手指實際的中心位置，通過對遮擋后手指陰影的梯度分析可能提取出部分位置信息；CMOS傳感器目前沒有配置電子快門速度，手指快速移動產生拖影，這使得在空間上方快畫豎線時產生變形，通過同步場中斷和紅外LED閃光可能使得拖影減少；兩顆紅外LED的光強較弱，固定曝光值設定較高，從圖10可知畫面的暗噪聲較大，當具有大量紅外光的陽光照進室內，用戶或觀眾遮擋陽光時，由于系統驗測到大于門限的陰影，故容易出現誤觸發，即鼠標隨機啟動繪制，根據傳感器特性，通過配置更多的大功率紅外LED并降低CMOS的曝光值能有效降低陽光的影響并可大大降低暗噪聲。上述問題將仍有待探討和深入研究，新的系統正在設計中。

5 結論

本文提出了一種用于真三維立體顯示的光學空間立體鼠標實現方法，實現了對空間范圍內任意位置的精確指向，且不受室內環境光變化的影響。在此基礎上，提出了立體鼠標靜態、動態去抖和快畫插值方法，實現了三維空間的平滑書寫與繪圖。為了實現兩點觸控，提高人機交互功能，提出了兩點鬼點的去除方法，實現了兩個指尖的區域位置識別，為真三維影像的交互旋轉、縮放奠定基礎。隨著空間交互技術的不斷改進，它們將帶來全新的信息表達方式，并大大擴展真三維顯示的應用價值，同時也可能成為未來三維交互的一種嶄新途徑。目前，正繼續探索真三維顯示及其相關互動技術，積極爭取真三維顯示的產業化。

[1] 田豐，王曉明，劉錦高.自由立體顯示中的實景立體影像獲取方法[J].電視技術，2010，34（11）：23-26

[2]Sony.「デジタルコンテンツEXPO2009」出展のご案內[EB/OL]. [2013-08-05].http://www.sony.co.jp/SonyInfo/News/Press/200910/ 09-123.

[3]楊倩，林志賢，杜世遠，等.基于雙面光柵的LED三維立體顯示系統的研制[J].電視技術，2012，36（23）：69-72.

[4]LANMAN D，WETZSTEIN G,HIRSCH M.Polarization fields:dy?namic light field display using multi-layer LCDs[J].ACM Trans. Graphics，2011，30（6）：1-9.

[5] 楊忠，李莉，鄂龍慧，等.基于數字微鏡的旋轉體掃描3維顯示系統[J].中國圖象圖形學報，2010，15（1）:149-154.

[6] 岳鍵，樊瓊劍，沈春林.體掃描顯示系統中螺旋旋轉屏及螺旋切片生成算法[J].中國圖象圖形學報，2011，16（8）:1466-1473.

[7]陸海霞，鄭文庭，陳為.彩色體三維顯示系統上基于GPU的實時均勻體素化算法[J].計算機輔助設計與圖形學學報，2010，22（3）: 373-381.

[8]BALAKRISHNAN R，FIZMAURICE G W，KURTENBACH G. User interfacesfor volumetric displays[J].Computer，2001（5）: 37-45.

[9]GROSSMAN T，WIGDOR D，BALAKRISHNAN R.Multi-finger gestural interaction with 3D volumetric displays[J].ACM Trans. Graphics，2004，6（2）:61-70.

[10]BANG JW，LEE E，PARK K R.New computer interface com?bining gaze trackingand brainwave measurements[J].IEEE Trans. Consumer Electronics，2011，57（4）:1646-1651.

[11]NAWAZ T，MIAN M S，HABIB H A.Infotainment devices con?trol by eye gaze and gesture recognition fusion[J].IEEE Trans. Consumer Electronics，2008，54（2）：277-282.

[12]HEO H，LEE E C，PARK K R，et al.A realistic game system using multi-modal user interfaces[J].IEEE Trans.Consumer Electronics，2010，56（3）:1364-1372.

[13] HAN Y.A low-cost visualmotion data glove as an input device tointerpret human hand gestures[J].IEEE Trans.Consumer Elec?tronics，2010，56（2）:501-509.

Imp lementation and Optim ization of 3D M ouse for Volumetric Three-Dimensional Display

PAN Hao,TIAN Feng,ZHU Keye,WANG Sichun,ZHAO Cihang,SHEN Qiuping
（Institute of Film&TV Arts and Technology,Shanghai University,Shanghai 200072,China）

Through the introdction of vision based spatial positioning method,the principle of volumetric 3D mouse is explained and its system is built.Jitter revomal method is proposed to solve the problem of spatial static and dynamic jitter.In order to achieve two touch,ghost point removal method is proposed，the position identification of two fingertips is achieved.Demonstrated in the experiments,the vision based 3D mouse can draw graphics accurately on the volumetric three-dimensional display without any marks or sensors interference from ambient light.

volumetric three-dimensional display;volumetric 3D mouse;dynamic jitter;ghost point

TN87；TN919.82

A

?? 盈

2013-09-22

【本文獻信息】潘浩，田豐，朱柯燁，等.真三維顯示器上立體空間鼠標的實現及優化[J].電視技術，2014，38（8）.

上海市教育委員會科研創新項目（12YZ008）；國家大學生創新項目（sdcx2012045）