投影——攝像人機柔性互動技術的分析與探討

李文杰，吳黎明，鄧耀華

(廣東工業大學 信息工程學院，廣東 廣州510006)

責任編輯:魏雨博

互動投影系統是一種新型的多媒體展示平臺，采用先進的投影顯示、計算機視覺、模式識別、人工智能技術來營造一種奇幻動感的交互體驗。與傳統的觸摸屏不同，互動投影系統在顯示方面可以以微小的體積提供數十倍尺寸大小的縮放，實現更高的分辨率和更好的動態響應效果。在此之外，與傳感器件的結合，可以實現不需要其他介質，利用磁性跟蹤[1]、慣性跟蹤[2]、聲波跟蹤[3]以及視覺跟蹤[4]等技術，用戶既可以直接使用語音進行交互，也可以使用自然手勢與投影區域上的虛擬場景進行無線交互。目前互動投影系統的主流研究存在兩個發展方向:計算機視覺互動、力學感應互動[5]。以力學感應技術為主的投影互動系統是在人們身體的交互部位上附帶力學傳感器用于采集交互人不同交互手勢下的肌肉與神經信息，該技術可識別多種交互手勢，且識別率高，但傳感設備費用昂貴，攜帶不方便，靈活性差。以背投方式的投影——攝像互動系統[6]因其投影和屏幕連為一體，需要紅外對管等傳感設備等原因，同時占用空間較大，限制了應用設備的使用環境。而正投方式的投影——攝像互動系統是采用計算機視覺技術互動的典型應用，因其投影儀和攝像設備嵌為一體的設計理念，具有易攜帶和易轉移的特性，且具有可應用于任意環境的多種投影界面等優勢，滿足了人們應用靈活性方面的需求。

1 正投式投影——攝像交互的優勢

據調研報告分析，現如今大部分投影交互系統的市場份額由正投式投影交互系統占領，主要以電子白板為主，但隨著人們對人機交互過程中的舒適感和界面友好性的追求和重視，電子白板市場份額呈下降趨勢，以激光筆為交互輔助設備的交互技術[7-8]因其無法滿足準確度和靈活性要求的原因無法被大規模推廣應用，而無輔助設備的人機交互技術的研究成為主流。目前比較成熟并獲得推廣的應用有背投觸摸[9]、虛擬翻書[10]、全息互動[11]、地面互動等。這些以背投式交互技術為基礎的應用充分考慮人機交互的舒適感，具有友好的人機互動界面，且交互干擾小、定位識別精確、實時性高。但在這些應用中，投影儀與投影屏幕合為一體，投影儀與投影面位置相對固定，同時采用背投的方式進行投影，投影系統占用空間較大，難以擺放，大大限制了應用設備的使用環境，設備安裝固定無法滿足隨時隨地轉移使用，情況如圖1所示。

以力學感應技術為主的投影互動系統[12]主要是在人們身體的交互部位上附帶力學傳感器用于采集交互人不同交互手勢下的手部肌肉和神經反應信息，該技術可識別多種交互手勢，且識別率高，但傳感設備費用昂貴，攜帶不方便，靈活性差，早期和目前的力學傳感交互如圖2、圖3所示。

圖1 背投觸摸

而滿足任意環境下應用的正投式的投影——攝像互動系統[13]，因其投影儀和視覺設備嵌為一體的設計理念，具有易攜帶和易轉移特性，可用于多種投影界面下，滿足了人們應用靈活性方面的需求。同時交互方式無需攜帶特定的電子設備，具有良好的人機交互特性，滿足人們交互的舒適感和方便性需求。故針對任意環境下的正投式投影——攝像系統的手勢識別技術的研究是未來該領域取得技術突破的關鍵。

2 國內外研究現狀

目前國內外學者對在無輔助設備，正投環境下的投影——攝像系統的手勢識別技術進行了艱苦的探索和研究。因其在識別過程中具有復雜動態背景和投影光線等干擾因素，故與傳統的手勢識別技術相比具有更高的挑戰性。意大利學者Hiroki Goto[14]等人提出利用手勢膚色在改進的HSV顏色空間和YCbCr兩種顏色空間下具有顏色聚類特性對交互手勢與背景進行分割，并采用幀差法消除背景，設計閾值減除與交互手勢運動頻率不一致的干擾源，并采用模板匹配的方式識別指尖。該研究相對于利用單一顏色空間提取膚色要精確，根據交互手勢運動頻率的先驗知識去除背景干擾也是一大創新，且模板匹配方法對指尖識別率較高。從外界環境出發，該方法的識別策略與傳統手勢識別類似，只適用于投影內容單一、投影光線未對手勢皮膚的顏色采集造成噪聲以及投影背景未出現類交互手勢的情況。從手勢本身分析，手勢為非剛性物體，具有空間上的多種變形，模板匹配的方法容易造成指尖的誤檢。系統檢測結果如圖4所示。

瑞士研究人員Huan Du[15]提出了一種虛擬鍵盤交互系統，使用投影儀在桌面上投射出與真實尺寸大小相同的的虛擬鍵盤，利用3D攝像頭捕獲敲擊鍵盤的手的深度信息，判斷手指的位置和敲擊動作，如圖5所示。該研究采用幀差法定位手指區域，結合指尖具有特殊夾角的特征定位手指，最后利用構建類雙目的結構獲取手指的深度以捕捉手指敲擊虛擬鍵盤的動作。該應用系統較為新穎，但在復雜背景和投影光線雙重干擾的情況下，基于雙目的手勢識別算法運算量大，文中敘述的系統只能針對靜態背景(固定的投影虛擬鍵盤)下的手勢進行識別，對于動態的復雜背景沒有進行討論，實際應用范圍小。

2011年，美國蘋果公司[16]提出把包括一個全息成像和一個類似Kinect的3D空間手勢識別系統申請為專利，系統能在用戶前方生成一個不可視的3D空間，在這個空間里面用戶能對全息投影進行操作，或者將用戶的手投影到屏幕上以操作虛擬部件，如投影鍵盤等，如圖6所示。但截至到目前，蘋果公司并未投產該款電子設備。

圖6 蘋果投影互動專利

國內方面，2008年6月浙江大學的陳成錢[17]采用紅外攝像技術解決投影光線對手勢膚色的干擾問題，利用膚色模型和自然手勢的輪廓、手指長寬比、以及指尖夾角等人體固有特征，將二維輪廓轉化為一維波形求極值，并結合采用神經網絡的方法識別手指。該方法使用紅外燈源正面照射觸摸界面，對觸摸界面的材質、燈源位置、光強要求太高，且未考慮手勢是非剛性的物體，只能識別手指，無法解決多樣性的非剛性手勢問題。

2010年10月張正友、高睿[18]等人實現了一種針對移動電子設備基于投影儀攝像的人機交互系統，可實現三維交互投影面的隨時變換，系統如圖7所示。該系統可以在單攝像頭激光投影系統中完成3D的自然交互。該系統利用激光投影儀可以對投影空間進行逐行投射掃描的優勢，利用平行投射光反射回來的信息使用高速攝像機記錄下場景中物體的深度信息，精確度高達1～2 cm。不過該系統對設備的要求極高，不管是精確投射平行光線且具有反射特性穩定的激光投影機，還是高采集速度的攝像設備，都需要投入較高的成本。

圖7 移動三維交互場

2011年5月中國科學技術大學的朱中的[19]首次考慮到了動態背景中出現類似于交互手勢對識別的干擾問題，從光度學反射角度出發，根據人手皮膚的血紅素和黑血素本身對不同波段光具有不同反射強度的特點區別于投影屏幕具有統一反射特性來定位和分割手勢，最后通過徑向對稱變換算法定位指尖。該方法新穎獨特，但受投影環境光照影響較大，且只能識別指尖，未涉及復雜手勢的識別，應用范圍有限。

2012年筆者結合利用交互手勢被投影光線遮擋在投影屏幕上產生的背影作為交互指令[20]。該方法新穎獨特，利用陰影的顏色特性進行手勢分割相對于膚色更加簡單，且交互范圍更大。同時采用高斯模型跟蹤交互手指，最后結合徑向對稱變換算法和指尖具有一定角度的特性定位指尖。相對于之前的算法，該方法運算量小、定位精準，但對于投影內容出現類手勢陰影容易出現誤判。

3 技術研究難點

綜上所述，國內外研究學者對正投式投影——攝像互動系統的研究給予了極大的關注，然而目前還存在一些技術難題:

1)正投式投影交互過程中，存在交互人阻擋投影光線而形成的投影背影、投影內容存在與交互手勢相同或類似的投影物、多操作目標和多操作交互人之間等干擾影響因素;

2)大多研究工作都集中于手勢識別算法的優化上，而未把交互手勢作為系統整體的一部分進行考慮，正如觸摸筆操作觸摸屏一樣，忽略交互人的感知機制和感知能力，從而系統無法理解人的交互操作意圖;

3)從機器視覺的角度出發，為了將手勢從動態的背景中提取分割出來，對變化背景適應性差，要求用戶攜帶具有特殊顏色的物體以利于標定或采用特殊黑光源的方式[21];

4)數據量的處理十分龐大，處理算法復雜，傳統的軟硬件設備難以滿足復雜背景下多維和多交互人手勢識別運算的實時性要求。

這些技術難題對交互手勢的識別率以及拒識率有很大程度的影響，因此在交互過程中容易出現交互不友好，使人們產生交互的頓挫感。

故如何根據人類的交互習慣等先驗知識，簡化識別算法，提高運行效率，并建立交互手勢與正投式投影——攝像系統的一體化模型，增強人機虛實互動的感知體驗是未來該領域技術研究的突破方向。

4 研究解決思路

針對正投環境復雜背景下的投影——攝像多點觸摸多方式柔性互動建模方法的技術難點，研究建立純手勢與投影屏幕交互的智能感知機制[22]，建立任意投影面下的多方式交互判別策略，構建滿足實時性、魯棒性要求的投影——攝像交互系統是該領域技術研究的目標。主要方向著重研究基于正投式復雜背景下對干擾因素進行分析并約簡，并在該基礎上，針對多交互人、多維、多方式的交互情況構建通用語義表達模型，根據特定的模型識別算法，利用硬件高速運行效率開發專用的IP核以及構建多核并行協同處理策略，以期滿足系統的實時性需求。具體可分解為以下問題的研究:

1)投影攝像復雜背景下人機交互增強現實建模

正投式投影攝像系統在交互過程中，存在交互人阻擋投影光線而形成的投影背影、投影背景存在與交互手勢相同的內容、多操作目標和多操作交互人之間等干擾影響因素。通過視覺的方式獲取和判別交互人真正的操作指令是交互的最終目的，而對這些干擾影響因素進行客觀分析是獲取操作指令的前提。且交互人在操作交互指令的過程中，包涵著本人強烈的行為意識，存在豐富的已知信息，如何設計試驗分析方法對互動控制影響因素進行約簡是解決難點的重要步驟;為了實現多點觸摸等真實的交互體驗，實現多交互目標與投影屏幕的無縫融合滿足交互人的真實感知體驗是難點的重要關鍵問題。而虛擬目標和真實交互動作的無縫實時融合是增強現實研究領域中所要實現的具體目標。先根據場景幾何特征確定投影屏幕目標與交互手勢之間的關系，然后通過投影補償的方法將虛擬交互手勢投影至屏幕，與交互目標形成特定的空間位置關系。精確、快速的幾何配準方法是手勢與投影屏幕虛實融合和增強現實體驗的關鍵技術之一，例如解決圖8中手勢交互中與屏幕的融入問題。

圖8 手勢融入和手勢假融入

2)投影攝像復雜背景下多方式柔性互動建模方法研究

在投影——攝像人機交互技術研究中，研究人員的焦點大多集中于傳統手勢單一交互方式的研究，如手勢的平面拉伸、縮放、旋轉等。而隨著增強現實技術的應用和推廣以及人們對真實體驗需求的上升，不僅存在簡單的平面交互的情況，虛擬物體的三維操作，而且多交互人的協同操作等交互方式也將成為未來研究的必然趨勢。故在投影攝像復雜背景下對交互目標平面多點的特征提取，三維平面的多點特征提取，多目標特征提取等基礎上，分析各種方式特征的統一特性，構建多方式柔性互動控制通用語義表達模型，實現通用的操作指令是另一關鍵性問題。雙手實時交互的多維方式的實時交互[23]的實現不但需要實時地正確識別動態復雜手勢，而且需要通過提取各種方式的交互特征，辨別同種手勢不同平面、不同維度的交互動作，并需要建立雙手多方式運動的語義模型(類似中國科學院馬義勇博士構建的手語模型[24])，對雙手行為的顯式或隱喻語義進行正確的判斷。故如何設計快速匹配算法識別靜態手勢，并在該基礎上針對動態手勢涉及到時間及空間上下文問題，不同的手勢具有不同的軌跡軸及時間軸與空間軸的復合處理因素設計具有時序建模能力的動態識別算法是另一技術解決思路。

3)投影攝像復雜背景下柔性互動控制多核協同計算研究

投影攝像復雜背景下多方式柔性互動系統涉及到背景噪聲的約簡、多目標的識別、目標行為的分析以及視覺觸控命令的執行等一系列較為復雜的過程，系統運算復雜度極大，傳統的軟硬件處理方式無法滿足系統的實時性要求。故可從多核協同計算的方向尋求突破，針對各種交互方式特定的特征提取識別算法，采用硬件代替軟件的優化方式，封裝專用的IP處理核提高系統的運行效率。然后，在此基礎上，采用軟硬件協同設計模式，從多個硬件IP核的功能依賴關系和數據依賴關系、分立目標的移動與多目標的行為目的之間的聯系等方面著手分析，制定可提高系統的實時性的多核協同調度策略。故如何針對各種交互方式特定的特征提取識別算法并設計封裝專用的IP處理核提高系統的運行效率。在此基礎上，根據系統各算法處理順序制定可提高系統的實時性的多核協同調度策略是實現該技術的實時性和可靠性方面的解決思路。

5 小結

近年來，隨著基于機器視覺的手勢識別技術的發展和應用，人們對虛擬投影交互應用的需求日漸增加，其中包括企事業單位的會議交流、軍事模擬布局、餐飲服務業的點餐服務、手機投影互動等領域。而目前該技術的研究遇到了發展瓶頸，本文從正投式投影——攝像交互技術的優勢和國內外研究現狀出發，理清目前技術的發展情況和技術難點，通過對投影互動案例進行歸納，總結各方案的優缺點，對各技術難題從交互流程順序上進行結構性分解:首先從人機交互感知體驗出發提出人機交互增強現實建模思路，從而以便仿真和評價用戶體驗虛實融合的真實感知，實現人機交互無縫虛實融合。然后從人機交互的多維多方式的交互出發提出提取多維多方式的交互特征構建通用語義互動模型實現柔性互動思路。最后針對系統的實時性問題，提出采用多核協同計算的方式等構建正投式投影——攝像交互系統思路，以期為研究人員后續開發提供解決思路。

[1]林里平，吳平東，黃節，等.電磁跟蹤器在立體投影虛擬環境中的注冊[J].北京理工大學學報，2009，29(1):23-27.

[2]周誼成，尤樹華，王輝.基于三維加速度的連續手勢識別[J].計算機與數字工程，2012，40(10):133-136.

[3]李文娟.基于聲音識別的聲樂教學多媒體交互系統[D].上海:上海大學，2009.

[4]張玉祥，李華，馬柳藝.基于MEMS器件的交互筆運動跟蹤研究[J].儀器儀表學報，2011，32(6):379-382.

[5]程序賢，康波.一種基于視覺跟蹤的新型交互設備及其在3D游戲中的應用[C].第四屆全國數字娛樂與藝術會議(DEA’2009)論文集.蘇州:中國系統仿真學會，2009:102-105.

[6]于少華，伍冠健，吳黎明，等.Multi-Touch智能紅外交互投影系統[J].自動化與信息工程，2011，32(5):26-30.

[7]SUN Zhenying.Research on human-computer interaction with laserpen in projection display[C]//Proc.International Conference on Communication Technology，ICCT.[S.l.]:IEEE Press，2008:620-622.

[8]KIRSTEIN C，MULLER H.Interaction with a projection screen using a camera-tracked laser pointer[J].Multimedia Modeling，1998(10):191-192.

[9]吳祺.基于視覺技術的陳展交互設計與實現[D].浙江:浙江大學，2010.

[10]李煒，李志，郭星，等.基于圖像識別的虛擬翻書系統[J].微型與應用，2010，29(5):12-17.

[11]于瀛潔，李雨浪，鄭華東.一種基于視覺的手指與全息影像交互研究[J].激光與紅外，2010，40(4):447-452.

[12]田藝.基于數據手套的雙手手勢交互[D].浙江:浙江大學，2006.

[13]王鼎元.基于攝像與投影的人機交互系統設計[D].西安:電子科技大學，2010.

[14]GOTO H，KAWASAKI Y，NAKAMURA A.Development of an information projection interface using a projector-camera system[J].IEEE Trans.Electronics，Information and Systems，2012(4):561-569.

[15]HUAN D，THIERRY O.FELIX L，et al.A virtual keyboard based on True-3D optical ranging[EB/OL].[2013-03-02].http://wenku.baidu.com/view/7f0cb320aaea998fcc220ed7.html.

[16]3D全息顯示和手勢識別的時代來臨[EB/OL].[2013-03-02].http://www.sup22.com/article-2693.html.

[17]Mobile Surface[EB/OL].[2013-03-02].http://research.microsoft.com/en-us/projects/mobilesurface/default.aspx.

[18]陳成錢.基于投影儀-紅外攝像機的多點觸控系統[D].浙江:浙江大學，2008.

[19]朱中的.基于投影儀攝像機系統的人機交互關鍵技術研究[D].合肥:中國科技大學，2011.

[20]LI Wenjie，WU Liming.Research of hand gesture recognition in multitouch projector-camera system[J].Advanced Materials Research，2012，588-589(11):1184-1187.

[21]HYOSUN K，DIETER W.Interaction with hand gesture for a back-projection wall[C]//Proc.Computer Graphics International，2004.[S.l.]:IEEE Press，2004:395-402.

[22]沈堅立.基于投影顯示的增強現實人機交互技術[D].上海:上海交通大學，2008.

[23]鞏應奎，梅中應，范玉青，等.基于手勢輸入構造三維概念模型的研究發展[J].計算機輔助設計與圖形學學報，2005，17(7):1389-1393.

[24]馬繼勇.手語理解的統計模型研究[D].北京:中國科學院研究生院，2001.