壓力觸控下虛擬現實應用框架的探索與研究

凌財進，　曾　婷，　黑霞麗，　張　超

(1.河源職業技術學院 電子與信息工程學院,廣東 河源　517000；2.特拉華州立大學 工程學院，美國特拉華　19901)

?

壓力觸控下虛擬現實應用框架的探索與研究

凌財進1，2，曾婷1，黑霞麗2，張超2

(1.河源職業技術學院 電子與信息工程學院,廣東 河源517000；2.特拉華州立大學 工程學院，美國特拉華19901)

摘要:針對虛擬現實技術傳統項目中互動不足問題，提出應用目前移動終端最新的交互技術-壓力觸控技術和觸覺反饋技術，提升虛擬現實應用項目在觸覺交互方面的性能.通過對壓力觸控技術的研究，提出一種基于壓力觸控的虛擬現實應用開發的技術框架，實現了壓力觸控技術API交互接口統一封裝和虛擬現實應用開發接口的統一管理.在此平臺上開發了兩個虛擬現實應用項目，證明了技術框架的可行性，以及壓力觸控技術對虛擬現實系統的交互性能的提升.

關鍵詞:壓力觸控;壓力傳感;觸覺反饋;虛擬現實;游戲開發

壓力觸控(Force touch)又稱為3D壓力觸控感應技術，是在觸摸(touch)技術基礎上再創新和改進，在二維基礎上增加了“深度”維度的一種技術，是一種具有時代意義的技術變革，被公認為“一次革命性的交互創新”.原來的手機屏幕只可以進行二維的觸摸，但增加這種壓力觸控技術后手機屏幕具有了“深度”的三維觸摸屏.因此，使得這種壓力觸控屏不僅具備偵測按壓技術，還提供了豐富的人機接口，可以通過軟件設計實現各種控制鍵、捷徑和觸覺反饋的功能.

本文以虛擬現實應用App和游戲開發為載體，以應用壓力觸控為目標，結合虛擬現實技術與壓力觸控進行研究與探索.

1相關研究

壓力觸控技術的應用開始改變人們使用手機和電腦的方式，改變人們對虛擬現實和游戲的操作方式.這一技術的推廣與運用將提高游戲和虛擬現實應用水平，提升用戶的終端體驗.

從發布的專利資料看，最早從事這一技術研究的是一家位于美國加州叫Elo Touchsystems的公司，該公司于1971年成立，最早從事圖像處理和各種傳感器研究與生產，也是最早生產觸摸屏的公司之一.文獻[1]顯示Elo Touchsystems公司于1999年有關壓力觸控方面的專利，是最早提出壓力觸控技術并設計出一種基于電容實現的雙傳感器壓力觸摸屏.同樣位于加州的Synaptics公司是生產和研究各種觸控板的OEM商，是較早從事壓力觸控技術研究的公司之一，在2009年提出一種基于多傳感器的壓力測量方法并申請了專利[2].同年9月，蘋果公司提出一種具有壓力觸控和動力反饋的觸摸板的專利，專利采用隔層設計和內部光學膠(OCA)的膠材間隙變化原理，將壓力感測元件安裝在不同層基板上，當表面承受按壓力道時，得知按壓力量大小及位置[3]，這是蘋果公司在關于壓力觸控方面的最早的專利.三星公司作為全球最大的手機生產商對壓力觸控技術也投入了大量精力研發，2014年申請了名稱“一種新型的觸摸輸入設備和電子設備”的專利，重點強調該技術可以解決屏幕小的問題，新技術可以快速訪問圖標，瞬間傳達更多信息，提高交互效率[4]；文獻[7]中，三星公司還就壓力和電壓的形成及壓力位置形成申請了專利.2014年底，蘋果公司在文獻[3]的基礎上提出一種基于用戶自主選擇壓力觸控接口的設備和接口的實現方法[5,6]，進一步把壓力觸控技術實用化，并于2015年9月中旬正式推出具有壓力觸控功能的iphone 6S/6S plus手機.Senton公司針對壓力觸控技術的應用提出了基于壓力觸控的虛擬鍵盤接口方面的專利，讓壓力觸控技術在應用層面更進一層.2015年9月初，華為公司在柏林展會上推出Mate S手機.該款手機集成了壓力觸控技術，率先于蘋果公司的iphone 6s/6s plus發布，引起全球關注.從技術資料上看，華為最新的Mate S手機采用的是Synaptics公司的Synaptics 3700系列壓力觸控技術.此外，國內的中興通訊公司也推出了基于壓力觸控的axon型號手機.三星公司宣稱將在2016年新推出的 Galaxy S7手機上增加壓力觸控技術.雖然從專利技術看，較早就有壓力觸控這項技術了，由于生產技術和集成技術的限制，壓力觸控技術不能微型化，直到2015年關于壓力觸控的微型化的相關專利出現.文獻[8]中，Li等人提出生產一種無色透明的薄膜狀的壓力觸控層可以應用在塑料、金屬板等材料上，并通過簡單的接口與外部通訊，若能成功，壓力觸控不再是幾個頂級手機商的游戲.觸控技術的出現使得人機交互提升到新的階段，將改變虛擬現實技術及基于虛擬現實技術的游戲操作方式.

虛擬現實技術是2015年信息技術的“關鍵詞”之一，GOOGLE、微軟及蘋果公司都整合或收購虛擬現實技術的公司和專利，為虛擬現實的進一步發展蓄力.壓力觸控技術作為一個全新的實用技術使得屏幕從平面走向“深度”，不僅使得虛擬現實應用在交互接口方面具有良好的人機交互和視窗效果，而且在虛擬現實的“沉浸”體驗方面將會有革命性的變化.目前，國內外一些游戲公司在嘗試做基于虛擬現實的游戲和應用，但由于要通過各種穿戴裝備、3D眼鏡、3D手套等來實現，在推廣方面并不順利.因此，壓力觸控技術下的虛擬現實應用開發面臨巨大的機遇，本文將從壓力觸控技術與虛擬現實技術的融合與應用的角度進行探索研究.

2原理分析

2.1原理機制

最新推出的壓力觸控屏，結構如圖1所示，由屏幕保護層、壓力傳感層和顯示器層構成，在壓力傳感層四個角安裝了壓力傳感器，用來接收屏幕上的觸控的壓力[2]，如圖1所示.在壓力觸控技術出現前，手機屏結構，只是普通的觸摸屏幕，由屏幕保護層和顯示器層兩層結構構成，只能在x,y軸上進行左右拖動，放大縮小等平面操作.

圖1　壓力觸控屏結構圖　　　　　　　　　　　　　　圖2　觸控屏在觸控下的變化模擬圖

由于壓力傳感層的存在，使得新型的壓力觸控型屏幕除了左右上下操作的x,y軸外，還有了深度的操作的Z軸.反應極其靈敏的壓力傳感器能感受到屏幕不同部位不同力度的觸控，屏幕會隨著力度產生微小的彎曲變化，如圖2所示，(a)圖為觸壓前的模擬圖，(b)圖為觸壓時的模擬變化圖.

圖3　觸壓鍵的壓力和電壓級別

不同廠家會根據需要設置相應的壓力級別，例如：三星的壓力觸控分成五個不同級別，分別對應3V/2.5V/2V/1.5V/1V 五個級別的電壓[4,7]，如圖3所示.當用戶按壓觸摸板的表面，壓力傳感器可拾取四個相應的壓力信號.壓力信號可以被壓力的信號處理電路進行處理，通過閾值響應對應事件.

2.2觸壓計算

實際應用生產中，為降低屏幕的厚度和生產成本，通常采用四個壓力傳感器的布局方式.由于壓力傳感器不是在屏幕的正下方，因此每一次觸壓需要通過四個壓力傳感器計算接觸點的真實力度F和坐標位置(x,y). 我們使用基于壓力位置信息檢測的多元化的疊加測量壓力，具體實現方法是通過逆矩陣迭加計算的方法.

設四個壓力測量儀器分別為FTL,FFR,FBL,FBR，通過觸壓位置與壓力傳感器的位置關系計算.設觸壓位置變化的起始和終點分別為A(x1,y1),B(x2,y2).設屏幕是一個尺寸為WH的矩形，通過線性模型可以得到(FTL,FFR,FBL,FBR與F1,F2及壓力檔次之間的關系[2]，如公式1所示.

(1)

公式(1)中只有F1,F2是未知數.此外，根據合力關系可得：

F1+F2=FTL+FTR+FBL+FBR

(2)

為更好理解和計算，公式(1)可寫成：AX=B

(3)

其中X是一個包含F1,F2的矩陣.利用偽逆矩陣關系，可得：X=(ATA)-1AB

(4)

因此，可以求得A(x1，y1),B(x2,y2)對應的觸壓力.

2.3觸覺反饋原理

圖4　觸覺反饋原理圖

觸覺反饋是通過專門的觸覺引擎來完成.引擎的基本原理是根據輸出電壓和頻率變化產生脈沖振感.根據不同的定義產生相應的振感，還可結合聲音變化來實現.假設當頻率在一定范圍內從小到大變化，人的手指會感覺由疏松向致密的脈沖振感，如圖4觸覺反饋原理圖所示.

在虛擬現實應用中，觸覺反饋非常重要.一直以來研究人員都是通過外置穿戴設備來實現，費用高且不能很好地推廣應用.因此，類似手機這樣小型的應用平臺兼有壓力觸控和觸覺反饋系統的裝置是虛擬現實應用的理想平臺.

2.4硬軟件要求

操作系統定義了對應的壓力傳感器接口，一方面接受來自壓力傳感器的變化，另一方面給App開發者提供有關封裝接口.因此，基于壓力觸控技術的應用除了在硬件方面有要求，在操作系統上和傳統手機也是不一樣的.根據蘋果公司實驗室開發文檔提示，壓力觸控技術須在IPhone 6s/6s plus以上硬件環境，并且是iOS9.0版本以上操作系統.同理，壓力觸控技術在Android類手機上的應用也需有對應的硬件和軟件環境要求.

3開發技術框架

此框架在壓力觸控理論的基礎上，通過API再封裝的形式主要整合了蘋果開發者社區SceneKit等五個優勢模塊，以3D虛擬現實技術應用為重點，結合壓力觸控新技術和虛擬現實開發API進行整合和封裝，以適用壓力觸控的需要和快速開發的需要.

3.1框架開發環境

目前，由于技術條件等原因，壓力觸控技術的開發和應用條件相對嚴格，只有蘋果公司公開了其API，框架具體環境參數如表1所示.

表1　框架開發環境

3.2框架介紹

本框架基于蘋果開發環境，整合了SceneKit, SpriteKit, Metalt等工具模塊，由XCode負責資源打包管理、實時編輯，以swift為主要語言并根據開發需求進行定制的一個實用框架.其中，SpriteKit是一個實用的2D游戲框架，負責3D操作之外的大部分交互；SceneKit是基于虛擬現實的一個3D游戲框架，主要支持粒子系統和物理模型；Metalt 是蘋果公司對圖形渲染開發的API集，效率比OpenGL高10倍以上，可以實現基于GPU去考慮多線程渲染；GamePlayKit主要提供游戲實體組件系統和一些通用模式，同時它還提供了包路算法、模糊邏輯和規則系統算法在內的各種游戲算法；Model I/O模塊主要負責快速加載和導出3D資源文件，以及物理的材質和光照的處理.開發框架構成圖如圖5所示.

蘋果公司在iOS9上提供了三個壓力觸控的API，分別是主屏幕上快速鏈接API，程序預覽推送及自定義接口.在應用開發中，前兩個API是蘋果公司預置的功能，主要用來快速、輕松訪問，主要用在菜單交互和功能預覽等方面.真正能提升應用水準的就落在第三個API的自定義上.

EngineAPI,UTAPI,ForceTouchAPI,VR/ARAPI……

SceneKit SpriteKit MetaltUIKit GameplayKit ModelI/O

SOFTWARELEVEL:iOS9.0+,XCode7.0+,Swift

HARDWARELEVEL:OS+IPhone6S/6SPlus

圖5技術框架構成圖

3.3壓力觸控相關類和應用

主要體現在三個API上.一是快速鏈接應用，包括通過數組直接配置實現的靜態快速鏈接和動態快速鏈接功能，動態鏈接功能通過WK Web View UI Application Shortcut Item, UI Mutable Application Shortcut Item,UI Application Shortcut Icon 三個類實現，都是iOS9為了壓力觸控應用增加的類和方法；二是為了實現程序 Peek 和 Pop功能，iOS9在 UI View Controller 類增加了UI Preview Action，UI Preview Action Group類和UI Preview Action Item協議及通過WK Web View類即可實現WEB類的應用實現Peek 和 Pop功能；第三是自定義接口，主要是通過UI Touch類、force類和maximum Possible Force類來實現.UI Touch類增加了壓力觸控可用性檢測屬性UI Force Touch Capability，觸摸屬性estimated Properties，觸摸對象更新屬性updated Properties等，新增 Precise Location In View，Precise Previous Location In View等獲取X/Y坐標時的精度等API.壓力靈敏度屬性 Pressure Sensitivity，可以和繪畫類及其它創作型軟件結合使用，實現根據壓力的大小來改變筆觸/畫線的粗細值等應用.

3.4基本開發流程及說明

使用本框架開發基于壓力觸控類的應用,只需按照封裝好API文檔進行調用即可，不需要了解底層的實現.基本開發流程如圖6所示.下面對模型對象、虛擬互動和虛擬渲染操作進行簡要說明.

利用框架快速實現幾何模型對象建立.Scene Kit 中內建了幾種簡單的幾何模型，如盒子、球體、平面、圓錐體等，另外根據開發需要可以加載自定義3D模型.通過制定文件名來導入COLLADA 格式的模型文件，方法如下：let chessPieces=SCNScene(named: “chess pieces”) ，當文件里加載的場景完畢，將其設置成 SCNView 的 scene 即可；也可以選擇性加載一部分對象要顯示在屏幕上時，通過對象名設定而手動加載到 view 上，代碼實現如下：

↓

↓

圖6　開發流程圖

if let knight =

chessPieces.rootNode.childNodeWithName(“Knight”, recursively:true) {ceneView.scene?.rootNode.addChildNode(knight) }

虛擬互動屬于業務邏輯環節，主要通過SceneKit 機制來處理用戶輸入，如鍵盤事件、鼠標事件、觸摸事件和手勢識別.由于SceneKit 中只有一個視圖 (sceneview) ，因此處理鍵盤事件或如捏取、滑動、旋轉、深壓等互動，需要通過事件捕捉及位置計算來實現，通過-hitTest(_: options:) 來做點測試并返回一個SceneKit 數組，里面存有每個相交的模型對象以及從攝像機投向這個測試點的射線，包括交點坐標、交點表面法線，交點的紋理坐標點.偽代碼實現如下：

if let firstHit = sceneView.hitTest(tapLocation, options: nil)?.first as? SCNHitTestResult {

let hitNode = firstHit.node

// do something with the node that was done...

}

虛擬渲染是模擬現實中的重要環節，在本框架中SceneKit是通過插入 shader代碼 (GLSL) 來改變默認渲染，此外還提供了對旋轉矩陣、模型數據、樣本貼圖及渲染后輸出色值的訪問，實現用于完全自定制地進行材質渲染及光照和材質的配置等.SceneKit 使用 SCNTechnique 類來實現延時著色，使用字典創建并定義了繪圖步驟、輸入輸出、shader 文件、符號等，通過計算色值輸出場景的顏色和景深.通過獲取景深，獲取法線和邊界檢測等操作從而實現輪廓.

4實驗

實驗目標：應用技術框架開發一個壓力觸控(正向)應用和觸覺反饋(反向)應用，以測試基于壓力觸控的虛擬現實應用開發框架效果.

圖7　守門訓練反饋實驗圖

實驗原理：結合壓力觸控和觸覺反饋開發虛擬現實應用，一方面通過手指壓力給虛擬物體不同的壓力以產生不同的效果，另一方面通過“觸覺引擎”實現屏幕控制器的聲音和不同頻率的震動與不同強度的漣漪震動等反饋，增強沉浸感，加強虛擬現實體驗.

4.1實驗設計與數據采集

我們以技術框架為基礎，開發了拳擊比賽和守門訓練兩個實驗項目.實驗測試環境是iPhone 6s plus.通過兩個實驗項目了解壓力觸控、觸覺反饋與虛擬角色的關系，以及了解技術框架的效果.

圖8　壓力與電壓的關系

我們采取雙人拳擊游戲的模式，通過拳擊對抗實現壓力觸控的檢測，使用程序記錄游戲者觸壓力、電壓、游戲道具變化等數據.其中，觸壓(force)并不能直接測出，需根據公式(4)計算；另一方面，通過足球(如圖7所示)和拳擊兩個簡單游戲來檢測觸覺反饋效應，通過游戲者一方操作人員在不同解壓下，使用程序記錄對抗方在觸覺和聽覺的脈沖與時間等數據.

4.2實驗數據分析

(a) 觸壓與電壓的關系.

當壓力在0-110g持續變化時，對應電壓相應地變化，如圖8.

從圖8可知，隨著觸壓變大時，對應的電壓變大，并無限接近于4伏特.這變化趨勢與文獻[4,7]相反，電壓的上限也不一樣，這一變化與壓電式效應接近.

(b) 脈沖與持續時間的關系.

圖9　持續觸壓時脈沖電壓的變化　　　　　　　　　　　　　　　　　圖10　游戲對抗中能量消耗與觸壓的關系

游戲攻擊方的持續攻擊(持續增加觸壓)，在游戲對抗方產生強烈的觸覺反饋，反饋參數中脈沖(pulse)與持續時間(time)存在以下關系，如圖9所示.

(c) 觸壓與虛擬角色的關系.

實驗中，我們關聯虛擬角色活動與電壓，使觸控的壓力與虛擬現實角色的性質成對應關系，圖10顯示了虛擬現實中攻防雙方能量消耗與觸壓的關系.

從圖10可知，相同壓力下攻擊方消耗的能量比對抗方要小，符合游戲原理和現實生活.

5結束語

本文通過壓力觸控技術原理的研究，提出一種應用壓力觸控技術與虛擬現實應用相結合的開發思路，并通過API重封裝的方式整合蘋果多個不同性質的技術框架和壓力觸控的新API，形成一個實用的虛擬現實應用開發框架.利用此框架可以快速開發基于壓力觸控技術的虛擬現實應用及游戲產品.通過簡單的應用開發實踐，證明了觸壓、電壓、觸覺和虛擬現實的關系；實驗證明了技術框架的可行性.

壓力觸控技術的應用，使得虛擬現實應用更加豐富.壓力觸控技術還可以應用在精確測量脈搏和血壓等智慧健康領域.從虛擬現實、現實增強和壓力觸控技術的發展趨勢看，蘋果公司很快將推出自家的一體化虛擬現實開發平臺和硬件設備，基于壓力觸控技術的虛擬現實應用與游戲將會有更好的前景.

參考文獻:

[1]ELO TouchSystems Inc. Dual sensor touchscreen utilizing projective-capacitive and force touch sensors[P]. US：6492979，2002-12-10. http://www.google.com/patents/US6492979.

[2]Synaptics Inc. System and method for measuring individual force in multi-object sensing[P]. US：8570297，2013-10-29. http://www.google.com/patents/US8570297.

[3]Apple Inc. Touch pad with force sensors and actuator feedback[P]. US：8633916，2014-1-21. http://www.google.com/patents/US8633916.

[4]Samsung Inc. The touch input device and an electronic device having the same of the invention[P]. KR：1020140042488， 2015-10-19. http://www.pvsm.ru/news/101349/print/.

[5]Apple Inc. Device, Method, and Graphical User Interface for Selecting User Interface Objects[P]. US：20150067602， 2015-03-5. http://www.google.com/patents/US20150067602.

[6]Apple Inc. Force sensor interface for touch controller[P]. US：8988384， 2015-3-24. http://www.google.com/patents/US8988384 http://www.google.com/patents/US20150268785.

[7]Samsung Inc. Touch display apparatus sensing touch force[P]. US：20150324052，2015-11-12. http://www.google.com/patents/US20150324052.

[8]LI H, MANIAR P. Force-sensing touch screens[C]. SID Symposium Digest， 2015,46(1):1088-1090.

DOI：10.14182/J.cnki.1001-2443.2016.04.008

收稿日期：2016-02-18

基金項目：廣東省教育科學“十二五”規劃教育信息課題(13JXN035)；廣東省教育教學改革項目(201401232)；廣東省高校校長聯席會議課題(GDXLHYB037).

作者簡介：凌財進(1983-)，男，廣東河源和平人，碩士，主要研究方向為虛擬現實、物聯網安全、機器學習等.

中圖分類號:TP311.1

文獻標志碼:A

文章編號：1001-2443(2016)04-0349-06

The Exploration and Research on the Use of Force Touch in Virtual Reality Applications

LING Cai-jin1,2,ZENG Ting1,HEI Xia-li2,ZHANG Chao2

(1.School of Electronic Information Engineering, Heyuan Polytechnic, Heyuan 517000, China； 2.College of Engineering, Delaware State University,Dover Delaware 19901, U.S.A)

Abstract:Due to the fact that traditional user interaction in virtual reality application is not rich enough, we propose to supplement the current user interaction mechanism by including the latest technology on mobile device, namely: force-touch technology and tactile feedback technology. Our goal is to research and develop a unifying API suitable for developing applications integrating force-touch into virtual reality framework. We developed two applications to demonstrate the feasibility and the effectiveness of the API in enhancing the user interactivity in the realm of virtual reality.

Key words:force touch; force sensing; tactile feedback; virtual reality; game development

引用格式：凌財進，曾婷，黑霞麗，等.壓力觸控下虛擬現實應用框架的探索與研究[J].安徽師范大學學報：自然科學版，2016，39(3)：349-354.