受抑全內反射技術實現的多點觸控裝置設計

黃 靚

（平頂山工業職業技術學院，河南 平頂山 467000）

隨著人機交互技術的發展，人們不滿足于僅通過傳統的輸入設備對計算機進行操作，多點觸控技術隨之在多個行業中迅速發展，極大增強了用戶的人機交互體驗，受到大眾的關注和追捧。

所謂多點觸控（Multi-Touch）是采用人機交互技術與硬件設備共同實現的技術，能在沒有傳統輸入設備下進行計算機的人機交互操作。目前多點觸控技術以光學式發展最快，便于實現，本文主要研究基于計算機視覺和光學的多點觸摸來實現人機交互[1]。

常見的基于光學的多點觸摸技術主要分為5類：由Jeff Han開創的FTIR（受抑全內反射多點觸摸技術）、微軟Surface的Rear-DI（背面散射光多點觸摸技術）、由Alex Popovich提出的LLP（激光平面多點觸摸技術）、由Nima Motamedi提出的LED-LP（發光二極管平面多點觸摸技術）、由Tim Roth提出的DSI（散射光平面多點觸摸技術）[2]。經過對5種技術的比較，本裝置采用FTIR技術實現。

1 系統設計

1.1 系統原理

FTIR是光學的一種基本現象——全內反射（又稱全反射），Jeff Han教授通過該原理，將紅外線反射在一塊能夠產生全內反射效果的亞克力板內部，當用戶在亞克力板表面觸摸時，光線就會被用戶的接觸部位反射或折射（通過皮膚），在觸摸的地方就會將原本反射在內部的紅外線折射回在亞克力板外面架設的紅外攝像頭，通過對應軟件即可檢測到對應的信息點[1]，如圖1所示。

圖1 受抑全內反射原理圖

1.2 硬件系統設計

本裝置采用基于FTIR和計算機視覺技術的硬件結構，主要模塊包括紅外光源、紅外攝像頭、顯示設備、信息處理設備等。整個系統結構簡單，便于組裝，成本低廉，具有較強的環境適應性。

1）紅外光源。由于本裝置采用亞克力板作為投影設備，而多數亞克力板在制造時加強了削弱900 nm以上紅外光的能力，同時很多紅外攝像頭也作了修正，對940 nm以上的紅外光不敏感，以減少太陽光的干擾，因此選用的紅外光源波長必須在780～940 nm，功率在80 mW以上，在這個范圍內紅外發光管發出的光最容易被攝像頭讀取。而且波長越低，敏感度越高，更容易分析壓感。本設計采用SFH-485P作為發光器件，波長為880 nm，便于攝像頭捕捉。

2）紅外攝像頭。紅外攝像頭價格較高，考慮到裝置的成本，系統采用對普通攝像頭加以改造的方式來實現。裝置選用PlayStation 3（PS3 eye）攝像頭，不僅可以輕松地去除ICF（紅外截止濾鏡），且具有較高的幀率（640×480，30 f/s）。

為了過濾干擾的可見光，需在鏡頭前添加裁剪的濾光片或鏡頭濾鏡。鏡頭濾鏡具有波長唯一性，而且具有只允許單個特定波長通過的特點，考慮到濾光效果，本裝置采用鏡頭濾鏡作為濾光片。

3）顯示設備。裝置可以使用的顯示設備有投影儀和液晶顯示器。液晶顯示器若要使用需進行改造，要去掉顯示器外殼，保留LCD板、電路控制板和電源，步驟較為繁瑣，其顯示范圍也受到顯示器尺寸的限制，且成本較高。而投影儀具有屏幕尺寸大、功能多、成本低的特點。同時，為形成效果較好的全內反射，對于作為投影面的亞克力板的厚度有一定要求，一般要求在8 cm以上。綜合以上考慮，并為了防止手指按壓時發生形變，本設計決定選用投影儀配合10 cm的亞克力面板作為顯示設備[3]。

4）信息處理設備。本裝置選用的軟件框架為OPENCV，客戶端為CCV，信息處理平臺采用Raspberry Pi嵌入式開發板與PC，使用PC輔助進行交叉編譯。Raspberry Pi配備一個700 MHz的博通ARM架構BCM2835處理器，256 Mbyte內存，使用SD卡作為存儲媒體，支持Linux、Android、RISC OS、BSD等操作系統，并且有USB、HDMI、RJ-45、GPIO等擴展接口，便于開發。

本系統通過在嵌入式Linux系統中運行CCV，實現了Raspberry Pi與PC搭建的交叉編譯環境，可以充分利用ARM平臺與X86平臺的優點，功耗、性能、開發速度都得到保證。由于嵌入式系統資源有限，在X86環境下完成大部分代碼的開發，然后借助交叉編譯工具生成可以在Raspberry Pi上運行的目標代碼和程序。

裝置的硬件系統示意圖如圖2所示。

2 軟件系統設計

2.1 軟件架構

圖2 多點觸控裝置硬件系統示意圖

本設計將多點觸感圖像識別跟蹤系統的軟件分為硬件抽象層、變換層、解析層和Widget層，如圖3所示。硬件抽象層用于接收傳感器采集到的原始數據，通過紅外攝像頭采集原始數據，將紅外攝像頭采集到的圖像進行圖像校正、灰度變換、背景過濾、平滑去噪和分割目標等處理，從原始圖像中得到目標點的位置，在進行觸點檢測、識別后，將跟蹤目標的定位信息發送給變換層；變換層把得到的目標定位信息經過TUIO編碼轉換為系統坐標；解析層獲取由變換層傳遞的坐標信息，進行TUIO解碼，轉換為觸摸事件和狀態，合成運動軌跡，識別用戶手勢的含義，并觸發相應的觸摸事件；最后Widget層響應觸摸事件和觸摸狀態，完成一次完整的人機交互[4]。

圖3 系統軟件模塊架構框圖

2.2 軟件各模塊功能

1）攝像頭的標定。攝像機標定是將觸點的物理坐標轉換為相機成像圖像坐標的關鍵步驟，它的目的是確定三維物體的空間坐標系到攝像機圖像坐標系的映射關系，其中包括攝像機成像系統內外幾何及光學參數的標定和兩個或多個攝像機之間相對位置關系的標定。由于本裝置僅使用單攝像頭，因此只需確定相機的內部和外部參數即可。

為了便于系統實現并保證較高的靈活性，本裝置采用基于張正友標定法的手動標定方法，使用的標定棋盤圖[5]如圖4所示。

圖4 手動標定背景定位基準圖

裝置可以使用OPENCV自帶的攝像機標定示例程序，該程序位于“OpenCVsamplesc目錄下的calibration.cpp”，程序的輸入支持直接從USB攝像機讀取圖片標定，或者從已經存放于計算機上的圖片進行標定。根據本裝置選用亞克力板的大小，決定選取9個坐標點定位，使用者根據提示，在屏幕上指定位置按下，直至獲取9個定位點的坐標完成標定。通過攝像機坐標與圖像坐標的匹配變換，尋找需要的單應性矩陣（Homography），計算單應性矩陣，即可求得投影圖像坐標和攝像頭圖像坐標間的對應關系。檢測流程如圖5所示。

圖5 手動標定檢測流程圖

2）觸點識別。觸點識別主要包括觸點的圖像預處理、邊緣檢測及輪廓提取，流程如圖6所示。

圖6 觸點識別流程圖

（1）觸點的初步檢測。經過上面的圖像標定后，對9個區域的光斑區域進行觸點檢測，符合條件的光斑被識別為觸點，達不到亮度、面積要求的斑點被排除，符合要求的區域被檢測為觸點對象。

本系統采用基于幀差分的背景消除法。先將背景圖像予以濾除，否則大量的計算會使CPU嚴重超負。由于非紅外光幾乎都被過濾掉，所以大部分的背景就被硬件刪除了，為了獲得觸點的紅外圖像，捕捉一個靜態的背景圖像會刪除幾乎所有的環境光，這個背景圖像會減去其后所有的幀，剩下的這些幀將作為閾值傳遞給系統，剩下的突起點就是要捕捉的對象，稱之為“觸點”[6]。

（2）觸點的邊緣檢測。為了準確地識別觸點的位置和面積，需要使用邊緣檢測算法確認并定位。要實現圖像的邊緣檢測，要用離散化梯度逼近函數，根據二維灰度矩陣梯度向量來尋找圖像灰度矩陣的灰度躍變位置，然后在圖像中將這些位置的點連起來，就構成了所謂的圖像邊緣。

在實際情況中，理想的灰度階躍及其線條邊緣圖像是很少見到的，同時大多數的傳感器件具有低頻濾波特性，這樣會使得階躍邊緣變為斜坡性邊緣，其中的強度變化不是瞬間的，而是跨越了一定的距離，因此在邊緣檢測中首先要進行的是濾波。

本系統采用Canny算法，通過CCV編程實現，系統抗噪性能較好，去噪能力強，但對邊緣的過度平滑會造成定位精度降低，精度在可允許范圍內。Canny算法流程如圖7所示。

圖7 邊緣檢測Canny算法流程圖

（3）觸點的輪廓提取。在邊緣檢測后，最后進行觸點區域的圖像輪廓提取，可以通過OPENCV編寫程序實現。輪廓提取的算法非常簡單，就是掏空內部點，即：若原圖中有一點為黑，且它的8個相鄰點都是黑色時（此時該點是內部點），則將該點刪除。這里處理的雖然是二值圖，但實際上是256級灰度圖，不過只用到了0和255兩種顏色。

至此，觸點的檢測工作完成，接下來可以進行觸點追蹤。

3）觸點追蹤。由于要進行多觸點的跟蹤，需確定每個目標的特征、位置、運動方向、速度等信息，對于已經得到的二值圖像，采取識別目標特征的方法是不合適的，由于多觸點的追蹤對實時性要求較高，本系統追蹤觸點不超過5個，因此選用近年來新研究的CamShift算法。

CamShift算法，即“Continuously Apative Mean-Shift”算法，是一種運動跟蹤算法，它主要通過視頻圖像中運動物體的顏色信息來達到跟蹤的目的。利用目標的顏色特征在圖像中找到運動目標的位置和大小，在下一幀中，用目標當前的位置和大小初始化搜索窗口，重復這個過程就可以實現對目標的連續跟蹤。在每次搜尋前，將搜索窗口的初始值設置為運動目標當前的位置和大小，由于搜索窗口就在運動目標可能出現的區域附近進行搜尋，這樣即可節省大量的搜尋時間，使其具有良好的實時性。同時，CamShift算法是通過顏色匹配找到運動目標，在目標運動的過程中，顏色信息變化不大，所以它具有良好的魯棒性[7-8]。CamShift算法流程如圖8所示。

圖8 觸點跟蹤CamShift算法流程圖

4）手勢識別。使用者與計算機進行交互操作需要通過定義觸摸手勢來完成，經過之前一系列的步驟，系統提取出Blob，進行跟蹤后，記錄Blob的運動軌跡，并進行分析，同定義的手勢進行比較，并返回相應的處理操作，通過Widget層完成與用戶的交互。

手勢被定義為在兩點之間的動作，手勢的識別過程包括3個階段：意圖檢測、手勢劃分、命令映射。本裝置使用OPENCV中的內置庫代碼完成手勢識別功能，實現放縮、旋轉、平移、壓感等操作。

（1）樣本采集：初始化攝像頭，然后通過逐幀圖像進行膚色檢測，然后將檢測出的樣本保存到圖像文件中。

（2）樣本訓練：運用樣本采集到的圖像樣本進行訓練，提示訓練成功。

（3）手勢識別：從攝像頭采集圖片進行手勢識別，首先用一定大小的矩形模糊地定位到手勢大概區域，然后進行識別，并把識別的結果顯示在窗口上。

（4）命令手勢：從攝像頭中取得圖像并進行手勢命令的識別，識別的依據是通過最初坐標與最終坐標的相對值進行的，對一個序列進行識別。

（5）手勢定位：把要識別的圖片輸入到數據中，然后檢測出手的位置。再用矩形對此圖片的手勢進行定位，并對此手勢大概表達的含義（即要表達哪個數字）進行識別，識別是基于已有的圖像進行匹配，最后輸出結果。

Widget層通過TUIO協議向上層客戶端發送事件，完成用戶的反饋。

3 系統測試及改進

利用本系統架構搭建的測試平臺，使用Raspberry Pi和X86主機進行交叉編譯，將代碼編譯后在目標系統執行，經測試發現，嵌入式平臺運行穩定，多點觸摸跟蹤識別率較高，能正確識別手指，但定位精度有待改進，這與本系統采用的9點手動標定有關，適當增加標定點數可提高定位精度。軟件功能準確，能夠實現對觸點的可靠跟蹤，嵌入式平臺運算速度可滿足5點以下追蹤需求。測試圖如圖9所示。

圖9 CCV客戶端手指追蹤測試圖（截圖）

同時發現，環境光對追蹤速度和準確度影響較大，需要環境光照相對穩定的空間，后續將采取加厚兼容層并改變觸點亮度和面積閾值的方法予以改進。

綜上所述，本系統的軟硬件都較好地實現了光學多點觸感圖像識別跟蹤的要求，系統成本低、性能穩定、可靠性高，達到了預期效果。后續將完善手勢模型、增加種類及增強手勢的識別，便于用戶使用。

：

[1]HAN J Y.Low cost multi-touch sensing through frustrated total internal reflection[C]//Proc.the 18th Annual ACM Symposium on User Interface Software and Technology.Seattle，USA：ACM Press，2005：115-118.

[2]Natural user interface[EB/OL].[2013-08-10].http://nuigroup.com/go/lite.

[3]BUXTON B.Sketching user experiences:getting the design right and the right design[M].San Francisco:Margan Kaufmann,2007.

[4]陳拴拴，廖海洋.光學多點觸摸交互式桌面系統的設計與實現[EB/OL].[2013-08-10].http://www.paper.edu.cn/releasepaper/content/2012 04-125.

[5]馬頌德，張正友.計算機視覺—理論與算法基礎[M].北京：科學出版社，1998.

[6]李剛，邱尚斌，林凌，等.基于背景差法和幀間差法的運動目標檢測方法[J].儀器儀表學報，2006，27（8）：961-964.

[7]CANNY J.A computational App roach to edge detection[J].IEEE Trans.PAM I，1986，8（6）：679-698.

[8]Wikipedia.Camshift[EB/OL].[2013-08-10].http://fr.wikipedia.org/wiki/Camshift.