面向LED顯示屏的手勢互動系統的研究與實現

張偉

摘要：隨著顯示技術的迅猛發展，傳統的LED顯示方式被應用于多種領域，它們可以有超大畫面的視頻顯示、高質量的顯示效果以及內容豐富的圖像信息，為了能夠調動參觀者的極大興趣，采用人機互動的LED顯示系統成為今后發展的方向和潮流，本文提出了面向LED顯示屏的手勢互動系統的相關研究和實現過程，即是以視頻處理計算機、攝像頭、視頻采集卡等硬件為基礎，開發出一套具有畫面采集、手勢判斷、畫面實時渲染等功能的互動系統，該系統根據用戶不同的手勢做出不同的響應，實現計算機畫面與用戶的互動。

關鍵詞：人機互動 視覺識別 手勢識別 中值算法 實時渲染

一、概述

處于信息技術時代，網絡多媒體技術的普遍應用，使人們提高了視覺感受要求。目前的大屏幕多媒體顯示系統主要采用的顯示技術為大屏幕投影技術和LED顯示技術，LED顯示技術在亮度、對比度、色彩飽和度等方面遠超投影技術，僅僅顯示廣告、直播、公告等內容已不能滿足用戶的需求，因此為了能夠調動參觀者的極大興趣，采用人機互動的LED展示系統成為今后發展的方向和潮流，本文提出的面向LED顯示屏的手勢互動系統，是一套具有軟件和硬件的完整的綜合應用平臺系統，應采用當今世界最高端的設備和動作捕捉算法;系統應提供一種不同尋常并激動人心的動畫和特效交相輝映的效果系統，適用于多種公共場合，特別是商業中心、廣場、展廳等場合使用。

二、系統整體設計

1、系統介紹

面向LED顯示屏的手勢互動系統是一個專用型互動平臺系統。該系統具備特有的手勢捕捉及運動趨勢判斷功能，該系統是用戶和LED大屏上的影像進行真實互動的一套系統，使用戶融入場景中，用戶的手勢動作通過相關采集設備，配合相關的場景和特效達到互動和娛樂的效果。同時，相關場景和特效是可以后臺切換的，可根據實際情況提供具有創意內容的企業用戶品牌廣告和互動展示效果。

系統運行流程包含系統開始、畫面采集、圖像處理、手勢判斷、動畫實時渲染轉換、畫面顯示、系統結束等步驟，如圖1。

該系統包含了動作捕捉模塊、場景切換模塊、數據處理模塊、特效展示模塊。系統開發及實施過程中，著重研究動作捕捉模塊，該模塊在軟件中所占比重相當大并非常重要，直接關系到互動畫面的連續性和有效性。如圖2。

動作捕捉模塊：主要是通過動作捕捉器捕捉用戶的動作的過程，要求連續、平滑等。

數據處理模塊：主要是對采集的動作進行相應算法的解析和封裝。

特效展示模塊：是針對用戶的不同的動作展示不同的效果。

場景切換模塊：支持后臺實時切換用戶喜歡的場景。

2、技術要求

2.1功能指標

互動模式：單人捕捉，幀率60 FPS。 檢測算法：自由設置平滑及降噪算法，識別準確無誤點，可自由設置靈敏度以適應多數硬件環境。

效果模塊：每個效果可獨立設置播放時間，提供控制接口，可獨立對效果點播。

互動內容分辨率：兼容1920*1080及以下的常用分辨率。

SDK接口：C/C++，.NET，Direct3D，Unity3D， Flash 的 ActionScript 2 /ActionScript 3。

模板界面：可方便快捷的更換互動元素。

顯示支持：支持分辨率支持下的LED大屏幕。

動作捕捉設備安裝：系統可設置圖像水平、垂直翻轉，自由設置捉捕范圍，使其正好匹配投影畫面。

2.2性能指標 響應時間：<15毫秒的光量校正，互動校準無漂移。

攝像頭啟動延時：0.1S

圖像采集延時：0.1S

圖像傳輸延時：0.1S

圖像顯示延時：IS

3、總體研究思路

面向LED顯示屏的手勢互動系統主要實現用戶和LED大屏之間的智能交互。軟件使用動作捕捉模塊對采集到的人體動作參數進行運算，把大屏前的人體作為一個區位目標，進行跟蹤識別。采集的動作信號提交給數據處理模塊對動作信號進行精密的運算，動作捕捉算法目前采用較多的為圖像采集，圖像處理的算法，我們采用人體行對偏移所得的動作參數進行動作捕捉運算。人體具有一定的寬度和高度，如果作為點目標具有很大的誤差，因此人體高度及寬度的擬合算法也是一個關鍵算法。動作捕捉器上有一個功能強大的感覺陣列，能從事捕捉圖片到識別顏色等多項工作。經過前期項目經驗的積累，對大屏前的人體動作和位置等信息數據以彩色影像、3D深度影像等形式進行建模分析，可以穩定地準確計算出人體動作，通過四邊形近似算法，考慮人體寬度，取人體中心部分作為點目標進行處理。經過處理后的數據反饋給特效展示模塊進行特效的顯示。另外，用戶可通過軟件選擇不同的場景，使用更多特效。

三、關鍵技術介紹

動作捕捉技術：從運動學的角度模擬動作捕捉后的參數，并優化了運動學標記算法支持補償被遮擋的物體，捕捉精度高達1cm，另外我們優化了動作捕捉器的可控范圍，使得捕捉的距離更遠，范圍更廣，實時數據的處理延遲低于lOOms。

延遲平滑及噪聲處理：普通的動作捕捉攝像設備精度較低，導致模糊、拖影的現象出現，我們選用了高精度的設備解決模糊、拖影問題。另一方面，在軟件相關算法開發的時候使用了毫秒級的位移過渡算法進一步解決平滑的問題。在噪聲處理方面，由于系統在使用中會有多種噪聲的干擾，比如被捕捉人周圍有很多物品和其他人，就會對捕捉結果造成影響，這就需要我們采用人像定位技術，把人的每個部位在系統中進行識別，讓系統定位住被捕捉人，消除外界不必要干擾，讓系統順利運行。

手勢識別算法：通過攝像采集設備捕捉每秒若干幀畫面，將畫面分割成有限的網格（目前支持8、16、32、64四種網格），分析相鄰畫面的差異，識別出差異的網格，通過網格判斷出運動的目標（目前設置為最多2個目標），將目標運動的軌跡（坐標序列）發送到FLASH動畫，產生手勢響應。

中值計算算法：基于手勢識別算法，在網格中需確定手勢移動在平面目標下的基礎位置，采用模糊的中值計算的方法可定位手勢移動的起始位置及結束位置，為后續計算運動軌跡打下基礎。運算效果如圖3所示，有色方塊代表手勢的模糊位置，圈代表運算后的相對位置。

本文對面向LED顯示屏的手勢互動系統進行了基本的介紹。針對系統中使用到的關鍵技術進行了介紹。在系統研究與開發中，提出了動作捕捉技術、動作延遲平滑及噪聲處理、手勢識別算法、中值計算算法。本系統具有先進性、可靠性、穩定性等特點，互動方式上方便易用、直觀、新穎。系統已廣泛應用于各類項目中，得到用戶的一致好評。