幻影成像裝置的自然手勢識別系統(tǒng)設(shè)計(jì)

張蒙蒙,代 陽,楊鵬程,張 敏,肖 旭

(西安工程大學(xué) 機(jī)電工程學(xué)院,陜西 西安710048)

0 引 言

幻影成像因其成像逼真、極具立體感、色彩絢麗等優(yōu)點(diǎn),被廣泛地應(yīng)用于各個(gè)領(lǐng)域。在博物館的展陳中幻影成像技術(shù)的應(yīng)用,實(shí)現(xiàn)了新媒體技術(shù)由二維向三維的轉(zhuǎn)變,使公眾可以在物理空間感知到虛擬影像的空間尺度。目前博物館幻影成像平臺以播放固定影像這一展示形式為主,公眾易感到無趣或乏味。 將趣味十足的交互體驗(yàn)應(yīng)用于幻影成像系統(tǒng)中,能夠?qū)⒉┪镳^展示藝術(shù)拓展到與視覺、觸覺以及時(shí)間、空間等方面構(gòu)成的新型藝術(shù),從而多角度、多層面地詮釋文化藝術(shù)。其中自然、直觀和符合認(rèn)知習(xí)慣的人性化交互方式無疑給公眾帶來較好的交互體驗(yàn)。

目前博物館中幻影成像裝置交互方式主要是基于電容觸摸屏的多點(diǎn)觸控、鼠標(biāo)、鍵盤,以及各種實(shí)體按鍵等。 傳統(tǒng)的觸摸式和按鍵式的人機(jī)交互不僅不自然，而且多人觸摸易引起疾病傳播[1-2]。手勢因其自然直觀的特點(diǎn)可以優(yōu)化人機(jī)交互的過程。基于傳感器的手勢識別,可分為接觸式和非接觸式[3-4]。 接觸式的手勢識別有基于數(shù)據(jù)手套的手勢識別[5]、基于慣性傳感器的手勢識別[6]等,非接觸式手勢識別有基于視覺的手勢識別[7-9]、基于紅外傳感器的手勢識別[10]、基于超聲波的手勢識別[11]和基于電磁信號的手勢識別[12-14]。 接觸式的手勢識別方案精度高、穩(wěn)定性好，但對手部的自然運(yùn)動(dòng)有一定的阻礙[15]。 博物館中參觀人數(shù)眾多,使用同一接觸式交互設(shè)備易引發(fā)擁擠且增加疾病傳染風(fēng)險(xiǎn),故接觸式手勢識別方案不適用于博物館。 非接觸式的手勢識別以基于視覺的手勢識別研究最為廣泛，但容易受到光照遮擋、相機(jī)放置等環(huán)境因素的影響[16]。 博物館中幻影成像裝置受限于光學(xué)技術(shù),只有在暗室環(huán)境中成像色彩絢麗,亮度飽滿。 基于超聲波、電磁信號手勢識別技術(shù)能夠在一定程度上克服環(huán)境光照的影響并擴(kuò)大手勢操控的范圍,但由于其魯棒性較弱等問題還有待進(jìn)一步研究和解決,所以將其應(yīng)用于實(shí)際生活仍有一段距離[17]。

然而，基于紅外傳感器的手勢識別系統(tǒng)因其低成本,受環(huán)境光影響小等諸多優(yōu)點(diǎn)可用于博物館中大多數(shù)幻影成像裝置的交互需求。 博物館中大多數(shù)幻影成像裝置展示的3D展品不僅需要旋轉(zhuǎn)縮放,還需要旋轉(zhuǎn)至合適的角度才能夠準(zhǔn)確傳達(dá)展品信息。 目前基于紅外傳感器的手勢識別僅能識別出手勢方向[18-20],控制模型旋轉(zhuǎn)時(shí),只能實(shí)現(xiàn)三維模型繞坐標(biāo)軸轉(zhuǎn)動(dòng)至固定角度,無法自由轉(zhuǎn)動(dòng),影響公眾觀覽體驗(yàn)。本系統(tǒng)采用紅外傳感器陣列對手勢方向、手勢速度數(shù)據(jù)信息進(jìn)行采集與處理,實(shí)現(xiàn)立體三維模型繞坐標(biāo)軸自由轉(zhuǎn)動(dòng)。

1 總體方案設(shè)計(jì)

幻影成像三維展示系統(tǒng)方案設(shè)計(jì)如圖1所示。鑒于下位機(jī)數(shù)據(jù)處理量小,選用低成本的STM32微處理器作為下位機(jī)采集并處理手勢特征信息,同時(shí)下位機(jī)與上位機(jī)中選用方便易行、應(yīng)用廣泛的串口通信方式進(jìn)行數(shù)據(jù)傳輸。 上位機(jī)中選用獨(dú)立于窗口系統(tǒng)和操作系統(tǒng)、易于移植的OpenGL三維圖形庫，在VS平臺構(gòu)建三維模型。 依據(jù)正常人站立高度和觀覽角度,確定成像四面錐體的高度位置。 選擇相較于玻璃更為輕便、硬度高的透明亞克力板拼接四面錐體。 考慮到自由調(diào)節(jié)三維影像在四面錐體上的位置,摒棄傳統(tǒng)的顯示屏投影方式,選用投影儀投射三維影像至四面錐體上,依據(jù)佩珀?duì)柣孟裨韺?shí)現(xiàn)虛擬三維模型的空中顯像。

圖 1 幻影成像三維展示系統(tǒng)方案設(shè)計(jì)Fig.1 Design of phantom imaging 3D display system

2 系統(tǒng)設(shè)計(jì)

2.1 硬件設(shè)計(jì)

下位機(jī)采用意法半導(dǎo)體公司生產(chǎn)的STM32F103ZET6內(nèi)核芯片作為傳感器信號的處理器。 STM32F103具有最高72 MHz的工作頻率,內(nèi)置高達(dá)512 K 字節(jié)的閃存程序存儲器和64 K字節(jié)的SRAM,載有2個(gè)基本定時(shí)器,4個(gè)通用定時(shí)器和2個(gè)高級定時(shí)器,能夠滿足系統(tǒng)下位機(jī)要求。

手勢識別傳感器陣列包括手勢方向和手勢速度采集模塊。 在圖2中,為增加系統(tǒng)手勢識別方向的種類,在傳感器陣列中央布置原相科技生產(chǎn)的PAJ7620手勢識別傳感器。 PAJ7620手勢識別傳感器,可識別9種手勢,能滿足系統(tǒng)方案手勢識別方向采集模塊設(shè)計(jì)要求。 PAJ7620傳感器只能識別手勢方向信息,無法提取手勢速度信息,為此增加手勢速度采集模塊,在手勢傳感器周圍以正方形等距排布4組漫反射式紅外光電傳感器作為手勢速度采集模塊,根據(jù)在手勢傳感器同側(cè)的2個(gè)漫反射式紅外光電傳感器距離、響應(yīng)時(shí)間差值獲取手勢速度信息。 漫反射式紅外光電傳感器選用E18-D80NK光電模塊,其發(fā)射光經(jīng)過調(diào)制后發(fā)出,接收頭對反射光進(jìn)行解調(diào)輸出,可有效避免可見光的干擾。 測試障礙物距離可通過尾部的電位器旋鈕進(jìn)行調(diào)節(jié)。依據(jù)三維虛擬模型在四面錐體模型上成像位置高度范圍和亮度要求,投影距離應(yīng)在成像位置高度范圍內(nèi),投影距離L=fl/φ。式中:f為投影儀鏡頭焦距,l為投影屏幕對角線尺寸,φ為液晶片尺寸。依據(jù)投影儀投影距離公式,光通量為2 700 Lm的索尼VPL-DX220型號投影儀符合系統(tǒng)要求。幻影成像硬件系統(tǒng)接線圖如圖3所示。

圖 2 傳感器陣列排布圖Fig.2 Sensor array arrangement

圖 3 硬件系統(tǒng)接線圖Fig.3 Wiring diagram of hardware system

2.2 軟件設(shè)計(jì)

系統(tǒng)在軟件設(shè)計(jì)時(shí)盡量保證邏輯的嚴(yán)密性和功能模塊之間的協(xié)同性,確保系統(tǒng)健壯性。借助于MDK的KEIL5平臺編寫程序,實(shí)現(xiàn)手勢識別傳感器與漫反射式紅外光電傳感器數(shù)據(jù)融合。系統(tǒng)以輪詢的方式查驗(yàn)手勢方向。 以右揮手勢為例,手勢識別流程如圖4所示。

圖 4 手勢識別判定流程圖Fig.4 Flow chart of gesture recognition decision

當(dāng)PAJ7620傳感器檢測到右揮手勢,則對應(yīng)的寄存器手勢標(biāo)志會置1,系統(tǒng)讀取標(biāo)志清除對應(yīng)的中斷標(biāo)志位, PAJ7620傳感器右側(cè)的D3-1紅外光電傳感器觸發(fā)響應(yīng),開啟TIM3更新中斷,直至右側(cè)的D3-2紅外光電傳感器觸發(fā)響應(yīng),停止更新中斷,取出TIM3內(nèi)部計(jì)數(shù)值,通過串口向VS平臺輸入手勢方向和相鄰2個(gè)光電開關(guān)響應(yīng)時(shí)間差值。

為了防止TIM3在計(jì)數(shù)時(shí)產(chǎn)生溢出中斷,根據(jù)人手揮舞速度和相鄰紅外光電傳感器距離,設(shè)置合理的溢出時(shí)間。溢出時(shí)間為

Tout=(a+1)(p+1)/Tclk

式中：Tout為溢出時(shí)間;Tclk為定時(shí)器輸入時(shí)鐘頻率;a為自動(dòng)重裝載寄存器周期的值;p為預(yù)分頻值;定時(shí)器3的時(shí)鐘頻率為72 MHz。 根據(jù)ν=L/t,求得手勢速度。 圖像旋轉(zhuǎn)角速度β=kν(k>0),則圖像旋轉(zhuǎn)角度X=βt1。其中v為手勢速度;L為在手勢識別傳感器同側(cè)相鄰2個(gè)紅外光電傳感器距離;t為獲取的同側(cè)相鄰2個(gè)紅外光電傳感器被手遮擋的時(shí)間差值;k為常數(shù);t1為PC機(jī)接收一次串口數(shù)據(jù)后虛擬三維模型旋轉(zhuǎn)的固定時(shí)長。 依據(jù)手勢方向、速度信息實(shí)現(xiàn)實(shí)時(shí)控制虛擬三維模型縮放和繞坐標(biāo)軸自由轉(zhuǎn)動(dòng)。

3 結(jié)果與分析

為了驗(yàn)證本文設(shè)計(jì)的自然手勢識別系統(tǒng)實(shí)時(shí)交互的有效性,利用搭建好的硬件和軟件平臺,對系統(tǒng)進(jìn)行測試,在上位機(jī)建立地球三維模型,控制地球三維模型旋轉(zhuǎn)合適的角度,如圖5(a)所示。 由于搭建的幻影成像四面錐體表面未覆蓋全息膜,導(dǎo)致成像模糊,因此將電腦中虛擬三維模型投影在覆蓋有全息膜的小型四面錐體進(jìn)行成像效果展示,如圖5(b)所示。

(a) 手勢識別硬件系統(tǒng)

(b) 成像效果展示圖 5 交互式幻影成像裝置Fig.5 Imaging device of interactive phantom

以手勢右揮為例,在手勢速度恒定情況下分析手勢距離對識別精度的影響。表1是手勢右揮在相同手勢速度不同距離情況下手勢識別結(jié)果,從表1可以得出:相同手勢速度情況下手勢與傳感器識別距離為5～20 cm內(nèi),識別精度較高；當(dāng)手勢距離超過20 cm, 手勢識別距離受限于系統(tǒng)傳感器感知距離, 手勢識別精度呈現(xiàn)大幅下降。 同時(shí)針對旋轉(zhuǎn)手勢識別情況,進(jìn)行了100次順時(shí)針旋轉(zhuǎn)手勢識別測試,其手勢識別精度為85%,手勢順時(shí)針旋轉(zhuǎn)時(shí),手繞手腕運(yùn)動(dòng),系統(tǒng)判定不精確,導(dǎo)致識別精度低。

表 1 手勢右揮的識別結(jié)果Tab.1 Gesture recognition results for right wave

4 結(jié) 語

本文設(shè)計(jì)了一種面向博物館中幻影成像裝置的手勢識別系統(tǒng),綜合手勢方向、速度信息,實(shí)現(xiàn)了對虛擬三維模型實(shí)時(shí)控制。通過對系統(tǒng)進(jìn)行實(shí)驗(yàn)測試和現(xiàn)場調(diào)試,系統(tǒng)對手勢在5～20 cm范圍內(nèi)時(shí),識別精度較高,滿足博物館中幻影成像裝置中虛擬三維模型跟隨自然手勢實(shí)時(shí)變化的控制要求。