基于視景仿真技術的虛擬激光投影動態交互方法

張 穎

(文華學院城市建設工程學部,湖北 武漢 430074)

1 引 言

隨著科技的不斷發展,科技的應用范圍不斷擴大,多媒體技術逐漸融入人們的生活,成為人們學習工作的重要組成部分。多媒體一般來說就是將電視格式的視聽傳播能力與計算機[1]交互控制能力有效融合,從而創建出新型的信息處理模型,該模型將聲、像、文、圖集成于一體,使計算機在具備數字化動態功能的同時,還具備視頻播放、編輯等多項功能。多媒體技術的出現極大改善了人們信息交流形式。激光投影[2-3]交互作為多媒體的重要組成部分,是信息多媒體化的關鍵,并在近年來成為國內外爭先研究的重要技術。

文獻[4]提出基于稀疏編碼特征融合的交互行為識別。該方法通過Canny算子提取圖像邊緣特征,基于二值模式算子完成圖像紋理特征的采集,并使用光流法對圖像整體特征展開描述；再通過加權融合方法對提取的相關圖像特征實施加權融合；最后使用金字塔匹配模型完成圖像的動態融合,實現最終的交互。文獻[5]提出基于Lattice Server中間件的束流光學參數測量。該方法基于光源需求,完成了LatticeServer中間件的設計,過程中利用Python語言設計了中間件相關參數,并基于確定的相關參數確定中間件結構；最后通過設計好的中間件實現信息的動態交互。文獻[6]提出多通道時空融合網絡雙人交互行為識別。該方法依據視角不變性完成特征提取,并建立時空融合網絡模型對提取的特征開展特征融合；再基于多通道融合網絡完成特征的交互識別,并將其共享在各個通道中,實現交互任務。

上述方法中由于未能利用視景仿真技術對交互效果實施加強,導致上述方法在動態交互時,易用性差、交互性低、魯棒性低。為解決上述信息動態交互過程中存在的問題,提出基于視景仿真技術的虛擬激光投影動態交互方法。

2 激光投影視頻圖像采集與預處理

由于激光投影筆在實施交互過程中,需要通過攝像頭采集大屏幕圖像依據計算機的計算處理,獲取激光投影點詳細坐標位置,再經由坐標的轉換獲取投影屏幕坐標,依據相關技術實現交互,過程中交互屏幕過大會導致激光投影點模式特征不明顯,易受噪聲影響。因此虛擬激光投影交互前,需要對視頻實時采集并去噪處理,從而消除交互時的噪聲影響。

2.1 基于VFW的視頻圖像采集方法

視頻采集就是將視頻從虛擬格式轉換成數字格式。VEW是關于數字視頻的軟件開發包,基于軟件形式對虛擬視頻源的數字視頻信號實施采集。VFW視頻采集技術主要是通過MSVIDEO、MCIAVI等組件間的協同操作完成數字視頻編輯、播放、視頻捕捉以及管理等處理。具體采集流程如圖1所示。

圖1 視頻圖像采集流程圖Fig.1 Flow chart of video image acquisition

2.2 預處理過程

激光投影視頻圖像采集后,為規避虛擬激光投影點的定位誤差,需對采集的視頻圖像中存在的噪聲進行去噪[7-8]處理。

2.2.1 基于加權平均法的圖像背景去噪

設定原始噪聲圖像為g(i,j),圖像鄰域像素點坐標位置標記X,坐標數量標記Y,以此獲取視頻圖像的鄰域平均圖像[9],過程如下式所示:

(1)

式中,h(i,j)表示圖像的鄰域平均結果。依據上述計算結果,設定圖像的噪聲矩陣為J,表達形式如下式所示:

J=M?(h(i,j)·g(i,j))/M?h(i,j)

(2)

式中,M表示圖像的卷積模板;h(i,j)表示鄰域平均圖像;g(i,j)表示原始圖像。

最后通過建立的圖像噪聲矩陣完成視頻圖像的背景噪聲消除。

2.2.2 圖像灰度轉換

基于紅綠藍三原色建立視頻的RGB彩色空間模型[10],設定模型中的任意光配色系數為A,獲取過程如下式所示:

A=r[R]+g[G]+b[B]

(3)

式中,r[R]、g[G]、b[B]分別表示三原色的配色占比。由于圖像灰度值能夠將圖像像素點信息量化表達,所以設定采集視頻圖像的像素占位字節為3,圖像灰度值即為視頻圖像的彩色像素亮度,由此對采集視頻的圖像像素實施轉換[11],轉換過程如下式所示:

C=0.011R+0.59G+0.3B

(4)

式中,R、G、B表示視頻圖像的各個顏色分量;C表示圖像灰度值。

2.2.3 圖像的閾值分割

圖像轉換成灰度圖像后,雖然能夠縮減圖像中的無效信息,但圖像中仍存在相關無效信息,為降低激光投影點的目標檢測誤差,需對灰度圖像開展閾值分割[12]。

首先對灰度圖像二值化處理[13-14],設定圖像二值化系數為E(i,j),獲取流程如下式所示:

(5)

式中,T表示圖像的二值化閾值;g(i,j)表示灰度圖像(i,j)位置的像素點灰度值;E(i,j)表示圖像二值化結果,范圍在[0,255]之間。基于上述獲取的灰度圖像二值化處理結果,使用最優閾值分割算法對灰度圖像展開閾值分割處理,從而提升圖像的正確分割效率,使分割效果能夠達到最優狀態閾值。

在原始視頻圖像中加入一組高斯噪聲[15],使原始視頻圖像成為加性高斯噪聲圖像,設定圖像的背景概率密度為σμ(z),目標概率密度標記ση(z),以此獲取圖像的混合概率密度Q(z),過程如下式所示:

(6)

式中,λμ表示圖像背景的均值方差;σμ表示平均灰度值;Qμ表示灰度值先驗概率;λη表示圖像目標的均值方差;ση表示平均灰度值;Qη表示灰度值先驗概率。

基于上述計算結果,設定圖像概率為Qμ+Qη=1,且ση≥σμ,依據制定的固定閾值,完成圖像的像素分割。設定圖像像素劃分的錯誤概率為θ(T),計算流程如下式所示:

(7)

式中,θμ(T)表示圖像背景劃分錯誤概率;θη(T)表示圖像目標的劃分錯誤概率;dz表示像素尺度。利用獲取的圖像分割誤差對固定閾值開展求導,從而確定圖像的最優閾值,過程如下式所示:

(8)

式中,T表示獲取的圖像最佳分割閾值。最后基于上述圖像處理結果,完成激光投影點圖像去噪[16],無用信息剔除等處理。

3 虛擬激光投影的動態交互

基于上述的圖像預處理結果,獲取激光投影的中心點位置距離,最后通過對中心位置的映射,實現虛擬激光投影的動態交互。

3.1 虛擬激光投影中心點位置獲取

依據圖像的處理結果,設定圖像的目標跟蹤窗口為P×Q,以此獲取圖像當前幀激光投影的目標中心坐標,過程如下式所示:

(9)

式中,(ΔM,ΔN)表示激光投影的中心點位置;G(i,j)表示圖像灰度值;P表示跟蹤窗口的m方向像素原數;Q表示n方向像素原數。

3.2 激光投影的中心點映射

3.2.1 中心點誤差校正

由于確定投影中心點過程中,攝像機存在畸變,所以需要建立徑向畸變模型,校正中心點位置誤差[17],過程如下式所示:

(10)

式中,φ表示建立的徑向畸變模型;(m,n)表示原始圖像激光投影中心位置;(cm,cn)表示光學中心;(m″,n″)表示校正后的投影中心點位置;r表示圖像像素點至攝像頭之間的距離;s表示校正參數;σ表示定位誤差。

3.2.2 虛擬投影中心點映射

在虛擬激光投影交互過程中,攝像頭與投影幕布之間的距離、方位都會影響交互結果出現透視現象,所以要建立相應的變換方程,以此解決圖像位置的透視缺陷,過程如下式所示:

(11)

式中,(mx,nx)表示透視畸變圖像的像素位置;(ax,bx)表示未透視圖像的像素位置;dx、fx、gx、hx、jx、kx、lx以及ox分別表示透視變換參數。

在上式中可知,確定透視變換參數時,需要不少于4組參考坐標,設定透視畸變圖像的坐標分別為(m1,n1)、(m2,n2)、(m3,n3)、(m4,n4),實際坐標位置標記(a1,b1)、(a2,b2)、(a3,b3)以及(a4,b4),通過計算建立激光投影圖像的透視變換矩陣,獲取交互過程激光點位置與鼠標位置之間的映射關系[18],從而實現激光投影的動態交互。具體過程如下式所示:

φ(ax,bx)=[-(ax,bx)]×[dx,fx,…,ox]

(12)

式中,φ(ax,bx)表示獲取的映射變換關系。

3.3 視景仿真

虛擬激光投影完成交互后,使用PC通道渲染交互場景,完成交互內容的視景仿真,從而提高激光投影的交互效果。

設定PC通道主控節點至從屬節點的通信時間為S,交互場景渲染時間為Sx,節點數量標記ρ形式,通過計算獲取PC通道從屬節點的利用效率,過程如下式所示:

ξ=Sx/2ρS+Sx

(13)

式中,ξ表示計算出的節點利用效率。視景仿真流程如下:

(1)啟動視景仿真系統。初始化PC通道節點參數,完成激光投影主機與系統之間的連接。

(2)進入仿真循環,接收渲染場景信息。

(3)解析PC通道通信信息,啟動渲染獲取交互場景的視景圖像。

(4)將視景圖像反饋至主機中,替換交互場景圖像,完成交互效果的增強。

4 仿真實驗分析

為了驗證本文提出的基于視景仿真技術的虛擬激光投影動態交互方法的整體有效性,需要對此方法進行仿真測試。

4.1 實驗結果及分析

分別采用基于視景仿真技術的虛擬激光投影動態交互方法(所提方法)、基于稀疏編碼特征融合的交互行為識別(文獻[4]方法)、基于Lattice Server中間件的束流光學參數測量(文獻[5]方法)、多通道時空融合網絡雙人交互行為識別(文獻[6]方法)測試；

在動態交互過程中,可以通過對交互方法易用性、交互性以及魯棒性測試,檢測交互方法的交互效果。采用所提方法、文獻[4]方法、文獻[5]方法以及文獻[6]方法開展動態交互時,測試上述4種交互方法的交互性能。

在測試過程中,需要選取適當的激光投影儀器以及激光交互筆,以此縮減測試過程中儀器不同帶來的影響,選取儀器如圖2所示。

圖2 選定的激光投影設備Fig.2 Selected laser projection equipment

通過選定的激光投影設備進行虛擬激光投影動態交互,如圖3所示。

圖3 虛擬激光投影動態交互Fig.3 Dynamic interaction of virtual laser projection

4.2 易用性測試

隨機挑選50名人員,分成五個小組教授激光投影儀器使用方法,通過使用過程,開展百分制的交互性評分,依據評分結果,檢測交互方法的交互性,評價分數越高說明交互方法的易用性越好,反之則越差。測試結果如圖4所示。

圖4 不同交互方法的交互性測試結果Fig.4 Interaction test results of different interaction methods

分析圖4測試數據可知,組別之間的測試時結果均不相同。所提方法測試出的易用性是4種交互方法中評價分數最高的,文獻[4]方法測試結果僅次于所提方法,文獻[5]方法低于上述兩種方法測試結果,文獻[6]方法測試結果最差。由此可證明所提交互方法的易用性能高。

4.3 交互性測試

選取交互時間為交互方法的交互效率測試結果,采用所提方法、文獻[4]方法、文獻[5]方法以及文獻[6]方法開展動態交互時,測試4種交互方法的交互效率,結果如表1所示。

分析如表1可知,隨著檢測次數的增加,4種交互方法的交互時間都呈現出不斷上升趨勢。但是所提方法的測試出的動態交互時間持續低于其他三種交互方法的測試結果,這主要是因為所提方法在交互時,通過視景仿真技術對交互場景圖像實施增強處理,所以該方法動態交互時的交互時間短,側面說明了該方法的交互性好。

表1 不同方法的交互效率測試結果Tab.1 Interaction efficiency test results of different methods

4.4 魯棒性測試

開展交互仿真時,空間距離的長短能夠直觀影響交互方法的魯棒性能。采用所提方法、文獻[4]方法、文獻[5]方法以及文獻[6]方法開展動態交互時,對三種方法的魯棒性展開測試,測試結果如圖5所示。

圖5 不同交互方法的魯棒性測試結果Fig.5 Robustness test results of different interaction methods

分析圖5實驗數據可知,本文方法的虛擬激光投影動態交互魯棒性最高可達100 %,是4種方法中最好的,證明所提方法在動態交互時,交互效果優秀,該方法具備有效性。

5 結束語

隨著激光投影的使用范圍越來越廣,提出高效的虛擬激光投影的動態交互方法就變得尤為重要。針對傳統激光投影動態交互方法中存在的問題,提出基于視景仿真技術的虛擬激光投影動態交互方法。該方法依據獲取激光投影中心點位置,完成激光投影的中心位置映射,實現虛擬激光投影的動態交互。由于該方法在提取圖像灰度值時存在些許問題,今后會針對該項問題,繼續優化該交互方法。