分布式互動投影系統多路視頻圖像捕獲仿真

李翠玉，馮媛亮

(湖北工業大學工業設計學院，湖北 武漢 430068)

1 引言

現階段，互聯網與多媒體技術正在蓬勃發展，應聲而出多種多樣的操作系統，二者融合產生的互動投影[1]被廣泛應用在社會的各個領域中。常用的如智能視頻通信、多媒體實時會議、Surface互動平臺[2]等，通過上述技術和設備可以和處于不同環境的人進行實時視頻數據交流。但是，完成分布式互動投影系統的前提，是對視頻圖像進行捕獲和采集，隨后才能確保所有信息都能夠完整的傳輸到對方計算機中。但是，生產廠家配備的系統多半只使用一臺PC設備[3]來進行互動投影，所產生的圖像尺寸小且視頻質量低，甚至難以分辨目標區域，不能滿足所有用戶的現實需求，因此構建一種視頻流程、畫面清晰分布式互動投影系統多路視頻圖像捕獲方法是十分必要的。

相關領域研究學者提出如下解決方法，智寧[4]等人為了應對在現實生活中圖像存在的自然波動，提出基于照度調整的礦井非均勻照度視頻圖像增強算法，將得到視頻數據的地點定義為動態環境，隨后利用圖像捕獲模塊對環境中的目標個體進行數據采集，并做實時存儲和傳輸處理，利用動態局域網捕獲技術可以完成個體與個體的獨立交互，該算法可以自主進行視頻數據的存儲和傳輸。具有良好的平衡誤差能力，但是圖像質量難以進一步提升。王丹[5]等人為了有效提升視頻分辨率，通過微距設備進行圖像捕獲，并使用計算機能夠支持的最大分辨率進行視頻圖像處理，但是該方法受環境和硬件設備限制較嚴重，無法很好的應用在現實生活中。

針對現有手段的不足，構建分布式互動投影系統多路視頻圖像捕獲方法，能夠有效提升分辨率，進一步擴大圖像尺寸，使用戶能夠方便快捷的向對方進行互動投影，實現數據的實時共享，具有優秀的捕獲精準度和效率，與其它手段相比，使用多路視頻圖像捕獲的分布式互動投影系統運行流程，視頻傳輸穩定，其魯棒性具有明顯優勢。

2 分布式互動投影系統框架

在實現分布式互動投影系統多路視頻圖像捕獲之前，需要分析分布式互動投影系統。該投影系統使用的是分布式互動結構[6]，其中含有一個中心控制節點以及若干個輔助捕獲設備子節點，利用傳感器網絡進行連接。子節點為多臺互動投影設備，通過無縫拼接對捕獲到的圖像進行處理，同時存儲在計算機中，另一方面，設置多路攝影機，使系統的捕獲面積進一步擴大。

基于目標個體的交互投影主要分為圖像捕獲、視頻數據處理以及目標個體交互分析三方面。在傳統可移動交互投影系統中，PPP模塊處理交互事件的全部流程，中心節點只能存儲事件數據，并不能參與全局交互分析。因此在所提方法中，系統構架子節點只涉及視頻圖像捕獲和加強處理兩部分，由中心節點進行接收和整理全局子節點數據，從而完成視頻的交互分析和傳輸。這樣就有效解決了多路視頻圖像畫面交互重疊，導致分析結果不夠精準的問題。

分布式互動投影系統流程：

首先，通過子節點上的攝影機捕獲多路視頻畫面，將其簡單數字化后傳輸至中心控制節點；

其次，總子節點交互分析全部圖像數據，將交互事件和時間控制閥反向傳輸回位于子節點的展示程序中；

最后，根據事件的邏輯順序，使用分布式交互投影設備建立邏輯序列，并生成實時畫面，經過拼接矯正和投影加強后播放出來。

綜上所述，流程及框架結構如圖1所表示。

圖1 分布式互動投影系統流程及框架結構

3 多路視頻圖像捕獲

3.1 視頻畫面同步捕獲過程

通過第2節中對分布式互動投影系統框架的分析可知，分布式互動投影系統中含有若干子節點，任意節點都需要與多臺攝影器材連接，從而完成多路圖像捕獲。為了使得到的視頻圖像時間序列是相同的，必須對攝影機實行同步控制。該技術通過系統中心節點依次發送至各子節點，再由子節點同時發出捕獲信號，控制所有攝影機在同一時間拍攝視頻，保證時序的一致性。但是攝影機的價格本身就昂貴，還需要另外鋪設控制線路，浪費大量時間，故在現實生活中，使用者會根據器材的特性，使用相匹配的軟件來完成時間同步。

基于此，所提方法使用DS-4004HC圖像捕獲卡，該圖像捕獲卡擁有4個數字信號處理模塊，可有效解決SDK卡捕獲圖像時間長、效率差的問題，通過異步回調手段獲得當前視頻圖像。DS-4004HC的工作流程為：構建4條線程，任意線程處理單個數字信號回調數據，并利用異步回調捕獲相應攝影機的拍攝畫面，以提升多路捕獲效率。

根據上述理論，得出基于時序一致性[7]的多路視頻圖像幀捕獲過程如下。

步驟1：通過異步手段捕獲4路攝像機記錄圖像，將數字化結果標記并傳輸至相對應的數據序列中；

步驟2：待4路攝影機都成功捕獲圖像，則按標記順序將相同幀的圖像存放至同一緩存區內；

步驟3：如果該緩存區序列為零，則數據直接放入；反之緩存區已有序列，則替換原有數據；

步驟4：子節點線程通過緩存區獲取捕獲圖像，若該區域無序列則一直等待數據進入；若有序列則直接獲取并刪除。

圖2為該過程同步捕獲過程圖。圖中，緩存區空，則捕獲圖像1直接進入；在捕獲圖像3進入前，緩存區中存在未傳輸圖像2，則將其剔除并填入圖像3；緩存區中捕獲圖像1和3，子節點線程獲取并刪除；緩存區為空，子節點線程將一直等待4路攝像機重新捕獲新的畫面生成圖像4，放入緩存區，再進行提取處理。

圖2 視頻畫面同步捕獲過程

3.2 基于GMM的多路視頻圖像捕獲算法

根據3.1節可知，在時序一致性的基礎上，實現了視頻畫面的同步捕獲，保證了視頻圖像時序的一致性。但是由于傳統視頻圖像捕獲時需要判定其是否為目標個體或區域，常常會發生無前景目標展現，致使投影失聯。為進一步提升多路視頻圖像捕獲效果，提出基于GMM[8]的多路視頻圖像捕獲算法，該算法可以有效辨別該序列中是否存在無前景目標展現，如果存在則確定目標對象，分析其操作流程。在實際環境中，多路視頻圖像捕獲畫面是持續變化的，其背景圖像灰度布局分布不均衡，利用高斯混合模型(GMM)可以增強背景區域透明度，使捕獲的多路視頻圖像存在目標區域，且圖像更加清晰。

假設K是高斯模型，可以描述目標視頻圖像捕捉區域的灰度分布，K值的大小代表像素峰值[9]個數，即

(1)

通過GMM模型可以有效判斷捕獲圖像屬于目標區域還是背景區域，但是更為詳細的部分還需要借模型創設、更新和評估三方面完成。

(2)

(3)

對模型進行初始化處理后，立即開始更新，可以對捕獲圖像任意幀進行操控，確定其像素均值。故需重新計算其較大方差和較小權重。

μi，t=(1-ρi，t)ui，t-1+ρi，tXt

(4)

(5)

在創設模型中，視頻圖像所有灰度都在高斯分布中，若其中沒有能和Xt匹配的分布，那么則將Xt作為均值分配給權值最小的高斯分布，同時進行更新。這時利用式(6)將圖像像素中任意高斯分布權重和反差進行分配，即

ωi，t=(1-α)ωi，t+1+αMi，t

(6)

其中，如果將第i個高斯分布和Xt相互匹配，結果為Mi，t=1，反之Mi，t=0。通過公式把所有權重都重新分配，并將結果分析整理，完成評估的預處理。

3)模型評估。將ωi，t/σi，t比值按大小構建序列，同時創設模型圖像像素也按規則形成序列，式(7)即為相應規則

(7)

在完成相應排列的高斯分布中，提取在B前的所有高斯分布，并當作視頻圖像中最優秀的布局。隨后，Xt和B個高斯分布相互匹配，如果Xt和B之前的任意一個能夠完成匹配，則該像素為前景點，反之則為背景區域點。通過該算法能夠更加簡便的捕獲到清楚的視頻圖像。

3.3 視頻圖像去噪加強

對于實時捕獲的視頻來說，噪聲會影響部分圖像質量，若噪聲過多則會使有效信息被隱藏，為了進一步加強捕獲結果清晰度，將上述步驟獲得的圖像進行去噪和增強處理。常使用小波或多邊濾波去除噪聲，在這里選擇PED對其進行處理。設定原始圖像灰度是uo(x，y)，經過模糊擴散后處理結果是u(x，y)，則基于PED的去噪模型為

(8)

圖像增強則選用經典RL算法[10](Richardson-Lucy)，首先通過泊松統計對圖像做模型化處理，并利用極大似然評估其清晰圖像，故捕獲視頻圖像的RL算法迭代函數為

(9)

式中，k為函數迭代次數。隨著k值的增大，fk+1(x，y)可以不斷逼近理想狀態下捕獲視頻圖像，實現去除模糊的目的。主要步驟如下：

首先，輸入從緩存區獲得的捕獲視頻圖像g(x，y)；

其次，基于PDE模型去除圖像噪聲，獲得處理后圖像u(x，y)；

最后，基于RL算法對u(x，y)進行模糊細節加強處理，并假設f0(x，y)=u(x，y)是初始條件，重復迭代計算直至圖像呈現理想效果。

綜上所述，完成對分布式互動投影系統多路視頻圖像的有效捕獲。既保證了視頻圖像時序的一致性，又降低了噪聲對圖像質量的影響。

4 仿真和數據結果

為驗證分布式互動投影系統多路視頻圖像捕獲方法的有效性，進行仿真。仿真使用的PC端為Intel Pentium 2.8GHz雙核CPU，子節點連接的是DS-4004HC多路視頻圖像捕獲卡，任意攝影機分辨率為320*320，使用2*2的圖像拼接，全部硬件設施用1000Mbps傳感器網絡連接。同時，為了實現理想狀態下數據一致性，使用攝影機內的漫步模式進行視頻圖像捕獲，捕獲時間為每5s捕獲一張圖片，并使用UG5軟件保證不同圖片之間的穩定銜接。

多路捕獲視頻圖像拼接效果評估。在理想狀態下捕獲畫面和互動投影顯示圖像要相互對齊，但在現實生活中，因為硬件設備安裝位置、拍攝角度以及鏡頭晃動等因素的干擾，會產生不同投影效果。

圖3 投影圖像幾何校正

圖3是多路捕獲視頻圖像的拼接效果，其顏色較深的是網格是校正處理畫面，至此確定了互動投影顯示區域。

視頻圖像捕獲和互動投影器材之間是多對多關系，只要確定捕獲畫面能夠將投影區域完全覆蓋。但是，由于安裝線路、攝影機焦距等諸多變量的影響，一般投影儀采用并排的方式進行工作。完成幾何校正處理后，按照攝影機的排列方式將圖像顯示區域分割為X×Y個模塊，任意模塊都存在相對應的攝影器材，并設定標記點，圖4為多路捕獲圖像拼接效果。

圖4 多路捕獲圖像拼接

分布式互動投影系統效率評估。仿真數據為16名使用者的現實運動情況，將視頻圖像分割成16*12個模塊，使用三種手段把子節點更新數據發送至緩存區域，記錄CPU和總服務器處理幀數(Mbps/fps)。詳細測試結果見表1。

表1 三種發送手段下CPU和總服務器處理幀數

仿真數據表明，假設在傳感器網絡中，實際環境下最高使用率是70%，則直接發送，系統可以處理大概10個子節點；Bit編碼的占用量相比直接發送要小，可以處理80個左右的子節點。模型更新后，視頻的每一幀都需要重新傳輸40個模塊，相比Bit編碼，占用率更小約為20%，系統能夠處理500個上下的子節點，最大程度是提升了分布式系統的伸縮性。

表2 系統延遲結果

由測試結果得出，運用所提方法對分布式互動投影系統中的多路視頻圖像進行捕獲后，使得系統的寬帶占用率低，在子節點數量增加后，系統延遲并沒有受到過多影響，擴展性能優秀。當其中含有四個子節點時，總延遲均值都小于3幀，使用者沒有明顯感覺，說明系統魯棒性高。

5 結論

所提方法使用多臺PC硬件建立分布式結構，提升系統捕獲范圍，擴大圖像尺寸且增強分辨率，使投影獲得更為精確的交互分析。同時，利用基于GMM的多路視頻圖像捕獲，讓背景區域更加透明化，并使用PED和RL對緩存區數據做去噪和圖像加強處理，進一步突顯目標個體區域特征向量。仿真數據證明，該方法捕獲時序性強，運行速度快，可以應用在各類計算機內，具有優秀的魯棒性，可以廣泛應用在日常生活中。在接下來的研究中，會在三維空間內對使用者行為進行交互分析，并嘗試隔空操控。