全景視頻數(shù)據(jù)的網(wǎng)絡(luò)同步與合成技術(shù)研究

丘美玲，晏細蘭，陳惠紅

（廣州番禺職業(yè)技術(shù)學(xué)院，廣東 廣州 511483）

1 全景視頻瀏覽參數(shù)計算

在一般圖像瀏覽軟件中，圖像是完整讀入到內(nèi)存，再通過驅(qū)動模塊顯示到顯示器，其縮放和局部瀏覽的操作均由驅(qū)動模塊后臺完成。而對于超大尺寸的圖像，其需要的儲存空間往往超過一般電腦內(nèi)存的承受能力，以上顯示圖像的方式就不再適用。對于超大圖像，一般使用塊存儲格式存儲，其格式中包含的不同分辨率下圖像的縮略圖和實際分辨率下按塊劃分的多個子圖，在高分辨率瀏覽時按照感興趣區(qū)域?qū)Ω鲏K分布抽樣或讀取，再組合成一個區(qū)域圖像[1-2]。在一般的全景系統(tǒng)中，各個全景子圖是單獨存儲在各運算子機中的，類似于超大圖像格式中的按塊存儲，區(qū)別在于全景子圖中各子圖可能存在一定的重疊[3-5]。利用塊存儲提取原理，可以計算出各個子圖中的需求內(nèi)容。

對于單一圖像的瀏覽是利用視窗（實際觀察區(qū)域）和圖像做重疊區(qū)域計算得到的，計算得到的參數(shù)包括視窗在圖像中的偏移坐標（XS，YS）、視窗大小（WS，HS）、視窗縮放系數(shù)（αx，αy）。如圖1 所示，偏移坐標（Xi，Yi）為視窗原點在圖像中的坐標，視窗大小為視窗在圖像分辨率下的大小，視窗縮放系數(shù)為視窗大小與顯示窗口大小（WQ，HQ）的比值。那么，我們?yōu)g覽區(qū)域圖像Is 和原圖I 的相對關(guān)系如式（1），其中T 代表對圖像的最近鄰域抽樣或像素平均后雙線性內(nèi)插等操作。

圖1 窗口關(guān)系

以上原理對于全景圖像同樣適用，利用該方法能計算出視窗與全景的對應(yīng)關(guān)系，再利用各個子圖與全景的坐標變換關(guān)系，可以算出各個子圖與顯示窗口的坐標變換關(guān)系。首先計算子圖與視窗是否重疊與重疊范圍，計算方法采用四點排序方法，方法步驟如下：

Step1：計算兩個坐標方向上是否有重疊，假設(shè)x 方向上矩形1 的范圍為X1=[x11，x12]，矩形2 的范圍為X2=[x21，x22]，那么X 方向上是否重疊如式（2）：

如果x 方向和y 方向均重疊，那么兩個矩形區(qū)域存在重疊區(qū)域。

Step2：如果重疊，計算重疊范圍，設(shè)X=[X1，X2]，對X進行由小到大的排序，有x 方向上的重疊長度Lx為次大值和次小值的差：

同理求出Ly。

考慮到圖像在融合過程中，為了達到公共區(qū)域的平穩(wěn)過渡，同時考慮了多個重疊子圖的信息。但是在特定情況下，視窗與子圖的重疊區(qū)域只存在子圖與其他子圖的重疊區(qū)域中，即其他子圖已經(jīng)包含了該區(qū)域的所有信息。

圖2 中，子圖A 與子圖B 與視窗S 均重疊，但是由于有（B-A）∩S=?，即子圖B 與視窗S 的公共區(qū)域全部都在A 里面，那么子圖A 就包含了該公共區(qū)域的所有信息，這樣我們就不需要對A 和B 做融合后分別把其與視窗重疊區(qū)域發(fā)送至合成端，只需要把A 的完整重疊信息發(fā)送至合成端，對于子圖B 中，B 與S 的重疊區(qū)域存在與B 唯一相交的區(qū)域，即（B-A）∩S≠? 時，必須把B 與S重疊的信息發(fā)送至合成端，全景圖像中局部圖像合成次數(shù)的多少會影響全景合成中與各個子圖的控制復(fù)雜度。

圖2 窗口與子圖的重疊關(guān)系

2 網(wǎng)絡(luò)數(shù)據(jù)的快速提取

網(wǎng)絡(luò)數(shù)據(jù)的提取主要是根據(jù)子圖與視窗的重疊區(qū)域參數(shù)來計算提取的，對于一個實時系統(tǒng)而言，點提取采用像素平均后做雙線性內(nèi)插值方法是非常耗費運算資源的，所以可以采用圖像效果相對較差，但運算效率相對較高的最近鄰抽樣方法。采用該方法的另外一個好處是重疊參數(shù)一旦確定后，窗口子圖與全景子圖上的坐標成了一一對應(yīng)的關(guān)系，利用這一特點，可以在重疊參數(shù)改變后生成一個坐標對應(yīng)關(guān)系查找表，利用查找表可以把原來的數(shù)值運算變成賦值運算。直接計算和查表分別如式（4）和（5），其中K 為最近鄰查找，Ic為輸出圖像，Iw為投影后的圖像，Tx和Ty分別為x 和y 方向坐標的對應(yīng)查找表。

可以看出直接計算，每個坐標點需要做2 次除法、2 次加法、2 次最近鄰查找和1 次賦值運算，而查表法只需要做3 次賦值運算。在當今擁有多級緩存和高速內(nèi)存的硬件環(huán)境下，賦值運算比數(shù)值運算速度快得多。表1 中，分別利用重疊參數(shù)直接計算和查表形式對一個圖像做1 000 次數(shù)據(jù)提取計算，查表法大概要比直接計算快40%。

表1 裁剪速度對比

對于全景子圖，除了坐標變換還需要對圖像做融合，事先生成了一個融合系數(shù)模板Mask，利用模板切割的方法同樣可以生成一個和顯示子圖對應(yīng)的融合查找表TM，融合查找表返回的是一個浮點型數(shù)，而浮點型運算在計算機中相對是比較費時間的。實際觀察中發(fā)現(xiàn)，RGB 圖像點分量的等級為256，所以對于融合系數(shù)的精度要求只需要達到1/256。利用這一特點，可以考慮把融合查找表轉(zhuǎn)換成uchar（0～255）型數(shù)，生成一個0 到255 各乘以1/256 到1 的系數(shù)查找表T256。一幀720 p 圖像用直接計算來投影和裁剪需要約35 ms，采用查找表法后，投影和裁剪需要約25 ms，即使系統(tǒng)最終全景幀率是由多個并行環(huán)節(jié)中最慢的一部分決定的（實際測試該環(huán)節(jié)為網(wǎng)絡(luò)傳輸），但這部分節(jié)約的功耗最終會分配到其他環(huán)節(jié)，從而提升了系統(tǒng)的最終效率。

3 全景視頻的網(wǎng)絡(luò)生成

網(wǎng)絡(luò)數(shù)據(jù)在按照提取參數(shù)提取出來后，會統(tǒng)一發(fā)送到服務(wù)器進行組合，由于數(shù)據(jù)在計算節(jié)點就被投影，同時還乘上了融合系數(shù)，因此服務(wù)器只需要把各個數(shù)據(jù)按照其偏移坐標疊加到顯示模板即可。但是在全景生成前，還要考慮數(shù)據(jù)的同步問題[6]。

3.1 合成數(shù)據(jù)的網(wǎng)絡(luò)同步

由于全景視頻是由多個有一定重疊區(qū)域圖像組成的，對于運動目標而言，在時域上存在一定的空間差異性，當全景拼接采用了不同步的圖片，且公共區(qū)域內(nèi)出現(xiàn)了運動目標，即使背景拼接成功，融合拼接后運動目標會出現(xiàn)重影。對于一個監(jiān)控系統(tǒng)，視頻中運動物體才是人們感興趣的，如果出現(xiàn)數(shù)據(jù)不同步將會大大影響監(jiān)控質(zhì)量。全景視頻系統(tǒng)的同步要求包括兩個方面，一方面是攝像機數(shù)據(jù)的采集同步，另外一方面是數(shù)據(jù)在網(wǎng)絡(luò)數(shù)據(jù)計算過程中的同步。攝像機數(shù)據(jù)采集的不同步，主要是由于攝像機本身硬件差異產(chǎn)生的輸出波動和啟動時間不同而產(chǎn)生的。假設(shè)各個攝像機的幀率相同，那么它們同時間采集一幀會存在一定的物理誤差，這個誤差會在一幀時間以內(nèi)，對于非高速運動的目標，該誤差影響非常小，并且這個物理誤差是不可避免的，所以一般把這個物理不同步忽略掉。

對于網(wǎng)絡(luò)計算過程的不同步，主要是由于各個計算節(jié)點效率的不相同和同一計算節(jié)點在時域上計算效率的不穩(wěn)定，到各個節(jié)點數(shù)據(jù)的輸出頻率在并行和串行上都不一致，還有就是網(wǎng)絡(luò)傳輸效率的不一致。由于各個攝像機計算延時的不相同，有時候服務(wù)器同一時間在各個節(jié)點接收到的數(shù)據(jù)會存在1～2 幀甚至更多的差異。

如上所述情況不包括個別計算節(jié)點存在超負荷工作狀態(tài)，指的是各個計算節(jié)點在總體輸出效率相當，但個別時間點出現(xiàn)了輸出水平的波動的情況。解決這一問題主要是采用緩存機制，利用緩存機制在服務(wù)器輸入前端做幀對齊，能保證視頻合成過程中連續(xù)穩(wěn)定，但弊端是引入了一定的人為延時。計算延時是不可避免的，在系統(tǒng)流暢運行的情況下一般為300 ms，而人為延時可以通過緩存大小設(shè)定其上限值，這里設(shè)定為1 000 ms，在本系統(tǒng)即10 幀。

為了實現(xiàn)時域上幀對齊，必須利用各幀采集時間來標識。忽略掉物理不同步，攝像機數(shù)據(jù)返回到采集節(jié)點時數(shù)據(jù)為實時數(shù)據(jù)，該數(shù)據(jù)的時間標識即為當前計算機的系統(tǒng)時間。所以首先要實現(xiàn)各個計算節(jié)點和服務(wù)器的時間同步，步驟如下：

Step1：在網(wǎng)絡(luò)底負荷的情況下，服務(wù)器給計算節(jié)點發(fā)送測試命令，計算節(jié)點收到命令后立馬返回，服務(wù)器接到返回后計算返回時間差。

Step2：重復(fù)Step1 多次，計算平均時間差Tp。

Step3：服務(wù)器把系統(tǒng)時間發(fā)送到計算節(jié)點，計算節(jié)點計算其與服務(wù)器的系統(tǒng)時間誤差Δt，如式（6）：

Step4：重復(fù)Step3 多次，計算平均系統(tǒng)時間誤差ΔT，更新當前時間，如式（7）：

圖像在采集時打上的時間戳不會因為各種處理有所改變，最終發(fā)送到服務(wù)器的子圖像的時間標識仍然是該圖像采集時的時間戳。在全景視頻開始時，由于各個節(jié)點的啟動時間不一致，必須對服務(wù)器上并行數(shù)據(jù)做首幀對齊，如圖3 所示，步驟如下：

圖3 首幀數(shù)據(jù)

Step1：計算幀差時間，如幀率為10 fps，幀差時間Δt為100 ms。

Step2：找出首幀中超前的1 幀，如圖中T11，設(shè)定全景起點為t0=T11，生成全景播放序列tn=t0+n·Δt。

Step3：排序各路數(shù)據(jù)，如果該幀時間戳在tn到tn+1之間，該幀的播放時間被安排到tn，如果該段時間內(nèi)沒有數(shù)據(jù)或數(shù)據(jù)沒到，即插入空白幀。

因為全景視頻是由服務(wù)器主動合成的，所以其播放也必須由服務(wù)器主動觸發(fā)，觸發(fā)時間根據(jù)生成的全景視頻播放時間序列而定。真正觸發(fā)時間并不是由該序列的標識時間決定的，該時間僅僅用于緩存對齊和決定全景視頻的起點，真正觸發(fā)全景視頻的是幀差時間。首幀對齊決定了全景視頻播放序列的排序，但是在播放過程中仍然會出現(xiàn)以下不同步的問題：

（1）丟幀。對于某一時刻，采集端出現(xiàn)了短暫數(shù)據(jù)采集的丟失，這樣的數(shù)據(jù)在時序上是不可恢復(fù)的。對于該情況，通過在丟失時序上插入空白幀，保證全景播放流暢，但是全景內(nèi)容會出現(xiàn)缺失。

（2）幀滯后。該情況主要由于計算滯后和網(wǎng)絡(luò)滯后產(chǎn)生的，即數(shù)據(jù)沒有丟失，但是數(shù)據(jù)到達時間比其他節(jié)點慢。對于緩存機制的優(yōu)點就是能允許數(shù)據(jù)出現(xiàn)滯后，但由于緩存大小有限，當滯后長度超過緩存長度滯后仍然沒有回復(fù)，即新來滯后數(shù)據(jù)時間戳比當前播放序列標識超前，對于這樣的數(shù)據(jù)服務(wù)器會直接丟棄，直到滯后恢復(fù)為止。采用本文的同步機制能使全景視頻流暢播放，其播放幀率與視頻采集幀率一致，缺點是全景視頻播放在某個節(jié)點出現(xiàn)問題時全景數(shù)據(jù)會出現(xiàn)丟失。

3.2 全景視頻數(shù)據(jù)的合成

全景視頻數(shù)據(jù)的合成，只需要根據(jù)視頻的偏移坐標，把子圖像疊加到一個和顯示窗口大小一致的空白圖像模板中，如式（8）。圖像在發(fā)送到服務(wù)器前就完成了偏移值的計算、裁剪縮放和融合的操作，所以在其疊加過程中不會出現(xiàn)子圖超出模板范圍或者個別坐標點超出值域的問題。

需要注意的是，當視窗改變后，合成參數(shù)被重新計算，計算節(jié)點會更新查找表，服務(wù)器接收的數(shù)據(jù)會改變。在這種情況下，緩存中的數(shù)據(jù)不再適用，這時必須清空緩存，重新進行數(shù)據(jù)的幀對齊和生成新的全景視頻播放時間序列，在這個過程中全景視頻會出現(xiàn)短暫的卡屏，卡屏的時長和各個節(jié)點切換速度有關(guān)，一般在500 ms 左右。

4 結(jié)束語

本文主要闡述了在分散式系統(tǒng)環(huán)境下的全景視頻多分辨的局部瀏覽方法，通過本方法，可以把在監(jiān)控過程中感興趣的局部區(qū)域從運算節(jié)點的有效數(shù)據(jù)中提取出來。提取出來的數(shù)據(jù)量主要和屏幕大小有關(guān)系，這樣可以限定各運算節(jié)點傳輸?shù)椒?wù)器的數(shù)據(jù)量，防止造成網(wǎng)絡(luò)堵塞，并且運算節(jié)點保存的是視頻源投影前的數(shù)據(jù)，運算節(jié)點只需要把觀察區(qū)域做投影和融合，減少了計算節(jié)點的計算開支，所以使得系統(tǒng)能用更少的計算節(jié)點來完成全景視頻的生成。