在線無損視頻時延測量裝置的設計實現

吳一亮，胡彥多，鄭佳春

(集美大學信息工程學院，福建 廈門 361021)

視頻傳輸相關應用中的原始視頻因其數據量龐大，通常需要經過壓縮編碼才能進行傳輸，然后在接收端解碼顯示[1-3].因此遠程視頻傳輸應用一般包含視頻編碼、數據壓縮傳輸、視頻解碼，但這三部分都會帶來一定的時延.5G網絡普及前，常見的遠程視頻傳輸應用，在視頻編碼和解碼上的時延一般為150～2 000 ms[4-5]，對時延測量的精度要求并不高.但隨著5G網絡的推廣應用，網絡傳輸上的時延可以降到1 ms以內[6].同時相應的低時延編碼方案也正在制定中,這就使高精度視頻時延的監測逐漸成為視頻系統質量評估中不可缺少的一部分，尤其對于一些時延要求比較高的新應用，比如遠程操控、虛擬現實(VR)、視頻互動等[7].如3GPP26.929標準[8]將運動請求到視頻顯示的時延(motion-to-photon,MTP)列為VR業務的體驗質量(quality of experience，QOE)指標之一，經業內測試確定在互動性較強的應用(如云VR游戲)中該指標應小于20 ms才能避免交互延遲導致的眩暈感[9-10].

越來越多的視頻相關應用或者編解碼方案將低時延作為其關鍵指標之一，但現在常用的視頻時延測量方法有限且精度較低.如需進行精確測量，則需要在視頻中打入時間戳信息，這會破壞原視頻畫面的內容，也就無法實現實時的無損在線測量.

工程中常用的測量方法為并排拍攝法[11]，但由于該方法用到的秒表、攝像頭、顯示器都是獨立的個體，而且攝像頭和顯示器都是以幀為單位進行刷新，這將導致測量結果有最大2幀視頻時間長度的測量誤差，即按60 幀/s計算會有33.3 ms的最大誤差，無法滿足5G網絡的時延測量精度.而且視頻內必須包含秒表，將遮擋視頻原有內容，屬于破壞性測量.

針對實際場景中視頻時延的精確測量，Omnitek公司為視頻廣播領域推出了一些專用設備，如OTM/OTR系列[12].其原理是通過發送一個特殊的視頻序列來進行測量，視頻序列的每幀中打入特殊的時序編碼圖案，設備通過識別圖案來測量時延.這類設備普遍價格較高，測量時必須發送特殊的視頻內容，不能在正常的視頻傳輸應用中進行實時測量.

鑒于現有設備無法在線無損測量視頻時延，本研究研制了一種不破壞原有傳輸視頻內容的視頻時延實時測量裝置.

1 時延測量裝置的功能及原理

1.1 時延測量裝置

整體測量方案如圖1所示，其中，為了避免因打入時間戳造成視頻的破壞，本研究將視頻用一個一進二出的分配器將視頻分成兩路，一路進行視頻傳輸，另一路進行時延測量.

圖1 整體測試方案Fig.1 Overall scheme

1.2 測量原理

為了實現無損在線測量，首先要找出原視頻中的每一幀以及經過編解碼后的對應幀.設原視頻序列為On(i,j)，經過編解碼后的重建視頻序列為Rm(i,j)，其中(i,j)表示視頻中的像素點坐標，n和m分別表示原視頻第n幀和重建視頻中的第m幀.確定出On(i,j)與Rm(i,j)各幀之間的對應關系，再根據對應幀到達時延測量裝置的時間差得出視頻時延.

然而直接按整幀對比來確定時間差的計算量大，且視頻經過編解碼后幀內像素值會有輕微的改變，并不適于直接的像素級對比，因此需要一個高效的視頻對比檢測方法.傳統散列函數將任意長的數據信息壓縮到某一固定長度的散列值，可以用于信息搜索匹配.但傳統散列函數受輸入數據微小變化的波動較大，而視頻編解碼處理后像素的微小變化對視頻要表達的內容影響不大.為了對經過變化處理后的視頻內容進行搜索匹配，需要使用視頻感知散列[13].

視頻感知散列包括3部分研究內容，分別是特征提取方法、視頻感知散列壓縮算法以及散列碼匹配方法.因要檢測對比的視頻尺寸并未發生變化，只是受編解碼的影響，且現有的視頻編解碼算法多為基于運動搜索的混合編碼結構[14]，編解碼前后視頻幀之間的運動信息特征基本沒有發生變化，故本文選取運動特征來反映視頻內容的變化.同時為了能實時處理，對視頻幀進行分塊下采樣后采用幀差法獲取運動特征[15].將經過下采樣以及幀差處理的殘差圖像數據經過閾值判斷后按一定順序組成散列碼.散列碼匹配主要采用距離度量法.距離表示兩個散列碼的差異程度，距離越大兩個圖像幀的相似度越低，距離越小兩個圖像幀的相似度越高.常見的距離公式有歐式距離、切比雪夫距離、漢明距離、標準化歐式距離等.實際應用中多選用漢明距離來度量.在信息論中，兩個等長字符串之間的漢明距離是兩個字符串對應位置的不同字符的個數，即對兩個二進制字符串按位進行異或計算并統計異或結果為1的個數，此個數就是兩個二進制字符串之間的漢明距離.

針對編解碼后的視頻，以及為了方便在硬件上實時實現，本研究提出基于運動信息的視頻散列映射方案.具體流程如圖2所示.

圖2 測量流程Fig.2 Measurement process

以下采用實際視頻仿真例子來說明測量流程.

原視頻On(i,j)為循環播放的一段分辨率為1 280×720的50幀的人頭移動視頻，視頻中的各幀如圖3(a)所示；重建視頻Rm(i,j)為On(i,j)經過H.265 視頻壓縮編碼后傳送到解壓縮裝置解碼得到的視頻，除了因有損壓縮帶來的損失外，重建視頻與原視頻內容基本一致.

(1)

(2)

選取一個閾值ε對ΔOn(i′,j′)和ΔRm(i′,j′)中的每一幀殘差圖像進行二值化處理，大于ε的像素置1，小于ε的像素置0，從而獲得二值化的圖像BOn(i′,j′)和BRm(i′,j′)，算法如式(3)，進一步壓縮數據規模以及排除其他影響因素，處理后如圖3(c)所示.

圖3 仿真實例Fig.3 Simulation example

(3)

將獲得的原視頻圖像散列碼HOn存入散列庫HashDB，庫容量的大小決定了時延的測量范圍，現實中庫容量設計為600，對于幀率為60 幀/s的視頻來說，時延測量最大范圍為10 s.當存入的散列碼超過庫容量時，將最早存入的散列碼丟棄.用重建視頻當前幀的散列碼HRm在HashDB中進行特征匹配，定義M1表示HOn和HRm的匹配程度.匹配算法如式(4)所示，將重建視頻幀特征散列值與原視頻幀特征散列值對應位進行異或處理，并統計值為1的個數，也就是特征不同的位置，匹配度越高M1值越小.

(4)

如果獲得的重建視頻幀散列碼二進制序列中1的個數較少，表示該幅圖像運動特征不明顯，將不會對該幀進行匹配計算，經測試驗證個數選為60.確定了原視頻幀與重建視頻幀之間的對應關系后，就可以通過比較檢測裝置打上的時間戳信息計算出重建視頻各幀與原視頻各對應幀之間的時延.

為驗證真實效果，本文將原視頻與經過壓縮傳輸設備后的重建視頻幀進行匹配度驗證計算，匹配度如圖3(d)所示.原視頻為圖3(a)所示采用非編視頻采集卡循環播放的一段長度為50幀、分辨率為1 280×720的人頭移動視頻，通過非編視頻采集卡采集了437幀該視頻.將非編視頻采集卡播放的視頻輸入到視頻編碼傳輸設備中，在解碼端采集重建視頻，并取重建視頻中的1幀計算其散列值與采集的437幀原視頻幀的散列值按式(4)計算匹配度.從圖3(d)可以看出在每50幀原視頻中都可以明確找出最小M值，也就是與重建視頻幀最匹配的原視頻幀.

為了驗證提出算法(以下簡稱算法1)的效果，與業界常用的基于梯度取向質心的視頻感知散列算法[16](以下簡稱算法2)進行比較.算法2取輸入視頻的亮度分量，將亮度幀下采樣后分割成固定大小的圖塊，計算圖塊各個位置的梯度取向，最后計算出圖塊內所有像素位置梯度取向的質心值，將質心值作為該圖塊的特征，整幅圖像圖塊的質心值序列作為該幀圖像的散列值用于視頻圖像匹配M2.匹配度采用原視頻和重建視頻的質心值序列的均方差.

取一段長為300幀、分辨率為1 280×720的視頻，通過H.265標準模型HM16.5代碼按量化系數為40獲取壓縮后的視頻，即重建視頻.將重建視頻的第170幀與原視頻的300幀分別按算法1和算法2計算其匹配度.結果如圖4所示.

圖4 匹配度曲線Fig.4 Matching curve

從仿真看兩個算法都能準確檢測出對應幀.相比于算法1，算法2匹配度的相對波動較大(由于算法1與2的匹配度計算式不一樣，故此處以匹配度相對波動作為對比標準)，因為視頻編碼壓縮會損失視頻的高頻分量，算法2采用的梯度取向較側重于像素變化，所以造成波動較大.本研究應用場景主要考慮視頻傳輸中的壓縮帶來的影響.算法1的計算量遠小于算法2，且效果在壓縮傳輸情況下優于算法2.

2 測量系統設計實現方案

測量系統硬件由基于Xilinx Artix-7系列的現場可編程門陣列(FPGA)和STM32F7系列微控制器組成的異構系統實現，兩者之間用串行外設接口(SPI)連接(圖5).FPGA提供了兩個HDSDI接口以及兩個HDMI接口用于視頻輸入，一個HDSDI以及一個HDMI用于OSD.設備的配置以及測量結果還可以通過網口在其他設備的網頁上體現.

圖5 測量裝置系統框圖Fig.5 System block diagram of measuring device

利用FPGA對原視頻和重建視頻主要處理步驟如圖6所示.整個FPGA架構可以處理最大分辨率為3 840×2 160像素、30幀刷新率的視頻.

圖6 FPGA處理流程Fig.6 FPGA processing flow

為降低成本，FPGA選用Xilinx Artix-7系列的XC7A35T，共有33 280個查找表(LUT)資源.測量系統工作時，使用了22 949個查找表資源，占該芯片資源的70%.片上其他資源如分布式隨機存取存儲器(RAM)(即將LUT用做分布式RAM(LUTRAM))、塊RAM(BRAM)、輸入輸出(IO)等資源使用情況如圖7所示.選用的FPGA芯片資源滿足裝置功能需求且有一定的余量.

FF為觸發器； GT為高速收發器；MMCM為 混合模式時鐘管理器； PLL為鎖相環.圖7 FPGA資源使用情況Fig.7 FPGA resource usage

FPGA將生成的原視頻或重建視頻各幀特征散列碼作為數據載荷，在外部打上時間戳、幀編碼以及糾錯碼等內容并組成數據包，通過SPI總線傳送給STM32F7單片機，SPI傳輸內容的數據協議如圖8所示.單片機對散列碼按式(4)定義的方法進行匹配，計算出時延，并在OLED屏幕上顯示，或傳回FPGA，通過網頁將歷史數據進行展示查看.

圖8 SPI傳輸協議Fig.8 SPI transmission protocol

測量系統硬件實物如附錄(http:∥jxmu.xmu.edu.cn/upload/html/20210611.html)圖S1所示，經過4次硬件設計改進現已產品化.

3 精度分析

當檢測到原視頻或重建視頻的幀同步信號時，將一個由高精度25 MHz時鐘驅動32位計數器的值保存下來，作為該原視頻幀或重建視頻幀的時間戳TO或TR.在確定原視頻與重建視頻對應幀后(運動特征不明顯的重建視頻幀不進行匹配)，按式(5)處理相應的時間戳即可以得出視頻的時延D(單位：ns).

(5)

根據誤差傳遞公式[17-19]以及式(5)可知時延測量的方差SD為源視頻時間戳方差STO與重建視頻時間戳方差STR的和.即

SD=STO+STR.

(6)

因為幀同步信號與25 MHz時鐘是不同步的，在幀同步信號到來時抓取的時間戳可能多計或少計一個數，通常稱為±1誤差.因為25 MHz時鐘一個單位時間為40 ns，所以可知時延測量的方差SD為3 200 ns2，從而可以推導出測量的理論標準差為56.6 ns,滿足高精度時延在線測量的要求.

40 ns

4 實驗驗證

為了驗證裝置的精度以及功能，設計了相應的實驗進行驗證.

4.1 標定實驗

標定實驗需要用到固定時延的兩個標準視頻，市場上現有的串行數字接口(SDI)視頻延時設備采用存儲回放方式運行，可用于直播節目內容審查，但精度不能滿足標定要求.為此，設計如圖9(a)所示的精度標定方案.采用一個一分三的SDI視頻分配器(圖9(b)圈中所示SDI傳輸速率為12 Gbit/s)，將視頻復制成三路內容及傳輸時間完全相同的視頻，即三路零時延的視頻標準源.將三路中的兩路視頻分別接入時延測量裝置的原視頻和重建視頻SDI輸入口，用于裝置標定，將剩下的一路SDI視頻直接顯示.圖9(b)中右邊屏幕為打上測量結果的重建視頻，屏幕上顯示的時間位數只到0.1 ms，通過時延測量裝置的網口抓取了10次時延測量匹配幀的時間戳數據.10次時延測量匹配幀各自的時間戳數據如表1所示.

圖9 標定實驗Fig.9 Calibration experiment

兩個視頻之間的時延應該為0，根據表1的數據可以計算出10次測量的樣本標準差為25.298 ns，與理論精度分析結果一致，說明裝置符合設計要求.

4.2 功能驗證

為了驗證裝置的功能是否滿足設計需求，選取華為海思HI3519視頻編解碼方案的H.265編解碼器進行驗證.圖10為結合H.265視頻傳輸系統搭建的視頻無損在線時延測量裝置.圖10中左邊屏幕顯示未經壓縮的原視頻，分辨率為1 280×720,刷新率為60 Hz.右邊屏幕為原視頻經過H.265編碼后解碼輸出的重建視頻.測量結果采用OSD形式打印在重建視頻上.

圖10 H.265視頻傳輸系統時延在線監測Fig.10 Latency online monitoring of H.265 video transmission system

測量裝置面板顯示如附錄圖S2(http:∥jxmu.xmu.edu.cn/upload/html/20210611.html)所示，顯示視頻的時延為366.7 ms.因現有視頻傳輸系統時延一般為100～2 000 ms，裝置面板設定的最小讀數為0.1 ms.時延監測的歷史數據也可以通過裝置的網口以網頁形式顯示.網頁形式視頻時延監測數據表如圖11所示.

圖11 視頻時延數據記錄Fig.11 Video latency data recording

5 結 論

本研究針對當前視頻時延測量領域測量精度低、不能在線無損測量的問題，提出了一種基于視頻散列特征的無損在線視頻時延監測方法，并研制了監測裝置.經過精度分析以及實際測量試驗，結果表明該裝置能夠滿足視頻傳輸系統中視頻時延無損在線監測的要求,可應用于視頻傳輸應用在線監控以及視頻編解碼傳輸系統研發.