基于對象的監控視頻編碼方法研究

薛瑞斌，馬明躍，金書竹，代媛

（西北農林科技大學信息工程學院，楊凌712100）

0 引言

隨著視頻監控技術的日益成熟和社會安全意識的提升，越來越多的監控攝像機被廣泛應用于社會生產和生活，基于數字視頻的監控系統對重要區域管控、維護公共安全及工業生產等起到了十分重要的作用。視頻監控是繼數字電視、視頻會議之后的一個新的大型視頻應用[1]。然而，面對海量的監控視頻和高成本的存儲成本，如何對其進行有效地編碼是當前多媒體處理面臨的重大挑戰之一。

對于監控視頻，其內容通常是針對固定的場景使用固定鏡頭拍攝的一組連續的視頻，視頻中的重點內容一般為在場景中出現的位置不斷變化的人或物體，而背景如路面、風景以及建筑物等在很長一段時間保持靜止不動，故其存在較多背景冗余[2]。因此，本文將視頻內容分為背景區域和目標對象區域，即采用基于對象的視頻編碼方法[3]，對目標和背景分別進行編碼，并且給目標區域分配較多的比特和計算資源，給背景區域分配較少的比特和計算資源，這樣在相同編碼比特率和傳輸帶寬的條件下，提高視頻的主觀質量，并且可有效去除監控視頻存在的背景冗余，從而提高其視頻的編碼效率。

1 相關工作

針對監控視頻存在大量背景冗余問題，文獻[4]將編碼方法與目標檢測方法相結合，把待編碼的圖像分解成兩個圖層：靜止圖層和運動圖層，有效地減少了靜止區域的壓縮率，但是對運動圖層和靜止圖層的劃分有待研究。文獻[5]利用輪廓檢測和運動檢測等方法對監控視頻進行內容分析，對監控視頻提出了一種分層次壓縮算法，大大降低了壓縮后的監控視頻碼率，但是只適用于包含人臉的監控視頻。文獻[6]提出一種針對對象的編碼方法，提取視頻中的感興趣區域并對其進行可控增強，從而提高視覺效果，但是對視頻的客觀重建質量難以保證。

同時，關于監控視頻的運動目標檢測技術也得到了很快的發展。文獻[7]提出的ViBe 非參數化前景檢測算法采用了隨機背景更新策略，提高了背景建模的速度，但是仍然存在目標不完整且存在鬼影問題。文獻[8]對ViBe 算法進行改進，選取一段視頻中每個像素點的鄰域隨機像素點，建立一種具有時間和空間信息的背景模型，再經過運算去除檢點，能有效去除空洞、鬼影。文獻[9]提出一種加強型ViBe 算法，擴大了樣本的選取范圍，同時添加了去除陰影部分，用于增強算法對陰影的魯棒性，但是增加了算法的復雜度。

2 基于對象的視頻編碼

基于對象編碼方法從監控視頻的特點和需求出發，先利用運動目標檢測技術將視頻分割為感興趣的監控對象部分和存在視覺冗余的背景部分，然后提取出背景圖層和運動目標信息，最后對兩者分別編碼，其編碼框架如圖1 所示。

圖1 基于對象的編碼框架

2.1 背景建模

針對ViBe 算法存在影鬼、空洞、背景更新不及時等問題[10]，本文在算法實現中背景模型初始化時添加了預處理，并將視頻以時間軸分段進行背景建模，然后為每個像素點的像素值和其相鄰點的像素值建立樣本集，通過將每一個新的像素值和樣本集進行比較來判斷是否進行背景模型的更新，用將ViBe 算法和OSTU算法[11]相結合的方法較大程度地提高了目標檢測的準確率，最終利用運動目標檢測技術形成一張完整的背景圖像。由于監控視頻中場景大多是固定的，所以靜止背景圖序列也是變化很少的。

2.2 視頻編碼與解碼

當前使用較多的視頻編碼標準主要有兩大系列：ITU.T 制定的H.26X 系列標準和ISO/BBC 制定的MPEG 系列標準。與其他編碼方式相比，H.264 在H.263 的改良基礎上吸收了MPEG 的一些優勢，其壓縮性能好且碼流差錯恢復能力強。因此，本文在H.264的基礎上實現目標和背景的編碼。

（1）視頻編碼

①背景編碼

利用改進的ViBe 算法提取運動目標并建立背景，其往往包含大量多幀視頻共用的信息，所以無需每幀編碼，本文設置一個編碼間隔（記作Econding_period），表示一個背景圖可作為相鄰Econding_period 張圖像的背景，這樣有望更好地提高編碼速度。靜止背景圖編碼一幀圖像的算法流程如下：

第一步，判斷該圖是否是本視頻的第一張靜止背景圖，如果是，則進入第二步，否則，進入第三步。

第二步，對輸入的整幀圖像采用幀內預測編碼，幀內預測編碼過程和傳統編碼器一致，利用給定幀中相鄰宏塊的空間相關性預測當前宏塊，然后選擇預測模式，對預測誤差進行變換、量化，并進行熵編碼。

第三步，對輸入的整幀圖像采用幀間預測和幀內預測兩種方式編碼，通過編碼代價比較選擇最佳模式。其中幀間預測是利用連續的靜止背景圖中的時間冗余來進行運動估計和運動補償。

②目標提取

運動目標是一塊形狀可變且不規則的區域圖像，該區域是經過利用當前幀與靜止背景圖相減且數值大于閾值得到的前景圖像。為了方便編碼，將其放入形狀規則的矩形塊中，本文以16×16 為例，將其稱為目標塊。具體的實現方法是將整幀圖像分為若干個16×16的宏塊，每次編碼時只需編碼其中的目標塊即可。如圖2 所示，（a）為原圖，（b）為目標對象的掩模，（c）為對應的目標塊。

③目標編碼

經過目標提取，每一幀圖像都含若干個16×16 的目標塊。由于每幀圖像運動目標塊的數量和位置不是固定的，所以對每幀圖像的目標編碼包括對運動目標塊位置信息的編碼和對運動塊圖像數據的編碼兩部分。對目標編碼一幀圖像的算法流程如下：

第一步，輸入檢測的運動目標信息。根據本幀圖像是否有運動目標塊來選擇是否跳過編碼，若選擇跳過編碼，則本幀目標編碼結束，否則轉至第二步。

第二步，判斷該幀圖像是否是本視頻的第一張圖像，如果是，進入第三步，否則，進入第四步。

第三步，對輸入的所有目標塊都采用幀內預測編碼，由于目標塊不是一張完整的圖像，所以只需利用本幀圖像中其他目標塊的相關性預測當前目標塊。

第四步，對輸入的每個目標塊采用幀間預測編碼和幀內預測編碼。這里的幀間預測則是利用連續幀中運動目標塊的時間冗余來進行運動估計和運動補償。

圖2 目標提取示例

（2）視頻解碼

在靜止背景圖和運動目標分別解碼后，需要按照一定規則而整合形成圖像，即存在對應運動目標時，取值為該運動目標像素值，否則取值為靜止背景圖的像素值。通過后面的實驗證明，最終合成圖像與原圖主觀質量上差別不大。

3 實驗結果與分析

本文提出的基于對象的監控視頻編碼方法分別采用6 段不同的視頻序列從不同的角度測試其性能，其Ecoding_period 均取200。視頻序列信息如表1。

表1 視頻序列信息表

3.1 重建質量

以car2,hall_monitor、Candela_m1.10 三個監控視頻作為編碼測試序列，將本文提出的方法與原始H.264編碼方法相比較，圖3 為各個視頻序列運動區域的RD Curve 圖。從圖中可以看出，同一個視頻序列，當QP值較小時，兩種方法在運動區域的PSNR 值相差不大，但是基于對象的方法壓縮有顯著提高；當QP 值較大時，兩種方法的PSNR 值和壓縮效率差別都不大。

3.2 壓縮效率的比較

以test、subway、desk 三個監控視頻作為編碼測試序列，取QP=27，分別記錄10、20、50、100、150、200 幀視頻的壓縮文件，其結果如表2 所示，從表中可以看出本文提出的方法（記為new）比H.264 方法（記為old）的壓縮效率有了明顯的提高。

表2 壓縮文件數據

圖3 三個視頻序列的R-D Curve圖

如圖4 中的（a）、（b）、（c）所示，其中左側圖表示壓縮文件大小與壓縮幀數的關系，右側圖表示解碼后的圖像。從圖表數據可以看出，本文提出的監控視頻編碼方法比H.264 的壓縮率都有所提高，但是各個視頻序列又有所差別。相比較而言，圖4（c）中視頻序列壓縮率提高程度比較明顯，約為90.9%，其主要原因是該視頻序列的場景位于圖書館比較僻靜的角落，運動目標出現比較少。而圖4（a）中視頻序列壓縮率提高相對較少，約為48.1%，其主要原因是該視頻序列的場景位于地鐵站，運動目標出現頻率比較高，并且所占畫面的比例比較大。由此可以看出，本文提出的基于對象的視頻編碼方法對于運動目標出現頻率低、所占面積比較小的監控視頻有著更大的優勢。

4 結語

本文提出了一個針對運動對象的監控視頻編碼算法，該方法將編碼圖像分解成兩部分：靜止背景部分和運動目標部分。靜止背景部分由多幀圖像的靜止部分累加所得，可作為其他幀圖像的背景參考，也可代替沒有運動目標時的運動場景，有效地提高了靜止區域的壓縮率；同時，對運動目標部分采用較多碼率編碼，保證監控視頻的主觀質量。對不同內容的視頻進行測試，其結果表明，該方法相比傳統方法可有效提高視頻壓縮率并保持較好的視覺質量，尤其適合運動目標比較少的監控視頻。

圖4 壓縮效率與圖像質量