一種針對監控應用的低復雜度高效視頻編碼方法

［楊建仁 馬曉亮］

1 引言

近年來，我國整體經濟實力顯著增強，但社會治安狀況也日趨復雜，公共安全問題不斷凸現，巨大的需求促進了安防行業的迅猛發展，目前視頻監控已廣泛應用于公安、金融、交通等各個行業和領域中。當前監控視頻技術不斷升級，視頻碼率的大幅增加，如何傳輸和存儲高清視頻成為一個重要技術難題。

感興趣區域（Region Of Interest，ROI）編碼是解決這種挑戰的最早嘗試。在帶寬受限的視頻通信領域中，ROI 編碼將有限的比特數資源優先分配給用戶感興趣的目標區域，從而可以改善解碼圖像的主觀視覺質量，如毋立芳等人[1]結合整型小波變換（Integar Wavelet Transform，IWT）和嵌入式零樹編碼實現了無損ROI 的圖像近無損壓縮，與此同時，又設計了一種小波變換域形狀編碼算法——樹映射形狀編碼，實現對ROI 形狀的高效描述，該形狀編碼方法的編碼效率取決于ROI 的大小以及對非ROI 區域的質量要求。相對于單幀的靜止圖像，視頻序列由一系列圖像幀構成，需要處理的數據量更大，所以需要算法具有更低的復雜度，以滿足實時性要求，Mei-Juan Chen 等[2]提出通過提取視頻幀中的顏色信息，將具有膚色的區域作為ROI，然后運用低通濾波處理圖像背景區域，減少背景區域待編碼數據量，在編碼過程中，通過調節宏塊層碼率控制中的失真權重參數調整不同區域的圖像質量。考慮到視頻圖像內容的豐富多彩、變化多端，對感興趣區域的實時準確分割在目前的技術條件下仍然是一項艱巨的任務，阻礙了該感興趣區域編碼的深入發展和廣泛應用。

在監控應用中的視頻存在一些特點：第一、視頻背景不變，通過目前成熟的目標檢測和分割方法可以準確提取出前景和背景；第二，監控應用的攝像機一般質量較差，再加上監控場景環境的變化，視頻圖像中噪聲較大，這些噪聲嚴重影響了編碼效率。因此，本文提出了一種面向監控應用的低復雜度高效視頻編碼方法，針對監控應用中視頻背景內容固定的特點，采用背景檢測模塊，提取出視頻圖像的前景和背景區域，分別對前景區域和背景區域采用不同的量化參數，完成差異性編碼。試驗結果表明，該編碼方法針對監控視頻，在保證目標圖像區域質量的前提下，能夠節省碼率達到30%以上。

2 相關工作

目前已經廣泛應用的運動目標檢測與分割方法主要有：背景差分法，幀間差分法，基于統計模型的方法，光流法[3]。幀間差分法對場景光線的變化不敏感，當目標物表面大塊區域灰度均勻時將會出現“孔洞”而使目標分割成多個區域；背景差分法是將當前視頻幀與背景圖像的差分來檢測運動區域的算法，它能夠提供最完整的運動目標信息，而且速度快，算法簡單，檢測準確。能滿足系統實時性要求。但是對動態場景如光線、噪聲等的變化卻比較敏感，因此需要對背景做不斷地更新。基于統計模型的方法，雖然能夠較好的提取出幀序列中的背景并分割出運動物體，但是這種方法需要人們事先假定背景特征密度場分布。光流法采用了運動目標隨時間變化的光流場物理特性，從而有效地提取出運動目標。其優點是在攝像機運動的條件下也能有效地分割出獨立的運動目標。其缺點是計算特別復雜，計算量大而難以滿足實時性要求。

3 本文提出的高效視頻編碼方法

本文提出的視頻編碼方法有四大步驟，分為背景檢測、圖像掩膜處理、宏塊級掩膜生成、差異性編碼，流程如圖1 所示。

圖1 本文所提出的編碼方法流程圖

3.1 背景檢測

在本實施方式中采用基于統計模型的方法進行背景檢測。背景模型的思想是對圖像中每個像素的顏色值（灰度或彩色）進行建模。如果當前圖像坐標（x，y）上的像素顏色值與背景模型中（x，y）上的像素顏色值有較大差異時，當前像素被認為是前景，否則為背景。高斯混合模型（Gaussian Mixture Model）通過多個高斯概率密度函數的加權平均來平滑地近似任意形狀的密度分布函數，用該模型對背景進行建模時，對圖像中每一個像素位置分別建立高斯混合模型。以坐標為（x，y）的像素位置的混合高斯模型為例，令I（x，y，t）表示像素點（x，y）在t時刻的像素值，則該像素值的概率P（I（x，y，t））為：

其中，K為高斯混合背景模型中高斯分布的個數，為t時刻第i個高斯分量的加權系數，也即權重。ni為第i個高斯分量的高斯函數，分別表示第i個高斯分量在t時刻的均值和方差。

對于一個像素的K個高斯分量，根據的值對它們從大到小進行排列，對于滿足下式的前B個高斯分布被當作是背景模型：

其中，T是背景模型占有高斯分布的最小比例，通常為0.7，如果T太小退化為單高斯，T較大則可以描述復雜的動態背景。

對于當前像素（x，y，t），如果它的值I（x，y，t）與它的背景模型中第k（k<=B）個高斯分布匹配，即I（x，y，t）在范圍之內，λ 設置為2.5，那么該像素被認為是背景，否則是前景。令輸出圖像為output，公式如下：

在檢測完前景之后，若該像素被認為是前景，即前B個高斯分布中沒有一個與之匹配，則用一個新的高斯分布取代權重最小的那個高斯分布。新的分布的期望值即為當前的像素值，同時為它分配一個較大的初始偏差和較小的初始權重值。

若該像素被認為是背景，則對該像素的各個高斯分布的權重做如下調整：

其中，α 為學習率，值在0～1 之間。如果第i個高斯分布與當前像素匹配，則，否則對于與當前像素匹配的高斯分布，更新它們的期望值和偏差值：

3.2 圖像掩膜處理

對背景檢測模塊所提取出來的圖像掩膜處理操作包括圖像腐蝕和圖像膨脹兩部分。圖像腐蝕使用一個全為1的3x3 矩陣掃描圖像掩膜中的每一個像素，即矩陣的中心元素與當前圖像像素位置對應（如圖2 所示），用該矩陣中的每一個像素與其覆蓋的圖像像素做邏輯“與”操作，如果運算結果都為1，則該像素為1，否則為0；圖像膨脹使用一個全為1 的3x3 矩陣掃描圖像掩膜中的每一個像素，即矩陣的中心元素與當前圖像像素位置對應（如圖2所示），用該矩陣中的每一個像素與其覆蓋的圖像像素做邏輯“與”操作，如果運算結果都為0，則該像素為0，否則為1。

圖2 圖像腐蝕矩陣示意圖感興趣區域宏塊級掩膜生成

3.3 感興趣區域宏塊級掩膜生成

假設經過圖像腐蝕和圖像膨脹操作后的圖像掩膜結果為二進制掩膜output（x,y），其中（x,y）為像素坐標，如果output（x,y）為1，則表示像素坐標為（x,y）的像素為感興趣區域，否則，則為背景區域（即非感興趣區域）。考慮到視頻編碼均是以宏塊（16x16）為基本單位，采用如下方式生成宏塊級的圖像掩膜：

對于坐標位置為（i,j）的宏塊級圖像掩膜的值通過以下步驟確定：

第一，從圖像掩膜output中提取上角坐標為（16*i,16*j），右下角坐標為（16*（i+1）-1，16*（j+1）-1）的圖像區域Mb；

第二，統計Mb 中像素值為1 的像素個數Num；

第三，確定坐標位置為（i,j）的宏塊級圖像掩膜的值。如果Num大于3，則宏塊級掩膜位置為（i,j）的元素值mask（i,j）為1，否則，為0。其中，mask標識宏塊級的圖像掩膜。

3.4 差異性編碼

如果當前幀為I 幀，則不進行感興趣區域與背景區域的差異性編碼；如果當前幀不是I 幀，則進行感興趣區域與背景區域差異性編碼。假設當前幀為的量化參數為，則坐標位置為（i,j）的宏塊的量化參數為：

4 實驗驗證

如圖3，對如圖3（a）所示的原始視頻圖像分別進行H.264 編碼和使用本文所描述的編碼方法進行編碼，視頻的量化參數為30，編碼幀數為300幀，沒有B幀，使用H.264編碼后的碼流碼率為419.99 kb/s，如圖3（c）所示，而是用本文進行編碼后的碼流碼率為197.66 kb/s，如圖3（d）所示。除此之外，本文編碼后的碼流依然還是標準碼流，不會造成碼流結構的破壞。

圖3 本文提出的編碼方法與其它編碼方法比較

5 結論

本文提出這種面向監控應用的低復雜度高效視頻編碼方法，針對監控應用中視頻背景內容固定的特點，采用背景檢測模塊，提取出視頻圖像的前景和背景區域，分別對前景區域和背景區域采用不同的量化參數，完成差異性編碼。

試驗結果表明，該編碼方法針對監控視頻，在保證目標圖像區域質量的前提下，能夠節省碼率達到30%以上。