基于彩色邊緣與十字型加權模板的馬賽克檢測

易宇暉，林志賢，郭太良

(福州大學 物理與信息工程學院，福建 福州 350002)

?

基于彩色邊緣與十字型加權模板的馬賽克檢測

易宇暉，林志賢，郭太良

(福州大學 物理與信息工程學院，福建 福州 350002)

為了解決高分辨率視頻馬賽克檢測識別率不高的問題，提出了一種基于彩色邊緣與十字型加權模板的視頻馬賽克檢測算法。該算法先通過基于CIELab色彩空間的彩色邊緣檢測檢出更多馬賽克邊緣，再采用十字型加權模板進行模板匹配以識別出馬賽克塊。采用本文算法以及傳統算法對高分辨率視頻進行馬賽克檢測，實驗結果表明本文算法對視頻中馬賽克檢測的識別率高達98.2%，相比于傳統算法識別率提高了7.1%。

馬賽克；彩色邊緣檢測；CIELab色彩空間；模板匹配

馬賽克異常是人眼可感受到的一種嚴重的視頻質量異常。隨著人們對視頻質量的重視，越來越多的學者對馬賽克異常進行了研究，涌現出許多優秀的馬賽克檢測算法。目前大多數馬賽克檢測算法可以較好地檢測出普通分辨率的馬賽克異常，但隨著2K、4K分辨率的普及，更好的視頻編碼方式層出不窮，當前視頻馬賽克檢測算法在通用性、識別率、誤檢率方面已經不能滿足需求。其中，識別率不高是影響高分辨率視頻馬賽克檢測的關鍵問題之一。主要的馬賽克異常檢測算法可以分為以下3類：1)基于邊緣特征與色差分量特征的檢測方法，這類方法依賴特定的視頻格式，例如基于MPEG-2[1-2]、基于H.264[3]。它們實現起來簡單、高效，但是容易丟失邊緣信息而造成漏檢，并且受到視頻格式的限制，通用性不高。2)基于區域分析和網絡擴張的檢測方法[4]，這類方法識別率較高，但算法復雜，計算量大，不利于實時處理。3)基于模板匹配的檢測方法，這類方法通用性高。一般采用直角模板[5-6]或者T型模板[7-8]，算法簡單，但識別率不高。4)基于神經網絡的檢測方法，這類方法用神經網絡的方法進行邊緣檢測，識別率不高。以上4種方法中，基于模板匹配的檢測方法在馬賽克檢測中是目前應用得比較多并且效果也較好的方法。

本文針對高分辨率視頻馬賽克檢測識別率不高的問題，提出一種基于彩色邊緣與十字型加權模板的視頻馬賽克檢測算法，該算法先通過彩色邊緣檢測檢出更多馬賽克邊緣，再采用十字型加權模板進行模板匹配以識別出馬賽克塊，從而提高高分辨率視頻馬賽克異常檢測的識別率。

1 傳統的馬賽克異常檢測算法

1.1 馬賽克特征

包含馬賽克異常的圖像具有以下特征：1)在形狀上，馬賽克塊表現為大小相對一致的矩形；2)在顏色上，馬賽克塊內部顏色較為單一，馬賽克塊內外顏色有較大突變[9]。這兩個特征是檢測視頻中是否含有馬賽克的主要依據。

1.2 傳統的馬賽克異常檢測算法流程

傳統的馬賽克異常檢測算法流程如圖1所示。

圖1 傳統的馬賽克異常檢測流程

具體檢測流程如下：

1)Canny算子[10]灰度邊緣檢測。通過邊緣檢測，對視頻幀圖像進行預處理，提取馬賽克邊緣信息。

2)模板匹配。使用4個直角模板分別匹配出馬賽克塊的4個直角，得到4幅匹配結果圖，為確定一個馬賽克塊做準備。

3)匹配點抑制。對匹配結果進行二值化處理，排除非匹配點，將匹配點用灰度值255表示，非匹配點用灰度值0表示。

4)滑動窗口馬賽克檢測。設定一個M×N的小矩形窗口，在4幅匹配結果圖中同步滑動，每次滑動后，判斷小矩形窗口內的直角模板匹配點是否能確定一個馬賽克塊。待該幀圖像滑動處理完畢，在結果中去除重復判斷的馬賽克塊。若該幀圖像中馬賽克塊數目超過設定的閾值T，則判斷該幀存在馬賽克異常。

1.3 傳統的馬賽克異常檢測算法的缺陷

傳統的馬賽克檢測算法采用灰度邊緣檢測，由于灰度邊緣檢測只利用了圖像的亮度信息，因此會丟失許多邊緣，造成馬賽克塊邊緣的漏檢；使用直角模板匹配，需要至少3個直角才能判定一個馬賽克塊，這對于呈“田”字型的4個馬賽克塊只檢測到中間“十”字型邊緣的情況會判定為無馬賽克塊。這些都是造成馬賽克檢測識別率不高的重要原因。本文針對傳統馬賽克檢測算法的缺陷，提出了基于彩色邊緣與十字型加權模板的馬賽克檢測算法以提高馬賽克檢測的識別率。

2 基于彩色邊緣與十字型加權模板的馬賽克檢測算法

為了解決高分辨率視頻的馬賽克檢測識別率不高的問題，本文采用基于CIELab色彩空間的彩色邊緣檢測，充分利用馬賽克塊間的色差信息，檢測出更多馬賽克塊邊緣，并且用十字型加權模板進行模板匹配，解決“田”字型4個馬賽克塊缺少邊緣的情況，有效地提高了馬賽克檢測的識別率。本文的算法流程如圖2所示。

圖2 本文算法流程圖

2.1 基于CIELab色彩空間的彩色邊緣檢測

灰度邊緣檢測的過程是先將RGB彩色圖像灰度化再邊緣檢測。該方法只使用了RGB彩色圖像的亮度信息而忽略了色度信息，因此造成馬賽克塊部分邊緣的漏檢，導致馬賽克檢測的識別率不高。本文提出的基于CIELab色彩空間的彩色邊緣檢測算法流程如圖3所示。

圖3 基于CIELab的彩色邊緣檢測流程圖

2.1.1 平滑圖像

對視頻幀圖像f(x,y)的三通道分別進行卷積運算，采用式(1)所示的二維零均值離散高斯濾波函數G(x,y)作為卷積函數，得到平滑圖像I(x,y)。

G(x,y)=e-(x2+y2)/2σ2

(1)

I(x,y)=f(x,y)*G(x,y)

(2)

式中：σ是高斯函數的方差，σ越大平滑程度越好。

2.1.2 色彩空間轉換

把圖像I(x,y)從RGB色彩空間轉換到CIELab色彩空間，得到轉換圖像I′(x,y)。

CIELab色彩空間是一種以人眼視覺觀察為基礎的標準色彩模型，它是在CIEXYZ色彩空間的基礎上提出來的。彩色CIELab圖像每個像素點有L，a，b三個通道，其中L為亮度分量，a和b為色度分量。L表示亮度，取值范圍為0～100，0為黑色，100為白色；a和b取值范圍為-128～127，a=-128為綠色，a=127為紅色，b=-128為黃色，b=127為藍色[11]。

從RGB色彩空間轉換到CIELab色彩空間如式(3)～(6)所示。

(3)

(4)

a=500×[f(X/X0)-f(Y/Y0)]

(5)

b=200×[f(Y/Y0)-f(Z/Z0)]

(6)

其中，X0，Y0，Z0表示CIE標準照明體的三刺激值，X0=95.047，Y0=100，Z0=108.883；L為亮度；a和b為色度。

2.1.3 計算色差及色差方向

計算彩色圖像的梯度比較復雜，并且梯度幅值不能很好地描述人眼對顏色差別的感知，而CIELab色彩空間是描述人眼可見的所有顏色的完備色彩模型，基于CIELab色彩空間的色差能反映人眼對顏色差別的感知，所以使用彩色圖像基于CIELab色彩空間的色差和色差方向來代替梯度的幅值和方向。

在CIELab色彩空間中，兩個像素x1(L1,a1,b1)和x2(L2,a2,b2)之間的色差CD可由它們在CIELab色彩空間中的空間距離計算得到，如式(7)所示。

(7)

本文采用Sobel色差算子來計算色差幅值和方向。計算式如式(8)～(11)所示

Dx=CD(xi-1,j+1,xi-1,j-1)+2CD(xi,j+1,xi,j-1)+

CD(xi+1,j+1,xi+1,j-1)

(8)

Dy=CD(xi+1,j-1,xi-1,j-1)+2CD(xi+1,j,xi-1,j)+

CD(xi+1,j+1,xi-1,j+1)

(9)

(10)

φ=arctan(Dy/Dx)

(11)

其中：Dx是水平方向的色差分量；Dy是垂直方向的色差分量；CDS是色差幅值；φ是色差方向。

2.1.4 非極大值抑制

對色差幅值CDS進行非極大值抑制，尋找局部最大值，將非極大值點所對應的值置為0。用3×3的核在8鄰域對色差幅值CDS的所有元素沿色差方向進行插值。對每個點都將中心元素色差幅值CDS與沿色差方向的2個色差幅值插值結果比較，如果色差幅值CDS的值小于色差方向上的2個插值結果，就將色差幅值CDS對應的邊緣標志位置為0。

2.1.5 雙閾值提取邊緣

設定兩個閾值，高閾值Hth和低閾值Lth，將經過非極大值抑制的色差幅值與設定的閾值比較，若色差幅值小于設定的閾值則置幅值為0，分別得到兩個邊緣圖像H(x,y)和L(x,y)。先采用高閾值圖像H(x,y)中的邊緣，連接成輪廓，然后在輪廓端點的8鄰域處尋找低閾值圖像L(x,y)的邊緣，根據高低閾值圖像的強弱邊緣使整個圖像的邊緣閉合。

2.2 十字型加權模板匹配

直角模板匹配到的結果是4種直角類型，只有當含有至少3個直角才能判為一個馬賽克塊，會對“田”字型4個馬賽克塊缺少邊緣的情況造成漏判。本文提出的十字型加權模板匹配到的結果有5種類型，可以識別“田”字型4個馬賽克塊缺少邊緣的情況。所使用的十字型加權模板如圖4所示。

圖4 十字型加權模板

模板中像素的值如模板中數字所示，其中沒有標數字的像素值為0，模板大小為15×15。模板匹配過程如下：

1)使模板從圖像的原點，即圖像的左上角開始匹配，按式(12)計算該區域的值。

(12)

其中，f(x,y)是計算得出的匹配值，(x,y)是該塊匹配區域的中點；fs(i,j)是邊緣圖中匹配區域的任一點；ft(x,y)是模板的任一點。

2)在任意情況下，由1)得出的匹配值都不同。在模板的“十”字上是否有像素點，可由一個28位的數按位表示，把該28位如圖5所示分成4份。

圖5 匹配值按位表示

其中：6～0位代表十字型模板左邊7個點；13～7代表右邊7個點；20～14代表上邊7個點；27～21代表下邊7個點，這些位的值為1則表示在此處有邊緣像素點存在，為0則表示邊緣像素點不存在。若每邊匹配到4個點則表示該邊存在。

(1)若右邊和下邊存在，表示匹配到馬賽克塊的左上直角，把該匹配塊中點標記為1，稱為1型。

(2)若左邊和下邊存在，表示匹配到馬賽克塊的右上直角，把該匹配塊中點標記為2，稱為2型。

(3)若右邊和上邊存在，表示匹配到馬賽克塊的左下直角，把該匹配塊中點標記為3，稱為3型。

(4)若左邊和上邊存在，表示匹配到馬賽克塊的右下直角，把該匹配塊中點標記為4，稱為4型。

(5)若有3條邊和4條邊存在，表示匹配到了4塊馬賽克塊，把該匹配塊中點標記為5，稱為5型。

3)最后平移模板，重復1)和2)的操作，匹配邊緣圖像除上下7行和左右7列外的所有點。

2.3 滑動窗口馬賽克檢測

設定一個滑動窗口W，設大小為M×M，從匹配結果圖的左上角開始滑動。在滑動窗口內，若檢測到3個點，且滿足關系：1型3型點在2型4型點左邊，1型2型點在3型4型點上邊，并且1型2型的距離、3型4型的距離大于最小馬賽克塊邊長，則表示匹配到一個馬賽克塊。若檢測到2個點，其中一個是5型點，另一個是另外4種類型的點，則匹配到4個馬賽克塊。

最后，計算一幀圖像中檢測出的馬賽克塊數量，若數量大于設定的閾值，則表示該幀圖像存在馬賽克異常。

3 實驗結果及分析

為了驗證本文方法的效果，本文采用新聞節目視頻、高清電影視頻、監控視頻、動畫視頻、體育節目視頻等多個場景的視頻進行驗證。測試視頻中的馬賽克異常分兩種：人為添加的馬賽克異常和原本存在的馬賽克異常。

3.1 彩色邊緣檢測實驗結果和分析

為了驗證基于CIELab色彩空間的彩色邊緣檢測方法的效果，分別采用了Sobel邊緣檢測、Canny邊緣檢測，以及本文的彩色邊緣檢測來對比實驗。在高清電影視頻中隨機截取一幀，并打上馬賽克，馬賽克圖像如圖6a所示。對圖6a進行3種邊緣檢測，得到Sobel邊緣檢測、Canny邊緣檢測、本文彩色邊緣檢測的檢測結果分別如圖6b、圖6c和圖6d所示。

圖6 馬賽克圖像邊緣檢測對比

從邊緣檢測結果圖對比可以看出，本文檢測方法的馬賽克邊緣檢出數量明顯增加。其中，Sobel邊緣檢測效果最差；Canny邊緣檢測效果有所提高，但仍不夠理想；本文的彩色邊緣檢測效果提高明顯。為了更好地驗證本文算法的優點，再用這3種檢測方法對模擬馬賽克的合成彩色圖像進行邊緣檢測。合成彩色圖像如圖7a所示，Sobel邊緣檢測、Canny邊緣檢測、本文彩色邊緣檢測的檢測結果分別如圖7b、圖7c和圖7d所示。

圖7 合成彩色圖像邊緣檢測對比

合成彩色圖像4種顏色對比明顯，但Sobel邊緣檢測、Canny邊緣檢測卻不能很好地檢測出這種人眼認為明顯的邊緣，分別只檢測出了1條和2條邊緣；而本文的檢測方法可以檢測出這種色差明顯的邊緣，4條邊緣全部檢出。

3.2 馬賽克檢測算法實驗結果與分析

本文算法在硬件為Intel(R) Core(TM) i5-3230M CPU @ 2.60 GHz，4 Gbyte內存的PC，軟件為Visual Studio 2013的環境下，利用opencv2.4.10圖像處理函數庫里的函數實現。實驗視頻為新聞節目視頻、高清電影視頻、監控視頻、動畫視頻、體育節目視頻，每個視頻人工添加100幀馬賽克異常，分辨率為1 280×688；另外還有一個原本存在56幀馬賽克異常的視頻，分辨率也為1 280×688。測試結果如表1所示。其中，識別率=檢出馬賽克幀數/視頻馬賽克幀數，誤檢數表示把正常幀判定為馬賽克幀。檢出馬賽克幀數為含有馬賽克異常的幀數，不包括誤檢的幀數。

表1 馬賽克檢測算法測試結果

從測試結果可知，本文算法的識別率比傳統模板匹配算法更高，誤檢數也稍微比傳統匹配算法高。誤檢數會稍高是因為誤檢的視頻幀里含有大量類似馬賽克的塊，本文算法檢出而傳統算法沒有檢出。

漏檢和誤檢的情況分析如下：

測試視頻中造成漏檢的畫面有：1)新聞節目視頻中馬賽克出現在海洋畫面中；2)原本存在異常的視頻中馬賽克出現在樹葉密集的森林畫面中；3)監控視頻中馬賽克出現在畫面四側?？偟膩碚f，漏檢的原因有3種：1)馬賽克與正常區域的對比不夠明顯，造成馬賽克塊邊緣不完整，且畫面中含有馬賽克塊數量較少，造成漏檢；2)在邊緣密集處產生馬賽克，且馬賽克塊內部邊緣也很密集，馬賽克塊形成的邊緣被判定為正常圖像的邊緣，造成漏檢；3)馬賽克塊產生在視頻幀的四側，由于本文所用的模板不能檢測圖像幀四側7個像素內的馬賽克塊，所以也會造成漏檢。

測試視頻中造成誤檢的畫面有：1)高清電影視頻中有畫面是房屋里背景含有馬賽克墻；2)動畫視頻中有畫面是含有大量窗戶的樓房；3)體育節目視頻中有畫面是俯視圍棋比賽的圍棋棋盤?？偟膩碚f，誤檢的情況是因為正常視頻幀中有大量正好符合馬賽克塊大小的小正方形，且小正方形的兩邊正好與畫面平行，因此造成誤檢。

4 小結

本文針對傳統馬賽克檢測算法中識別率不高的問題，提出了一種基于彩色邊緣與十字型加權模板的馬賽克檢測算法。該算法先用基于CIELab色彩空間的彩色邊緣檢測處理圖像，可以比傳統的灰度邊緣檢測檢測更多馬賽克塊的邊緣；再通過十字型加權模板對圖像進行模板匹配，再對匹配結果統計分析，可以識別傳統方法無法識別的“田”字型4個馬賽克塊缺少邊緣的情況，有效地識別馬賽克塊，從而檢測出含有馬賽克異常的視頻幀。通過對含有馬賽克異常的視頻進行測試，傳統算法的識別率為91.1%，而本文算法的識別率為98.2%，相比傳統算法提高了7.1%，表明本文算法能有效提高高分辨率視頻馬賽克檢測的識別率。

[1]司文麗，朱鎮林. 馬賽克故障圖像的分析與檢測[J]. 有線電視技術，2008，15(5)：113-116.

[2]林潔. 低碼率視頻質量評價與檢測[D]. 北京：華北電力大學，2013.

[3]李汪洋. 帶有視頻客觀質量檢測功能的流媒體播放器的設計與實現[D]. 北京：北京郵電大學，2013.

[4]寧方美，葉峰. 基于網格擴張的視頻圖像馬賽克檢測算法[J]. 計算機與現代化， 2011 (10)：63-65.

[5]楊金偉. 視頻質量損傷的檢測與修復[D]. 北京：北京郵電大學，2008.

[6]計岑. 數字圖像和視頻修復[D]. 西安：西安理工大學，2010.

[7]章化冰，凌堅，練益群. 基于模板匹配的馬賽克視頻檢測方法研究[J].中國有線電視， 2010(11)：1254-1256.

[8]梁志敏. 視頻圖像質量檢測技術研究與實踐[D].北京：北京郵電大學，2013.

[9]HAN Y H， LEOU J J. Detection and correction of transmission errors in JPEG images [J]. IEEE transactions on circuits & systems for video technology， 1998， 8(2)：221-

231.

[10]CANNY J. A computational approach to edge detection[J].IEEE transactions on pattern analysis and machine intelligence，1986(6)： 679-698.

[11]Wikipedia. Lab color space[EB/OL]. [2015-04-24]. http：//en.wikipedia.org/wiki/Lab_color_space.

易宇暉(1989— )，碩士生，主研光電信息處理；

林志賢(1975— )，博士，教授，主要從事平板顯示器驅動技術、圖像處理、信息顯示技術等研究工作；

郭太良(1963— )，研究員，博士生導師，主要從事FED顯示器方面的研究工作。

責任編輯：閆雯雯

Mosaic detection method based on color edge and crossed weighted template

YI Yuhui， LIN Zhixian， GUO Tailiang

(CollegeofPhysicsandInformationEngineering，FuzhouUniversity，Fuzhou350002，China)

In order to solve the problem of low recognition rate of mosaic detection in high resolution videos， a mosaic detection method based on color edge and crossed weighted template is proposed. The algorithm first detects more mosaic edges through the color edge detection based on CIELab color space， and recognizes the mosaic pieces by template matching with crossed weighted template. The mosaic detection to high resolution videos is conducted through the algorithm proposed here and traditional algorithm. The result of experiment shows that the recognition rate gained through the algorithm proposed here is up to 98.2%， which is 7.1% higher than that of traditional algorithm.

mosaic； color edge detection； CIELab color space； template matching

易宇暉，林志賢，郭太良.基于彩色邊緣與十字型加權模板的馬賽克檢測[J]. 電視技術，2016，40(11)：121-125. YI Y H， LIN Z X， GUO T L. Mosaic detection method based on color edge and crossed weighted template[J]. Video engineering，2016，40(11)：121-125.

TP391.4

A

10.16280/j.videoe.2016.11.025

國家“863”重大專項(2013AA030601)；福建省資助省屬高校專項(JK2014002)；福建省科技重大專項(2014HZ0003-1)

2015-12-19