基于多種邊緣檢測的視頻劃痕檢測技術*

張利平，張紅英，吳 斌

（西南科技大學 信息工程學院，四川 綿陽 621010）

1 引言

中國作為一個具有悠久歷史的文化大國，在電影業有著百余年的文化積累。那些保存至今的優秀影片資料數以萬計，但由于當時技術條件限制、長期存放以及多次播放，造成影片有許多損傷，如灰塵沾染、圖像抖動、畫面閃爍、劃痕、臟點、顆粒增多等。因此，保存和修復這筆珍貴的人類財產刻不容緩，也為開展高清晰度電視內容服務提供了重要節目來源。本文主要針對老膠片中常見的垂直劃痕，討論了對其數字修復之前的檢測技術，為后續的自動修復奠定基礎。

2 劃痕及已有檢測技術描述

劃痕大致有兩種[1]：一種僅限于畫格之內的小損傷，另一種出現在一段連續畫格上，如直線劃痕。劃痕大部分由操作不當引起，如當膠片經過攝影機、印片機等設備或膠轉磁和掃描過程中，若清潔保養不當等，與膠片接觸的細小顆粒都會導致連續劃傷。當這些劃傷影響了膠片的感光層就無法用物理的方法修復，而需采取數字處理方式修復。

其中，直線劃痕是這些劃傷中較為普遍的失真，在圖像中常呈線狀分布。它通常有3～10個像素寬，傾斜角度小于5°（近似直線），亮度呈衰減余弦函數分布。所覆蓋區被嚴重破壞，在同一位置保持若干幀，或呈現輕微移動，以各種長度和對比度出現。在黑白影片中或為黑色，或為白色；彩色影片中可能為高亮度劃痕或暗劃痕，也可能是彩色（多數情況下是藍色）。直線劃痕又可分為垂直劃痕（Vertical Scratch）和水平劃痕（Horizontal Scratch）。前者表現為圖像從上到下的直線區域像素損失，后者表現為從左到右的直線劃傷。前者在舊電影中相當普遍，嚴重時呈雨狀分布，影響了觀眾對圖像的主觀質量。直線垂直劃痕數學模型如下[2]

式中：Z（k）為劃痕信號；A為劃痕中心亮度差；p為衰減系數（p<1）；c為劃痕中心位置；f0為由局部平均灰度值決定的偏移量；k=（i，j，t）；t為時間。

Kokaram[3]于1998年首先對垂直劃痕特征進行了系統性研究，并提出了相應數學模型，檢測過程中使用中值濾波和霍夫變換，其研究結果被歐盟AURORA膠片電影修復項目所采用。但該方法存在一些缺陷，如需要人為調整不同門限值，不區分真正劃痕和相似場景元素，計算時間長，易漏檢長度不及圖像高度一半的短劃痕等。2004年，V.Bruni[4]修改了Kokaram劃痕模型，給出了一個更通用的劃痕亮度模型和圖像退化模型。此法雖克服了以往算法的一些不足，但該算法仍未很好地解決自然線條物體與劃痕相區別的問題。

在工業生產中，也常采集工業器件圖像后用數字圖像處理技術分析，如閾值分割、形態學處理、連通域標記等來檢查器件是否被劃傷[5-6]。對于這些內容較簡單、背景與所要檢測目標的亮度差別較明顯的圖像，用基本的圖像處理技術不論在效果上還是檢測速度上都能達到工業檢測的要求。筆者提出的劃痕檢測方法也能用于工業生產中的檢測，因為該算法相比以往的算法更為快速，能達到工業檢測的要求。

3 基于多種邊緣檢測的劃痕檢測算法

本文進行劃痕檢測時，首先從視頻序列中截取一幀存在劃痕的圖像或在圖像中加入劃痕，再針對此圖像進行處理，檢測算法如下：

1）圖像灰度化處理。本文主要針對的是灰度圖像劃痕檢測，為后續的Hough變換作準備。在灰度化的處理過程中采用以下公式

式中：R，G，B分別為圖像紅、綠、藍顏色通道，每個通道都含有大量信息，采用式（2）灰度化后能滿足人眼視覺的要求，且比較快速，為后續的邊緣檢測和Hough變換節省時間。

2）Sobel算子邊緣檢測。Sobel算子是圖像處理中的邊緣檢測算子之一，它是一離散性差分算子，用來運算圖像亮度函數的梯度近似值。Sobel算子有2個，一個對通常的水平邊緣響應最大，一個對通常的垂直邊緣響應最大。而圖像中的垂直劃痕具有明顯的梯度特性，本文則采用對垂直邊緣響應最大的Sobel算子進行初步邊緣檢測，見公式（2），目的是突出垂直劃痕的特征。雖然該算法能產生較好的檢測效果，但是容易檢測到偽邊緣和形成不閉合區域，所以需進一步的檢測定位，公式如下

3）Canny算子邊緣檢測。鑒于Sobel算子的不足，將在這一步中采用具有最優階梯型的邊緣檢測算法，即Canny邊緣檢測來進一步處理。Canny邊緣檢測根據信噪比與定位乘積進行測度，從而得到最優化逼近算子。這種檢測方法也屬于先平滑后求導的方法，既能有效抑制噪聲，也能精確確定邊緣位置。基本步驟是：先用高斯濾波器平滑圖像；再用一階偏導的有限差分來計算梯度的幅度和方向；然后對梯度幅值進行非極大值抑制；最后用雙閾值算法檢測和連接邊緣。此時，圖像中的垂直劃痕作為特殊的邊緣也被清晰的標識出來。

4）概率Hough變換檢測垂直直線。標準的Hough變換雖然能夠準確地檢測出圖像中的直線，但是處理時間較長，為了提高整個算法的速度，本文采用了一種新的Hough變換，即概率Hough變換（PHT）[7]。 其基本理論依據及大致步驟為：每個參數空間的點唯一對應于原圖像中的n個特征點。例如直線檢測中，Hough參數空間的每個點能被原圖的2個特征點表示。假如原圖中的特征點為

從原圖中隨機取一對特征點（di，dj），其中 di=（xi，yi），dj=（xj，yj），這樣參數（a，b）可以通過以下公式求得

數組H（a，b）根據求得的結果不斷的積累，當一直計算到某個數組超過規定的一個最大值 （這里預先設定閾值T），這個最大的H（a，b）數組就是檢測到的直線。返回線段分割，這樣更快速有效，對于非貫穿整個圖像的較短的劃痕也能標識出來。但此時被標識直線包括垂直和非垂直的直線，設定限制直線上點的橫坐標即可保留其中的垂直直線。

5）形態學處理并寬度約束得到真正的垂直劃痕。通過概率Hough變換已檢測出圖像中的垂直直線，其中也包括自然垂直物，則需要排除它們。本文先進行形態學中的開運算處理，再設定寬度閾值來排除非劃痕。此做法是根據劃痕一般為3～10個像素寬，經過開運算后圖像中的自然垂直物 （如門框邊界等）的相鄰邊界會連成一個區域，則總寬度就比劃痕大出許多；此時真正劃痕也比非自然垂直物和非劃痕的其他細線噪聲寬度大許多，設定相應的寬度范圍就可將較細和太寬的垂直直線去除，最終得到真正劃痕的位置。

4 實驗結果和分析

實驗選用了3個實例，第1幅實驗圖來自文獻[8]，只有一條亮度劃痕，有很小的噪聲，用來檢驗算法的有效性；第2幅實驗圖是人為加上黑色劃痕的圖像，圖中左邊有自然垂直物，用來檢驗算法排除自然垂直物的性能；第3幅實驗圖也是來自文獻[8]，它包含了多條暗劃痕，且有較大噪聲干擾，用來檢驗算法在噪聲下的穩定性。

第1幅圖像中的亮劃痕長度與圖像高度近似相等，如圖1a所示；經本文算法過程依次得到圖1b，1c，1d。由于該圖只含一條劃痕，所以無需進行后續的形態學等處理。

圖1 第1幅帶劃痕圖像的檢測

從圖1中可以看出最終檢測出來的劃痕沒有貫穿整體圖像，但是劃痕最明顯的部分已被檢測出，說明筆者提出的算法在舊電影處理中是可行的。

第2幅圖像經過本文的一系列處理后得到圖2，可以看出本文算法能夠排除左邊自然垂直物，最終得到右側真正劃痕。本實驗中寬度閾值范圍為[2，12]，寬度在這個區間的為劃痕。

圖2 第2幅帶劃痕圖像的檢測

第3幅圖像有一定的噪聲，包含多條圖像，且長短不一，如圖3a所示。利用本文算法依次得到圖3b，3c，3d。

圖3 第3幅帶劃痕圖像的檢測

實驗3的結果進一步說明在一定噪聲影響下，本算法仍具有很好的穩定性。

本文算法與Kokaram模型方法的檢測劃痕數目對比如表1所示。

表1 本文算法和Kokaram模型方法的測試數據對比

從上述表格可以看出，實驗2中把部有自然垂直物的圖像，Kokaram模型發生了誤檢，而本文算法排除了誤檢；實驗3中由于大量噪聲的干擾，Kokaram模型檢測效果非常不理想，本文方法卻可以比較穩定地檢測劃痕，雖然那些比較長的劃痕是斷續的，邊緣有一兩條誤檢，但是對于比較短的劃痕檢測出來了，效果較好。在計算復雜上，本文采用的是概率Hough變換，提高了檢測速度。

：

[1]周磊.電影膠片修復及噪聲處理關鍵技術的研究[D].上海：上海交通大學，2008.

[2]ROOSMALEN V.Restoration of archived film and video[D].Holland:Delft University of Technology，1999.

[3]KOKARAM A C.Motion picture restoration digital algorithms for artifact suppression in degraded motion picture film and video[M].Berlin:Springer-Verlag，1998.

[4]JOYEUX L； BOUKIR S； BESSERER B.Film line scratch removal using Kalman filtering and Bayesian restoration[EB/OL].[2009-09-20].http：//neuron2.net/library/scratch.pdf.

[5]李哲毓，高明，馬衛紅.基于計算機視覺的管殼表面劃痕檢測技術研究[J].應用光學,2007,28（6）： 803-805.

[6]頂金明.金屬鍍層工件表面缺陷自動檢測系統的研究[D].天津:天津大學，2004.

[7]XU Lei.A new curve detection method：randomized Hough transform[J].Pattern Recognition Letters， 1990， 11（5）： 331-338.

[8]BRUNI V，VITULANO D，KOKARAM A.Fast removal of line scratches in old movies[C]//Proc.the 17th International Conference on Pattern Recognition.Cambridge，UK:[s.n.].2004:827-830.