基于光流的視頻缺陷檢測及修復方法

摘要：為了修復視頻中的劃痕和斑點，提出一種基于光流的視頻缺陷檢測及修復方法。首先，根據光流場得到相鄰幀對應像素之間的位置關系，利用對應點灰度差確定像素點所在位置是否為缺陷；其次，修正缺陷區域的光流，以修正光流指向的相鄰幀修補點填補對應的缺陷點；最后，針對已修復的視頻幀重新計算光流場并重復修復步驟，直到該幀滿足迭代修復的收斂條件。針對DAVIS視頻數據集的不同場景，模擬產生數量為單幀像素點總數1%左右的缺陷后進行檢測修復實驗，給出查全率與誤識別率的關系曲線，其中，誤識別率為0.1%時，查全率可達80%以上；修復后的SSIM大于0.991，LPIPS小于0.037。針對老舊視頻的修復實驗表明，算法能夠有效去除細小劃痕和大小斑塊。

關鍵詞：計算機視覺；視頻缺陷檢測；視頻修復；光流

中圖分類號：TP37文獻標志碼：A

文章編號：1001-3695（2023）01-050-0299-05

doi：10.19734/j.issn.1001-3695.2022.04.0211

Video defect detection and repair method based on optical flow

Huang Fujie，Luo Bin

（School of Information Science amp; Technology，Southwest Jiaotong University，Chengdu 611756，China）

Abstract：In order to repair scratches and spots in video，this paper proposed a video defect detection and repair method based on optical flow field.Firstly，it obtained the positional relationship between the corresponding pixels of adjacent frames accor-ding to the optical flow field，and used the intensity difference of the corresponding points to determine whether the pixel position was a defect point.Then，it corrected the optical flow of the defect area and filled the corresponding defect points with the repair pixels in the adjacent frames pointed by the corrected optical flow.Finally，for the repaired video frame，it recalculated the optical flow field and repeated the above repair steps until the frame satisfy the convergence condition of iterative repair.For different scenes in the DAVIS dataset，after simulating the defects that account for about 1% of the total number of pixels in a single frame，this paper conducted a detection and repair experiment，and gave the curve between the recall rate and the 1 recognition rate.When the 1 recognition rate is 0.1%，the recall rate can reach more than 80%.The SSIM is greater than 0.991 and the LPIPS is less than 0.037.Experiments on old videos show that scratches and spots can be effectively removed.

Key words：computer vision；video defect detection；video repair；optical flow

0引言

視頻修復的目的在于提升視覺感受并將其數字化保存，更關鍵地可以對重要的影像資料進行搶救性修復。完整的修復過程通常包括去缺陷（如劃痕、斑點、噪聲、閃爍等）、去抖動、補幀、增強分辨率、上色等，而去除缺陷是其中的重要環節。該環節如果采取手動修復的話需要很大的工作量，因此設計自動高效的修復方法代替或減輕手動修復的工作量顯得十分必要。該工作主要面臨缺陷位置檢測和缺陷修補算法兩個問題，本文工作將基于這兩點展開。

經典的視頻缺陷檢測法有馬爾可夫隨機場法（MRF）［1］、排序差異法（ROD）［2］以及簡易排序差異法（SROD）［3］等，這些方法檢測之前先進行運動補償。SDIa將當前像素點與前后幀比對，滿足閾值判斷為缺陷點。MRF在SDIa的基礎上過濾掉誤判的離散點。ROD和SROD在檢測時還考慮相鄰像素點信息，對斑點的判斷更為準確。Ren等人［4］在運動補償正確的區域對比前后幀像素塊均值，滿足自適應閾值則判定為缺陷，而當運動補償不正確時，采用空間濾波的方法在當前幀判斷缺陷位置。Aydin等人［5］提出基于視覺顯著性映射的老舊視頻斑點檢測方法，使用視覺顯著性映射圖顯示輸入幀中的突出區域，從而在斑點檢測中獲得更準確的結果，避免了運動補償的步驟。Müller等人［6］利用視頻的運動向量異常檢測明顯劃痕，并分析已檢測劃痕的時空一致性降低錯檢率。Buades等人［7］提出了一種統計方法來檢測圖像序列中的斑點，該方法產生適應局部統計的閾值，并考慮了鄰域中的灰度差異而不是孤立點。Xu等人［8］利用缺陷塊與周圍不一致的特點判斷缺陷塊的位置，又與相鄰幀比對得出當前像素是否為缺陷點，檢測大尺寸的缺陷有較好的效果。Yous等人［9］利用CNN將視頻分類為原像素和缺陷像素，主要檢測斑點和劃痕，根據斑點與周圍明顯不相同的特征過濾掉誤判的斑點，利用形態學增強已檢測劃痕的連通性。Renaudeau等人［10］使用U-Net網絡［11］和形態學閉運算實現了對舊電影中微小缺陷的檢測，檢測結果還需做進一步處理以消除錯檢點。上述方法主要目的是定位視頻中缺陷的位置，沒有對檢測到的缺陷作進一步修復處理。

基于像素塊匹配搜索的單幀修復算法［12］，將其搜索區域由二維平面擴展至三維后可用于視頻修復，如Newson等人［13］采用該快速迭代搜索算法，結合運動補償并引入新的像素塊對比方法后，得到的修復結果比基于單幀修復的方法更加準確自然。Ren等人［14］利用幀間差異初步確定斑點位置，采用一致性檢測和均值濾波去除由于像素運動產生的誤判點，再進行局部運動估計和補償，在相鄰幀搜索五個候選修補塊，取其均值作為修補塊。Bruni等人［15］使用劃痕檢測算法獲取劃痕位置后，利用小波變換和韋伯定律來衰減劃痕。Gullu等人［16］用SROD法檢測斑點，計算斑點中每個像素點的修復優先級，處在紋理或者邊緣的像素點優先修復，在相鄰幀一定范圍內搜索最佳近似塊修補缺陷。Zhang等人［17］使用線行增強技術和高斯濾波器，檢測到視頻中的規整劃痕，用基于拉普拉斯算子的圖像修復算法去除劃痕。Chishima等人［18］使用霍夫變換檢測形狀規整的細線劃痕，用濾波窗口方向與劃痕方向相同的均值濾波器消除劃痕。Wang等人［19］在時空域動態生成基于隨機步的候選修補塊，在所有的候選塊中選取最適合的候選塊修補缺陷。Li等人［20］分解原視頻為低秩矩陣和表示缺陷的稀疏矩陣，其中低秩矩陣表示修復后的視頻，當整體的視頻缺陷較少時修復效果良好。文獻［21～23］用待移除目標物輪廓外的光流對目標物區域進行插值，獲取該區域的背景光流并以此得到相鄰幀的填充像素，從而將目標物移除。此類工作的大致修復思路與視頻缺陷修復十分相似，不同的是，此類工作的待處理區域光流不會產生異常，因此只需要采用簡單的插值法便可獲取指導修補的背景光流。隨著深度學習在圖像處理鄰域的快速發展，眾多研究也將深度學習引入視頻修復中，于冰等人［24］提出基于時空生成對抗網絡［25］的修復方法，利用生成網絡合成缺失區域的像素。網絡包含單幀修復和序列修復模型，實現了視頻的時空一致修復，但在運動較大區域具有局限性。此外，文獻［26，27］還將注意力機制引入到修復網絡，通過注意力層使得模型關注到感受野之外的區域，獲得更遠處相鄰幀的可見信息，模型有較好的修復質量，但在復雜區域如物體邊緣因合成的紋理層次不足存在模糊，且生成式的網絡存在不穩定性。

當視頻背景靜止或平緩變化時，通常可以輕易地檢測到缺陷，但當缺陷位于復雜運動區域時運動補償準確度下降，這時會產生較多的錯誤檢測。上述濾波或者插值修復的方法主要利用了缺陷鄰域的像素信息，將鄰域的已知像素傳播到缺陷區域，該方案容易使修復區域模糊，而在相鄰幀遍歷搜索修補塊的方式效率較低。

因為視頻幀之間存在極高的信息冗余性，通常當前幀的像素也會在相鄰幀出現，所以能夠利用圖像序列之間的關聯性在相鄰幀找到修補點位置。而視頻光流場表征了相鄰幀像素點之間的位置對應關系，能夠更準確地獲取視頻像素的運動信息，克服運動補償準確度不足的問題。因此，本文提出一種基于光流場的視頻缺陷自動檢測及修復方法。首先，使用光流算法計算視頻光流場，獲得像素點在相鄰幀的對應位置，利用缺陷區域的異常光流引起的對應點灰度差異大來檢測缺陷；其次，用缺陷外緣的光流信息修正缺陷區域的光流，并根據修正后的光流獲取對應的相鄰幀修補點；最后，將已修復幀重新作為輸入后重復上述步驟，直到修復區域的所有像素點與最新光流場表征的對應點灰度差異均值收斂或達到最大迭代次數。本文修復算法將缺陷檢測和修復結合在一起，對缺陷有較低的錯檢率和漏檢率，實現了視頻缺陷的自動檢測及修復。

1視頻缺陷預檢測

令三維矩陣G表示長、寬、幀數分別是X、Y、T的視頻；G（x，y，t）表示第t幀（x，y）點灰度值；U+、V+表示正向光流的x、y分量，U-、V-表示視頻反向光流的x、y分量，即第t幀像素點（x，y）在第t+1幀的位置為（x+U+（x，y，t），y+V+（x，y，t）），在第t-1幀的位置為（x+U-（x，y，t），y+V-（x，y，t））。根據像素點的正、反向光流能夠得到其前后幀的對應位置。因為劃痕等缺陷隨機出現，在相鄰幀對應位置通常很難出現相同的缺陷，所以該位置計算出的光流會產生異常。如圖1所示，（a）是添加模擬缺陷的一幀圖像，（b）中兩條曲線分別是劃線處的正反向光流大小曲線。可以看出，劃線區域的正反向光流在非缺陷區域變化緩慢，而在缺陷區域劇烈跳變。顯然，按照異常光流給出的位置對應關系，對應點之間灰度值將差異極大。即使缺陷區域的光流計算正確，由于缺陷的存在，對應點之間的灰度值差異也應該比較大。根據以上思路，本文設計了一種基于光流的視頻缺陷檢測及修復方法。

定義維度跟大小與視頻G一致的布爾矩陣H記錄缺陷點位置，當點（x，y，t）是缺陷像素時將H（x，y，t）置為1，否則置零。判斷點（x，y，t）是否為缺陷點的表達式如下：

T1=G（x，y，t）-G（x+U+（x，y，t）），

y+V+（（x，y，t），t+1）（1）

T2=G（x，y，t）-G（x+U-（x，y，t）），

y+V-（（x，y，t），t-1）（2）

H（x，y，t）=1|T1|gt;Tg and |T2|gt;Tg

0others（3）

其中：Tg是灰度閾值，是預檢測和修復時的重要參數；T1、T2是當前像素點與前后幀灰度差異。當T1、T2絕對值均大于灰度閾值Tg時，該位置初步判定為缺陷點。具體關于灰度閾值Tg如何合理地確定，將在3.3節討論。

與單幀內檢測不同，幀內檢測主要利用缺陷像素與周圍像素的差異來確定位置，如濾波法在缺陷處于低頻的背景區域時要比高頻區域檢測效果更好，而光流檢測法因為在檢測時根據的是像素點自身灰度在運動過程中的變化，不依賴幀內鄰域的像素點，所以檢測效果與光流場的準確度密切相關，與缺陷鄰域的場景是否復雜無關。

由于缺陷的出現不僅會導致該位置光流計算錯誤，也會影響到缺陷相鄰區域的光流計算準確度，有可能導致鄰域像素點也被檢測成缺陷點，即預檢測的結果中可能包含了真正的缺陷點和視頻本身的非缺陷像素點。在修復預檢測點前，先比較在相鄰幀獲取的修補點和預檢測點的灰度差異，如果差異小于灰度閾值Tg，則該預檢測點視為非缺陷點不進行修復，預檢測中真正的缺陷點是最終修復之后所有灰度有變化的像素點，從而有效排除缺陷鄰域的誤檢測點。

2修復模型

2.1總體修復框架

令Ev和Ef分別表示第t幀灰度差異項和光流平滑項，其中：

Ev=1M1∑0≤x≤X，0≤y≤Y，H（x，y，t）=1（|G（x，y，t）-G（x+U+（x，y，t），y+V+（x，y，t），t+1）|+

|G（x，y，t）-G（x+U-（x，y，t），y+V-（x，y，t），t-1）|）（4）

Ef=1M1∑0≤x≤X，0≤y≤Y，H（x，y，t）=1（|U+（x，y，t）|+|V+（x，y，t）|+

|U-（x，y，t）|+|V-（x，y，t）|）（5）

其中：M1是第t幀中預檢測點的數目；灰度差異項Ev表征第t幀所有缺陷點與相鄰幀對應點灰度差異的均值；光流平滑項Ef表征第t幀所有缺陷點正，反向光流的梯度大小均值。通常期望修復后的缺陷點與前后幀對應位置處的灰度差異應最小且光流場平滑緩變，即灰度差異項Ev和光流平滑項Ef要盡可能小。詳細的修復框架如圖2所示，其中N為最大迭代次數；E為灰度差異項Ev和光流平滑項Ef的加權相對變化量，是終止迭代修復的重要參數，表達式如下所示。

E=kΔEvEv+（1-k）ΔEfEf（6）

其中：k為灰度差異項Ev和光流平滑項Ef之間的權重因子，控制兩者在迭代修復時相對變化量的比重；ε為加權相對變化量E對應的預設閾值，當Elt;ε時終止迭代程序。完整的修復框架可分為修正光流場、更新缺陷區域像素和迭代修復，下面分別闡述這三個部分。

2.2修正光流場

由于同一運動物體包含的像素點具有相同的運動信息，局部的光流通常十分相近，所以可以將缺陷鄰域的正確光流沿著缺陷輪廓傳播到缺陷區域，從而修正該區域的錯誤光流。首先，使用OpenCV中的輪廓提取算法獲取缺陷的輪廓，然后，對輪廓線上的每一點計算以該點為中心的矩形區域中非缺陷點上的平均光流，將平均光流作為該點新的光流值。如圖3所示，第t幀缺陷輪廓線上的點（x0，y0）其正向光流的x分量為

U+（x0，y0，t）=1M2∑x0-w≤x≤x0+w，y0-w≤y≤y0+w，H（x，y，t0）=0U+（x，y，t）（7）

其中：M2是以（x0，y0）為中心的矩形區域中非缺陷點的數目；w是該矩形邊長，通常光流計算中窗口大小為5×5或7×7，這里令矩形邊長w與光流計算的窗口大小一致。當輪廓線上的錯誤光流全部修正后，重新獲取內層輪廓，采用同樣的方法修正內層輪廓線上的錯誤光流，直到該缺陷區域的正向光流x分量全部修正完畢。正反向光流的x，y分量的修正步驟類似。

2.3更新缺陷區域像素

使用2.2節方法修正缺陷區域光流后，可根據缺陷區域的光流獲得每個缺陷點在相鄰幀的對應點位置。將前后幀兩個對應點的灰度平均值作為新的修補灰度，當該修補灰度與預檢測點的原始灰度差異大于預檢測時的灰度閾值Tg時，該預檢測點被視為缺陷點并對其進行修復。修復后的缺陷點（x，y，t）灰度為

G（x，y，t）=12（G（x+U+（x，y，t），y+V+（x，y，t），t+1）+（8）G（x+U-（x，y，t），y+V-（x，y，t），t-1））

以對應點灰度均值作為填補灰度，使修復后連續幀之間的對應像素點灰度一致或均勻變化。初始修正的光流并不保證完全正確，在部分缺陷點位置上會存在偏差，根據偏差的光流得到的修補像素點會導致修復區域殘留斑點和偽影。缺陷區域經過修復后能夠計算得到更正確的光流場，而正確的光流場又反過來能夠指導更準確地修復。兩者交替進行的迭代策略使得修復收斂，減少了由于偏差光流導致的殘留斑點。

2.4迭代修復

迭代修復包含修正缺陷區域光流和更新缺陷點灰度。針對修復后的視頻幀重新計算其光流場并重復迭代修復步驟，直到加權相對變化量E小于預設閾值ε，當加權相對變化量E不滿足收斂條件時，程序達到最大迭代次數N時也跳出循環。在不同場景的修復實驗中，加權相對變化量E收斂到0.01時的迭代次數通常小于6，因此這里將加權相對變化量E的閾值ε設為0.01，最大迭代次數N設為6。圖4是修復效果與迭代次數的關系，其中，圖（b）是圖（a）中的矩形框區域，迭代1次后缺陷區域大體上有比較好的效果，細節上還有殘留斑點，第4次消除了殘留斑點，缺陷區域的紋理更加清晰。迭代修復可逐漸豐富缺陷區域的細節，提高視頻的時空連貫性。

3實驗結果與分析

實驗數據為各種真實受損的老舊視頻和公共DAVIS數據集，兩類數據涉及的場景多樣復雜，下面分別對這兩大類型數據進行修復實驗，并對公共數據集的缺陷檢測和修復效果作定量評價。

3.1老舊視頻修復

從下文對灰度閾值Tg的討論結果來看，灰度閾值Tg為8～20時對缺陷有較好的檢測效果，因此這里令灰度閾值Tg等于14，對存在細小劃痕和不規則斑點的連續三幀老舊視頻圖像進行修復。因為真實受損的老舊視頻沒有原始視頻作為參考，所以只能對修復后的效果作主觀性評價而很難做定量分析。從圖5（b）的修復結果來看，本文算法能夠檢測到這三幀圖像的細小劃痕和分布在不同區域的大小斑塊并將其修復，處在人眼等細節區域的劃痕被完整去除且沒有破壞原有的紋理，修復后的斑塊區域不引入模糊。

為了分析本文的光流修復算法在圖像有噪聲污染的情況下對明顯劃痕、斑點等缺陷的修復能力，實驗從老舊電影膠片上采集原始圖像，這些含噪圖像沒作任何預處理，存在各種大小斑點和尺寸不一的劃痕，使用本文算法對采集到的連續三幀圖像進行修復，結果如圖6所示，光流修復算法能夠去除其中明顯的大斑塊、小斑點和細小劃痕等，修復后在總體的視覺感受上有較大改善。由于本文目的是去除視頻中的各類劃痕和斑點等，并不涉及圖像或者視頻的去噪處理，所以修復結果保留了其中的顆粒噪聲，要進一步獲得去噪后的修復效果，還需針對此類含噪情景作詳細的分析研究。

3.2公共數據集修復

針對DAVIS數據集中cows視頻連續三幀，模擬產生數量占單幀像素總數的1%左右的缺陷點，使用本文算法在灰度閾值Tg為14時檢測修復，圖7是對應的連續三幀修復結果，對于無噪聲影響的公共視頻數據集，本文修復算法能夠去除視頻的靜態背景和運動物體上的各類不規則斑塊與明顯劃痕，且修復區域紋理清晰，保持了原本的清晰度。

將修復后的三幀cows視頻圖像與原視頻幀作對比，所有灰度發生變化的點即是被本文算法檢測到并已被修復的缺陷點。再分別使用ROD和MRF缺陷檢測法對這三幀圖像進行缺陷檢測。其中，ROD法的閾值T1，T2，T3分別為15，25，35；MRF法的閾值e1，e2分別為15，25。三種方法檢測結果的查全率與誤識別率分別為：本文算法0.849，0.001；ROD 0.872，0.013；MRF 0.705，0.003。其中，查全率（true positive rate，TPR）為正確檢測的缺陷點與缺陷點數量比值；誤識別率（1 positive rate，FPR）為錯誤檢測點與非缺陷點數量比值。第1幀的缺陷位置檢測如圖8所示，ROD法在檢測到大部分缺陷的同時也有比較多的錯誤檢測點，MRF法雖然錯誤檢測點少但是檢測到的缺陷點較離散，從而查全率TPR下降。通常希望算法盡可能多地檢測到真正的缺陷點，同時盡可能少地將原本像素點誤判成缺陷點，即希望算法具有高查全率TPR和低誤識別率FPR，結果表明本文算法滿足這兩點要求。

3.3實驗結果評價

為了定量分析本文算法在復雜場景變化下的檢測和修復效果，以及驗證灰度閾值對場景變化是否具有適應能力，針對DAVIS視頻數據集中四個不同的場景，模擬產生了數量占單幀像素總數的1%左右的缺陷點，如圖9所示。采用灰度閾值Tg從20～27對以下四個場景分別進行檢測修復，最終檢測結果如圖10所示。結果表明，不同場景下灰度閾值Tg在8～20內均有較高查全率TPR和低誤識別率FPR，灰度閾值Tg對場景變化的適應能力強，在8～20的閾值范圍內查全率均在0.8以上。

再分別使用ROD法、MRF法在各自的閾值范圍內對以上場景進行缺陷檢測，三種方法的四個場景的平均TPR-FPR關系曲線（ROC曲線）如圖11所示，缺陷檢測可視為將像素點分成兩類（缺陷和非缺陷），分類效果可用ROC（receiver operating characteristic curve）曲線表示，曲線越靠左上分類效果越好。結果表明，對比ROD法和MRF法，本文算法在0.001的誤識別率區間查全率更高。

除以上基于傳統運動補償的兩種方法外，將本文算法檢測結果取平均值，與其他不同的算法進行綜合比較。其中，Ren與HAFID-STC分別是Ren等人 ［14］和Wang等人 ［19］提出的基于空間濾波算法和隱馬爾可夫模型，CNN是Yous等人［9］提出的基于循環神經網絡的檢測模型。四種算法在各自實驗數據下的綜合檢測結果如表1所示，Ren誤識別率最高，HAFID-STC表現較為穩健，CNN模型在誤識別率為0.003時查全率能夠達到0.92，高于其他方法，但是誤識別率大于本文算法和HAFID-STC。本文算法在誤識別率為0.001的區間內查全率大于0.85，同時兼顧了高查全率和低誤識別率。

圖像或視頻修復的評價指標通常是峰值信噪比（PSNR）、結構相似性（SSIM）等，新的評價方法有Zhang等人［28］提出的圖像視覺相似性評價指標LPIPS，該指標以圖像深度特征作為感知度量，基于學習的感知相似度度量更符合人類的感知。兩種評價算法的數值正好相反，SSIM的數值量化為-1～+1，數值越接近+1表明兩張圖像越相似，LPIPS則是數值越接近0兩張圖像越相似。四個場景修復結果如表2所示，不同場景修復后的SSIM均大于0.992，LPIPS均小于0.036，表明視頻幀修復后與原始圖像非常相似。

修復實驗中的缺陷包括真實受損以及模擬合成的各類斑點和劃痕，形狀大小各異且均是隨機出現。修復對象涉及真實影像，膠片采集的視頻幀和常見視頻數據集，場景多樣復雜。由于光流法修復的本質是將運動著的像素點復制到它被缺陷遮擋的位置，所以修復的效果主要取決于光流的準確度，不受場景變化的影響。從實驗結果看出，修復模型對缺陷種類和場景有很好的泛化能力。

4結束語

為了去除視頻中的缺陷，本文充分考慮到插值或濾波的修復方法會對缺陷區域造成模糊，而基于運動補償在幀間遍歷搜索修補塊的方法存在效率低的問題，提出了一種利用光流法設計視頻缺陷檢測及修復的方法。通過比較幀間對應點灰度差異，檢測到視頻中處于運動區域的缺陷位置，降低了錯檢率，同時，采用迭代修復缺陷區域和更新光流場的方式，逐步豐富了修復區域的紋理細節，充分利用了視頻連續幀的信息冗余特性。實驗表明，所提方法對老舊視頻或者公共數據集中的各類缺陷均有較好的修復效果和檢測水平。

本文算法的效果依賴于光流場的準確度，而現有光流算法在視頻中的大跨度運動、像素自然消失等區域可能準確度不足，因此針對這類場景，通過改進和提升光流法的準確度，將有利于進一步提高修復效果，是今后一個重要的研究問題。

參考文獻：

［1］

Kokaram A C，Morris R D，Fitzgerald W J，et al.Detection of missing data in image sequences［J］.IEEE Trans on Image Processing，1995，4（11）：1496-1508.

［2］Nadenau M J，Mitra S K.Blotch and scratch detection in image sequences based on rank ordered differences ［M］//Cappellini V.Time-varying image processing and moving object recognition.New York：Elsevier，1997：27-35.

［3］Biemond J，Van Roosmalen P M B，Lagendijk R L.Improved blotch detection by post processing［C］//Proc of IEEE International Confe-rence on Acoustics，Speech，and Signal Processing.Piscataway，NJ：IEEE Press，1999：3101-3104.

［4］Ren Jinchang，Vlachos T.Dirt detection for archive film restoration using an adaptive spatio-temporal approach［C］//Proc of the 2nd IEEE European Conference on Visual Media Production.Piscataway，NJ：IEEE Press，2005：221-230.

［5］Aydin Y，Dizdarogˇlu B.Blotch detection in archive films based on vi-sual saliency map ［J］.Complexity，2020，2020：1-17.

［6］Müller S，Bühler J，Weitbruch S，et al.Scratch detection supported by coherency analysis of motion vector fields［C］//Proc of the 16th IEEE International Conference on Image Processing.Piscataway，NJ：IEEE Press，2009：89-92

［7］Buades A，Delon J，Gousseau Y，et al.Adaptive blotches detection for film restoration［C］//Proc of IEEE International Conference on Image Processing.Piscataway，NJ：IEEE Press，2010：3317-3320.

［8］Xu Zhengya，Wu Hongren，Yu Xinghuo，et al.Features based spatial and temporal blotch detection for archive video restoration ［J］.Journal of Signal Processing Systems，2015，81（2）：213-226.

［9］Yous H，Serir A，Yous S.CNN-based method for blotches and scratches detection in archived videos ［J］.Journal of Visual Communication Image Representation，2019，59：486-500.

［10］Renaudeau A，Seng T，Carlier A，et al.Learning defects in old movies from manually assisted restoration［C］//Proc of the 25th International Conference on Pattern Recognition.Piscataway，NJ：IEEE Press，2021：5254-5261.

［11］Ronneberger O，Fischer P，Brox T.U-Net：convolutional networks for biomedical image segmentation［C］//Proc of International Conference on Medical Image Computing and Computer-Assisted Intervention.Berlin：Springer，2015：234-241.

［12］Barnes C，Shechtman E，Finkelstein A，et al.Patchmatch：a rando-mized correspondence algorithm for structural image editing ［J］.ACM Trans on Graphics，2009，28（3）：24.

［13］Newson A，Almansa A，Fradet M，et al.Video inpainting of complex scenes ［J］.SIAM Journal on Imaging Sciences，2014，7（4）：1993-2019.

［14］Ren Jinchang，Vlachos T.Detection and recovery of film dirt for archive restoration applications［C］//Proc of IEEE International Confe-rence on Image Processing.Piscataway，NJ：IEEE Press，2007：21-24.

［15］Bruni V，Ferrara P，Vitulano D.Color scratches removal using human perception［C］//Proc of International Conference Image Analysis and Recognition.Berlin：Springer，2008：33-42.

［16］Gullu M K，Urhan O，Erturk S.Blotch detection and removal for archive film restoration ［J］.AEU-International Journal of Electro-nics Communications，2008，62（7）：534-543.

［17］Zhang Hongying，Wu Yadong，Kuang Zhonglin.An efficient scratches detection and in painting algorithm for old film restoration［C］//Proc of International Conference on Information Technology and Computer Science.Piscataway，NJ：IEEE Press，2009：75-78.

［18］Chishima K，Arakawa K.A method of scratch removal from old movie film using variant window by Hough transform［C］//Proc of the 9th International Symposium on Communications and Information Techno-logy.Piscataway，NJ：IEEE Press，2009：1559-1563.

［19］Wang Xiaosong，Mirmehdi M.Archive film defect detection and removal：an automatic restoration framework ［J］.IEEE Trans on Image Processing，2012，21（8）：3757-3769.

［20］Li Houqiang，Lu Zhenbo，Wang Zhangyang，et al.Detection of blotch and scratch in video based on video decomposition ［J］.IEEE Trans on Circuits and Systems for Video Technology，2013，23（11）：1887-1900.

［21］Huang Jiabin，Kang Singbing，Ahuja N，et al.Temporally coherent completion of dynamic video ［J］.ACM Trans on Graphics，2016，35（6）：1-11.

［22］Bokov A，Vatolin D.100+times faster video completion by optical-flow-guided variational refinement［C］//Proc of the 25th IEEE International Conference on Image Processing.Piscataway，NJ：IEEE Press，2018：2122-2126.

［23］Okabe M，Noda K，Dobashi Y，et al.Interactive video completion［J］.IEEE Computer Graphics and Applications，2020，40（1）：127-139.

［24］于冰，丁友東，謝志峰，等.基于時空生成對抗網絡的視頻修復 ［J］.計算機輔助設計與圖形學學報，2020，32（5）：769-779.（Yu Bing，Ding Youdong，Xie Zhifeng，et al.Temporal-spatial generative adversarial networks for video inpainting ［J］.Journal of Computer-Aided Design amp; Computer Graphics，2020，32（5）：769-779.）

［25］Goodfellow I，Pouget-Abadie J，Mirza M，et al.Generative adversarial nets ［J］.Advances in Neural Information Processing Systems，2014，27：2672-2680.

［26］劉浪，李梁，但遠宏.用于視頻修復的連貫語義時空注意力網絡 ［J］.計算機科學，2021，48（10）：239-245.（Liu Lang，Li Liang，Dan Yuanhong.Coherent semantic spatial-temporal attention network for video inpainting ［J］.Computer Science，2021，48（10）：239-245.）

［27］李德財，嚴群，姚劍敏，等.基于殘差卷積注意力網絡的視頻修復 ［J］.液晶與顯示，2022，37（1）：86-96.（Li Decai，Yan Qun，Yao Jianmin，et al.Video inpainting based on residual convolution attention network ［J］.Chinese Journal of Liquid Crystals and Displays，2022，37（1）：86-96.）

［28］Zhang R，Isola P，Efros A A，et al.The unreasonable effectiveness of deep features as a perceptual metric［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：586-595.

收稿日期：2022-04-25；修回日期：2022-06-13

作者簡介：黃福杰（1997-），男（布依族），貴州黔西南州人，碩士研究生，主要研究方向為數字圖像/視頻處理；羅斌（1968-），男（通信作者），湖北孝感人，教授，博導，博士，主要研究方向為信息與通信工程（bluo@swjtu.edu.cn）．