基于BSCB模型改進的馬賽克修復研究

文丨王麗萍

（浙江傳媒學院，杭州 310018）

視頻馬賽克現象的出現會直接影響對于視頻內容的理解和分析。為了恢復視頻幀信息的“合理”和“完整”性以便觀察者識別和理解，需要對這些受損的視頻幀進行填充修復。目前，基于偏微分方程的修復模型和基于紋理合成的修復模型，各自取得了一定發展。前者對裂縫、污點、劃痕、文字覆蓋等小尺度破損區域的修復取得了良好的效果，后者適用于修復大尺度的破損區域，但在結構信息方面具有弱勢，容易造成人工邊界。綜合兩者的優缺點，本文采用基于偏微分方程與紋理合成的修復模型。

1 設計思路

通過了解視頻基本結構，提取含有馬賽克缺陷的視頻幀，以人工標識的方式對視頻的馬賽克缺陷區域進行定位，再根據當前幀受損區域與其外邊界的區域自相似性來完成馬賽克消除后的空白塊。用像素亮度梯度表示亮度變化方向，二次微分表示像素變化的速率，通過解基于馬賽克附近區域像素的偏微分方程，獲取修復最大適應概率，再通過紋理合成技術填補馬賽克消除后所殘留的空白塊。為了提高處理速度和修復質量，可以通過降維并迭代求精等方式來優化處理空間，從而減少解搜索范圍。在對每一馬賽克缺陷視頻幀完成修復后，再合成為視頻序列，從而實現對視頻馬賽克缺陷的修復。

總體設計流程如圖1所示。

圖1 總體設計流程圖

2 本文算法的改進

自然圖像一般都具有多種紋理區域，修補目標塊應與圖像中某種紋理區域相似而與其它紋理區域差距較大，而基于BSCB模型的算法不對圖像紋理信息進行區分，一視同仁地采用全搜索策略在全局范圍內“盲目”搜索并進行修補，運算速度較慢，不僅有可能導致錯誤的匹配塊的出現繼而產生惡性繁衍而且會影響算法的整體性能。因而，本文從以下幾個方面對算法進行了改進。

2.1 二階導數

二階導數表示待修復邊界梯度值的變化量，如果變化量較小時，說明該像素與領近像素的相關性較大，宏觀統計來說，即待修復區域與領域差異性很小，所以采用待修復區域鄰近的紋理信息進行替代填充，以縮小匹配塊的游走范圍，避免窮盡搜索，從而達到減少搜索范圍的目的，提高了匹配搜索效率。

匹配塊的變化速度計算流程：計算窗口塊中各像素一階導數，獲得匹配塊各像素的變化情況；并根據各像素權重統計獲得匹配塊變化值；對各匹配窗的變化值求導，獲得各匹配塊的變化速度。

2.2 置信度

置信度反映了待修復塊中正確接收像素所占的百分比，比值越高表示該待修復塊中已知像素越多。利用紋理的相關性原理，待修復塊的置信度越高，說明它與附近區域的紋理相關性越強，因而可減少匹配窗的游走范圍來提高匹配搜索效率。對匹配窗的游走處理流程如圖2所示。

圖2 匹配窗游走處理流程

2.3 匹配窗大小的選擇

匹配窗的尺寸決定了輸出的紋理能否較好的保持輸入紋理的局部紋理特征。如果尺寸過小，則接近于基于像素點的合成，對于紋理的局部統計特性描述較弱；反之，則容易產生視覺上的拼貼效應。因而，本文是通過對度量紋理塊的特征包容性來考察所選的匹配窗的尺寸是否合適。紋理塊的特征包容性是指復制塊所包含的紋理特征與樣本紋理所包含的紋理特征之間的差距。它們之間的差距越小，合成的紋理對樣本的全局特征保持的就越好。其算法的處理流程如圖3所示。

圖3 匹配窗大小選擇處理流程

3 實驗結果分析

本實驗采用MATLAB平臺對BSCB算法和本文算法進行實現，從修復效果和用時兩方面進行比較。

3.1 修復效果比較

在圖4中，(a)為BSCB算法的修復結果，(b)為本文算法的修復結果。仔細觀察和對比，可以發現(a)圖的黑色框內，屋頂和水面上出現了草地，這不符合人們一般的認識，屬于修復錯誤，產生的原因是BSCB算法未進行針對圖像紋理特征的合適匹配窗大小的選擇，引發了一系列錯誤，最終導致不好的修復結果。本文改進算法通過對待修復視頻幀的匹配窗口大小的合理選擇，從而更好地保證了紋理的局部特征，修復結果更加符合人們的視覺期望，提高了算法的性能。

圖4 修復效果比較

圖5 修復時間統計圖

3.2 用時比較

本文改進算法通過對匹配窗二階導數和置信度的計算來對匹配窗的游走范圍進行了處理，避免了在整幀圖像范圍內的全局搜索，從而提高了匹配效率，減少了算法修復時間。圖5為采用BSCB算法和本文算法對相同的馬賽克缺陷視頻幀進行修復所需時間的統計圖（橫坐標為馬賽克缺陷視頻幀，縱坐標為算法修復所需的時間，單位為S）。

4 結語

本文通過對BSCB模型的改進，提出了一種基于PDE與紋理合成的圖像修復模型，實現了以MATLAB作為研究環境的馬賽克修復設計。但也存在不足之處，本文設計的馬賽克視頻修復采用的是半自動的方法，因為在對圖像修復前，需要由用戶給出待修復區域。希望在后續的研究中，能夠改進該算法的性能。

[1] 陳剛等.基于偏微分方程的圖像處理[M].北京：高等教育出版社，2004.

[2] 張紅英，彭啟琮.數字圖像修復技術綜述[A].中國圖象圖形學報，2007.

[3] 朱霞.基于紋理合成的數字圖像和視頻修復研究 [D].南京：中南大學，2008.