運動模糊圖像交互式恢復研究

吳垠，黃新，陳鵬

（1.成都市委辦公廳，成都610041；2.中國人民解放軍32620 部隊，成都610041；3.西華大學計算機與軟件工程學院，成都610039）

0 引言

隨著各種電腦、移動終端的普及以及互聯網的不斷發展，圖像處理技術目前已獲得了廣泛應用，在光學、航空航天、攝影攝像、監控、遙感探測、公共安全等領域發揮著巨大作用，其中，對圖像模糊進行恢復處理是非常重要的一個分支，同時也是一大技術難點。

本課題從數字圖像處理角度，嘗試采取人機交互的方式恢復運動模糊圖像。在日常生活中圖像運動模糊較為常見，由于人們通常使用的是較為普通的成像設備，曝光時間較長，因此運動速度較快的目標物體就會在成像時產生運動模糊。在一些緊急情況下，例如對肇事逃逸車輛的抓拍，由于車輛速度太快而不能清楚顯示車牌號，對模糊圖像的恢復就顯得非常重要。另外在軍事領域、微觀領域、運動模糊現象也十分普遍，導致某些細節信息無法準確獲取，因此研究圖像運動模糊恢復具有很大的理論價值和現實意義。圖1 展示了在實際生活中獲取的運動模糊圖像實例。從圖中可以看出，運動模糊圖像又分為了幾種情況，大致包括全局模糊、局部模糊和綜合模糊，其中綜合模糊可能是由圖像多次運動模糊的疊加或者圖像中多個目標物體的不同運動造成的不同模糊引起。但不論圖像運動模糊屬于哪種情況，目前的研究和技術對其進行恢復大致流程及方法依然是相似的。

圖1 運動模糊圖像實例

對圖像因運動產生的模糊進行恢復，關鍵是要推導出造成模糊的PSF 函數（點擴散函數）。根據產生模糊的原因建立圖像退化模型以后，通過采用一定算法求取PSF 函數中的相關參數（對于勻速直線運動模糊，參數包括模糊角度和模糊長度），從而推導出圖像退化函數。如果能獲得較為準確的退化函數，之后采用一些經典濾波算法就能較好的實現圖像模糊恢復。因此退化模型的建立以及求取參數的準確性對圖像恢復的效果至關重要。但是目前的算法大多是針對單一的運動模糊圖像進行處理，在較復雜的運動模糊環境例如圖像中多塊區域產生不同運動模糊，難以建立準確的退化模型或者對模糊參數的求取存在較大誤差，因此從這個角度出發，本文研究的主要問題是采用何種人機交互的方式便于利用現有算法求取最優模糊圖像恢復效果。

1 相關研究

運動引起的模糊在模糊圖像中占有很大比例。運動模糊會使得目標物體邊緣像素與背景圖像像素產生疊加，細節信息也不再清晰，給人對圖像的辨識及處理帶來很大困擾。因此，世界各國投入了大量資源對其進行研究。

目前針對運動產生的模糊圖像恢復技術可大致分為硬件和軟件方式兩類。

（1）硬件方式

這種方式是依靠提升成像設備的精度和數量，從而抑制或判斷圖像產生的模糊程度。例如吳家谷[1]提出了一種采用兩臺成像設備估算圖像模糊程度的方法，依靠一套同步控制系統對兩臺成像設備進行控制，一臺拍攝產生運動模糊的圖像，另一臺估算圖像模糊角度和模糊長度。但這種恢復方法成本過高，且操作困難，難以普及。依據這個相同原理，另外提出了一種分別采用長曝光和短曝光生成兩幅圖像的恢復方法[2]，但這種恢復方法在在實際操作中很難實現。

（2）軟件方式

這種方式不依賴于提升硬件質量，而是通過處理運算實現對模糊圖像的恢復。軟件方式主要又可以分為兩類：

①估算運動模糊參數

能夠分析模糊圖像特征信息并估算出其模糊參數值，通過模糊參數值計算出模糊圖像的點擴散函數PSF，然后采用逆濾波、維納濾波等經典濾波算法對圖像進行恢復得到恢復圖像。

②估算運動模糊核大小

這類方法采用盲復原算法，無需估算模糊角度和模糊長度參數值，而是根據一定的先驗知識，通過估算出圖像運動點擴散函數PSF 大小，迭代運算尋求概率統計中的最優解，得到恢復圖像。這種算法適用于點擴散函數PSF 參數值未知，但計算量很大。

本文采用通過估算運動模糊參數進而求取恢復圖像。目前已有多種算法用于辨識模糊圖像模糊參數。比倒頻譜法[3]，Cannon 從運動模糊圖像的頻譜角度出發，證明了根據頻譜特征鑒別模糊圖像模糊參數的可行性。但在圖像有噪聲干擾的情況下其恢復效果不好。Kopeika 等人[4]通過對模糊圖像頻譜圖進行研究，發現了運動模糊與頻譜圖產生的明暗條紋之間的關系。這種方法受噪聲影響較低，但運算量較大。對于由勻速直線運動造成的圖像模糊，在頻譜上會出現多條平行分布的暗條紋，許多基于頻譜的模糊參數辨識算法由此產生。

模糊函數參數在運動產生模糊時包括模糊角度和模糊長度兩個參數。估算模糊角度參數值，基于空域的方法，是根據運動模糊使得在運動方向上的高頻分量有所降低這個原理。陳前榮、陸啟生、成禮智等人[5-7]直接在空域估計運動模糊角度，提出了基于3×3 方向微分和加權平均的運動模糊角度鑒別方法。但該方法只適用于紋理復雜和運動尺度較大的圖像。基于頻域的方法，徐立云、李霄峰等人[8-9]采用對模糊圖像頻譜圖進行霍夫變換，使得頻譜圖中的明暗條紋及方向可以檢測。但這種估算方法存在很大的估算誤差，圖像恢復效果較差。Masatoshi Okutomi 等人[10]采用一種相關系數法、Mahini 等人[11]采用Radon 變換，對模糊圖像頻譜圖進行檢測，進而估算模糊角度和模糊長度參數值。但同樣這些方法在對模糊參數值的中存在誤差，特別是對模糊長度值的估算是在估算出模糊角度值的基礎上進行的，會進一步放大估計誤差，對圖像恢復質量帶來較大影響。需要注意的是當所處理的圖片為正方形時或運動方向為平行或垂直于水平軸時暗條紋方向才與運動模糊方向垂直，圖片大小與參數值之間的關系公式將在第三章進行介紹[12]。

對于運動模糊長度參數的辨識，在頻域主要采用通過檢測模糊圖像頻譜中暗條紋之間的距離來進行推導[13]。賀衛國提出了一種對勻速直線運動模糊長度的精確估計方法[14]。另外辨識模糊長度比較常用的基于時域的微分相關法，通過估算出的模糊角度參數值調整圖像使其與坐標軸水平方向平行，經過一階微分運算后通過對自相關圖負相關峰間距檢測得出參數值。這種方式存在一定誤差，但能夠得到模糊長度值的大致范圍。

在對運動模糊圖像進行恢復的算法方面，逆濾波法[15]直接依據運動模糊退化模型進行反卷積運算，未考慮噪聲因素。這種方式對無噪聲模糊圖像的恢復效果最好，但是對噪聲非常敏感。為加強對噪聲影響的抑制，由此產生了維納濾波算法。Helstrom 在逆濾波算法模型中引入了噪聲因子，從而抑制了噪聲在逆濾波算法中的放大效應。但是維納濾波算法中引入的噪聲因子是個人為設定的常數值，并不是準確的噪聲參數值，因此恢復圖像未必是理論值。但是綜合比較目前其他各種經典濾波算法，維納濾波法依然適用性較強。

在人機交互技術方面，需要從以人為本的角度考慮如何便于將電腦處理信息有效傳達給人，而人又如何能通過便利直觀的方式將自己的反饋信息輸入電腦，達到良好的人機互動目的。在交互方法上，宋發君[16]、周莉莉[17]等人立足于美學原則，通過設立一系列的標準和原則，提出了一系列如何通過提升界面美感來提高人機交互效率的方法和策略。在交互技術上，早期的人機交互方式主要是通過鼠標、鍵盤等，而隨著技術的不斷發展，目前已可通過觸摸屏、手勢、語音等多種方式進行交互。董建民、傅利民等人[18]從筆式、多通道、智能和三維交互等方式從用戶界面角度對目前的交互接口技術進行了詳細闡述。韋燕[19]從越來越普及的手機應用角度對人機交互在手機終端的設計及應用進行了分析闡述。隨著技術的不斷發展，越來越多的技術手段和產品引入到社會生活中，人機交互的方式方法也在日新月異的不斷變化中。

2 運動模糊圖像恢復方法的實驗分析

2.1 運動模糊圖像恢復方法的分析與比較

運動模糊可視為圖像的一種卷積退化，圖像恢復也可視為對模糊圖像的去卷積過程。目前恢復運動模糊圖像的方法主要包括兩類：一類是通過模糊圖像頻域特征估算其模糊參數后，對其進行反卷積運算得到恢復圖像。這類方法目前具有代表性的經典算法如逆濾波和維納濾波法。另一類盲卷積算法通過模糊圖像時域特征，依據某些先驗知識估算出模糊圖像模糊核大小，迭代運算尋求概率統計中的最優解，得到恢復圖像。這類方法由于采用了迭代運算，恢復效果與迭代次數有關，運算量大。本文采用第一類方法，通過分析模糊圖像的頻域特征，估算出點擴散函數參數，因此不再使用盲卷積算法。

本文重點對以下三種經典濾波算法進行分析，并通過實驗驗證選取適用于本文設計的系統的恢復方法。

2.2 逆濾波復原

逆濾波算法很簡單，是對模糊函數的反卷積運算。在沒有噪聲的情況下，采用準確的模糊函數進行逆濾波，其圖像恢復效果也是所有算法中最好的。無噪聲圖像退化及恢復模型如圖2 所示，原圖像F（u，v）與模糊函數H（u，v）卷積形成模糊圖像G（u，v），對G（u，v）進行函數H-1（u，v）的反卷積得到恢復圖像。

圖2 無噪聲圖像退化及逆濾波處理模型

圖3 有噪聲圖像退化及逆濾波處理模型

當引入了噪聲函數N（u，v），此時運動模糊圖像公式變為：

其中f（x，y）是原始圖像，h（x，y）是圖像模糊點擴散函數，其值由角度和長度兩個參數確定，n（x，y）是系統噪聲，g（x，y）是在噪聲和運動模糊綜合影響下生成的模糊圖像。逆濾波算法的過程就是在已知g（x，y）、h（x，y）、n（x，y）的情況下求f（x，y）的過程。對公式（1）做傅立葉變換，得：

通過公式（2）可得到：

對F（u，v）進行傅立葉反變換，就得到了復原圖像f（x，y）。在沒有噪聲的情況下，公式（3）就變為：

從公式（4）可以看出，逆濾波算法只需要進行一次反卷積運算便能得出恢復圖像，運算速度較快，對無噪聲影響的模糊圖像恢復效果也很好。但在實際生活中產生的運動模糊圖像往往存在一定程度的噪聲干擾，一般情況下噪聲往往是個常數值，因此公式（3）表明隨著運動模糊圖像點擴散函數的衰減（存在0 點），噪聲影響將不斷放大，丟失大量圖像有效信息，使圖像恢復質量變差。所以逆濾波算法不適合處理信噪比比較低的模糊圖像以及運動模糊圖像。

2.3 維納濾波復原

在對模糊圖像進行反卷積的過程中加入了對噪聲的處理，維納濾波算法是一種改進的有約束的恢復方法，通過計算模糊圖像與恢復圖像的均方差，其最小值即為求取恢復圖像。可用公式（5）表示：

維納濾波法通過線性濾波來對模糊圖像進行恢

復，尋求適當的濾波函數H（wx，y），得f(x,y)=Hw(x,y)*g(x,y)滿足模糊圖像與恢復圖像最小均方差條件。

經過推導得出[8]，滿足公式（5）的濾波函數為：

2.4 Richardson-Lucy濾波復原

Richardson-Lucy 是一種非線性迭代方法，它是由最大似然公式推導出來的。其迭代公式為：

公式（7）表示經過K 次迭代計算后，得到了恢復圖像的估計值fk+1。一般情況下，K 值取得越大，恢復圖像fk+1效果越接近于最優。但是迭代會進行大量運算，耗時很大，而且恢復圖像的效果根據K 值的不同也會受到影響，因此在實際應用中R-L 濾波算法會受到一些局限。

2.5 三種恢復方法效果測試

（1）在無噪聲影響情況下的測試

在MATLAB 實驗仿真中，在沒有噪聲干擾的情況下，采用實際的PSF 來對運動模糊圖像進行恢復。選取圖片“考拉”，對選取圖像以點擴散函數PSF 模糊角度30 度，模糊長度20 的參數值生成模糊圖像，分別通過上一小節介紹的三種算法對模糊圖像進行濾波恢復，得到恢復圖像，效果如圖4 所示。

圖4 無噪聲三種恢復算法效果比較

可以看出，在無噪聲情況下逆濾波恢復算法和維納濾波恢復算法對模糊圖像的恢復效果較好，而且經過實驗測試表明這兩種方法運算時間較短。而采用RL 算法對模糊圖像進行恢復耗費的運算時間最長，系統開銷最大，因此在需要批量對模糊圖像進行恢復時要盡量避免使用RL 算法。

（2）在有噪聲影響情況下的測試

在實際應用中我們所處理的圖像通常都是含有噪聲的。下面是對三種恢復算法進行的加噪運動模糊圖像恢復實驗。對選取圖像采用點擴散函數PSF 模糊角度30 度，模糊長度20 的參數值，添加高斯噪聲，均值為0，方差為0.0001 生產模糊圖像。分別通過三種算法對模糊圖像進行濾波恢復，得到恢復圖像，效果如圖5 所示。

圖5 有噪聲三種恢復方法效果比較

3 交互式圖像運動模糊恢復系統的設計與實現

3.1 目標提取模塊

目標提取模塊主要解決識別局部模糊圖像模糊區域的問題。其過程是將不透明的目標圖像從背景圖像中提取出來，對截取圖像通過復原恢復后，再與背景圖像進行合并，生成最終恢復圖像，如圖6 所示。

圖6 目標提取及合并示例

圖6 A 中的飛鳥在飛行過程中產生了運動模糊，細節信息已不能清晰辨識。首先對目標區域進行提取，得到局部模糊區域圖B，并將局部模糊區域位置信息輸入到“圖像恢復模塊”，“圖像恢復模塊”對圖B 進行恢復后通過人工選擇得到恢復圖像圖C，此時可以看出飛鳥的模糊細節已得到較為清晰的復原，最后再利用該恢復圖像的位置信息與圖A 進行合并，得到最終恢復圖像。

3.2 圖像恢復模塊

局部模糊圖像經過“目標提取模塊”對局部模糊區域進行提取后，得到大小為（x2-x1+100）×（n2-n1+100）的模糊圖像，此時就需要按照第二章介紹的勻速直線運動模糊的參數估計算法對模糊圖像進行恢復。模塊運行過程主要有五個步驟：

（1）估算出模糊角度并給出暗條紋角度參考圖。（2）通過估算出的模糊角度檢測模糊長度并給出模糊長度參考圖。

（3）通過估算出的角度和長度兩個參數，采用維納濾波算法對模糊圖像進行恢復。對于算法估計存在的誤差，采取對已估算出的模糊圖像模糊參數進行微調整的方式，如果無法對參數進行估算，則采用對模糊角度和模糊長度參數進行全組合方式，用不同參數對圖像進行恢復，得到多幅恢復圖像。

（4）根據恢復圖像出現的振鈴效應程度，決定是否采取手段對振鈴效應進行消除。

（5）通過“人工反饋模塊”進行交互，盡可能選擇得到最好恢復效果的圖像。

上述流程中提到的“模糊角度參考圖”和“模糊長度參考圖”的作用是為人機交互時提供參考，在對恢復圖像進行選擇時可根據參考值快速定位。如圖7 A 所示，暗條紋與垂直方向的傾斜角度代表模糊角度30度。如圖7 B 所示，兩個共軛負相關峰之間的距離的2倍代表模糊長度。

圖7 人工交互參考圖

3.3 人工反饋模塊

“人工反饋模塊”需解決通過人機交互方式對若干圖像恢復結果進行識別，通過粗選和精選兩個階段分別選擇出較好恢復圖像和最佳恢復圖像，并將較好恢復圖像對應的模糊參數反饋給“圖像恢復模塊”。

通過系統“目標提取模塊”和“圖像恢復模塊”的處理，已產生如下基礎數據：

（1）恢復圖像文件：假設對模糊圖像已在模糊角度（1-180）和長度（10-50）分別以遞進1 通過循環運算形成并存儲了恢復圖像180×40 幅，那么對這些恢復圖像的命名方式采用5 位數字，前三位代表角度，后兩位代表長度。例如：采用模糊角度3 度，長度15 的參數，對應生成的恢復圖像則命名為00315。

恢復圖像文件存儲如下：

（2）模糊角度參考圖：如果“圖像恢復模塊”已估算出模糊角度參數，則可以給出其參考圖。見圖7 A。

（3）模糊長度參考圖：如果“圖像恢復模塊”已估算出模糊長度參數，則可以給出其參考圖。見圖7 B。

4 結果與分析

4.1 交互方法1測試：一次性選取

選取清晰圖像“車牌”如圖8 A，采用模糊角度34度、模糊長度27 的模糊參數進行人工模糊，生成模糊圖像如圖8 B。

圖8 清晰圖像與人工模糊圖像

表1 交互方法1 測試結果統計表

4.2 交互方法2測試：粗選后精選

選取與“交互方法1”同樣的圖像，采用相同模糊參數進行人工模糊，生成模糊圖像。

“圖像恢復模塊”在模糊角度1-180、模糊長度1-55 的范圍內以漸進10 生成較好恢復文件并輸入到“人工反饋模塊”。10 位測試者分別通過對恢復圖像進行粗選，得到粗選圖像模糊參數，“圖像恢復模塊”以此粗選模糊參數生成最佳恢復文件并輸入到“人工反饋模塊”。10 位測試者分別通過精選后得到一組共十幅恢復圖像，通過對這十幅圖像進行交替打分后，得到分數及參數值統計如表2 所示。

表2 交互方法2 測試結果統計表

4.3 交互方法3測試：算法實現后精選

選取與“交互方法1”同樣的圖像，采用相同模糊參數進行人工模糊，生成模糊圖像。

“圖像恢復模塊”通過算法估算后得到模糊角度及模糊長度參數值，并以此參數值生成最佳恢復圖像并輸入到“人工反饋模塊”。10 位測試者分別通過精選后得到一組共十幅恢復圖像，通過對這十幅圖像進行交替打分后，得到分數及參數值統計如表3 所示。

表3 交互方法3 測試結果統計表

三種交互方式測試平均統計結果如表4 所示。

表4 三種交互方法測試平均結果統計表

從表4 的統計結果可以看出：

（1）采用交互方式，提高了模糊圖像的恢復質量。

（2）在交互過程中，采用粗選->精選的步驟，與一次性選取相比減少了處理圖像的數量，進一步提高了模糊參數的估計精度。

（3）將算法估計與交互方式相結合，不僅提高了模糊參數的估計精度，而且需要處理的圖像數量以及人工交互用時最少。

5 結語

本文通過對圖像模糊的成因進行分類，首先掌握其退化模型及退化函數，理解圖像運動模糊的特性；其次是完成了三種經典濾波算法對運動模糊圖像的恢復測試，掌握了其理論基礎及不同條件下的應用情況，根據實驗結果選擇采用維納濾波算法作為本文對運動模糊的恢復算法，并給出三種圖像質量評價方式作為參考；然后重點針對勻速直線運動產生的圖像模糊進行理論推導，研究了如何估算模糊長度和模糊角度兩個參數，對振鈴效應進行分析并提出了解決方案；最后結合實際應用詳細介紹了“交互式圖像運動模糊系統”的設計與實現，并對實際效果進行了測試。

設計實驗完成了逆濾波算法、維納濾波算法及RL算法的實現及比較。通過考察三種算法在不同限制條件下對勻速直線運動模糊圖像的恢復效果，綜合算法復雜度等因素總結出維納濾波算法在對實際運動模糊圖像的恢復中具有更強的適應性。介紹了兩種圖像質量客觀評價方式，對主觀評價方式進行了分析和設計。