基于結構加權低秩近似的泊松圖像去模糊

吳慶波，任文琦，*

（1.中國科學院信息工程研究所 信息安全國家重點實驗室，北京 100193；2.中國科學院大學 網絡空間安全學院，北京 100049）

當今，視頻監控技術在社會治安管理中起著非常重要的作用，尤其是在夜間等人們不常活動的時間段。然而，成像設備固有的點擴散效應往往導致視頻幀（或圖像）中存在不同程度的模糊。同時，夜間有限的光照又不可避免地在圖像中引起泊松噪聲污染。這些因素通常會降低原始圖像的質量，造成圖像結構信息受損，給后續圖像水印和圖像取證等任務［1-3］增加了困難。因此，如何有效地從泊松圖像中去除模糊和抑制噪聲已經成為圖像處理領域的重要研究課題。

為從泊松圖像中去除模糊，現有工作［4-5］把降質圖像的形成過程表示為數學模型：y=（Hx），y、x、H和分別為觀測圖像、清晰圖像、模糊核和泊松噪聲添加算子。因此，泊松圖像去模糊問題歸結為從觀測圖像y中恢復出清晰圖像x，這是一個典型的不適定問題。為克服問題的不適定性，大部分泊松圖像去模糊方法［6-10］建立在變分模型的基礎上，先用正則化理論將不適定問題轉化為適定問題，再借助優化技術恢復清晰圖像。相關工作中的模型可以概括為：minxD（x，y）+R（x），函數D（x，y）和R（x）分別為數據項（Data Term）和正則項（Regularization Term）。數據項D（x，y）用于約束復原圖像的內容與觀測圖像接近，防止恢復結果失真，主要來自泊松概率密度函數［11］：n為模糊圖像中像素的索引，［Hx］n和yn分別為向量Hx和y中的第n個元素。正則項R（x）通常基于某種先驗假設對清晰圖像進行懲罰，以克服逆問題的不適定性，所以在很大程度上依賴于人們對清晰圖像的先驗知識（如平滑和低秩）。

現有泊松圖像去模糊方法［12-16］基于不同的先驗知識引入了多種正則項。Harmany等［13］假設清晰圖像是平滑的，在正則項中使用全變分（Total Variation，TV）［17］抑制泊松噪聲。全變分方法雖然能夠保持物體的主要邊緣，但在非平滑區域表現不佳，往往導致恢復結果中紋理細節的過平滑。為避免全變分的缺陷，Chen［15］在小波域使用L1-范數約束清晰圖像的小波系數（Wavelet Coefficients），雖然恢復結果中的紋理細節有所改善，但是該方法采用固定的字典，仍然會導致恢復結果中存在模糊細節。為進一步改進去模糊結果的質量，Ma等［14］通過字典學習（Dictionary Learning）［18］的方法從觀測圖像中獲得與圖像內容相適應的基元，并借助學習到的字典從泊松圖像中去除模糊，但是該方法在字典學習階段比較耗時。為克服該問題，Buades等［19］認為清晰圖像具有非局部自相似性，并基于此假設提出了非局部均值（Nonlocal Means，NLM）方法，從輸入圖像中去除高斯噪聲。隨后，研究人員［20-21］基于相似圖像塊的低秩假設使用加權核范數最小化（WNNM）方法［20］去除加性高斯噪聲。但是，這些方法［19-21］僅僅通過滑動（平移）窗口在正視角度下搜索相似圖像塊。然而，實際中獲得的圖像常常含有大量的透視場景［22］。因此，對候選圖像塊進行合適的變換可以在一定程度上避免現有方法在正視角度下搜索相似圖像塊的局限。

為得到更高質量的復原圖像，本文提出了基于結構加權低秩近似的泊松圖像去模糊模型。在該模型中，首先，引入結構變換（Structural Transformation，ST），通過增加候選圖像塊的相似性在透視場景中更好地利用圖像的非局部自相似性。然后，構造新的目標函數，基于相似圖像塊的低秩假設在正則項中使用加權核范數（WNN）［20］對結構變換后的相似圖像塊進行懲罰，從而使模型在去除高斯模糊和泊松噪聲的同時有利于保持物體的結構信息。由于本文模型是具有可分性的非光滑優化問題，提出使用半正定二次分裂（Half-Quadratic Splitting，HQS）方法有效地求解目標函數。相關工作［22-24］在圖像去噪和超分辨任務中也使用了某些結構變換，但是所采用的兩步策略相對簡單。相反，本文方法建立在統一的目標函數上，并借助優化技術進行泊松圖像去模糊。超分辨方法［25］在殘差塊（Residual Block）中嵌入空間特征變換（SFT），以避免SRMD方法［26］在輸入端串聯模糊核和圖像引起的與圖像無關的干擾。SFT只含有縮放和平移2種操作，而本文提出的結構變換組合了4種基本操作，以提供更相似的圖像塊。

1 結構變換

除了傳統的平移操作（滑動窗口）［19-21］，本文引入另外4種基本操作，即旋轉、縮放、剪切和翻折。給定某正方形候選圖像塊P（u，v，r），（u，v）為圖像塊中心點在整個圖像上的坐標，r為圖像塊的半徑。

對于以（u，v）為坐標中心的像素點（i，j）∈P（u，v，r），翻折操作定義為Fp·（i，j）T，i，j∈［-r，r］。Fp有以下5種情況：

式中：Fo表示無翻折操作。

剪切操作定義為

式中：Δi和Δj分別為i-和j-軸上的剪切量。

當Δi=Δj=0時，S（Δi，Δj）為無剪切操作。

旋轉操作定義為

式中：0≤θ＜2π為旋轉角度。特別地，θ=0意味著不進行旋轉操作。

縮放操作定義為數量c＞0。當c＞1和c＜1時，該操作分別放大和縮小圖像塊。當c=1時，該操作保持原始圖像塊的大小和形狀。

一般地，翻折操作只適用于具有對稱性的正方形圖像塊，因此可以最先施加在圖像塊P（u，v，r）中的每個像素上。旋轉操作能夠作用于任何形狀的圖像塊，故而可以最后執行。剪切操作適合放置在前兩類操作的中間。鑒于此，本文通過有序地聯合基本操作引入結構變換。

式中：p∈｛j=0，i=0，i=j，i=-j，o｝。對于參數p=o，Δi=Δj=θ=0和c=1，結構變換使原始圖像塊P（u，v，r）保持不變。為直觀地說明結構變換的作用，對圖1所示的參考圖像塊（r方框），用不同的方法搜索與其不同的相似圖像塊（s1、s2方框）。從圖1（a）、（b）中可以看到，傳統的滑動窗口方法產生的相似圖像塊（含參考圖像塊自身）有較大的秩（rank），而本文結構變換的結果有較小的秩。

圖1 不同方法搜索相似圖像塊結果Fig.1 Results of sim ilar patches that are searched by differentmethods

2 泊松圖像去模糊模型

為在透視場景中有效地去除模糊和抑制泊松噪聲，考慮到相似圖像塊具有低秩性，在正則項R（x）中使用WNN［20］對結構變換后的相似圖像塊進行懲罰。基于此，構造新的目標函數如下：

式中：第一項和第二項分別為數據項和正則項；＜·，· ＞和λ＞0分別為內積運算符和超參數；1為元素都是1的列向量；矩陣含有k列，為圖像塊xn的k個相似圖像塊經結構變換后的列向量，WNN定義為

其中：σm為矩陣的第m個奇異值；wm為權重向量w的第m個元素。

此外，式（5）與相關工作［20］中的目標函數有以下2點區別：①文獻［20］中的任務是去除加性高斯噪聲，所以其目標函數可以建立在圖像塊的基礎上；而本文的任務是去除高斯模糊，故而式（5）只能建立在整幅圖像上。②文獻［20］把相似圖像塊的搜索方式限制為平移操作，而式（5）因含有結構變換而更適用于恢復含透視場景的圖像。

式中：算子εn的作用是從清晰圖像x中提取出與參考圖像塊xn最相似的k個正方形圖像塊；算子的作用與結構變換TS（p，Δi，Δj，θ，c）相同，可以對提取出的k個正方形圖像塊進行變形。

3 優化求解方案

由于式（7）不可微但具有可分性，基于HQS方法提出交替方向最小化（Alternating Direction Minim ization，ADM）方案，用于求解目標函數。

式（7）松弛化為

式中：h和Zn分別為輔助向量和輔助矩陣；α，β＞0為超參數。當α，β→∞時，式（8）收斂到式（7）。更新輔助矩陣Zn。固定式（7）中與Zn相關的項，得到如下子問題：

該問題類似于WNNM 方法［20］中的目標函數，其解可以通過變量替換求得。于是，式（8）有如下閉合解：

式中：（Sw（Σ））m，m=max（σ′m-wm，0），σ′m為矩陣Σ主對角線上的第m個元素，權重向量w中的第m個元素定義為wm=/（σ′m+10-16）；［U，Σ，SVD為奇異值分解（Singular Value Decomposition）。

式（10）為抑制泊松噪聲的操作，即從較大（小）的奇異值σ′m中減去較小（大）的權重wm。需要指出的是，式（9）中第一項使用F-范數是合理的，因為圖像塊中的泊松噪聲在局部區域可近似為高斯分布［27-28］。

更新輔助向量h。固定與h有關的項，式（8）可以簡化為

通過求導可獲得問題（11）的閉合解：

更新清晰圖像x。固定式（8）中與x有關的項，得到如下子問題：

式（14）通過對去模糊圖像HTh和無噪聲圖像塊拼成的圖像進行加權平均而恢復出清晰圖像x。

綜上所述，本文提出的基于結構加權低秩近似的泊松圖像去模糊方法步驟如圖2所示。

圖2 基于結構加權低秩近似泊松圖像去模糊方法流程Fig.2 Flowchart of structural weighted low-rank approximation method for Poisson image deblurring

步驟1輸入含有泊松噪聲的模糊圖像y和模糊核H。

步驟2把清晰圖像x初始化為輸入圖像y，置α=1.5，β=2。

步驟3對x中每一個圖像塊，搜索并存儲k個最相似的圖像塊。

步驟4通過計算式（10）更新輔助矩陣Zn。

步驟5通過計算式（12）更新輔助向量h。

步驟6通過計算式（14）更新清晰圖像x。

步驟7如果x的更新率（t為迭代次數）大于閾值10-5，轉到步驟8。否則，輸出清晰圖像x。

步驟8如果t≤maxIter，把α和β乘以2后轉到步驟3。否則，輸出清晰圖像x。

4 實驗結果與分析

4.1 實驗條件

由于本文主要考慮透視場景中的非局部自相似性，故在量化評估實驗中選取如圖3所示的20幅圖像作為測試圖像。其中，前兩行的10幅自然圖像［28］含有三維真實場景的透視結構，后兩行的10幅生物醫學圖像中不僅存在一定程度的透視結構，還含有細微的邊緣信息和紋理細節（http：//cellimagelibrary.org/）。

圖3 量化評估中的20張測試圖像Fig.3 Twenty test images for quantitative evaluation

為驗證本文方法在泊松圖像去模糊中的有效性，選用當前最新的方法［6-9］作為比較對象，也比較了本文方法不含結構變換時的情形。PURELET［8］采用一種端到端的線性框架，其反卷積過程為基函數的線性組合，因此該方法相當于求解線性系統。文獻［6-7，9］方法與本文方法類似，也基于迭代方案對泊松圖像去模糊。特別地，Hess［6］和PDS［7］采用了非局部自相似性先驗，但是這些方法僅僅在滑動窗口中搜索與參考圖像塊最相似的k個圖像塊。本文方法不含結構變換時的情形可視為改造后用于泊松圖像去模糊的WNNM方法。此外，由于基于深度網絡的方法需要大量的訓練數據，而這些數據通常較難獲取［29］，目前還沒有發現基于深度學習的泊松圖像去模糊方法。

本文方法中的關鍵參數設置如下：①結構變換TS（p，Δi，Δj，θ，c）中的參數，p∈｛j=0，i=0，o｝，Δi，Δj∈｛-0.2，0，0.2｝，θ∈｛0，π/2，π，3π/2｝，c∈｛0.8，0.9，1，1.1，1.25｝；②對于泊松噪聲峰值63、127、255、511和1 023，迭代次數分別設置為14、14、12、10和8，相應的超參數λ分別為0.024、0.02、0.018、0.014和0.01；③圖像塊的大小和相似圖像塊的個數分別設置為7×7和60。

為評估不同方法的性能，使用客觀評價和主觀評價2種方法比較去模糊結果的質量。在客觀評價時，選用峰值信噪比（PSNR）和結構相似性（SSIM）作為度量指標。一般地，指標的值越大，復原圖像的質量越高。所有實驗都在配置為2.4 GHz Core i7 CPU和32 GB RAM 的機器上完成。

4.2 模型參數討論

本文方法主要包含以下參數：式（4）中的翻折操作類型p、剪切操作在i-和j-軸上的偏移量Δi和Δj、旋轉角度θ、縮放量c及式（5）中的超參數λ。式（4）中參數的量化粗細度對本文方法抑制泊松噪聲的性能有較大影響。如果式（4）中參數的量化越細，那么候選圖像塊的數量越多。相應地，前k個相似圖像塊的相似度越大。對較大的奇異值，權重wm就越小，從而相應向量（表示物體邊緣等主要信息）被越多地保留。對較小的奇異值，相應向量（表示噪聲等次要信息）被越多地約減，所以方法的去噪性能越強。相反，如果式（4）中參數的量化越粗，方法的去噪性能越低。從圖4（a）中的曲線可以看出，PSNR隨著旋轉角度間隔Δθ的減小而增加。當Δθ=π/2時，PSNR接近最大值，并且趨于平穩。據此，旋轉角度的值設置為θ∈｛0，π/2，π，3π/2｝。此外，用該方法確定式（4）中其他參數的量化值。

式（5）中超參數λ的作用是調節正則項的重要性，其值嚴重地影響去模糊結果的質量。如果λ的取值偏小，數據項起主導作用，那么恢復的清晰圖像與輸入圖像y更接近，所以往往含有較多的模糊和噪聲。相反，如果λ的取值偏大，正則項起主要作用，那么復原結果中的邊緣信息通常會被過度平滑。如圖4（b）所示，對不同強度的泊松噪聲，較小和較大的λ值都導致了較低的PSNR。但是平穩的曲線也表明，本文方法對參數λ的取值具有較強的魯棒性。因此，對泊松噪聲峰值63、127、255、511和1 023，超參數λ分別設置為0.024、0.02、0.018、0.014和0.01。

圖4 峰值信噪比隨旋轉角度間隔Δθ和超參數λ變化的曲線Fig.4 Variation of PSNR with rotation intervalΔθand hyper-parameterλ

為驗證本文方法對模糊程度和噪聲水平的魯棒性，選用圖3中的第5幅圖像作為測試圖像。在合成模糊圖像時，參數設置如下：模糊核的尺寸s和標準差σ分別置為（s，σ）=（7，2.5），（9，3）和（11，4），均值都為零，泊松噪聲峰值分別為Pv=1023、511和255。用本文的默認參數從合成圖像中恢復出圖5中的清晰結果。隨著噪聲強度的增加，復原圖像略微變暗，這主要是因為較小的泊松噪聲峰值Pv（模擬實際中較暗的光照條件）增加了圖像去模糊的難度。但是，第三列結果仍然含有比較明顯的邊緣信息。此外，隨著模糊程度的增加，復原物體的紋理邊緣丟失了少量信息，但是在整體上仍然比較銳利。

圖5 本文方法對高斯模糊程度和泊松噪聲水平的魯棒性Fig.5 Robustness of proposed method to levels of Gaussian blur and Poisson noise

4.3 合成圖像上的實驗

1）非盲圖像去模糊。為驗證本文方法恢復透視場景細節的性能，首先考慮高斯模糊核已知的情形，并選用圖6（a）中的生物醫學圖像作為測試圖像。該圖像含有豐富的紋理細節，但細胞表面的細節受細胞球形結構的影響存在一定的形變。圖6（b）中的合成圖像含有泊松噪聲，峰值為511，不同方法的去模糊結果如圖6（c）～（h）所示。通過觀察放大的細節可以發現，圖6（c）中的細胞表面含有明顯的噪聲，主要因為PURE-LET方法［8］中的反卷積過程容易放大圖像噪聲。由于TGV方法［9］中的剪切波字典與圖像內容無關，圖6（d）中細胞表面的一些紋理細節因過平滑而丟失。雖然文獻［6-7］也采用了非局部自相似性先驗，但是圖6（e）、（f）中的細胞都有嚴重的模糊偽影，因為這2種方法在搜索相似圖像塊時僅僅限于正視角度。本文方法如果在結構變換中使用保持原圖像塊的參數設置，也會產生類似的模糊效果，如圖6（g）所示。相反，本文方法在式（4）中使用更多的參數量化時產生了圖6（h）中銳利的紋理信息。表明本文方法在恢復透視場景細節方面優于當前最新的同類方法［6-9］。

圖6 非盲圖像去模糊中不同方法的比較Fig.6 Comparison of differentmethods in non-blind image deblurring

為進一步驗證本文方法的有效性，利用圖3中的20幅圖像進行更多的非盲圖像去模糊實驗，并使用mPSNR和mSSIM作為定量評價指標，表1給出了不同方法在測試圖像上的平均統計結果。考慮到噪聲強度對方法性能的影響，表1也包括了3個典型的泊松噪聲峰值，即63、255和1 023。可以看到，在自然圖像和醫學圖像上，本文方法、Hess［6］、PDS［7］和TGV［9］的mPSNR都高于PURELET［8］。這主要是因為前4種方法都基于正則化理論和迭代優化方案，能夠有效地抑制泊松噪聲；而PURE-LET使用端到端的線性框架，對圖像中的乘性噪聲比較敏感。雖然Hess［6］、PDS［7］和TGV［9］產生了更高的mPSNR，但是增量比較有限。原因主要是：TGV［9］中的剪切波是固定的，不能有效地表示圖像中的紋理細節，而PDS［7］和Hess［6］都只在正視角度下搜索相似圖像塊。相反，對各種強度的泊松噪聲，本文方法在使用結構變換時取得的mPSNR和mSSIM都明顯地高于當前最新的去模糊方法［6-9］。這主要得益于結構變換增加了搜索空間中候選圖像塊的相似性，從而有利于保持圖像內容中的主要信息和約減次要信息。

表1 非盲圖像去模糊中多種泊松噪聲強度下不同方法恢復結果的平均峰值信噪比和結構相似性Tab le 1 M ean PSNR and SSIM of results recovered by d ifferentm ethods on test im ages w ith various intensities of Poisson noise in non-b lind im age deb lur ring

2）盲圖像去模糊。通常情況下，模糊核是未知的，所以在去模糊之前需要對模糊核進行估計。為驗證本文方法對模糊核估計的魯棒性，在合成數據上進行盲圖像去模糊實驗。為此，首先選用圖7（a）所示的模糊核作為真值，圖7（c）中含有對稱結構的自然圖像作為測試圖像。按照4.1節的方法，利用這些數據生成含有峰值為511的泊松噪聲模糊圖像，如圖7（d）所示。使用文獻［30］中的方法從模糊圖像中估計模糊核，如圖7（b）所示。把估計的模糊核輸入到不同的去模糊方法［6，8-9］中，得到圖7（e）～（h）所示的恢復結果。

從圖7（e）可以看出，蝴蝶的左翼含有明顯的噪聲，因為PURE-LET方法［8］中反卷積過程使用了線性維納濾波（W iener Filtering），容易放大乘性泊松噪聲。圖7（f）中的去模糊結果有明顯的過平滑現象，主要原因是TGV方法［9］使用固定的剪切波作為基函數，以致表示細節的能力十分有限。從圖7（g）中可以看出，雖然Hess方法［6］顯著地改善了紋理細節，但是恢復結果中的邊緣信息仍然不夠清晰。相反，本文方法恢復出了圖7（h）中更加銳利的結構信息，所以明顯地優于當前最新的去模糊方法［6，8-9］。需要注意，這些結果的復原都基于圖7（b）中估計的模糊核。因此，實驗結果表明了本文方法在盲圖像去模糊中對估計的模糊核有較強的魯棒。

圖7 盲圖像去模糊中不同方法的比較Fig.7 Comparison of differentmethods in blind image deblurring

4.4 結構變換的有效性

結構變換在本文方法中起著重要的作用。為進一步驗證結構變換的有效性，首先，根據透視程度把圖3中的自然圖像劃分成3組：第1組為輕微透視圖像，包含圖3中第9和第10幅圖像；第2組為中等透視圖像，由圖3中第6～第8幅圖像組成；第3組為明顯透視圖像，包括圖3中的第1～第5幅圖像。然后，按照4.1節的方法合成3組模糊圖像，泊松噪聲峰值均為511。最后，使用包含和不含結構變換的本文方法對3組退化圖像進行非盲去模糊，并計算每組結果的mPSNR。為表明結構變換的作用，進一步計算本文方法對不含結構變換時mPSNR 的增量。如圖8所示，本文方法在輕微透視圖像上取得了較小的mPSNR增量，而在明顯透視圖像上取得了較大的mPSNR增量。表明本文提出的結構變換有利于從透視結構顯著的泊松圖像中去除模糊。

圖8 結構變換的有效性Fig.8 Effectiveness of structural transformation

4.5 真實圖像上的實驗

本文方法在合成圖像上取得了較好的效果，為驗證其在真實圖像上的泛化性能，使用圖9（b）所示的生物醫學圖像（http：//cellimagelibrary.org/）進行更多的實驗。對比方法選用端到端的PURE-LET［8］和基于變分模型的Hess［6］。在實驗中，首先采用文獻［30］中的方法，從真實圖像中估計出模糊核，如圖9（a）所示。然后，把這些估計的模糊核輸入到不同的去模糊方法中，得到最終的清晰圖像。從圖9（c）可以看出，PURE-LET方法［8］能夠有效地去除圖像模糊、增強紋理細節，但也往往導致圖像噪聲放大，因為反卷積過程是一個端到端的線性框架，對噪聲比較敏感。相反，由于Hess方法［6］中的基函數與圖像內容無關，圖9（d）中的紋理細節被過度平滑。從圖9（e）可以觀察到，本文方法成功地去除了高斯模糊和泊松噪聲，同時也保留了銳利的邊緣信息和紋理細節。這主要得益于結構變換提供了更相似的圖像塊，使得式（10）中較大奇異值減去較小的權重，相應向量能保留更多的邊緣信息。

圖9 真實圖像去模糊中不同方法的比較Fig.9 Comparison of differentmethods on real-world image deblurring

5 結 論

針對泊松噪聲圖像去模糊問題，提出了基于結構加權低秩近似的圖像去模糊方法。該方法具有以下優勢：

1）充分考慮了圖像內容的透視結構。引入的結構變換有利于增加搜索空間中相似圖像塊的相似性，從而改進了非局部自相似性在透視場景中的適用性。

2）可用于無訓練樣本或者訓練量樣本量較少的觀測數據，如生物醫學圖像，也可拓展到夜間和背光情形下的高斯模糊圖像。

實驗表明，本文方法明顯優于當前最新的泊松圖像去模糊方法，特別是在透視結構顯著的圖像上。在圖像去模糊過程中，抑制泊松噪聲放大的關鍵是通過從較大（小）的奇異值減去較小（大）的權重。如果結構變換的參數量化地越細，與較大奇異值對應的權重就越小，從而在去除高斯模糊和抑制泊松噪聲的同時能夠有效地保持邊緣信息和紋理細節。但是，這也會導致相似圖像塊的搜索需要更長的時間。此外，奇異值分解過程也需要時間。鑒于此，下一步工作的重點是通過探索新的搜索策略和奇異值估計方法提高本文去模糊方法的執行效率。