基于模糊聚類的果實采摘超分辨率重建方法

陳露+黨釗釗+王奎武

摘要：在現有的基于稀疏表示的圖像超分辨率算法的基礎上，提出了一種新的基于模糊聚類的超分辨率重建算法，并使用L-曲線法確定正則化參數，有效降低了圖像的邊緣鋸齒效應，提升了圖像整體的平滑性，改善了基于稀疏約束算法的主客觀重建質量。通過與線性插值法、Elad重建方法的仿真對比分析，基于模糊聚類的超分辨率重建方法可以顯著提高果實自動化采摘圖像的超分辨率重建效果。

關鍵詞：超分辨率重建；稀疏表示；聚類；L-曲線；果實采摘

中圖分類號：TP391.41；S126 文獻標識碼：A 文章編號：0439-8114（2014）03-0681-05

研究開發適合生產實際的果實采摘系統不僅可以在很大程度上減輕勞動強度、提高生產效率，而且具有廣闊的市場應用前景。對于果實采摘系統，首要任務是利用拍攝的果實圖像外形特征以及果實的物理特性，清晰準確地將果實從背景中辨識出來，并且要求在不同的光照條件、不同的拍攝位置、復雜的背景條件下仍能準確快速地實現果實采摘識別[1]。為了有效增加果實采摘的識別率，各種圖像增強技術被應用到果實采摘識別的預處理環節。圖像增強技術的目的就是提升圖像的可辨識能力，以滿足人眼視覺或為后續計算機圖像處理過程提供更好的輸入圖像。

圖像超分辨率重建是由一幀或多幀低分辨率圖像（LR）重建一幀高分辨率圖像（HR）的技術，分辨率增強技術正成為目前的研究熱點之一。當前主流的超分辨率重建算法可以分為基于重建和基于學習兩類，基于重建的算法的主要思想是：利用一些先驗知識來約束求解過程，以達到增加細節信息的目的。基于學習的超分辨率重建方法是由Freeman等[2]首先提出的，之后Yang等[3]提出利用稀疏表示方法實現基于學習的超分辨率重建算法。Elad等[4]在前者的基礎上進行了改進，使用主成分分析（PCA）法，并采用K-SVD算法[5]進行原子庫訓練，使得算法運行速度提升的同時依然保持較好的重建效果。由于傳統的過完備字典構造方法針對整個圖像超分辨過程中均使用同一原子庫，不能很好地考慮局部特性，故提出一種基于模糊聚類的字典構造方法，來提高圖像的超分辨率重建的效果。

1 稀疏表示理論

稀疏表示的基本思想是超完備字典中的冗余基取代了傳統方法中的正交基，而字典的選擇應盡可能地包含被表達信號所含有的信息結構。信號的稀疏表示就是從超完備字典中選擇具有最佳線性組合的若干原子來表示信號（圖1）。

考慮一個給定的m維矢量信號x，以及一組m×n的基X。計算x在X這組基上稀疏的系數向量，則可以得到如下的一個優化問題：

b是希望求解得到的稀疏變換后的n維系數向量，在上述優化問題中，第一項是一個二乘誤差項，表示最后優化得到的稀疏向量b要能夠精確地重建原始給定信號x。第二項是b的L0范數，作用是限制系數向量b中的非零元的個數，即使得b足夠稀疏。參數λ是一個控制重建誤差和稀疏性之間的折中。求解上述優化問題就可以得到一個既稀疏又能準確重建原始信號的稀疏變換。

求L0范數是一個數學上的NP-hard問題，無法直接進行求解。Donoho[6]已經證明了在信號足夠稀疏的前提下，L0范數的求解問題可以轉換為求解L1范數的凸優化估計問題。即公式（1）等同于下式：

實際應用中，圖像都是有噪聲存在的，即：

其中e表示高斯白噪聲。因此，公式（2）可以改寫為不等式約束，如下：

其中ε表示稀疏表示的誤差（噪聲強度），與上述模型等價的正則化表示如下：

其中λ表示正則化參數，用于平衡重建誤差逼近項和稀疏性約束正則化項。至此，就可以使用一些標準的解優化問題的算法來進行求解。

2 降質模型

在基于恢復的圖像超分辨率重建方法中，目標方程是通過圖像的降質模型建立的。針對單幀圖像的超分辨率重建問題可以用如下的式子模擬降質過程，

其中，D是降采樣算子，H是模糊濾波器，L表示二者乘積，v是加入的噪聲。通常可以假設加入的噪聲服從高斯分布，這時關于上式降質模型可以建立如下的優化目標方程，

結合上述基于恢復的優化目標方程和稀疏表示的思想，Dong等[7]提出了一種基于結構聚類型字典的圖像超分辨率重建算法。

3 模糊聚類的原理

模糊聚類是用數學方法定量地確定研究對象的親疏關系和相似性，能客觀地分型劃類，使其具有更高的分辨率和廣泛的代表性，更具普遍意義。圖像是由一個個像素來表示的，圖像中各物體之間的邊界由像素值的變化表現。對于圖像來說，模糊聚類是對圖像的像素進行分析。

通常將被聚類的事物稱為樣本，將被聚類的一組事物稱為樣本集。設R是X上的經典等價關系。對X中的兩個元素x和y，若（x，y）∈R，則將x和y并為一類，否則x和y不屬于同一類。相應地，設Sa是X上的模糊等價關系，μs是Sa的隸屬函數。對于任何α∈[0，1]，Sa的定義為[8]：

根據Sa得到X的一種聚類，稱為在α水平上的聚類。即對于X中的任意兩個元素x和y，若μs（x，y）≥α，則x和y屬于同一類；否則x和y不屬于同一類。

應用這種方法，分類的結果與α取值大小有關。α取值越大，分的類數越多。α小到某一值時，X中的所有樣本歸并為一類。這種方法的優點在于可按實際需要選取α的值，以便得到恰當的分類。

4 基于模糊聚類的字典訓練

字典的設計在稀疏表示問題中很重要，字典構造的好壞直接影響重建質量的好壞。傳統的字典訓練算法大多在訓練初始就確定了字典的大小，因此，每次迭代更新過程實質上是對所有原子進行更新的過程，運算量較大。

此次先對高分辨率圖像樣本預先進行模糊分類，然后對于每一類訓練樣本學習一個相應的子字典。每一個子字典的基元可以通過對相應的子類樣本進行PCA變換得到。字典學習的流程如圖2。

4.1 字典訓練

4.2 基于L-曲線的正則化參數確定

正則化參數λ的恰當選擇對于圖像超分辨率重建很重要，合適的參數可保證解的全局最優和算法的收斂性，本文選擇正則化參數是基于下述曲線：

該曲線定義為L-曲線（L-curve），主要是由于對于大尺度問題該曲線形狀像字母 “L”。 Hansen等[9]提出選擇恰當正則化參數對應于L-曲線的“頂點”，即曲線的大曲率點。對于大尺度病態問題，用L-curve來確定恰當正則化參數的主要困難是計算L-curve上點的代價太昂貴。

5 試驗及仿真

將基于模糊聚類的超分辨率重建方法同雙線性插值法（Bicubic）、Elad（Single Image Super-Resolution-SISR）的重建方法在峰值信噪比（PSNR）和結構相似度（SSIM）上進行比對，結果見圖4、圖5、圖6。

圖4、圖5和圖6是對果實圖像采用超分辨率重建方法、Elad的SISR方法以及雙線性插值的對比結果。從結果中可以看出，雙線性插值僅用對該點影響最大的像素點的灰度值作為該點的值，而沒有考慮其他相鄰像素點的影響。缺點是重建后的圖像有明顯的不連續性，插值質量差，會在圖像中產生人為加工的痕跡，圖像易產生馬賽克和邊緣鋸齒等現象。但是用基于模糊聚類的超分辨率方法，沒有產生這種人為的偽影，并且重建的圖像指標比雙線性插值的方法要好很多。

進一步分析結果，可以看出Bicubic插值能有效地抑制振鈴現象，但是它會產生分段的連續塊效應；Elad的圖像會產生極其光滑的邊緣，這樣會使重構圖像看起來不自然，而且在視覺上圖像邊緣光滑，一些好的圖像結構沒有被恢復。基于模糊聚類的超分辨率重建方法在視覺上具有最好的效果，重建的邊緣比其他兩種方法更加明晰，圖像中更多好的結構被重建了出來。

總的來說，基于模糊聚類的超分辨率重建方法中用兩種不同訓練集產生的高分辨率圖像幾乎一樣，雖然在重構圖像的邊緣仍然存在一些振鈴響應，但是重建圖像的效果還是比較好的。且由表1的評價結果可以看出，該方法在峰值信噪比（PSNR）和結構相似度（SSIM）兩個評價標準上也較其他兩種方法表現好。

6 小結

本文提出了一種新的基于模糊聚類的農業果實采摘超分辨率重建方法，通過分類訓練字典，將圖像塊通過模糊聚類分析歸類重建，減小圖像塊重建所用的字典，有效降低了算法的時間消耗。而提出的L-曲線法確定正則化參數，降低了圖像的邊緣鋸齒效應，提升了圖像整體的平滑性，有效改善了基于稀疏約束算法的主客觀重建質量。結果表明，在PSNR、SSIM和視覺效果上該方法均優于其他方法，在農業果實自動化采摘系統中有廣闊的應用前景。

參考文獻：

[1] 陳小娜，章程輝.計算機圖像處理技術在農業科研中的應用[J].廣西熱帶農業，2008（6）：19-21.

[2] FREEMAN W T， JONES T R， PASZTOR E C. Example-based super-resolution[J]. Computer Graphics and Applications，IEEE，2002，22（2）：56-65.

[3] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution via sparse representation[J]. Image Processing， IEEE Transactions on， 2010，19（11）：2861-2873.

[4] ELAD M， AHARON M. Image denoising via sparse and redundant representations over learned dictionaries[J]. Image Processing， IEEE Transactions on，2006，15（12）：3736-3745.

[5] AHARON M， ELAD M， BRUCKSTEIN A. K-SVD： Design of dictionaries for sparse representation[J]. Proceedings of SPARS，2005（5）：9-12.

[6] DONOHO D L. Compressed sensing[J]. Information Theory， IEEE Transactions on，2006，52（4）：1289-1306.

[7] DONG W， ZHANG L， SHI G， et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. Image Processing， IEEE Transactions on， 2011，20（7）：1838-1857.

[8] 周光華，李岳峰，孟 群.模糊聚類分析在醫學圖像處理中的應用[J].中國衛生信息管理雜志，2011，8（4）：69-73.

[9] HANSEN P C， O'LEARY D P. The use of the L-curve in the regularization of discrete ill-posed problems[J]. SIAM Journal on Scientific Computing，1993，14（6）：1487-1503.

4.1 字典訓練

4.2 基于L-曲線的正則化參數確定

正則化參數λ的恰當選擇對于圖像超分辨率重建很重要，合適的參數可保證解的全局最優和算法的收斂性，本文選擇正則化參數是基于下述曲線：

該曲線定義為L-曲線（L-curve），主要是由于對于大尺度問題該曲線形狀像字母 “L”。 Hansen等[9]提出選擇恰當正則化參數對應于L-曲線的“頂點”，即曲線的大曲率點。對于大尺度病態問題，用L-curve來確定恰當正則化參數的主要困難是計算L-curve上點的代價太昂貴。

5 試驗及仿真

將基于模糊聚類的超分辨率重建方法同雙線性插值法（Bicubic）、Elad（Single Image Super-Resolution-SISR）的重建方法在峰值信噪比（PSNR）和結構相似度（SSIM）上進行比對，結果見圖4、圖5、圖6。

圖4、圖5和圖6是對果實圖像采用超分辨率重建方法、Elad的SISR方法以及雙線性插值的對比結果。從結果中可以看出，雙線性插值僅用對該點影響最大的像素點的灰度值作為該點的值，而沒有考慮其他相鄰像素點的影響。缺點是重建后的圖像有明顯的不連續性，插值質量差，會在圖像中產生人為加工的痕跡，圖像易產生馬賽克和邊緣鋸齒等現象。但是用基于模糊聚類的超分辨率方法，沒有產生這種人為的偽影，并且重建的圖像指標比雙線性插值的方法要好很多。

進一步分析結果，可以看出Bicubic插值能有效地抑制振鈴現象，但是它會產生分段的連續塊效應；Elad的圖像會產生極其光滑的邊緣，這樣會使重構圖像看起來不自然，而且在視覺上圖像邊緣光滑，一些好的圖像結構沒有被恢復。基于模糊聚類的超分辨率重建方法在視覺上具有最好的效果，重建的邊緣比其他兩種方法更加明晰，圖像中更多好的結構被重建了出來。

總的來說，基于模糊聚類的超分辨率重建方法中用兩種不同訓練集產生的高分辨率圖像幾乎一樣，雖然在重構圖像的邊緣仍然存在一些振鈴響應，但是重建圖像的效果還是比較好的。且由表1的評價結果可以看出，該方法在峰值信噪比（PSNR）和結構相似度（SSIM）兩個評價標準上也較其他兩種方法表現好。

6 小結

本文提出了一種新的基于模糊聚類的農業果實采摘超分辨率重建方法，通過分類訓練字典，將圖像塊通過模糊聚類分析歸類重建，減小圖像塊重建所用的字典，有效降低了算法的時間消耗。而提出的L-曲線法確定正則化參數，降低了圖像的邊緣鋸齒效應，提升了圖像整體的平滑性，有效改善了基于稀疏約束算法的主客觀重建質量。結果表明，在PSNR、SSIM和視覺效果上該方法均優于其他方法，在農業果實自動化采摘系統中有廣闊的應用前景。

參考文獻：

[1] 陳小娜，章程輝.計算機圖像處理技術在農業科研中的應用[J].廣西熱帶農業，2008（6）：19-21.

[2] FREEMAN W T， JONES T R， PASZTOR E C. Example-based super-resolution[J]. Computer Graphics and Applications，IEEE，2002，22（2）：56-65.

[3] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution via sparse representation[J]. Image Processing， IEEE Transactions on， 2010，19（11）：2861-2873.

[4] ELAD M， AHARON M. Image denoising via sparse and redundant representations over learned dictionaries[J]. Image Processing， IEEE Transactions on，2006，15（12）：3736-3745.

[5] AHARON M， ELAD M， BRUCKSTEIN A. K-SVD： Design of dictionaries for sparse representation[J]. Proceedings of SPARS，2005（5）：9-12.

[6] DONOHO D L. Compressed sensing[J]. Information Theory， IEEE Transactions on，2006，52（4）：1289-1306.

[7] DONG W， ZHANG L， SHI G， et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. Image Processing， IEEE Transactions on， 2011，20（7）：1838-1857.

[8] 周光華，李岳峰，孟 群.模糊聚類分析在醫學圖像處理中的應用[J].中國衛生信息管理雜志，2011，8（4）：69-73.

[9] HANSEN P C， O'LEARY D P. The use of the L-curve in the regularization of discrete ill-posed problems[J]. SIAM Journal on Scientific Computing，1993，14（6）：1487-1503.

4.1 字典訓練

4.2 基于L-曲線的正則化參數確定

正則化參數λ的恰當選擇對于圖像超分辨率重建很重要，合適的參數可保證解的全局最優和算法的收斂性，本文選擇正則化參數是基于下述曲線：

該曲線定義為L-曲線（L-curve），主要是由于對于大尺度問題該曲線形狀像字母 “L”。 Hansen等[9]提出選擇恰當正則化參數對應于L-曲線的“頂點”，即曲線的大曲率點。對于大尺度病態問題，用L-curve來確定恰當正則化參數的主要困難是計算L-curve上點的代價太昂貴。

5 試驗及仿真

將基于模糊聚類的超分辨率重建方法同雙線性插值法（Bicubic）、Elad（Single Image Super-Resolution-SISR）的重建方法在峰值信噪比（PSNR）和結構相似度（SSIM）上進行比對，結果見圖4、圖5、圖6。

圖4、圖5和圖6是對果實圖像采用超分辨率重建方法、Elad的SISR方法以及雙線性插值的對比結果。從結果中可以看出，雙線性插值僅用對該點影響最大的像素點的灰度值作為該點的值，而沒有考慮其他相鄰像素點的影響。缺點是重建后的圖像有明顯的不連續性，插值質量差，會在圖像中產生人為加工的痕跡，圖像易產生馬賽克和邊緣鋸齒等現象。但是用基于模糊聚類的超分辨率方法，沒有產生這種人為的偽影，并且重建的圖像指標比雙線性插值的方法要好很多。

進一步分析結果，可以看出Bicubic插值能有效地抑制振鈴現象，但是它會產生分段的連續塊效應；Elad的圖像會產生極其光滑的邊緣，這樣會使重構圖像看起來不自然，而且在視覺上圖像邊緣光滑，一些好的圖像結構沒有被恢復。基于模糊聚類的超分辨率重建方法在視覺上具有最好的效果，重建的邊緣比其他兩種方法更加明晰，圖像中更多好的結構被重建了出來。

總的來說，基于模糊聚類的超分辨率重建方法中用兩種不同訓練集產生的高分辨率圖像幾乎一樣，雖然在重構圖像的邊緣仍然存在一些振鈴響應，但是重建圖像的效果還是比較好的。且由表1的評價結果可以看出，該方法在峰值信噪比（PSNR）和結構相似度（SSIM）兩個評價標準上也較其他兩種方法表現好。

6 小結

本文提出了一種新的基于模糊聚類的農業果實采摘超分辨率重建方法，通過分類訓練字典，將圖像塊通過模糊聚類分析歸類重建，減小圖像塊重建所用的字典，有效降低了算法的時間消耗。而提出的L-曲線法確定正則化參數，降低了圖像的邊緣鋸齒效應，提升了圖像整體的平滑性，有效改善了基于稀疏約束算法的主客觀重建質量。結果表明，在PSNR、SSIM和視覺效果上該方法均優于其他方法，在農業果實自動化采摘系統中有廣闊的應用前景。

參考文獻：

[1] 陳小娜，章程輝.計算機圖像處理技術在農業科研中的應用[J].廣西熱帶農業，2008（6）：19-21.

[2] FREEMAN W T， JONES T R， PASZTOR E C. Example-based super-resolution[J]. Computer Graphics and Applications，IEEE，2002，22（2）：56-65.

[3] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution via sparse representation[J]. Image Processing， IEEE Transactions on， 2010，19（11）：2861-2873.

[4] ELAD M， AHARON M. Image denoising via sparse and redundant representations over learned dictionaries[J]. Image Processing， IEEE Transactions on，2006，15（12）：3736-3745.

[5] AHARON M， ELAD M， BRUCKSTEIN A. K-SVD： Design of dictionaries for sparse representation[J]. Proceedings of SPARS，2005（5）：9-12.

[6] DONOHO D L. Compressed sensing[J]. Information Theory， IEEE Transactions on，2006，52（4）：1289-1306.

[7] DONG W， ZHANG L， SHI G， et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. Image Processing， IEEE Transactions on， 2011，20（7）：1838-1857.

[8] 周光華，李岳峰，孟 群.模糊聚類分析在醫學圖像處理中的應用[J].中國衛生信息管理雜志，2011，8（4）：69-73.

[9] HANSEN P C， O'LEARY D P. The use of the L-curve in the regularization of discrete ill-posed problems[J]. SIAM Journal on Scientific Computing，1993，14（6）：1487-1503.