人眼視覺感知模型指導的有理函數圖像插值

劉一方12張云峰12郭 強12張彩明12

（1.山東財經大學計算機科學與技術學院，山東濟南 250014；2.山東省數字媒體重點實驗室，山東濟南 250014）

人眼視覺感知模型指導的有理函數圖像插值

劉一方1，2，張云峰1，2，郭 強1，2，張彩明1，2

（1.山東財經大學計算機科學與技術學院，山東濟南 250014；2.山東省數字媒體重點實驗室，山東濟南 250014）

基于有理函數模型提出了一種新的自適應圖像插值算法.此類有理函數具有簡單顯性數學表達式，且含有可調參數.當兩個參數都等于1時，有理函數變為雙三次插值函數.基于有理函數構造圖像插值曲面，原始圖像通過等值線分析自適應地分解為平滑和邊緣兩部分.其中自適應閾值根據有理函數構造原理來確定，思路是將人眼視覺感知與圖像結構相融合，對于像素結構簡單視覺關注度低的平滑區域，采用雙三次插值.對于像素結構復雜視覺關注度高的邊緣區域，采用有理插值處理，參數由人眼對比敏感特性來確定.實驗表明，該算法細節信息保持優于當前經典的圖像插值算法，具有較好的視覺效果.

有理函數；圖像插值；人眼對比敏感度；等值線分析；參數自適應優化

圖像插值是圖像處理中的關鍵技術.低分辨率圖像通過插值可以得到高分辨率圖像，其主要目的是保持銳利的邊緣和紋理，同時防止塊現象、模糊現象等其他人工痕跡出現.文獻［1-12］已經提出了一些插值方法.在這些算法中，最簡單最常用的插值方法為傳統插值，如最近鄰、雙線性、雙三次和三次樣條插值等.這些傳統方法都具有相對較低的運算復雜度，但是根據核函數近似的效果會不同程度地引入走樣、模糊、鋸齒等.

為了解決上述問題，學者們提出了很多自適應圖像插值方法.邊緣指導插值方法［4］對圖像放大有良好的視覺主觀質量.但此方法由于協方差估計窗口固定，不能適應不同像素結構的變化.基于此，文獻［5］提出一種可變窗口大小的插值方法，能夠更好地適應像素結構.但這些基于協方差的插值算法普遍具有很高的運算復雜性［7］.文獻［6］提出一種軟決策的插值技術，這種方法不是一次估計一個未知像素，而是一次估計出一組像素.然而，大部分自適應的插值方法都是基于離散的思想來插值，不能夠放大任意倍數，而且時間復雜度較之傳統方法要復雜的多，這在圖像的實際應用中是不方便的.

本質而言，圖像插值是把離散圖像采樣數據還原為連續的灰度曲面.用連續函數對圖像進行插值，可以在處理后重采樣進行任意倍數的放大和旋轉.學者們提出了很多構造連續面片的自適應插值方法，能夠保持邊緣和輪廓.例如，文獻［8］提出一種基于自適應切觸有理插值函數的插值方法，該自適應切觸有理函數是對理想插值核函數的近似.最近，文獻［11-12］研究了一類含參的雙變量有理插值函數，該有理函數能夠很好地反映圖像中臨近點的像素結構，并且能夠在不改變插值數據的情況下通過調整參數來調整曲面的形狀，在圖像插值中可以保持較好的細節信息.

圖像插值實際上是一個客觀（圖像）和主觀（視覺感知）相統一的過程，人們越來越重視人眼視覺特性在圖像插值中的作用.根據人眼視覺系統（Human Visual System，HVS），不同的圖像結構會導致不同的觀察效果.較之平滑區域，人眼對高對比度區域更加敏感.文中把圖像插值與人眼視覺感知相結合，提出一種新的含參數的有理函數插值模型.在插值數據不變的條件下，通過改變參數可以調整插值函數的數值大小，改變插值曲面的形狀.基于此有理函數進行圖像插值，首先利用等值線分析將圖像自適應地分解為平滑區域和非平滑（邊緣）區域，分解閾值根據函數構造原理自適應選擇.在圖像的平滑區域，采用參數為1的有理插值（雙三次插值）；在邊緣區域，將有理插值函數與人眼視覺感知特性相匹配，自適應地調整優化有理函數的參數，以滿足人眼對比敏感度的視覺需求.實驗結果表明，自適應插值取得較好的主觀效果和客觀評價數值.

圖1　有理函數圖像插值模型圖

1 背景知識

1.1雙變量有理函數插值

文獻［11-12］研究了基于函數值的含參雙變量有理插值，這類插值函數具有分段的顯式數學表達式，可以由基函數表示.給定一幅m×n的圖像I，令fi，j（0＜i＜m，0＜j＜n）為I內i行j列的灰度值，像素坐標為（i，j）.對圖像中的任意點fi，j，圖1中矩形單位中的黑點所在面片的函數表達式為

其中，ωr，s（θ，α；η，β）=ωr（θ，α）ωs（ η，β），且

其中，ω0（η，β）=ω0（η，α），ω1（η，β）=ω1（η，α），ω2（η，β）=ω2（η，α）.ωr，s，r，s=0，1，2，被稱作雙變量插值函數的基函數.

1.2人眼對比敏感度

人類視覺系統（HVS）是一個高度復雜的非線性系統.人眼對于空間的不同對比度的敏感度是一個重要的感知問題.韋伯定理是視覺感知的基本原則.韋伯定理簡單來說，即感覺的差別閾限隨原來刺激量的變化而變化，即增加量閾值與原來強度之比是一個常數.文獻［13］研究了由遵循韋伯定理的人眼閾上對比敏感函數導出的最優化視覺約束問題，人眼對比度的感知與局部亮度差異是有直接關系的，局部亮度差異表示為圖像像素點的梯度.記C為局部對比度增強閾值，對比度感知變化為超出差別閾值，則?C和C關系為?CC=μ，其中μ是常數.這意味著要達到對比度增強可視效果，高亮度的區域需要更高的對比度增加值.文中把圖像的局部對比度看做與圖像的局部梯度是成比例的，即C∝?I?x，其中I表示圖像，C是對比度.易知，一幅圖像各個部分要達到相同的對比度感知增強，大的梯度比小梯度區域需要有更多拉伸.實際上，拉伸應該遵循對比度增強與原始梯度成比例這一原則.因此，?I′?x≥（1+μ）（?I?x），其中，I′是對比度增強圖像.

2 基本算法

一般而言，插值處理速度和插值質量之間總是矛盾的.常用的方法是在不同的區域采用不同的插值函數.但大部分混合算法采用的區域檢測方法不是基于插值函數.由于圖像具有自然屬性，它內在的屬性在不同程度上不可避免地受所用方法的影響.不一致的邊緣檢測算法和插值算法可能會破壞圖像的內在自然屬性.因此，筆者首先提出一種新的插值模型來解決這個問題，邊緣區域和平滑區域的檢測模型是基于此插值模型的.然后針對檢測出來的不同區域，選定不同的參數進行插值.

2.1圖像自適應分解濾波

對圖像來說，平滑區域像素結構相對簡單，而邊緣區域像素結構復雜，保存了豐富的信息，是圖像中最重要的區域，對圖像質量有很大的影響.因此，插值算法要適應邊緣區域復雜的像素結構.為了平衡插值質量和處理速度，筆者把圖像分解為平滑區域和邊緣區域兩部分.

文中從插值函數的構造模型出發，基于等值線繪制的原理，在每一個插值單位中繪制等值線.若在一個插值單位中存在等值線，則此部分就被認為是邊緣區域；反之，則認為是平滑區域.當插值數據之間像素灰度值相差比較大時，面片的起伏會比較大，就把起伏較大的面片定義為邊緣區域.圖像不同區域劃分的閾值為給定9個數據點的均值，自適應檢測閾值λ為

其中，fr，s為給定數據集.

令Δxm，n=fm，n-λ，m，n=0，1，根據等值線分析，如果Δxm，n都是非正或非負，此區域就被認為是平滑區域；反之，則是邊緣區域.因此，可以通過等值線分析自適應地對圖像進行分解濾波.

圖2表示在一個插值單位中，若4個頂角的符號不同，就屬于邊緣區域.為了防止二義性，在插值單位足夠小的前提下，假設在一個插值單位中最多有一個零點.

圖2　基于正負號的圖像邊界檢測示意圖

2.2基于人眼對比敏感度的參數最優化

將圖像分解濾波得到的邊緣區域，采用人眼對比敏感度進行參數最優化插值，對于每4個點組成的最小插值單元，都能夠建立一個由基函數表示的有理樣條插值函數P.因此，可以求得4個點組成曲面的梯度grad（P）.由1.2節可知，對于圖像來說要想滿足韋伯定理，梯度大的地方要有更大的拉伸.但文中為了增大局部對比敏感度，參數優化方法為求得每個插值曲面梯度最大的α和β，使每一個面片的梯度符合人眼視覺感知對比度增強原理.

以下給出最大梯度max grad（P）的計算過程.曲面梯度可表示為

易得

上式可以表示為其等價形式max grad（P），s.t.α＞0，β＞0.從而求得α和β的數值.

需要指出的是，若最優化后的參數在（x*，y*）點處P取得最大值P*，且P*＞255，P要重新定義為255PP*.這是因為對曲面的調整是有約束的，這是由曲面本身的構造函數決定的.

3 實 驗

3.1曲面梯度控制

從人眼視覺感知敏感度出發，調整每個面片的梯度使之達到梯度最大，以符合人眼視覺感知對比度增強的效果.下面，討論不同的參數取值對曲面梯度的影響.給定一組數值:

在通常情況下，α和β的值可以選擇任意正實數.令α=4.0，β=1.0，形成的曲面記做P1，圖3（a）為P1的插值曲面.顯然，當參數不同時，曲面的形狀也會相應地改變，因此，曲面的梯度也會不同.通過計算可知，當α=0.01，β=4.21時，曲面梯度達到最大，記最優曲面為P2.圖3（b）為P2的曲面形狀.圖3（c）和圖3（d）分別對應圖3（a）和圖3（b）曲面中當y=0時的曲線形狀.對比可知，圖3（b）比圖3（a）更加陡峭，梯度更大.因此，可以通過調整參數控制曲面的彎曲程度以達到最大梯度，這樣更符合人眼對比敏感度規則.

圖3　曲面梯度控制示意圖

3.2圖像插值

如上文所述，通過函數模型繪制在一個單元區域內的等值線，區分出圖像的平滑區域和邊緣區域.平滑和邊緣區域可以通過選擇同一個插值模型的不同參數來處理.在邊緣區域，需要對有理插值函數的參數自適應優化處理，使得曲面的梯度達到人眼對比敏感度增強目的.筆者選取6張圖像作為測試圖像.比較的算法是被很多文獻引用且比較過的算法:NEDI［4］，DFDF［7］，SAI［6］.

表1　不同算法客觀質量評價數值

把高分辨率圖像下采樣得到對應的低分辨率圖像，下采樣方法為隔行隔列下采樣.峰值信噪比（Peak Siginal to Noise Ratio，PSNR）是對圖像平均的質量評價，所以首先采用PSNR對圖像進行客觀評價.而基于結構相似性（Structural SIMilarity，SSIM）評價是一種基于視覺感知的質量評價方法，IW?SSIM評價方法是反映主觀感知的客觀質量評價方法，也廣泛應用在圖像質量評價中.表1不同算法分別把低分辨率圖像重建為高分辨率圖像的PSNR，SSIM和IW?SSIM值.從數據上可以看出，在表1中，文中算法的平均PSNR，SSIM和IW?SSIM值是最高的.

PSNR和SSIM僅僅只是圖像客觀數值誤差的比較，也應該考慮算法的主觀效果.圖4～圖6為各種算法對Lighttower，Couple和Dollar這3個圖中局部細節的插值效果.從圖中可以看出，NEDI和SAI算法在欄桿，門等部分出現了噪點和變形，如圖4和圖5所示.在圖5中，NEDI和SAI算法花瓶內的花細節信息嚴重丟失.在圖6中，NEDI，DFDF和SAI算法使衣服上的紋理嚴重變形.與NEDI和SAI算法比較，文中算法有較好的視覺效果.而相對于DFDF算法，雖然視覺效果差不多，但是文中算法客觀質量評價數值要好.盡管文中算法在時間復雜度上要高于比較算法，但有較好的圖像客觀質量評價數值.所以，總體來說文中算法占優勢.

圖4　Lighttower圖像比較圖

圖5　Couple圖像比較圖

圖6　Dollar圖像比較圖

4 結 論

文中提出一種基于含參有理函數的視覺感知自適應插值算法.根據人眼對不同像素結構的敏感度不同，自適應地將圖像分解為平滑區域和邊緣區域.分解閾值通過有理函數構造模型自適應選擇.在平滑區域采用參數都為1的有理插值；邊緣區域采用最優化有理函數參數的方法，使插值曲面滿足人眼對比敏感度要求.文中很好地將圖像像素結構與人眼感知插值融合在一個模型里，整個插值過程是一個有機整體，能夠最大限度地保護圖像內在自然屬性.含參有理函數的優勢在于通過人眼感知規律來調節參數，以滿足人眼復雜的觀察要求.實驗證明，該算法具有良好的主觀和客觀效果.

［1］楊貞萍，牛海軍，丁磊.一種新的NSCT超分辨率圖像復原技術［J］.西安電子科技大學學報，2012，39（1）:34-37. YANG Zhenping，NIU Haijun，DING Lei.New Image Super-resolution Restoration Method by NSCT［J］.Journal of Xidian University，2012，39（1）:34-37.

［2］WANG L F，XIANG S M，MENG G F，et al.Edge-directed Single-image Super-resolution via Adaptive Gradient Magnitude Self-interpolation［J］.IEEE Transactions on Circuits and Systems for Video Technology，2013，23（8）:1289-1299.

［3］DONG W S，ZHANG L，LUKAC R，et al.Sparse Representation Based Image Interpolation With Nonlocal Autoregressive Modeling［J］.IEEE Transactions on Image Processing，2013，22（4）:1328-1394.

［4］LI X，ORCHARD M T.New Edge-directed Interpolation［J］.IEEE Transactions on Image Processing，2001，10（10）: 1521-1527.

［5］ASUNI N，GIACHETTI A.Accuracy Improvements and Artifacts Removal in Edge based Image Interpolation［C］// Proceedings of the 3rd International Conference on Computer Vision Theory and Applications:1.Setubal:Institude for Systems and Technologies of Information，Control and Communication，2008:58-65.

［6］ZHANG X，WU X.Image Interpolation by Adaptive 2-D Autoregressive Modeling and Soft-decision Estimation［J］. IEEE Transactions on Image Processing，2008，17（6）:887-896.

［7］ZHANG L，WU X.Image Interpolation via Directional Filtering and Data Fusion［J］.IEEE Transactions on Image Processing，2006，15（8）:2226-2238.

［8］HU M，TAN J Q.Adaptive Osculatory Rational Interpolation for Image Processing［J］.Journal of Computational and Applied Mathematics，2006，195（1）:46-53.

［9］WANG Q M，SHI W Z.Utilizing Multiple Subpixel Shifted Images in Subpixel Mapping with Image Interpolation［J］. IEEE Geoscience and Remote Sensing Letters.2013，11（4）:798-802.

［10］TANG Y，YUAN Y，YAN P，et al.Greedy Regression in Sparse Coding Space for Single-image Super-resolution［J］. Journal of Visual Communication and Image Representation，2013，24（2）:148-159.

［11］ZHANG Y F，BAO F X，ZHANG C M，et al.A Weighted Bivariate Blending Rational Interpolation Function and Visualization Control［J］.Journal of Computational Analysis and Applications，2012，14（7）:1303-1321.

［12］SUN Q H，BAO F X，ZHANG Y F，et al.A Bivariate Rational Interpolation Based on Scattered Data on Parallel Lines ［J］.Journal of Visual Communication and Image Representation，2013，24（1）:75-80.

［13］MAJUMDER A，IRANI S.Perception-based Contrast Enhancement of Images［J］.ACM Transactions on Applied Perception，2007，4（3）:17-39.

（編輯:李恩科）

Rational function for image interpolation based on human contrast sensitivity

LIU Yifang1，2，ZH ANG Yunfeng1，2，GUO Qiang1，2，ZH ANG Caiming1，2
（1.School of Computer Science and Technology，Shandong Univ.of Finance and Economics，Ji’nan 250014 China；2.Shandong Provincial Key Lab.of Digital Media Technology，Ji’nan 250014，China）

A new image interpolation algorithm based on the rational function model with both smoothing and surface constraints is proposed.The rational function has a simple and explicit expression with two parameters.The image edge regions can be detected adaptively by using contour analysis.Basically，the detective threshold is selected based on the rational function construction.Selecting different parameters in the rational function model，the edge regions and smooth regions are interpolated by bicubic interpolation and rational interpolation，respectively.The optimal rational interpolation parameters can be obtained with a set of exact solutions by solving a maximization problem based on the contrast sensitivity enhancement of human eyes.Experimental results demonstrate that the proposed method achieves competitive performance with the state-of-the-art interpolation algorithms，especially in image details features.

rational interpolation；image interpolation；human contrast sensitivity；contour analysis；adaptively optimize parameters

TP391.41

A

1001-2400（2016）01-0151-06

10.3969/j.issn.1001-2400.2016.01.027

2014-10-11 網絡出版時間：2015-04-14

國家自然科學基金資助項目（61373080，61202150，61202364）

劉一方（1990-），女，山東財經大學碩士研究生，E-mail:sdliuyifang@163.com.

網絡出版地址：http://www.cnki.net/kcms/detail/61.1076.TN.20150414.2046.027.html