基于局部特征的圖像插值算法在B/S視頻監控中的應用

孟利民,包軼名

(浙江工業大學 信息工程學院，浙江 杭州 310023)

基于局部特征的圖像插值算法在B/S視頻監控中的應用

孟利民,包軼名

(浙江工業大學 信息工程學院，浙江 杭州 310023)

摘要：在B/S模式的視頻監控應用中，針對傳統的雙線性插值圖像放大算法會造成圖像細節模糊的問題，提出一種改進算法.先計算4個鄰點灰度的標準差，通過判斷標準差是否大于某個閾值來將圖像分為邊緣區域和非邊緣區域，對于非邊緣區域的像素點直接使用雙線性插值算法，對于邊緣區域的像素點，采用最鄰近和雙線性插值算法進行加權融合所得的結果.并設計與實現了B/S模式的視頻監控系統，在系統中應用改進算法對視頻圖像進行放大.實驗結果表明，該算法可以避免最鄰近插值產生的局部鋸齒問題，同時也改進了雙線性插值造成的圖像細節模糊，能夠改善視頻圖像放大后的視覺效果。

關鍵詞：B/S模式;視頻監控;圖像放大;雙線性插值;加權融合

Image interpolation algorithm based on local feature and its application in B/S video surveillance

MENG Limin, BAO Yiming

(College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China)

Abstract:In order to solve the problem of image detail fuzzy caused by traditional bilinear interpolation algorithm used in B/S mode video surveillance application, this paper proposes an improved algorithm. In this algorithm, the standard deviation of grey value of the 4 neighbor points are calculated, then the image is divided into edge region and non-edge region according to a certain threshold. For the pixels in non-edge region, the bilinear interpolation algorithm will be used directly. For the pixels in edge region, the nearest neighbor and bilinear interpolation algorithms are used to get weighted fusion result. A B/S mode video surveillance system is designed and implemented in this paper and the improved algorithm is usded to zoom the video image in the system. The experimental results indicate that the algorithm can avoid local aliasing problem caused by nearest neighbor interpolation and improve the image detail fuzzy problem caused by bilinear interpolation. So it can improve the visual effect of the zoomed video image。

Keywords:B/S mode; video surveillance; image zooming; bilinear interpolation; weighted fusion

傳統的視頻監控應用軟件一般由C/S模式來實現[1]，然而由于這種模式的軟件維護成本高，客戶端的安裝和更新也較為麻煩，已經越來越少地被開發者所采用[2].與此同時，由于互聯網的飛速發展，以及B/S模式相較于C/S模式的優勢，將具體的應用以Web頁面的形式呈現在瀏覽器中已經成為軟件開發的主流.而在B/S模式的視頻監控應用中，視頻圖像的放大是最常用的功能之一，人們經常希望利用這種方式來更好地觀察圖像的一些細節.視頻圖像放大實質上是對視頻幀所對應的數字圖像進行放大，主要方法是利用差值算法.圖像插值是圖像超分辨處理的重要環節，不同的插值算法有不同的精度，插值算法的好壞也直接影響著圖像的失真程度[3]。

傳統的圖像插值算法有最鄰近插值和雙線性插值等，雖然它們實現簡單，計算復雜度低，但是由于對每個像素都用相同方法進行處理，沒有考慮到圖像局部特征，所以效果都不太理想[4].因此，一些基于邊緣的圖像放大算法被提出.文獻[5]采用Canny算子檢測邊緣，并對邊緣進行分類，去除平滑邊緣，保留階梯邊緣，并對階梯邊緣的方向進一步細化分類.文獻[6]采用Prewitt算子檢測邊緣，并引入灰度補償，還利用了邊緣像素的方向特性估計邊緣，并對邊緣和非邊緣像素分類插值.然而這些方法都要對圖像邊緣進行較精確的檢測，計算復雜度過大，并且在圖像放大倍數不是很高的情況下，實際視覺效果并沒有實質性的提升，在針對視頻圖像放大這種需求的環境下，實用度不高.筆者提出一種雙線性插值的改進算法，用一種較簡單的方法對圖像邊緣進行劃分，對于邊緣像素點采用最鄰近插值和雙線性插值結果進行加權求和的特殊處理.在實際的B/S模式視頻監控應用的環境下對該算法進行實現，并利用該算法對彩色視頻幀進行放大操作后進行效果評估，實驗結果表明，該算法可以同時改進最鄰近插值的局部鋸齒效應和雙線性插值的細節模糊，改善放大后視頻幀的質量。

1傳統圖像放大算法

圖像放大算法可以歸結為如何根據源圖像的信息來填充放大后圖像的每一個像素值，一般采用前向映射的方法，即將放大后圖像的像素坐標根據放大比例算出其在源圖像中所對應的坐標.假設將一副m×n的圖像放大到M×N，其中M>m，N>n.那么放大后圖像坐標為(x,y)的像素點在源圖像中所對應的坐標(x′,y′)可確定為

(1)

通常所得出的(x′,y′)為小數坐標。

最鄰近插值法的思想是直接將源圖像中距離(x′,y′)最近的點的像素值作為(x′,y′)的像素值，它只是簡單地進行像素值的拷貝，所以在放大后的圖像中會出現多個鄰近像素的值相同的結果，從而導致圖像出現方塊鋸齒效應，視覺效果很不理想。

雙線性插值是利用了需要處理的原始圖像像素點周圍的四個像素點的相關性,通過雙線性算法計算得出的，如圖1所示。

圖1　雙線性插值示意圖Fig.1　Schematic diagram of bilinear interpolation

假設f(x,y)代表源圖像中坐標為(x,y)點處的像素值，那么(x′,y′)處的像素值為

f(x′,y′)=(1-u)(1-v)f(a,b)+u(1-v)f(a+

1,b)+(1-u)vf(a,b+1)+uvf(a+1,b+1)

(2)

式中u和v分別代表(x′,y′)與(a,b)之間的橫向與縱向距離，可表示為

u=x′-a

v=y′-b

(3)

可見雙線性插值法利用了所求像素點周圍鄰近的4個像素點的線性平均權值計算目標像素點的值，可以產生一種平滑過渡的效果，避免了最鄰近插值的局部鋸齒效應，所得圖像整體視覺效果較好.但是如果這鄰近的4個像素的值差別過大，那么雙線性插值的準確度就會變得不可靠，結果造成了圖像局部細節模糊[7]。

2基于局部特征的雙線性插值算法

雙線性插值法造成局部細節模糊的原因是所求像素點鄰近的4個像素點像素值差別過大，而圖像中最有可能出現這種情況的便是局部的邊緣區域，因此有必要將圖像先劃分為邊緣區域和非邊緣區域.然而傳統的邊緣劃分方法計算過于復雜，可以使用一種基于閾值的簡便方法[8].首先計算所求像素點鄰近4個像素點灰度值的標準差，標準差越大說明目標像素點鄰域的灰度變化越大，所包含的邊緣信息越多[9]，因此可以將該標準差與同一個設定好的閾值相比較，如果大于閾值，則將所求像素點歸為邊緣區域，反之則將其歸為非邊緣區域.假設g(a,b)為源圖像中坐標為(a,b)的像素點的灰度值，則4個鄰點的灰度標準差s為

(4)

(5)

如果s小于預先設定的閾值th，則認為該像素點位于非邊緣區域，直接采用雙線性插值求出結果.反之如果s大于閾值th，則認為該像素位于邊緣區域，可以根據該點到其最鄰近點的距離給最鄰近插值和雙線性插值分配權重，然后對兩者進行加權求和得出最終結果，如圖2所示。

圖2　構造權重示意圖Fig.2　Schematic diagram of constructing weights

Wbl=1-Wn

(6)

式中：Wn代表最鄰近插值權重；Wbl代表雙線性插值權重.進而最終的所求結果f(x′,y′)可表示為

f(x′,y′)=Wnfn(x′,y′)+Wblfbl(x′,y′)

(7)

式中：fn代表最鄰近插值的結果；fbl代表雙線性插值的結果.采用這種方法考慮了所求像素點到其最鄰近點的距離，綜合了最鄰近插值和雙線性插值的結果，對于邊緣像素點可以取得更為理想的插值結果，也可以減小由于邊緣檢測誤差所帶來的影響.整個改進算法可以由下列步驟來描述：

1) 遍歷放大圖像的每一個像素，根據式(1)求出其在源圖像中對應的坐標(x′,y′)。

2) 求出(x′,y′)周圍的4個鄰點，并計算每個鄰點的灰度值。

3) 根據式(4)計算4個鄰點灰度值的標準差s。

4) 若s小于閾值th，則直接根據式(2)使用雙線性插值法求出f(x′,y′)；若s大于th，則根據式(6)構造最鄰近插值和雙線性插值的權重，并由式(7)得出f(x′,y′)。

3B/S視頻監控系統設計

用Struts2來搭建整個B/S模式視頻監控Web應用，設計框圖如圖3所示。

圖3　視頻監控Web應用設計框圖Fig.3　Design diagram of video surveillance web application

這是一個典型的MVC模式的設計[10]，以Struts2中的Action作為控制器，保存視頻參數信息的Java類作為數據模型，JSP頁面作為視圖.用戶通過瀏覽器發起請求之后，由Action處理對應請求，它創建自定義類SipSenderAndReceiver的實例對象，這其中利用MjSip開源庫封裝了發送和接收SIP消息的功能，我們通常是通過SIP協議來建立音視頻會話的[11].Action通過SipSenderAndReceiver實例將請求發送給SIP服務器，由SIP服務器處理之后再將結果返回.Action將返回的數據封裝到數據模型對象中，最后JSP頁面從數據模型對象中取出有用的數據顯示給用戶。

這里針對具體需求設計了LoginAction，DevListAction和InviteVideoAction.用戶首先會訪問登錄頁面，輸入用戶名和密碼進行登錄操作，此時登錄請求會被LoginAction處理.LoginAction會將用戶名與用SHA1算法加密過的密碼通過SipSenderAndReceiver對象發送給SIP服務器進行驗證，成功以后會將請求重定向到DevListAction.DevListAction的任務是發送設備信息請求的SIP消息給SIP服務器，解析服務器返回的設備信息，并跳轉到視頻監控主頁面顯示設備列表.用戶可以在主頁面選擇某臺在線設備并向其發送視頻請求，InviteVideoAction會將該請求發送給SIP服務器，服務器會再將請求轉發給對應的視頻采集設備，并將請求結果和一些視頻參數，如解碼所需的序列參數集SPS和圖像參數集PPS返回給InviteVideoAction，這樣一個視頻會話就建立起來了。

視頻會話建立完成以后，對應設備會通過RTP協議將視頻數據發送給流媒體服務器，再由流媒體服務器轉發到客戶端.客戶端通過調用JSP頁面中的ActiveX控件的接口函數[12]，傳入之前從SIP服務器獲得的視頻解碼參數.接口函數中建立了VideoSourceFilter→ffdshow Video Decoder→VMR Video Renderer這樣的DirectShow鏈路完成視頻數據接收，解碼和顯示模塊.其中在自定義的VideoSourceFilter中開啟了H.264視頻流的RTP接收線程，并對接收到的視頻數據進行整理，形成視頻幀緩存，最后將緩存中的視頻幀數據推送給ffdshow.ffdshow負責將H.264視頻數據進行解碼，還原成YUV420格式后再推送給VMR.VMR負責視頻幀的渲染，它最終將視頻呈現在用戶面前，實際效果如圖4所示。

圖4　視頻監控Web應用界面Fig.4　User interface of video surveillance web application

4圖像插值算法的實現及其性能評價

在上述B/S模式視頻監控應用的環境下，我們對上文中提出的改進算法做了實現.為了驗證改進算法的有效性，將分別對其進行主觀評價和客觀評價.首先對于主觀評價，取352×288像素的源視頻幀，如圖5所示.分別用最鄰近插值，雙線性插值和改進算法放大3倍至1 056×864像素，再取其局部細節進行視覺評估.實驗中取邊緣判定閾值th=70.結果如圖6所示。

圖5　352×288源視頻幀Fig.5　352×288 Source video frame

圖6　放大后圖像局部比較Fig.6　Local comparison of zoomed image

由圖6可以明顯看出：最鄰近插值出現了局部方塊鋸齒效應，而雙線性插值和改進算法都可以避免出現鋸齒.而改進算法相較于雙線性插值的優勢是可以改善雙線性插值造成的圖像局部細節模糊問題，為了驗證這一點取放大后圖像的另一部分細節進行比較，結果如圖7所示。

圖7　放大后圖像細節清晰度比較Fig.7　Detail clarity comparison of zoomed image

仔細對比圖7中的上下兩幅圖可以發現：使用改進算法可以有效地改善雙線性插值造成的數字細節局部模糊的現象，這正是由于對于邊緣像素點，綜合考慮最鄰近插值和雙線性插值，采用根據其距離最鄰點距離構造兩者權重的方法所帶來的效果。

對于客觀評價，可以通過計算均方誤差MSE來評估，計算式為

(8)

式中：M為源圖像寬度；N為源圖像高度；f0(i,j)為源圖像中坐標為(i,j)點處的像素值；f(i,j)為源圖像由某一算法放大后，再由相同算法縮小到與源圖像相同大小后所得的圖像中坐標為(i,j)點處的像素值[13].這里將352×288像素的源圖像分別用雙線性插值和改進算法放大到800×600像素，再由相應算法縮小到352×288像素，由于源視頻幀是RGB24格式的彩色圖像，所以需要分別計算R分量，G分量和B分量的MSE，結果如表1所示。

表1　MSE計算結果

由表1可以看出:改進算法R，G，B分量的均方誤差都要小于雙線性插值算法，說明經改進算法處理過后的圖像與源圖像的差距比雙線性插值要小，也反映了改進算法的效果要優于雙線性插值。

5結論

以B/S模式視頻監控應用中的視頻圖像放大需求為背景，針對用傳統的雙線性插值算法進行圖像放大雖然可以避免出現方塊鋸齒效應，但是會出現局部細節模糊的問題，提出一種基于雙線性插值的改進算法，利用閾值法將待插值的像素點分為邊緣像素點和非邊緣像素點，對于邊緣像素點綜合考慮最鄰近和雙線性插值，對兩者構造權重，求得加權后的結果.在實際的B/S視頻監控Web應用中利用改進算法對視頻放大模塊進行實現并分析效果.實驗結果從主觀的視覺效果和客觀的均方誤差分別入手，驗證了改進算法的有效性，從而也說明了該方法可以被應用于實際的B/S視頻監控應用的圖像放大模塊中。

參考文獻：

[1]何超，俞立，張丹．遠程控制實驗Web系統設計和開發[J]．浙江工業大學學報，2009，37(5)：473-476．

[2]JIANG Changgen, HUANG Minghe, TANG Jie. Design and implementation of video conference system based on flex and J2EE[C]//International Conference on Image Analysis and Signal Processing. Taizhou: IEEE，2009：184-186。

[3]張海燕，吳方．幾種插值算法的比較研究[J]．計算機技術與發展，2012，22(2)：234-237．

[4]KIM H C, PARK S J, WANG Jin, et al. Advanced bilinear image interpolation based on edge features[C]//First International Conference on Advances in Multimedia. Colmar: IEEE，2009：33-36．

[5]孔繁庭，侯國強．圖像放大中的邊緣細化算法研究[J]．計算機應用與軟件，2010，27(4)：261-263．

[6]郭海霞，郭海龍，解凱．基于邊緣信息改進的雙線性插值算法[J]．計算機工程與應用，2011，47(31)：171-174．

[7]左飛，萬晉森，劉航．Visual C++數字圖像處理開發入門與編程實踐[M]．北京：電子工業出版社，2008．

[8]吳錫生，黨向盈，趙勇．基于閾值控制的邊緣自適應快速圖像插值算法[J]．計算機工程，2007，33(22)：226-228．

[9]龔昌來，楊冬濤．一種改進的雙線性插值圖像放大算法[J]．激光與紅外，2009，39(8)：899-901．

[10]毛俊，彭宏，孟利民．基于Django框架的車載定位系統PDF報表下載軟件的設計與實現[J]．浙江工業大學學報，2012，40(4)：446-449．

[11]徐志江，莊壯，孟利民．一種基于Android智能手機的車載定位查詢軟件[J]．浙江工業大學學報，2013，41(6)：655-659．

[12]吳金策，杜勁松．B/S架構嵌入式視頻監控系統客戶端設計[J]．電視技術，2013，37(3)：188-192．

[13]劉政林，肖建平，鄒雪城，等．基于邊緣的實時圖像縮放算法研究[J]．中國圖象圖形學報，2008，13(2)225-229．

(責任編輯：陳石平)

中圖分類號：TP37

文獻標志碼：A

文章編號：1006-4303(2015)02-0217-05

作者簡介：孟利民(1963—)，女，浙江金華人，教授，研究方向為多媒體數字通信、無線通信與網絡、嵌入式系統，E-mail：mlm@zjut.edu.cn。

基金項目：國家自然科學基金資助項目(61372087)

收稿日期：2014-11-12