基于最優(yōu)直線段邊緣方向的視頻清晰度評估

羅晨光，陳 黎，聶 暉

(1.武漢科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，湖北 武漢 430065；2.武漢科技大學(xué) 智能信息處理與實時工業(yè)系統(tǒng)湖北省重點實驗室，湖北 武漢 430065；3.武漢東智科技股份有限公司 研發(fā)部，湖北 武漢 430060)

0 引 言

對于安防監(jiān)控視頻，從攝像機取景到計算機終端上形成視頻數(shù)據(jù)的過程中，會存在許多導(dǎo)致視頻圖像清晰度異常的因素[1]，可分為外部因素和內(nèi)部因素。外部因素主要是圖像在記錄、傳輸過程中的污染，如天氣環(huán)境的變化、外部電磁的干擾；內(nèi)部因素主要是攝像機內(nèi)部器件運行環(huán)境的變化，如攝像機參數(shù)設(shè)置不當(dāng)引起的失焦模糊等。外部因素是引起視頻清晰度異常的主要因素，但是其產(chǎn)生的影響是非持久的，短暫的，是不可人為修復(fù)的，而由攝像機參數(shù)設(shè)置不當(dāng)引起的，若不經(jīng)過人為的修復(fù)，則其影響是持久的。因此，本文選擇了對由攝像機參數(shù)不當(dāng)而導(dǎo)致的視頻清晰度異常的檢測。

目前清晰度評價方法主要分為基于空域和頻域的方法[2]。空域方法主要是基于圖像的邊緣，根據(jù)圖像邊緣的各種特征信息來綜合評價圖像的清晰度。如王俊琦等[3]通過提取邊緣點的線擴散函數(shù)，通過對其參數(shù)集合進行統(tǒng)計學(xué)處理，以其統(tǒng)計特性作為最終的清晰度評價參數(shù)。Feichtenhofer等[4]引入了邊緣斜率，通過改進局部梯度特征合并方法和邊緣寬度的計算方法，得到圖像的清晰度評價值。頻域方法主要是基于傅里葉變換、小波變換和離散余弦變換等方法及其改進方法來對圖像清晰度進行評價。如Hassen等[5]通過小波域的局部相位相干性來估計圖像清晰度。王治文等[6]提出的一種基于四元數(shù)小波變換幅值與相位的圖像清晰度評價方法。部分算法結(jié)合空域及頻域的方法[7]，這類方法的性能一般比單獨使用一種方法的性能要好，但是增加了計算量。考慮到對于實際安防監(jiān)控視頻清晰度評價中，基于邊緣信息的空域方法具有低計算復(fù)雜度，計算速度快，與圖像內(nèi)容的無關(guān)性較好，且與主觀評價較符，適合實際應(yīng)用。因此，本文的清晰度評價采用改進的基于邊緣信息的空域方法。

算法首先對待檢測圖像進行分塊策略處理，其次根據(jù)各分塊圖像的最優(yōu)直線段方向，對圖像進行強邊緣檢測，得到其強邊緣寬度值，然后，根據(jù)各區(qū)域最優(yōu)直線段的總長度，對區(qū)域強邊緣寬度賦予權(quán)重，并通過加權(quán)平均法計算每幅圖像的清晰度評價值。最后，根據(jù)多幀圖像的評價值，估算視頻的清晰度。

1 視頻清晰度評估

1.1 基于最優(yōu)直線段的邊緣估計

在梯度圖像中，邊緣所在位置處會產(chǎn)生較大的直線狀邊緣響應(yīng)，并且該直線與邊緣的延伸方向一致。對于圖像局部邊緣方向的提取，在小區(qū)域中，邊緣的曲線方向可由其切線方向上直線代替。因此，在圖像邊緣檢測中，本文采用基于最優(yōu)直線段邊緣方向的檢測算法對圖像區(qū)域進行直線段檢測，得到所有曲線邊緣處的最優(yōu)直線段[8]，然后計算各個方向上最優(yōu)直線段的總長度，并以長度和最長的所處方向為最優(yōu)邊緣方向，基于此，得到圖像中各最優(yōu)的曲線邊緣方向。

1.1.1 線支持區(qū)域選取

線支持區(qū)域(line support region，LSR)是由圖像中的一組像素組成的，這些像素排成一條直線。本算法首先將像素點按照水平線角度θ進行降序排列，θ由式(1)計算

(1)

得到像素點順序集S={P1,P2,P3,…,Pj,…,Pn}和對應(yīng)的水平線角度集θ={θ1,θ2,θ3,…,θj,…,θn}。將θm最大對應(yīng)的點Pm加入LSR，并將LSR的區(qū)域方向角θr初始化為該點的水平線角度。從集合S中第一個點開始，搜索該點八連通區(qū)域內(nèi)的點Pi，若搜索點對應(yīng)水平線角度滿足式(2)

Δθ=|θi-θr|, Δθ<τ

(2)

則將當(dāng)前搜索點Pi加入到LSR中，且將此搜索點從集合S中刪除，并按照式(3)更新θr

θr=arctan(∑isin(θi)/∑icos(θi))

(3)

接著對新加入LSR的點按照同樣的方法進行八連通區(qū)域遍歷，直到?jīng)]有新的點加入到LSR。若S集合不為空，則繼續(xù)選取θi最大的點進行LSR生長，直至S為空。

1.1.2 最優(yōu)直線段生成

生成線支持區(qū)域后，計算該區(qū)域的最小外接矩形，并計算出矩形的中心、方向角、寬度和高度。該區(qū)域的初始直線即為通過矩形中心點且方向為最小外接矩形方向角的直線。根據(jù)Helmholtz原則對初始直線進行驗證，按照如下式(4)計算區(qū)域錯誤識別數(shù)(errorrecognitionnumber，ERN)

(4)

其中，N、M為直線支撐區(qū)域r的寬和高，m為區(qū)域內(nèi)像素點總數(shù)，k為與區(qū)域方向一致的像素點個數(shù)，p=τ/π。

如果線支持區(qū)域的ERN小于ε，則認為線支持區(qū)域是ε有意義的直線支撐區(qū)域，即為檢測到的直線，標(biāo)記為最優(yōu)直線段。

1.1.3 最優(yōu)邊緣方向估計

人類對于場景信息的認識，往往會選擇感興趣的區(qū)域進行分析處理。在安防監(jiān)控圖像中的邊緣直線段在視覺上表現(xiàn)為人眼的感興趣區(qū)域。根據(jù)此特性，本文提出了基于最優(yōu)直線段的邊緣方向提取算法，即根據(jù)圖像中某一方向上直線段長度最大和值，確定圖像的最優(yōu)邊緣方向。

圖1為利用該方法生成的邊緣方向直線段，并確定其最優(yōu)邊緣方向。

圖1 區(qū)域邊緣方向圖

圖1(a)為用戶自定義的原始監(jiān)控視頻圖像感興趣區(qū)域，圖1(b)為左下方的圖像區(qū)域塊檢測到的直線段，圖1(c)粗亮的白線為圖1(b)的最優(yōu)邊緣方向上直線線段。通過圖1(c)可以看出，在圖像中的邊緣方向上存在許多長度不一的直線段，且邊緣處的張角越大，直線段越長，反之，張角越小，直線段越短。如圖1(b)，邊緣在圖像中主要表現(xiàn)為路面上的指示線與路面的交界，在這塊區(qū)域中，采用最優(yōu)直線段生成方法對邊緣處的曲線進行直線擬合，結(jié)果如圖1(c)中粗亮白色線段所示。

如圖1(c)中，檢測到的最優(yōu)直線段在與X軸正向成20°方向處的最優(yōu)直線段的長度最大，比例達到85%，并且其在圖像上表現(xiàn)為比較顯著的邊緣，因此以該方向作為該區(qū)域邊緣的最優(yōu)方向。

1.2 強邊緣寬度統(tǒng)計

監(jiān)控視頻圖像的模糊造成全局的圖像質(zhì)量下降，但在局部區(qū)域模糊效果的表現(xiàn)各不相同。項目中根據(jù)客戶的實際需求，選擇感興趣區(qū)域，對感興趣區(qū)域進行清晰度評估計算。又結(jié)合圖像局部梯度分布不同于全局梯度分布[9]。因此，本文在保證算法對視頻圖像清晰度的檢測準(zhǔn)確率，采用了分塊的策略進行處理。采用基于最優(yōu)直線段邊緣方向的強邊緣寬度[10]檢測對不同區(qū)域的圖像的邊緣寬度進行計算，得到圖像的清晰度評價值。

實驗首先對原始圖像I按照N×N進行分塊處理，然后根據(jù)1.1.1和1.1.2節(jié)所述，求取邊緣曲線的最佳擬合直線段。鑒于直線段在[0°,180°)的區(qū)間上會存在大量的方向，為提高算法對異常視頻的檢測效率，使用α={0°,45°,90°,135°}4個方向代替直線段方向在(-22.5°,22.5°]，(22.5°,67.5°]，(67.5°,112.5°]，(112.5°,157.5°]4個區(qū)間方向上的邊緣方向。計算各個方向區(qū)間內(nèi)擬合直線段的總長度Li(i=1,2,3,4)，并以總長度最長的Lm所代表的區(qū)間方向為區(qū)域的最優(yōu)邊緣方向φ，φ由式(5)確定

(5)

得到區(qū)域圖像的最優(yōu)邊緣方向φ后，按照文獻[10]中的圖像強邊緣寬度統(tǒng)計的方法對各個區(qū)域的邊緣平均寬度進行計算，得到各個區(qū)域的邊緣寬度均值BMi(i=1,2,…,n)。然后根據(jù)區(qū)域圖像對應(yīng)的最優(yōu)邊緣方向的直線段長度對各個區(qū)域圖像清晰度評價估計進行權(quán)重分配，如式(6)所示

p(i)=len(i)/∑ilen(i)

(6)

其中，p(i)為對應(yīng)的第i塊的直線擬合邊緣的權(quán)重，len(i)表示第i塊內(nèi)最優(yōu)直線段的總長度。

最后，根據(jù)各區(qū)域圖像分配權(quán)重，按照式(7)計算整幅圖像的清晰度評價值

(7)

BM即為圖像的整體清晰度評價值。

1.3 算法流程

算法對待檢測視頻提取多幀圖像后，首先對每幅圖像進行分塊處理，并計算每個區(qū)域圖像塊內(nèi)的最優(yōu)直線段。其次，以該最優(yōu)直線段的方向為區(qū)域邊緣最優(yōu)方向，并根據(jù)其強邊緣寬度直方圖分配權(quán)值，得到其強邊段的總長度，對區(qū)域強邊緣寬度賦予權(quán)重，并通過加權(quán)平均法計算每幅圖像的清晰度評價值。最后，計算多幀圖像清晰度評價的均值，得到視頻的清晰度評價值。

算法流程如圖2所示。

2 實驗結(jié)果與分析

為了驗證本文算法的性能，實驗分為兩部分進行，實驗一采用美國TEXAS大學(xué)圖像和視頻工程實驗室提供的LIVEDatabaseRelease2圖像庫，通過5種不同失真類型模擬不同因素造成的圖像清晰度異常，通過仿真實驗驗證算法的可行性。實驗二測試視頻圖像數(shù)據(jù)來源于項目合作方從實際安防監(jiān)控聯(lián)網(wǎng)系統(tǒng)采集的約230 000路視頻，視頻圖像實際尺寸為1280×720。實驗環(huán)境為win7x64，3.0GHz，8.0G，matlab8.3。

2.1 LIVE圖片庫

LIVE圖像庫包含fastfading、gblur、jp2k、jpeg、wn這5種失真類型的圖片，能夠體現(xiàn)引言中所述的幾種主要因素造成監(jiān)控視頻圖像清晰度異常的失真圖像，并且?guī)熘刑峁┝丝梢栽u價圖像質(zhì)量的DMOS(differencemeanopinionscore)值，其中，值越小，圖像質(zhì)量越好，反之，質(zhì)量越差。

為檢測算法的性能，將實驗中算法對圖片集的評估值與其對應(yīng)的DMOS分進行一致性分析，本文采用斯皮爾曼(Spearmancorrelation)等級相關(guān)系數(shù)(SROCC)來表征客觀算法與主觀評價之間的一致相關(guān)性，SROCC越大，相關(guān)性越好，反之，相關(guān)性越差。

為確定算法在不同策略下的性能，實驗在LIVE圖片庫上采取不同分塊方法得到不同方案下檢測結(jié)果。部分結(jié)果如圖(3)所示(以3×3塊下的gblur類型圖為例)。

由SROCC的定義，根據(jù)式(8)計算圖片差分平均主觀評價值(DMOS)與算法評價值BM的Spearman系數(shù)(SROCC)

(8)

其中，di=rg(xi)-rg(yi)，rg(xi)表示DMOS中圖像i的排序名次，rg(yi)表示算法對于對應(yīng)圖像的排序名次。計算得到3×3策略下SROCC=0.9430。

實驗在其它不同分塊情況下的結(jié)果分析見表1。

由表1可以看出，隨著分塊數(shù)增加，5種失真類型的SROCC分值隨之緩慢增加。但隨著分塊數(shù)的增加，算法對單幅圖像的平均計算所耗時間越來越長。綜合檢測結(jié)果與主觀評價的一致相關(guān)性和時間性能，本文最終選取3×3分塊的策略。

表2 算法與深度學(xué)習(xí)算法結(jié)果比較

在本文算法對圖像的客觀評價與主觀視覺評價一致性較高的基礎(chǔ)上，進一步比較了算法與基于深度學(xué)習(xí)預(yù)測視頻圖像清晰度[11]的評測結(jié)果。在各個不同類型圖像集上進行實驗，得到兩種算法在不同類型圖像集上的SROCC。結(jié)果見表2。

從表2可以看出，算法在LIVE圖像庫上對5種類型圖片的評價值與主觀評分的一致相關(guān)性均高于基于深度學(xué)習(xí)的圖像清晰度評價值，具有很好的主觀一致性。

2.2 安防監(jiān)控視頻庫

對視頻庫中視頻是否存在噪聲進行二類標(biāo)記，統(tǒng)計結(jié)果顯示噪聲圖像僅占0.20%。同時，考慮到加入噪聲抑制會造成其它4種圖像失真類型的檢測準(zhǔn)確率降低。因此，本文對安防監(jiān)控視頻的清晰度檢測算法不融合噪聲抑制處理。

監(jiān)控視頻圖像與其在各局部的邊緣直線擬合結(jié)果如圖4所示。

圖4 邊緣直線擬合結(jié)果

圖4展示了對一幅原始的監(jiān)控視頻圖像(a)中邊緣處的最佳直線擬合效果。通過圖4(b)可以看出，亮白色線段部分為圖像中出現(xiàn)的邊緣的直線擬合，可以看出算法在實際安防監(jiān)控視頻圖像上能夠很好地實現(xiàn)邊緣直線擬合。

為了驗證算法在安防監(jiān)控視頻集上的清晰度評價效果，對其中的2000路清晰度異常視頻進行主觀評價打分。實驗采取埃洛(Elo ratings，ELO)算法模型[12]對其進行分值評定，將該算法運用到視頻清洗時假設(shè)視頻A被觀測者標(biāo)注異常等級大于視頻B的期望是兩個視頻異常等級分差距的函數(shù)，所以視頻個體的當(dāng)前異常等級分的更新與實際標(biāo)注結(jié)果和期望結(jié)果的偏差成比例。通過埃洛算法模型得到的安防監(jiān)控視頻清晰度異常程度分值，即為視頻的主觀評價值。視頻越模糊，分值越大，反之越小。

實驗中算法對視頻集異常程度的排序結(jié)果與ELO排序的相關(guān)系數(shù)SROCC=0.8726。為了清晰反映算法對于視頻庫的檢測結(jié)果的主觀一致性,取視頻庫中前200路視頻進行實驗得到如圖5所示的趨勢。

圖5 200路監(jiān)控視頻清晰度評價值

算法在較大視頻集上取得了一個較好的相關(guān)性，符合人眼的視覺評價。實驗在比較了本文特征提取算法與主觀視覺評價的基礎(chǔ)上，進一步比較了本文算法與基于深度學(xué)習(xí)預(yù)測視頻圖像清晰度的評測結(jié)果。表3是在同一安防監(jiān)控視頻集上進行實驗，得到兩種算法的SROCC和對單幅圖像評測所需時間的平均值(Time)。結(jié)果見表3。

表3 算法與深度學(xué)習(xí)算法結(jié)果比較

從表3可以看出，本文算法對于安防監(jiān)控清晰度異常視頻的檢測的準(zhǔn)確率同樣優(yōu)于基于CNN方法的預(yù)測，但對于每幅圖像的檢測時間高于CNN的預(yù)測時間。但考慮到CNN算法需要一定的時間對樣本集進行訓(xùn)練，得到合適的預(yù)測模型，并對測試視頻集進行預(yù)測，得到清晰度評價值，所需要的一定的訓(xùn)練時間，然本文算法是基于無參考的視頻清晰度評估，對各類視頻類型并不需要CNN那樣進行訓(xùn)練，比較方便快捷，因此，本文算法在實際應(yīng)用中具有較好的適用性。

3 結(jié)束語

視頻圖像清晰度的評價是圖像處理領(lǐng)域近幾年以來重要的課題。本文就現(xiàn)今安防監(jiān)控視頻圖像的清晰度進行了分析實驗，對于一定數(shù)量級的視頻的清晰度評價值也能較好符合人眼的主觀評價。對安防監(jiān)控領(lǐng)域中復(fù)雜多變的情景的問題，提出了基于最優(yōu)直線段邊緣方向的視頻清晰度評價。算法提高了對于視頻圖像區(qū)域性差異的邊緣檢測，使之能更加的符合人眼主觀視覺評價。實驗結(jié)果表明，通過對區(qū)域最優(yōu)邊緣方向的選取，能夠更加準(zhǔn)確地評測圖像的清晰度，驗證了算法的有效性和準(zhǔn)確性。

[1]JI Guanxin,ZHOU Lili.Tampering detection and classification of intelligent video surveillance system[J].Journal of Data Acquisition & Processing,2013,28(2):231-238(in Chinese).[姬貫新,周利莉.智能視頻監(jiān)控系統(tǒng)中的干擾檢測及分類[J].數(shù)據(jù)采集與處理,2013,28(2):231-238.]

[2]Chandler Damon M, Md M Alam,Phan Thien D.Seven challenges for image quality research[C]//IS&T/SPIE Electronic Imaging.International Society for Optics and Photonics,2014:174-188.

[3]WANG Junqi,ZHANG Liguo,LIU Lei.No-reference image quality assessment for sharpness based on line spread function[J].Journal of Computer-Aided Design and Computer Grap-hics,2016,28(8):1279-1286(in Chinese).[王俊琦,張立國,劉磊.基于線擴散函數(shù)提取的無參考圖像清晰度評價[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2016,28(8):1279-1286.]

[4]Feichtenhofer C,Fassold H,Schallauer P.A perceptual image sharpness metric based on local edge gradient analysis[J].IEEE Signal Processing Letters,2013,20(4):379-382.

[5]Zhao H,Fang B,Tang YY.A no-reference image sharpness estimation based on expectation of wavelet transform coefficients[C]//IEEE International Conference on Image Processing.IEEE,2013:374-378.

[6]WANG Zhiwen,LUO Xiaoqing,ZHANG Zhancheng.Quaternion wavelet transform for evaluation of image sharpness[J].Journal of Computer Applications,2016,36(7):1927-1932(in Chinese).[王治文,羅曉清,張戰(zhàn)成.基于四元數(shù)小波變換的清晰度評價[J].計算機應(yīng)用,2016,36(7):1927-1932.]

[7]Vu CT,Phan TD,Chandler DMS.A spectral and spatial measure of local perceived sharpness in natural images[J].IEEE Transactions on Image Processing,2012,21(3):934-945.

[8]Von Gioi RG,Jakubowicz J,Morel JM,et al.LSD:A line segment detector[J].Image Processing on Line,2012,2:35-55.

[9]SONG Ying,CHEN Ke,LIN Jiangli,et al.Edge detection algorithm based on image partition[J].Computer Enginee-ring,2010,36(14):196-197(in Chinese).[宋瑩,陳科,林江莉,等.基于圖像分塊的邊緣檢測算法[J].計算機工程,2010,36(14):196-197.]

[10]ZHANG Tianyu,FENG Huajun,XU Zhihai.Sharpness metric based on histogram of strong edge width[J].Journal of Zhejiang University(Engineering Science),2014(2):312-320(in Chinese).[張?zhí)祆?馮華君,徐之海.基于強邊緣寬度直方圖的圖像清晰度指標(biāo)[J].浙江大學(xué)學(xué)報(工學(xué)版),2014(2):312-320.]

[11]TIAN Weijun,SHAO Feng,JIANG Gangyi,et al.Blind image quality assessment for stereoscopic images via deep lear-ning[J].Journal of Computer-Aided Design and Compu-ter Graphics,2016,28(6):968-975(in Chinese).[田維軍,邵楓,蔣剛毅,等.基于深度學(xué)習(xí)的無參考立體圖像質(zhì)量評價[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2016,28(6):968-975.]

[12]Gásquez R,Royuela V.The determinants of international football success:A panel data analysis of the Elo rating[J].Social Science Quarterly,2016,97(2):125-141.