基于MOS的圖像質(zhì)量評估系統(tǒng)

韓東旭，鐘寶江

蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州215000

1 引言

視覺是人類最重要的能力之一，在從外界獲取信息的過程中起著關(guān)鍵的作用。高質(zhì)量、高清晰度的視覺信息一直為人們所追求，這也促進(jìn)了當(dāng)前圖像處理技術(shù)的發(fā)展。然而，如何有效地評估各類圖像處理算法，如圖像插值、直線段檢測、角點(diǎn)檢測等，已經(jīng)成為視覺和圖像領(lǐng)域中的基本問題。根據(jù)參考圖像的可利用性，圖像質(zhì)量評估可以被分為全參考、半?yún)⒖己蜔o參考三類方法[1]；從是否有人參與的角度，圖像質(zhì)量評估又可以分為客觀評估和主觀評估兩種方法。

在客觀評估方法中，最早提出的即均方誤差（Mean Square Error，MSE）[2]以及峰值信噪比（Peak Signal to Noise Ratio，PSNR）[3]，這兩個客觀評估指標(biāo)僅從數(shù)學(xué)角度來分析真實(shí)圖像和待評估圖像像素強(qiáng)度的差異，并沒有考慮到人類視覺系統(tǒng)的特性。基于結(jié)構(gòu)相似性，Wang 等人首先提出了“結(jié)構(gòu)相似度”[4]，并衍生出“多尺度結(jié)構(gòu)相似度”[5]、“基于梯度的結(jié)構(gòu)相似度”[6]等指標(biāo)；基于特征相似性，則有相位一致性[7]、邊緣相似性[8]等客觀評估模型；基于學(xué)習(xí)圖像質(zhì)量[9]的方法，程曉梅等人[10]提出了估計(jì)圖像退化類型和質(zhì)量評分的雙目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)模型；陳慧等人[11]使用卷積網(wǎng)學(xué)習(xí)立體圖像的局部自然場景統(tǒng)計(jì)特征，并預(yù)測其質(zhì)量得分；基于雙樹復(fù)小波變換對立體圖像進(jìn)行處理，根據(jù)生成的紋理結(jié)構(gòu)等參數(shù)，顧婷婷等人[12]使用AdaBoosting BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練和預(yù)測立體圖像的質(zhì)量得分。

由于客觀評估方法的結(jié)果很多時候與人眼的真實(shí)感知并不一致，對圖像質(zhì)量進(jìn)行可靠的主觀評估顯得更為重要。主觀評估通常分為心理物理法和標(biāo)準(zhǔn)法[13]。心理物理法評估方法要求人們檢測某些信號（如光或色調(diào)）的存在，并從結(jié)果中獲得檢測閾值。基于視覺感知的模型，Ma 等人[14]從廣泛的公共背景亮度范圍中提取“差別閾限值”。基于更多其他的視覺模型，許多學(xué)者相繼提出了自己的圖像質(zhì)量主觀評估指標(biāo)，如細(xì)節(jié)分辨能力和目標(biāo)檢測能力[15]等。心理物理法能夠有效地提取主觀閾值（用于區(qū)分激勵因素的表現(xiàn)）。在圖像質(zhì)量主觀評估中，這類方法能夠有效地識別測試信號質(zhì)量的可見變化。由于人眼視覺系統(tǒng)的復(fù)雜性，心理物理法很難建立完全有效的主觀評估模型。而基于直接觀察的圖像質(zhì)量主觀評估標(biāo)準(zhǔn)法為獲得高度復(fù)雜的媒體信號的一般評級提供了一條途徑。

主觀質(zhì)量評估標(biāo)準(zhǔn)法通常征集測評者對待評估的圖像、音頻序列進(jìn)行觀察并給分，然后對所有測評者的給分進(jìn)行統(tǒng)計(jì)，通常計(jì)算其平均值作為最終的評估結(jié)果，即平均意見得分（Mean Opinion Score，MOS）[13]。MOS是一種較為流行的感知圖像質(zhì)量的主觀指標(biāo)，根據(jù)不同的測試環(huán)境和目的，目前使用最為廣泛的是以下五種基于MOS 的圖像質(zhì)量主觀評估方法：有參考的雙激勵損傷度分級法（Double Stimulus Impairment Scale，DSIS）[16]、雙激勵連續(xù)質(zhì)量分級法（Double Stimulus Continuous Quality Scale，DSCQS）[17]、SAMVIQ（Subjective Assessment Methodology for Video Quality）[18]方法、無參考的單激勵連續(xù)質(zhì)量分級法（Single Stimulus Continuous Quality Evaluation，SSCQE）[19]、ACR（Absolute Category Rating）[18]方法。與這五種方法配合使用的5分制[13]作為一種給分尺度，以其清晰的分級模式而廣受歡迎。除此之外，還有11分制、連續(xù)分制等具備更強(qiáng)識別能力的高層次分級法。基于MOS的主觀評估方法，Liu等人[20]在進(jìn)行美學(xué)圖像的感性評估時，認(rèn)為主觀評估結(jié)果在經(jīng)過一致性檢測后更為準(zhǔn)確；Sun 等人[21]將其應(yīng)用到虛擬現(xiàn)實(shí)圖像的評估中，計(jì)算了常用的客觀質(zhì)量度量和主觀評估間的相關(guān)性。

然而，當(dāng)前對于各類圖像處理算法的主觀測評一般均由算法提出者自己完成。在文獻(xiàn)[22]中，Xie 等人展示了對三組圖像的去噪對比實(shí)驗(yàn)，以此驗(yàn)證所提出算法的強(qiáng)去噪能力；在文獻(xiàn)[23]中，Li 等人通過放大比較各種算法重建后的圖像，進(jìn)行了主觀評估，展示了其算法的優(yōu)勢。顯然，算法提出者通常通過突出顯示圖像某一部分的細(xì)節(jié)來進(jìn)行測評，對細(xì)節(jié)的挑選容易摻雜特定偏好，且樣本數(shù)量少，并不能對算法進(jìn)行全面的測評。而若要征集無利益相關(guān)的測評者來進(jìn)行大樣本的“第三方”測評，則存在操作的復(fù)雜度高、效率低等缺陷。為此，本文設(shè)計(jì)并實(shí)現(xiàn)了一款基于MOS 的圖像質(zhì)量主觀評估系統(tǒng)。首先對相關(guān)的主觀質(zhì)量評估方法進(jìn)行了介紹，接著詳細(xì)描述了評估系統(tǒng)的設(shè)計(jì)，最后使用本系統(tǒng)對現(xiàn)有的直線段檢測算法進(jìn)行了主觀評估，展示了系統(tǒng)的實(shí)際使用效果。主要貢獻(xiàn)如下：（1）基于MOS標(biāo)準(zhǔn)建立了圖像質(zhì)量的主觀評估系統(tǒng)；（2）在設(shè)計(jì)方面，實(shí)現(xiàn)了給分雙確認(rèn)、樣本標(biāo)簽隱藏和樣本次序隱藏等功能，克服了觀察者可能存在的特定偏好，從而保證了主觀測評結(jié)果的客觀性和無偏性；（3）在實(shí)現(xiàn)方面，該系統(tǒng)支持對各類圖像處理算法進(jìn)行主觀評估，為觀察者提供了圖像的同步放大和拖拽等便捷功能；（4）根據(jù)得到的主觀評估結(jié)果，分析驗(yàn)證了不同客觀評估指標(biāo)的可靠性。該系統(tǒng)源碼已發(fā)布在Github 網(wǎng)頁https：//github.com/hdddx/SubjectiveEvaluation。

2 相關(guān)工作

基于平均意見得分的圖像質(zhì)量主觀評估標(biāo)準(zhǔn)法通過統(tǒng)計(jì)多個對象的意見評分，得到最終的測評結(jié)果，這個結(jié)果通常也被稱為“平均意見得分”，即MOS 值。MOS值是對在一組評分尺度下多個評分結(jié)果進(jìn)行平均來獲得的，公式如下：

其中，R 是N 個受試者對給定刺激的個人評級。

在評估過程中，測評者很多時候被要求以某種既定的規(guī)則來觀察圖像，并為每個圖像選擇一個預(yù)定義的分?jǐn)?shù)標(biāo)簽。合理地設(shè)置評估分?jǐn)?shù)標(biāo)簽是圖像質(zhì)量主觀評估前的必要工作之一。5分制是目前最流行的評分尺度之一，其分為5個層級（劣、差、中、良、優(yōu)），分別對應(yīng)于1～5的離散分?jǐn)?shù)。5分制包括“絕對評價全優(yōu)度尺度”（見表1）[16]和“相對評價群優(yōu)度尺度”（見表2）[16]，分別應(yīng)用于有參考的和無參考的圖像質(zhì)量評估中。除了這種具有5 個離散尺度的分級方法，還存在粒度更高的分級方法，甚至接近連續(xù)尺度。但考慮到圖像質(zhì)量評估的便捷有效，使用高粒度的分級方法則會帶來高復(fù)雜度，為此本文選擇5分制作為給分標(biāo)準(zhǔn)。

表1 主觀絕對評價全優(yōu)度尺度

表2 主觀相對評價群優(yōu)度尺度

除了合理地設(shè)置評分尺度，還需要制定一種有效的觀察規(guī)則。DSIS[16]要求測評者觀察多個由真實(shí)圖像（Ground Truth，GT）和對應(yīng)的待評估圖像組成的圖像對。與該方法相似的DSCQS[17]同樣要求測評者觀看多個圖像對，但測評者完全不知道哪一張是參考圖像，哪一張是待評估圖像。SAMVIQ 方法是DSCQS 的派生，該方法允許待評估圖像對可以在任何時刻被重復(fù)顯示與評分。相較于有參考的評估方法DSIS[16]、DSCQS[17]和SAMVIQ[18]，無參考的SSCQE[19]以隨機(jī)的方式將待評估圖像序列呈現(xiàn)給不同的測評者。與之類似的ACR[18]方法無需參考序列，每當(dāng)播放完一張待測評圖像（8 s），都會給出一段時間讓測評者進(jìn)行給分（<10 s）。在數(shù)據(jù)分析階段，該方法不僅僅考慮了測評者給出的評分，還將每張圖像的評分時間作為一個重要參考因素。

然而，對各類圖像處理算法使用基于MOS 的主觀質(zhì)量評估標(biāo)準(zhǔn)法進(jìn)行大樣本的主觀評估，通常存在操作復(fù)雜度高、效率低下的缺陷。為了使得主觀評估簡易可行，并保證評估結(jié)果的有效性和可靠性，本文研究并設(shè)計(jì)了一款綜合的基于MOS 的圖像質(zhì)量主觀評估系統(tǒng)，主要依據(jù)了MOS標(biāo)準(zhǔn)的以下三點(diǎn)優(yōu)勢：

（1）MOS 標(biāo)準(zhǔn)在使用過程中不受主觀測試設(shè)計(jì)的限制。根據(jù)不同的測試環(huán)境和目的，該標(biāo)準(zhǔn)可以適用于多種主觀評估方法，且不需要考慮待評估圖像是如何獲得的。

（2）對于高度復(fù)雜的測評樣本信號，能夠快捷地給出其一般評級。

（3）允許足夠多的測評者參與圖像質(zhì)量的評估，從而保證了測評結(jié)果的無偏性。

具體來說，本系統(tǒng)基于圖像質(zhì)量主觀評估標(biāo)準(zhǔn)法，融合了5分制中的“主觀絕對評價全優(yōu)度尺度”和“相對評價群優(yōu)度尺度”，同時采用雙激勵的觀察規(guī)則，設(shè)計(jì)并實(shí)現(xiàn)了給分雙確認(rèn)、樣本標(biāo)簽隱藏、樣本次序隱藏等功能，最后基于平均意見得分MOS 值對評估結(jié)果進(jìn)行整理與分析。

3 評估系統(tǒng)的設(shè)計(jì)

本文設(shè)計(jì)的圖像質(zhì)量主觀評估系統(tǒng)主要由輸入模塊、評估模塊和輸出模塊組成（如圖1）。各要點(diǎn)如下：輸入模塊用于自動加載準(zhǔn)備好的圖像，實(shí)現(xiàn)了由各類圖像處理算法得到的待評估圖像的批量導(dǎo)入與顯示，同時初始化一些必要的參數(shù)。在評估模塊中，基于雙激勵的圖像質(zhì)量主觀評估標(biāo)準(zhǔn)法，將待評估圖像序列以隨機(jī)的方式呈現(xiàn)給每一位測評者，進(jìn)行樣本標(biāo)簽隱藏、樣本次序隱藏和給分雙確認(rèn)評估。每一位測評者為每一張待評估圖像選擇的評分標(biāo)簽將實(shí)時存儲，并在輸出模塊中計(jì)算其平均意見得分，將MOS值作為評分結(jié)果。

圖1 設(shè)計(jì)的圖像質(zhì)量評估系統(tǒng)的框架

3.1 輸入模塊

輸入模塊包括評估參數(shù)的設(shè)置以及待評估圖像的導(dǎo)入。分別如下：

（1）參數(shù)設(shè)置。包括圖像處理算法數(shù)、待評估圖像組數(shù)和給分雙確認(rèn)評估中的容忍閾值，這些參數(shù)將在下面的章節(jié)中詳細(xì)介紹。以上參數(shù)均在圖像質(zhì)量主觀評估前進(jìn)行初始化，測評者無法修改。

（2）標(biāo)簽法導(dǎo)入。通過標(biāo)簽法將評估任務(wù)所需的圖像進(jìn)行批量自動化導(dǎo)入。每一組待評估圖像都包括GT圖像和多張由不同圖像處理算法得到的圖像，這些待評估圖像通常都以圖像處理算法的簡稱命名。本系統(tǒng)會將每一組中圖像的名稱作為標(biāo)簽來自動進(jìn)行批量導(dǎo)入和分類。

3.2 評估模塊

評估模塊基于雙激勵損傷度分級法，融入了給分雙確認(rèn)、樣本的標(biāo)簽和次序隱藏策略。本模塊引導(dǎo)測評者進(jìn)行可靠的圖像質(zhì)量主觀評估，并記錄每位測評者給出的評分。主要分為以下三部分：

（1）雙激勵損傷度分級評估。該評估方法要求測評者觀察特定數(shù)量的圖像，并為每一幅圖像選擇合適的評分。其中，DSIS 要求測評者對給定的圖像對進(jìn)行觀察并給出分?jǐn)?shù)，而該系統(tǒng)的觀察對象是圖像組。每個圖像組中包括一張GT圖像和多張由不同圖像處理算法得到的待評估圖像，測評者以GT圖像作為參考，對待評估圖像進(jìn)行觀察打分。考慮到同時對多張不同的待評估圖像評分，本模塊還引入了“單激勵法”中的可重復(fù)評分機(jī)制，即允許測評者重復(fù)觀察每張圖像并修改評分。同時本系統(tǒng)支持待評估圖像之間的相互切換比較，實(shí)現(xiàn)了絕對評價和相對評價的融合。為了獲得更為可靠的評估數(shù)據(jù)，本系統(tǒng)對圖像組中的圖像類別進(jìn)行了調(diào)整。在每組圖像中，有一幅GT圖像供參考，另一幅用于評估。測評者不需要對作為參考的GT 圖像進(jìn)行評分，而需要對另一幅用于評估的GT圖像進(jìn)行評分。本系統(tǒng)將GT圖像隨機(jī)插入到待評估的圖像序列中，而不告訴測評者用于評估的GT 圖像的真實(shí)位置。測評者對用于評估的GT 圖像的給分會被記錄并用于驗(yàn)證，若該分?jǐn)?shù)不是最高的，則說明測評者存在惡意給分的情況；反之，認(rèn)為給分是有效的。

（2）樣本的標(biāo)簽和次序隱藏。研究表明，人們能夠快速地對視覺捕捉到的信息載體（如圖像）進(jìn)行分類，而對于分類模式則會存在殘留效應(yīng)。比如說，當(dāng)觀察完一組圖像并給分后，測評者往往會認(rèn)為給分最高的那張圖像對應(yīng)的圖像處理算法效果是最好的，而給分最低的那張圖像對應(yīng)的圖像處理算法效果是最差的。當(dāng)對下一組圖像進(jìn)行給分時，測評者會延續(xù)對上一組圖像的評分偏好，從而導(dǎo)致評估結(jié)果不夠準(zhǔn)確。為了克服這種特定偏好和保證測評結(jié)果的客觀性，本系統(tǒng)對觀察者隱藏了每組圖像的標(biāo)簽。盡管測評者在給分的過程中不會存在對某類圖像特定的偏好，但仍然會對特定的圖像次序較為敏感。因此說僅僅隱藏樣本的標(biāo)簽是不夠的，還需要對測評者隱藏樣本的次序。例如，第一組與第二組的待評估樣本序列是不一致的，每一組樣本序列的次序都是隨機(jī)生成的。

值得說明的是，本系統(tǒng)只是在面向測評者時，隱藏了樣本的標(biāo)簽和次序，但這些有效信息都記錄在系統(tǒng)的后臺數(shù)據(jù)中，并不會刪除。因此，樣本標(biāo)簽和次序的隱藏并不會影響圖像有效信息的完整性。具體來說，記輸入的一組樣本標(biāo)簽為l={l1,l2,…,lm} ,m 為樣本數(shù)量。系統(tǒng)會為該組樣本生成一個隨機(jī)樣本序列，記為：

其中，π(·)是一個生成和記錄隨機(jī)映射的函數(shù)，存儲于系統(tǒng)的后臺數(shù)據(jù)中，fπ(l)為l 的一個雙映射表示。在測評過程中，系統(tǒng)根據(jù)該隨機(jī)序列向測評者有序地展示待評估樣本，并保存測評者對所有樣本的給分（記為S），則測評者對樣本li的評分可以記為S(Li)。

當(dāng)進(jìn)行大樣本的測評時，用矩陣L=[l(1),l(2),…,l(n)]∈?m×n來表示n 組樣本的隨機(jī)序列集合。其中l(wèi)(j)∈?m是一個列向量，存儲了第j 組樣本的隨機(jī)序列。分?jǐn)?shù)矩陣S ∈?m×n用于存儲評估過程中測評者對每張圖像的給分。最終，通過計(jì)算獲得一位測評者評估后各圖像處理方法的評分向量s(s1,s2,…,sm)∈?m，即：

其中，j=1,2,…,n 且i=1,2,…,m。

（3）給分雙確認(rèn)。本系統(tǒng)采用給分雙確認(rèn)策略的目的是為了阻止無效數(shù)據(jù)（如“亂”打分）的生成。目前“第三方”測評通常直接收集測評結(jié)果，再排除無效數(shù)據(jù)，即單確認(rèn)方式，很大程度地影響了主觀測評的效率。因此，在評估過程中阻止無效數(shù)據(jù)的生成是很有必要的。本系統(tǒng)采用給分雙確認(rèn)的策略，當(dāng)測評者給出兩輪測評的分?jǐn)?shù)，通過閾值法來確認(rèn)數(shù)據(jù)的有效性。測評者需進(jìn)行兩輪圖像質(zhì)量主觀評估（對n 組圖像評分視為一個輪次），值得說明的是，這兩輪測評樣本的標(biāo)簽和次序都被隱藏，且其次序所對應(yīng)的隨機(jī)映射函數(shù)是不同的。記兩輪評分向量的歐式距離為d，即：

其中，k=2 是測評者需要進(jìn)行主觀評估的輪次，s(k)是在第k 輪次中計(jì)算得到的各類圖像處理方法的評分向量。當(dāng)測評者完成了兩個輪次的主觀評估后，本系統(tǒng)會比較這兩個輪次的評分結(jié)果（第一個輪次和第二個輪次）的距離。如果距離小于容忍閾值t ，則輸出兩個輪次評估結(jié)果的均值；否則，認(rèn)為本次評估結(jié)果是離群的、無效的。為了說明這一點(diǎn)，可以寫作以下公式：

其中，E(k)∈?m是由一位測評者進(jìn)行一次完整的獨(dú)立評估最終輸出的評分向量。

表3 描述了給分雙確認(rèn)在該系統(tǒng)中的應(yīng)用樣例。如表中所示，假設(shè)給定的容忍閾值t=30，顯然，第一輪的評估結(jié)果沒有可比較的對象，因此當(dāng)前輪次與上一輪次評分向量間的距離為NaN（Not-a-Number）。而第一輪和第二輪評分間的距離為，這兩輪評分結(jié)果具有良好的相關(guān)性，則這兩個輪次評分的均值將作為一位測評者給出的最終評分結(jié)果。

表3 給分雙確認(rèn)的示范性樣例

3.3 輸出模塊

由于測評者的個體具有差異性，圖像質(zhì)量的主觀評估很多時候需要征集多個無相關(guān)利益的測評者。該系統(tǒng)為測評者提供一次完整的、便捷的、獨(dú)立的圖像質(zhì)量主觀評估，并輸出測評結(jié)果作為Ei計(jì)算平均意見得分MOS值的個體評分。則參與測評者對各類圖像處理算法yj給出的平均意見得分MOS值可以表示為：

其中，N 為測評者總?cè)藬?shù)，m 為待評估的圖像處理算法總數(shù)，xj表示第i 位測評者對第j 類圖像處理算法對應(yīng)的所有待評估圖像的平均給分。本模塊除了統(tǒng)計(jì)輸出MOS值，還根據(jù)評估結(jié)果對算法進(jìn)行了排序，完成了與客觀質(zhì)量評估的相關(guān)性分析。

4 評估系統(tǒng)的實(shí)現(xiàn)

本系統(tǒng)基于Matlab語言，為測評者提供了友好的人機(jī)交互操作，嘗試引導(dǎo)測評者進(jìn)行圖像質(zhì)量主觀評估。測評者可以查閱根目錄中的自述文件，以便了解此系統(tǒng)運(yùn)行的過程。此外，測評者還可以在GUI圖形化界面中單擊工具欄上的問號按鈕以獲取幫助。當(dāng)執(zhí)行錯誤的操作時，該系統(tǒng)將自動提示接下來需要如何操作。圖2展示了該系統(tǒng)對圖像進(jìn)行顯示、評分的主頁面，該頁面還包含了三個使得圖像質(zhì)量主觀評估更為便利的基本功能，包括對圖像的放大、縮小、拖拽等功能。在主頁面的左半側(cè)顯示的是待評估的各圖像處理算法所得到的圖像。在圖形化界面的中部是可供選擇切換的待評估圖像按鈕，除此之外，測評者需要為當(dāng)前顯示的待評估圖像從右側(cè)的5 分制標(biāo)簽中選取一個合適的評分。同時該圖形化界面具有自適應(yīng)的功能，當(dāng)被拉伸或放大時，更多的隱藏信息會顯示出來。如圖3 所示，主頁面中右下角的表格用于記錄與顯示在評估過程中測評者給出的待評估圖像序列的評分，當(dāng)GUI 圖形界面拉伸時，待評估圖像也會自動放大。

圖2 評估系統(tǒng)圖形化界面演示

圖3 評估系統(tǒng)拉伸后的圖形化界面演示

如圖4所示，所有的相關(guān)參數(shù)都可以根據(jù)各種需求而被重新設(shè)置。在圖5中，每一位測評者在完成圖像質(zhì)量的主觀評估后，都可以看到自己的評估結(jié)果，評分以柱狀圖的形式在GUI 圖像化界面中顯示。該系統(tǒng)還提供了友好的人機(jī)交互對話窗口，如圖6 所示，測評者在系統(tǒng)的引導(dǎo)下能夠更順利地完成評估。此外，該系統(tǒng)為測評者提供了對待評估圖像放大、縮小、拖拽等功能，圖7給出了一個同步放大功能的示例。所謂的同步放大，就是當(dāng)圖像組中的一張圖像被局部放大時（無論是GT 圖像還是待評估圖像），該圖像組中的其他圖像應(yīng)當(dāng)在同樣的位置保持同樣的縮放倍數(shù)。該系統(tǒng)實(shí)現(xiàn)了最近鄰插值算法來放大圖像，而不是使用Matlab自帶的放大功能。當(dāng)測評者需要近距離地觀察待評估圖像時，該操作為評估節(jié)約了很多時間。

圖4 評估系統(tǒng)的參數(shù)設(shè)置界面演示

圖5 評估系統(tǒng)的結(jié)果輸出界面演示

圖6 用于引導(dǎo)的對話框演示

圖7 設(shè)計(jì)的圖像質(zhì)量主觀評估系統(tǒng)具備的同步放大功能

由于待評估圖像間的差異非常小，這對于不具備專業(yè)知識的測評者如何做到準(zhǔn)確地評估圖像質(zhì)量是非常困難的。該系統(tǒng)通過鼠標(biāo)滑輪的前后滾動，來完成兩張圖像的快速切換，相較于點(diǎn)擊切換更加便捷。測評者通過捕捉前后切換的圖像間的輕微差異，能夠給出相對的、更為準(zhǔn)確的評分結(jié)果。

表4 對比了本文方法和其他兩種不同主觀測評方式的性能。自評估方式即由算法提出者自己挑選圖像進(jìn)行主觀比較，并總結(jié)自己的主觀感受。這種做法通常存在樣本量小等缺陷，并不能體現(xiàn)測評結(jié)果的客觀性和無偏性。“土耳其機(jī)器人”[24]是一款“第三方”網(wǎng)絡(luò)評估平臺，與本文設(shè)計(jì)的評估系統(tǒng)類似，都允許征集足夠多的測評者進(jìn)行大樣本的測評，因此測評結(jié)果的無偏性可以得到保證。然而，“土耳其機(jī)器人”通常在收集測評結(jié)果后排除無效數(shù)據(jù)，操作復(fù)雜度較高，效率低，且其收集到的測評結(jié)果并不具備足夠的客觀性。本文設(shè)計(jì)的評估系統(tǒng)通過三個主要功能（隱藏樣本標(biāo)簽，隱藏樣本次序，給分雙確認(rèn)），保證了測評結(jié)果的客觀性。同時，本系統(tǒng)實(shí)現(xiàn)的給分雙確認(rèn)功能，可以阻止無效數(shù)據(jù)（如“亂”打分）的生成，使得測評更簡易便捷，效率更高。

表4 不同主觀測評方式性能分析

5 評估系統(tǒng)的演示

為了展示系統(tǒng)的實(shí)際使用，本文對現(xiàn)有的直線段檢測算法進(jìn)行主觀評估。值得說明的是，本例的作用是演示系統(tǒng)的使用過程，對單個測評者來說，測評結(jié)果的客觀性、無偏性可以由系統(tǒng)的三個功能（樣本的標(biāo)簽隱藏，樣本的次序隱藏，給分雙確認(rèn)）來保證；若要加強(qiáng)基于測評者群體的結(jié)果客觀性、無偏性，則需要保證測評者的數(shù)量充分即可。

直線段作為一種重要的圖像特征，能夠有效表達(dá)場景的幾何信息和拓?fù)湫畔ⅰＭㄟ^以下4 個指標(biāo)來實(shí)現(xiàn)對直線段的客觀評估：精度（Precision）、召回率（Recall）、IoU（交并補(bǔ)）和F-值（F-score）。而對檢測到的直線段進(jìn)行準(zhǔn)確的客觀評估是非常困難的。其難點(diǎn)為檢測到的直線段很難與GT 圖匹配，常常會出現(xiàn)一對多、多對一、多對多的情形。

目前被廣泛使用的直線段客觀評估算法是由Cho等人[25]在2018 年提出的。該算法基于一些誤差容忍值來識別檢測到的直線段的真陽性。其核心思想如下，對任一檢測到的直線段ld，若其為真陽性，必能找到滿足以下3 個條件的GT 直線段lg：（1）ld中點(diǎn)至lg的距離小于誤差容忍值τp；（2）ld與lg形成的夾角小于誤差容忍值τang；（3）ld與lg相交的部分大于比例誤差容忍值τarea。鄭行家等人[26]指出，該直線段匹配算法對于過長的直線段并沒有做到很好的抑制作用。

為了進(jìn)行主觀評估，24位不具備專業(yè)能力的學(xué)生被招募為志愿者來評估由不同直線段檢測算法得到的直線段圖像的視覺質(zhì)量。為了使得志愿者們集中注意力做出可靠的評估結(jié)果，只考慮了6種目前先進(jìn)的直線段檢測算法（CannyLines[27]、EDLine[28]、ELSDc[29]、Linelet[25]、LSD[30]、MCMLSD[31]），如圖8 所示。從YorkUrban 直線段數(shù)據(jù)集[25]中隨機(jī)挑選了8張分辨率為640×480的圖像作為測試圖像，因此每一位志愿者需要對56 張圖像進(jìn)行評估，即8組直線段圖像（每組包含6張分別由上文提到的6 種直線段檢測算法獨(dú)立運(yùn)行得到的直線段圖像和1張?jiān)?.2節(jié)中提到的用于評估的GroundTruth圖像）。每個直線段檢測算法的平均意見得分都將被記錄用于比較。如圖9所示，雷達(dá)圖中的每條輻線代表24名招募志愿者中的一位，且每條輻線上的實(shí)點(diǎn)標(biāo)記了該雷達(dá)圖下方標(biāo)記相應(yīng)直線段檢測算法檢測到的8 張直線段圖像的總分。分?jǐn)?shù)越高，表明視覺效果更好。

結(jié)合Cho 等人[25]提出的客觀評估方法得到如圖10所示的主客觀評估結(jié)果，為了便于觀察比較，MOS值都縮小到了10%。在主觀評估中，算法EDLine和MCMLSD并駕齊驅(qū)，CannyLines 稍遜一籌。MOS 值為0.380 7 的EDLine和MOS為0.398 0的MCMLSD遠(yuǎn)高于CannyLine（0.338 5）、ELSDc（0.255 2）、Linelet（0.251 0）和LSD（0.250 5）的平均意見得分。相較于客觀評估指標(biāo)，IoU值表現(xiàn)得較為平穩(wěn)，差異性不明顯，指標(biāo)F-值、精度的變化趨勢與MOS值相似，略有不同。這也說明指標(biāo)F-值、精度與人眼的感知能力較為一致。其中，MCMLSD的精度值較低，但得益于其較高的召回率，其F-值表現(xiàn)得較為出色。由此可以發(fā)現(xiàn)，人眼對于直線段的長度、方向、位置更為敏感，對于直線段評估的準(zhǔn)則顯然更為明確、更為全面。人眼傾向于檢測到與GT 長度一致的直線段，而不是如MCMLSD檢測到的過長的直線段，也不是如Linelet、ELSDc 檢測到的斷斷續(xù)續(xù)的直線段；相比LSD，人眼更傾向于如EDLine 和CannyLines 檢測到的方向更準(zhǔn)確的直線段。這也更加說明了直線段檢測算法的客觀評估指標(biāo)并不全面，而利用主觀評估能更好地驗(yàn)證客觀評估指標(biāo)的有效性。

圖8 評估系統(tǒng)在直線段檢測上的應(yīng)用樣例

圖9 6種不同的直線段檢測算法的平均意見得分

圖10 直線段檢測算法主客觀評估結(jié)果

6 總結(jié)

伴隨著圖像處理技術(shù)的快速發(fā)展，圖像質(zhì)量評估方法變得尤為重要。可靠的主觀質(zhì)量評估不僅能夠用于分析各類圖像處理算法的性能，還能夠?qū)Σ煌目陀^評估指標(biāo)進(jìn)行驗(yàn)證。而若要征集無利益相關(guān)的測評者來進(jìn)行“第三方”測評，則存在操作的復(fù)雜度高、效率低等缺陷。本文研究并設(shè)計(jì)了一款基于MOS的圖像質(zhì)量主觀評估系統(tǒng)。基于本文的系統(tǒng)及公開的軟件，不同研究者可根據(jù)自己需求對不同類型的圖像質(zhì)量征集足夠多的測評者進(jìn)行大樣本的測評與分析。本文系統(tǒng)結(jié)合了目前主流的雙激勵損傷度分級評估，設(shè)計(jì)并實(shí)現(xiàn)了給分雙確認(rèn)、樣本的標(biāo)簽和次序隱藏等功能，保證了測評結(jié)果的客觀性和無偏性。最后，利用本文系統(tǒng)對六款先進(jìn)的直線段檢測算法進(jìn)行了主觀評估實(shí)驗(yàn)，展示了系統(tǒng)的實(shí)際使用效果。