基于多尺度失真感知特征的重定向圖像質量評估

吳志山，張帥，牛玉貞

（福州大學 數學與計算機科學學院，福州350108）

人們越來越依賴移動設備進行工作和娛樂，例如可以通過展開或閉合屏幕以改變屏幕尺寸的可折疊屏幕設備。因此，如何調整圖像大小以適應具有不同大小和寬高比的顯示設備屏幕，成為與用戶體驗相關的重要問題。

已經有許多成熟的圖像重定向方法被提出。為了理解圖像重定向方法，圖1展示了原始圖像以及MIT數據庫中應用8個重定向方法的結果圖像，包括裁剪（CR）、多操作符（MOP）［1］、縫裁剪（SC）［2］、線性縮放（SCL）、移位映射（SM）［3］、拉伸 和 放 縮（SNS）［4］、視 頻 流（SV）［5］和 變 形（WARP）［6］。操作方法后的括號內是對應圖像的主觀投票數，數值越大表示該圖像質量越好。每幅重定向圖像保持原始圖像的高度并將寬度減小到原始圖像的一半。從圖1可以看出，不同的重定向方法具有不同的關注點，并且重定向圖像的主觀平均意見分數（Mean Opinion Scores，MOSs）也不同。主觀地評估每幅重定向圖像的質量成本太高。因此，有必要開發有效的客觀重定向圖像質量評估（Retargeted Image Quality Assessment，RIQA）方法。為了促進對客觀RIQA方法的研究，Rubinstein［7］和Ma［8］等建立了2個包含重定向圖像和相應的主觀評分的數據庫。

目前，許多RIQA方法被研究出來。早期的RIQA方法通常使用相似性度量。Simakov等［9］提出了一種基于優化視覺數據的雙向相似性（Bidirectional Similarity，BDS）度量方法。Liu等［10］提出了一種逆序（自上而下）的方法來組織圖像從全局到局部的特征，并通過基于顏色度量的相似性（Color metric-based Similarity，CSim）評估重定向圖像。

圖1 重定向操作方法示例Fig.1 Examples of retargeting operation method

近年來，已經出現了基于原始圖像和重定向圖像之間配準的RIQA度量。Zhang等［11］提出了局部塊的寬高比相似性（Aspect Ratio Similarity，ARS）度量來描述圖像的結構失真。Zhang等［12］提出了基于多級特征（Multiple-Level Feature，MLF）的RIQA方法。MLF考慮ARS、臉部塊變形、邊緣組相似性特征并使用回歸學習來預測重定向圖像的感知質量。

盡管現有的RIQA方法表現出很好的評估性能，但主觀和客觀RIQA之間的一致性仍有待提高。由于高級語義失真，如成分變化和顯著對象丟失，以及初級細節失真，如局部內容丟失和局部形狀變化可能出現在圖像的不同尺度上，本文從多個尺度的圖像塊中提取失真感知特征。具體而言，本文提出了原始圖像和重定向圖像之間的ARS的改進度量。此外，本文使用融合的視覺注意力圖，其結合了顯著性圖以及臉部和線條特征，以模擬人類視覺系統對圖像的主觀關注。

1 多尺度失真感知特征度量

本文提出的多尺度失真感知特征（Multi-Scale Distortion-Aware，MSDA）度量可以分為3個階段。第1階段，計算視覺注意力融合圖［13］，通過后向配準方法［11］建立原始圖像和重定向圖像之間的像素級對應關系。第2階段，圖像重定向過程中的失真由建立的像素級對應關系進行模擬。改進的ARS［11］結合視覺注意力融合圖可以更好地捕獲每個局部塊的信息丟失和視覺失真。本文還使用邊緣組相似度［12］和臉部塊相似性特征［12］來分別表示對邊緣組和臉部塊的失真度量。邊緣組相似性度量邊緣空間排列的變化。圖2展示了邊緣組檢測結果。臉部塊相似性用于描述臉部變形程度。圖3展示了臉部塊檢測結果，臉部塊用矩形框標出。最后，機器學習方法用于將特征映射到主觀MOSs并獲得訓練模型以預測所測試重定向圖像的客觀質量分數。

圖2 邊緣組檢測結果Fig.2 Edge group detection results

圖3 臉部塊檢測結果Fig.3 Face block detection results

1.1 改進的ARS度量

本文采用ARS［11］作為初級特征，并改進局部塊的ARS度量。首先將原始圖像劃分成規則網格塊（例如16像素×16像素）。使用后向配準方法［11］計算重定向圖像中與原始圖像相對應的變形塊。圖4展示了后向配準示例，（a）為原始圖像所劃分的塊，（b）為由原始圖像經過多操作符方法得到的結果圖像，為了便于展示后向配準結果，圖像塊劃分為64×64。如圖4（b）所示，重定向后所對應的塊不再是規則的網格塊，通過塊的形狀變化來度量由重定向操作引入的變形。對于重定向前后的每一對圖像塊，原始ARS計算公式為

那么整張圖像的ARS分數可以表示為QAR，計算公式為

式中：N1為原始圖像當中規則塊的數量；w（i）為第i塊所對應的權重；Sar（i）為第i塊的ARS值。

考慮到式（1）無法在所有情況下正確度量形狀畸變。例如，當原始圖像的某個塊在重定向圖像中沒有匹配到相應的塊時，即rw=rh=0，式（1）計算的視覺失真等于1，這意味著該情況下，ARS沒有考慮視覺失真。因此，當在重定向期間移除整個塊時，本文引入參數λ作為視覺失真的懲罰因子。改進的ARS度量表示為Siar，計算公式為

圖4 后向配準示例Fig.4 An example of backward registration

此外，式（2）中的權重w（i）在RIQA方法中起重要作用。通常通過視覺顯著性檢測方法來計算權重。文獻［14］指出，RIQA方法結合不同的顯著性檢測算法通常表現出不同的性能。Zhang等［13］提出了一種視覺注意融合框架（VAF），該框架首先結合了不同顯著性檢測算法計算得到的顯著性圖，然后增強了圖像中的臉部和線條特征，最終得到更加全面的顯著性圖。因此，本文將VAF計算得到的顯著性圖作為融合ARS塊分數的權重。

對于整張圖像，改進的ARS度量表示為QIAR，計算公式為

圖5為VAF示例。圖5（b）所示顯著性融合圖是通過分別對基于離散余弦變換（Discrete Cosine Transform，DCTS）［15］和 基 于 元 胞 自 動 機（Background-based map optimized via Single-layer Cellular Automata，BSCA）［16］方法計算得到的顯著性圖進行均衡化處理，并將2幅結果圖進行融合，即在相同位置像素點的顯著性值取2幅結果圖的平均值。圖5（c）所示面線增強圖是通過對重定向圖像進行面部檢測，同時檢測大于對圖像角線三分之一的直線，并對這些檢測結果位置的顯著性進行增強。

圖5 VAF示例Fig.5 An example of VAF

1.2 MSDA融合

塊是ARS度量的最小單位。不同尺度的塊包含不同的信息。因此，ARS在不同尺度塊上捕捉到的失真信息是不同的。為了獲得最佳評估性能，需要確定最佳的圖像塊尺度。然而，每幅重定向圖像的失真類型不同，與之對應的最佳塊尺度也有差異。難以為每幅圖像確定最佳尺度，因此使用多尺度方案來解決該問題。由不同尺度捕獲的失真彌補單尺度捕獲失真的不足，從而取得更好的評估性能。本文使用8×8和16×16兩個尺度的塊獲取圖像ARS特征。和分別表示由式（4）計算得到的塊尺度為8和16的2個改進后的ARS度量。QEGS［12］和QFBS［12］分別表示邊緣組相似性分數和臉部塊相似性分數。對于每幅重定向圖像，分別計算該圖像的、、QFBS、QEGS這4個相似性分數，并將這4個特征作為訓練特征，主觀MOSs作為訓練標簽，利用支持向量機（SVM）進行回歸學習，最后，向學習好的模型輸入待評估圖像的這4個特征，并輸出該圖像的客觀重定向質量評估分數。

本文按照MLF方法進行實驗，在CUHK數據庫［8］上采用基于徑向基函數（RBF）內核的支持向量回歸模型。由于MIT數據庫［7］提供的是成對比較投票，投票表明來源于同一幅原始圖像的重定向圖像之間的排名，這與CUHK數據庫提供的MOSs不同。因此，使用基于RBF內核的SVMrank［17］對MIT數據庫圖像進行排名回歸而不是直接應用支持向量回歸。

2 實驗結果

本節將介紹MIT［7］和CUHK［8］數據庫及其性能評估指標，然后將提出的方法與這2個公共數據庫上的客觀RIQA方法進行比較，包括BDS［9］、SIFT（Scale-Invariant Feature Transform）flow［18］、EMD（Earth-Mover's Distance）［19］、CSim［10］、PGDIL（Perceptual Geometric Distortion and Information Loss）［20］、ARS［11］和 MLF［12］。實 驗 結 果 表明，與其他方法相比，所提出的MSDA方法與人類主觀感知更為一致。

2.1 數據庫及評估標準

1）MIT數據庫

MIT數據庫包含37幅原始圖像。每幅圖像由8種典型的重定向操作方法進行重定向，如圖1所示。經過8種重定向操作后，原始圖像共生成296幅重定向圖像。210名參與者參加了主觀測試，該測試成對進行，受試者從2個并排的重定向圖像中選擇他們喜歡的圖像。重定向圖像被選擇的次數用作客觀質量評估的主觀分數并用于數據庫實驗評估。本文使用肯德爾排名相關系數（Kendall Rank Correlation Coefficient，KRCC）［21］來衡量客觀分數與主觀排名之間的相關性。KRCC計算公式為

式中：n為排名序列長度；nc和nd分別為與主觀排序一致和不一致的圖像對數量。

2）CUHK數據庫

該數據庫包含57幅原始圖像和171幅重定向圖像。除了MIT數據庫中使用的8種圖像重定向方法外，CUHK數據庫還包括優化的縫雕刻和縮放（Seam Carving and Scaling，SCSC）［22］和基于能量變形（Energy-based deformation，ENER）［23］方法。CUHK數據庫采用5級質量量化策略分別對每幅重定向圖像進行評分，以獲得主觀意見得分。最后，通過平均獲得每個重定向圖像的MOSs。4個常用的性能評估指標，包括皮爾遜線性相關系數（Pearson Linear Correlation Coefficient，PLCC）、斯皮爾曼秩次相關系數（Spearman Rank-order Correlation Coefficient，SRCC）、均方根誤差（Root Mean Squared Error，RMSE）和異常值比率（Outlier Ratio，OR）［24］，用于評估RIQA方法的性能。PLCC可以通過Sheikh等［25］提出的非線性回歸映射函數獲得，方程式為

式 中：β1，β2，…，β5為 需 要 進 行 擬 合 的 參 數。SRCC用于測量RIQA度量預測的客觀分數的單調性。通過計算非線性回歸后主觀MOSs與客觀評估得分之間的均方根誤差，即RMSE。OR為異常值的數量與客觀評估得分總數的比率。異常值是在非線性回歸之后落在區間［MOS-2σ，MOS+2σ］之外的分數，其中σ為客觀評價分數的標準偏差。較大的PLCC值和SRCC值表明客觀評估得分與主觀MOSs值之間的相關性較高，而較小的RMSE和OR值表明RIQA方法的預測分數與主觀分數越接近。

2.2 MIT數據庫性能對比

本文使用基于RBF內核的SVMrank［17］在MIT數據庫上采用LOOCV（Left One-Out Cross-Validation）方式進行多尺度失真感知特征融合。對于每幅原始圖像，使用原始圖像作為查詢，并將8幅重定向圖像的主觀投票作為排名順序。將原始圖像和8幅重定向圖像歸為一組，共計37組。對于每組，使用剩余的36組進行訓練，然后對該組進行測試。最后，評估結果。將提出的MSDA方法與現有方法進行比較。給出每個RIQA度量的平均KRCC和標準偏差，以及具有特定屬性的圖像子集的平均KRCC。表1給出MSDA方法在MIT各子集的KRCC指標，其中p-val是指在一個概率模型中，統計摘要（如兩組樣本均值差）與實際觀測數據相同，或甚至更大這一事件發生的概率。實驗結果顯示，本文提出的MSDA方法性能是每個子集中所有對比方法的前兩名，并且平均性能比MLF方法提高4.1%。

為進一步研究所提方法的有效性，表2給出在MIT數據庫上的特征分析實驗。邊緣組相似性和臉部塊相似性特征的有效性已在MLF［12］中得到驗證，因此僅對多尺度特征進行實驗，該實驗使用VAF計算的顯著性圖。表2第1組實驗為不使用改進的ARS度量的情況下，僅將ARS方法的顯著性檢測方法更改為VAF方法進行實驗。第2、3組為使用單一尺度的改進寬高比特征和進行實驗，相比于MLF，性能均有提升，而使用MSDA方法，性能進一步提高，說明2個尺度的ARS特征具有互補的作用，可以更好地捕獲重定向圖像失真。此外，VAF對MLF性能的提高為2.5%，在VAF的基礎上和多尺度特征分別提高1.1%和1.5%，說明顯著性檢測算法對評估結果影響較大。

表1 MIT數據庫性能對比Table 1 Per formance comparison on MIT database

表2 MIT數據庫特征分析Table 2 Feature analysis on MIT database

2.3 CUHK數據庫性能對比

本文在CUHK數據庫上采用SVR 5折交叉驗證模型。數據庫隨機分為2個子集，80%作為訓練集，20%作為測試集。訓練集和測試集之間沒有重疊。重復隨機訓練測試過程1 000次并記錄1 000次迭代的中值。從表3可以看出，盡管RMSE和OR的指標低于MLF方法，但MSDA的PLCC和SRCC 指標相對MLF方法分別提高1.8%和4.5%，總體具有更好的主觀感知一致性和預測性能。

表3 CUHK數據庫性能對比Table 3 Performance comparison on CUHK database

與MIT數據庫實驗類似，本文同樣給出在驗CUHK數據庫上的特征分析實驗，實驗采用的特征與MIT數據庫的對比實驗相同，實驗過程與表3相同。表4給出CUHK數據庫上的特征分析結果，可以得到與MIT數據庫上相同的結論，進一步說明MSDA方法的有效性。

表4 CUHK數據庫特征分析Table 4 Featur e analysis on CUHK database

2.4 討 論

為了研究不同尺度組合對評估性能的影響，本文對不同尺度塊的改進ARS特征組合進行實驗。表5和表6分別為MIT和CUHK數據庫的不同特征組合的對比實驗。本文在這個實驗中提取的塊尺度特征分別為、和，由于塊尺度過大會導致ARS度量忽略細節失真，另一方面，選擇的塊尺度變化過小，則對實驗結果影響不明顯。因此，塊尺度取8、16、32。從實驗結果可以看出，當塊尺度組合為8和16時，RIQA方法結果具有最高的主觀感知一致性。

表5 MIT數據庫不同塊尺度特征組合Table 5 Different block scale featur e combinations on MIT database

表7和表8給出MSDA方法分別在2個數據庫上結合不同顯著性檢測算法的對比實驗結果，采用當前最新的級聯部分解碼器（CPD）［26］以及ARS方法使用的DCTS［15］顯著性檢測算法。由表7和表8實驗結果可以得出，VAF在3種不同顯著性檢測算法當中性能表現最好。并且最新的顯著性檢測算法并沒有表現出好的性能，其原因在于CPD方法的檢測結果雖然可以很好地檢測顯著性區域，但該方法并沒有對顯著性區域和次顯著性區域進行區分，即顯著性區域都賦予同樣的顯著性值。而VAF方法則對不同顯著性區域賦予不同的顯著性值，特別是對人臉和線條部分進行顯著性增強，使得該顯著性檢測算法更符合重定向圖像在質量評估上的需求。

本文對ARS特征進行深入研究，λ的取值為0～1，λ取值越大表示對重定向圖像中被移除塊的視覺失真懲罰越小，而不同圖像被移除塊對重定向圖像的影響不同，因此有必要對λ進行實驗，尋找最佳的參數設置。圖6給出了不同λ取值對實驗結果的影響，從柱狀圖可以看出，λ=0.66時，MSDA方法性能最好。

表6 CUHK數據庫不同塊尺度特征組合Table 6 Different block scale feature combinations onCUHK database

表7 MIT數據庫不同顯著性檢測算法實驗結果對比Table 7 Comparison of exper imental results of detection algorithms with different saliency on MIT database

表8 CUHK數據庫不同顯著性檢測算法實驗結果對比Table 8 Comparison of experimental results of detection algorithms with different saliency on CUHK database

圖6 不同λ值對實驗結果的影響Fig.6 Influence of differentλvalues on experimental results

3 結 論

本文提出了一個MSDA方法來預測客觀重定向圖像質量，并使用視覺注意力融合圖結合4個有效特征來捕獲圖像重定向期間產生的失真。在2個公共數據庫MIT和CUHK上，所提出的MSDA方法比對比方法具有更高的主觀感知一致性。本文深入研究細節失真特征并通過實驗可得以下結論：

1）相比于改進的ARS度量以及多尺度方法，顯著性檢測算法對實驗結果影響更大。

2）改進的ARS度量原始圖像中整塊像素在重定向過程中全部被移除的情況，該度量與VAF計算的顯著性圖相結合可以更好地捕捉細節失真，從而提高MSDA方法性能。

3）多尺度方法為RIQA度量提供更全面的失真信息，彌補單尺度捕獲失真的不足，從而提高RIQA方法與人類主觀感知一致性。

雖然所提出的MSDA方法表現出良好的性能，但無論是細節失真特征、語義失真特征以及顯著性檢測算法，都需要進一步研究以更好地進行客觀RIQA。