集成學習算法在圖像質量評估中的應用

牟卿志， 李玉婷， 孫宗升， 周 荃

（濰坊職業學院 機電工程學院， 山東 濰坊 262737）

0 引 言

由于拍攝、存儲和顯示技術的進步，圖像信息交互已經成為在線媒體和社交網絡的主流，每天平均有數十億張圖片在網上共享。 為了能夠在有限的帶寬內共享所有圖像，需要設計緊湊的壓縮算法，使圖片不僅滿足帶寬要求，而且能夠保持適當的感知質量。 然而，海量圖像數據使得人工主觀評估的方法不再可行。 因此，迫切需要可靠的圖像質量評估方法，來提供用戶體驗基準，以應對媒體與社交網絡信息流傳遞的需求。

圖像質量評估通常用于處理一幅或多幅圖像，按規律映射到評估器進行運算，進而完成分數評估工作［1］。 按照映射時是否需要參考圖像來看，可分為全參考圖像質量評價（FR-IQA）、半參考圖像質量評價（RR-IQA） 和無參考圖像質量評價（NRIQA）3 類。 其中，無參考圖像質量評價因其廣泛的應用場景與較大的評價難度成為當今的研究熱點［2］。 在無參考圖像質量評價中，按映射規律，評估器可分為基于保真度［3-4］、結構相似性［5-6］、顏色質量［7］與數據驅動學習［8］等多種評價指標。 分析評估算法，可知現有估計器都基于視覺系統不同方面的特征，即使某種方法在特定感知策略上不如其他方法直接相關，但其仍然可以包含其他方法無法提供的額外信息。 因此，融合多種方法提高整體評估能力的策略被提出，并已成為圖像質量評估工作中的主要發展方向。 隨著融合與增強方法的改進，多方法融合可以產生更全面的質量估計器。 目前常用多方法融合策略有基于線性組合［9］、回歸［10］、集成學習策略［11］等的方法，其中基于集成學習策略的方法被證明表現優于常規融合方法。

在對算法評估能力探究，尤其是將多方法融合策略視為一個集成學習框架進行分析方面，文獻［2］在LIVE 和TID 08 數據集對5 種非特定失真的算法性能，結合算法運行時間情況評選出最佳方法。文獻［12］則針對模糊失真圖像的特性，按人工模糊與自然模糊進行了評估。 本研究發現，框架不應局限于某些特定的質量指標、失真類型或學習方法。為了研究集成學習質量估計器的通用性，本文選用基于4 種不同評價指標中的主流圖像質量評估算法。 在學習算法中，使用支持向量機與通用神經網絡執行增強。 所選用方法在3 種最新且全面的數據庫中進行多項訓練和測試，最后使用基于準確性和線性進行度量，通過將融合方法與現有方法的評估能力進行比較，證明并探討了不同融合方法在不同數據庫上的評估能力。

1 實驗設定

1.1 圖像質量評估器選用

1.1.1 基于保真度

保真度屬性直白量化了評估圖像相對于參考圖像的變化，是圖像和視頻編碼標準中用于衡量失真率的首選指標。 峰值信噪比（PSNR）是其最為常用的像素級保真度度量方法。 進一步擴展指標，添加均值漂移靈敏度，定義為PSNR-HMA（簡稱HMA），這兩個指標均用于失真率衡量操作。

1.1.2 基于結構相似性

結構相似性是一種衡量兩幅圖像相似度的指標。 文獻［3］中提出的基于參考圖像和扭曲圖像在空間域中亮度、對比度和結構方面比較的完全參考度量方案-結構相似性（Structural Similarity，簡稱為SSIM），有效衡量了空間域中兩幅圖像結構的接近程度，是目前主流方法。

1.1.3 基于顏色

在亮度穩定情況下，顏色成為人類視覺系統（HVS）的首要感知評價信息。 在圖像質量評估中，文獻［7］所提出的PerSIM 算法通過計算顏色-對立空間（LAB 空間）中色度通道的像素級保真度來引入顏色信息，通過視網膜細胞的對比敏感度帶通特征，計算兩幅圖像相似性。

1.1.4 基于數據驅動學習

數據驅動的質量估計器多采用無監督方式對使用的圖像進行訓練。 圖像通過多種預處理獲得更具描述性的結構和顏色表示后，被送入線性解碼器以獲得稀疏表示，進而對稀疏表示進行比較，從而獲得客觀分數。 數據驅動的質量估計器UNIQUE 被證明是具備優秀表現的算法［8］。

1.2 集成學習算法

本文通過支持向量機和通用神經網絡兩種主流方法探究提升效果。 在通用神經網絡架構中，調整的唯一參數是單個隱藏層中的神經元數量，其被設置為實驗中使用的質量估計器的總數。 均方誤差設置為代價函數；Levenberg-Marquardt 方法設置為訓練函數。 所采用支持向量機的策略中包括序列最小優化算法（Sequential Minimal Optimization，SMO）和線性核。

1.3 數據集

在估計器評估能力比較中，引入LIVE［13］、多重失真LIVE（MULTI）［14］和TID 2013（TID13）數據庫［15］。 數據庫中提供了參考圖像及附帶評價的失真圖像，通過不同的失真圖像及相關評價，可以有效對質量估計器的評估能力進行客觀驗證。

以TID2013 數據集為例，其提供的參考圖像及相關失真圖像如圖1 所示。

圖1 TID2013 數據集中提供的參考圖片與失真圖片Fig.1 Reference and distorted images provided in the TID2013 dataset

1.4 數據分區和實驗次數

實驗中，質量估計器的評估能力通過k折交叉驗證進行測量。 其中，k設置為4。 在每次迭代中，每個數據庫中總圖像的25%被選為測試集，用于測量現有質量估計器的評估能力。 每種方法都經過10 次運行后取均值作為最終結果。

1.5 評價指標

本文采用精度和線性度兩種評價指標。 均方根誤差（RSME）用于測量精度，而泊爾森相關系數（PLCC）用于測量預測線性度。 相關公式如下：

其中，s為索引圖像序號；xs是評價分數；ys是參考分數；u是圖像均值；N是圖像總數。

2 實驗結果與分析

2.1 現有質量估計器的評估能力

現有質量估計器的評估能力見表1。 就準確性（均方根誤差RMSE） 和線性度（泊爾森相關系數PLCC） 而言，最佳執行方法是LIVE、MULTI 數據庫中的UNIQUE 和TID13 數據庫中的PerSIM 方法。就整體評估能力來看，UNIQUE 估計器的評估誤差較小，是評估能力最強的。

表1 現有IQA 方法的評估能力Tab.1 Evaluation capability of existing IQA methods

2.2 集成學習后圖像質量估計器評估能力變化

本節探究了在集成學習算法的弱勢方法中添加新方法所導致的相對評估能力變化，以及現有方法與集成學習后的圖像質量評估方法的比較。 在集成學習時，每個類別均由表現最差的方法作為基礎，加入所有方法列表中未使用過的最佳方法進行集成學習（該方法此時狀態將變更為已使用），進行估計器能力評估，進而依次循環，繼續進行方法列表下一個未使用過最佳方法的集成，直至所有方法全部集成為止。 初始最弱勢方法為表1 中所列的PSNR 方法，其RSME值為14.63，PLCC值為0.811。

實驗結果表明，隨著集成學習方法數量的增加，均方根誤差（RSME） 呈現遞減趨勢，而泊爾森相關系數（PLCC） 增加，圖像質量評估的準確性不斷提升，線性度則不斷優化。 僅在少數例外情況下， 泊爾森相關系數（PLCC） 在集成學習方法的數量方面出現線性度反向變化的行為。 實驗結果在LIVE、MULTI 及TID13 數據集的整體變化基本趨同。 在LIVE 數據集運行的標準誤差線柱狀圖如圖2、圖3所示。 其中，主軸代表相應指標均值，誤差線代表標準差。

圖2 集成學習后估計器的均方根誤差Fig.2 RSME of estimator after ensemble learning

圖3 集成學習后估計器的泊爾森相關系數Fig.3 PLCC of estimator after ensemble learning

在準確性及線性度分析方面，以LIVE 數據集為例可以發現，集成學習方法通常可以提高圖像質量評估能力。

集成單種方法時，基于神經網絡集成學習的方式，使估計器評估能力在準確度與線性度方面分別提升25.52%與4.81%；而使用支持向量機集成學習的質量估計器的評估能力提升不足，準確度與線性度提升能力僅為7.17%與0.42%。 由此可見，神經網絡集成學習的方式對集成方法帶來的誤差減小較為敏感，可顯著在原方法上完成優勢信息補充。

集成兩種及以上方法時，神經網絡與支持向量機集成學習策略均取得顯著的評估能力優化，在LIVE、MULTI、TID13 數據集運行結果見表2。

表2 現有與集成學習后的圖像質量評估方法比較Tab.2 Comparison of existing and ensemble learning image quality assessment methods

因全部集成學習完成后的方案將所有圖像質量評估算法都已融合在內，因此在進行評價時，選擇將集成學習算法與原來的單一最佳方法進行對比，以驗證多方法集成增強的有效性。 在3 種數據庫權重一致的情況下，神經網絡集成算法較原最優方法的準確度與線性度分別提升16.68%與2.52%，而支持向量機的準確度與線性度提升9.01%與1.10%，兩者均取得了較為有效地提升。 考慮深度學習網絡集成學習參數設置的便捷性，且其評估能力增強亦優于基于支持向量機的增強，因此該方法具有更強的適用性與推廣性。

3 結束語

本文分析了基于多方法融合集成學習框架對圖像質量提升的影響。 實驗結果表明，基于集成學習方法的評估能力優于現有的最佳方法，可以證明集成學習通常會提高圖像質量評估算法的評估能力，增強級別取決于集成學習策略的類型。 此外，使用兩種或兩種以上的附加方法增強評估能力最差的質量估計器，可以在所有場景中獲得統計顯著的改進，而不依賴于特定集成學習策略。