面向人眼寬視場視覺成像質量的評價方法

王 楊，隆海燕，賈曦然

(1.河北工業大學 電子信息工程學院，天津 300401；2.河北工業大學 天津市電子材料與器件重點實驗室，天津 300401)

0 引 言

人眼系統通過中心視覺和邊緣視覺獲得視覺信息。中心視覺是指視網膜中心1-2度的雙側范圍，其它范圍則為邊緣視覺，兩者形成一個寬視場，在視覺信息處理時協同合作以充分發揮人眼視覺能力。例如，在視覺檢索中用于捕捉感興趣區域和探索場景；在籃球防守中用于判斷對手球員位置并準確標記[1]；在道路行駛中用于獲取更高的駕駛安全性。評估不同視場下的成像質量有助于探究人眼的視覺感知，同時在物體識別和安全駕駛等領域具有廣泛的應用場景和研究價值。

眼模型一直是研究人眼視覺感知的重要手段。在Gullstrand經典眼模型的基礎上，王楊[2]和張伊等[3]構建了個性化人眼光學系統，分別研究寬視場下波前像差的特征以及入射和出射波前像差的統計學差異性。徐歡歡等[4]分析波前像差對調制傳遞函數(MTF)曲線的影響來評估視覺質量。以上研究均通過分析波前像差來評估成像質量，但未獲得人眼在多視場處的視覺成像圖，故在探究人眼寬視場的成像質量方面有一定的局限性。

學者們將客觀圖像質量評價方法應用于圖像視覺質量的度量中。由于人類視覺系統對圖像的顏色結構敏感并具有感知閾值，聞武等[5]從灰度和色度出發挖掘圖像的相關統計特征并建立圖像色彩特征與質量的映射關系。曹欣等[6]則在此基礎上關注圖像的顏色相似性和邊緣特性。王晨等[7]通過偏度特征區分圖像空洞失真和拉伸失真以模擬人眼視覺系統的機理。盧鵬等[8]則以圖像的信息熵和紋理特征表示圖像的細節信息，將其融合后進行圖像質量評價。楊光義等[9]將孿生神經網絡遷移至圖像質量評價領域。現有對中心視覺和邊緣視覺的研究大多從其功能出發，分析二者在視覺信息獲取時所發揮的作用，但獲取人眼多視場成像圖，并利用卷積神經網絡對視覺成像質量進行量化分析，目前尚未見報道。

為準確分析人眼在多視場處的視覺成像質量，受上述人眼對色彩差異化感知和視覺成像特性的啟發，提出一種基于個性化眼模型和孿生神經網絡的寬視場成像質量評價方法。構建專注于雙目重合視野的個性化眼模型以獲取視覺成像；通過捕獲成像圖中的不同色彩區域以模擬人眼的視覺感知；利用孿生神經網絡獲取圖像的多維信息以實現對成像圖質量的量化。

1 寬視場視覺成像質量評價算法

本文所提出的寬視場視覺成像質量評價算法主要分為3步：①構建個性化眼部模型得到波前像差的統計學差異以獲得不同視場下的成像圖；②提取成像圖的差異化色彩區域；③利用孿生神經網絡進行特征提取，實現對視覺成像優劣的量化。具體流程如圖1所示：首先輸入各視場的波前像差值以得到差異化視場成像圖，然后將完成色彩區域提取的子圖像輸入孿生神經網絡中，最后根據孿生子網絡輸出值的歐式距離進行度量學習。其中，W為兩個子網絡中共享的權值向量。

圖1 寬視場視覺成像質量評價算法框架

1.1 個性化眼模型的構建

參考文獻[2]中的模型構建方法，以Gullstrand-Le Grand眼模型為基礎，在ZEMAX環境下完成個性化人眼模型的建立。Gullstrand-Le Grand眼模型的結構參數見表1。

表1 Gullstrand-Le Grand眼模型的結構參數

Gullstrand-Le Grand眼模型的折射面均為球面。個性化眼模型中，引入貼合人眼特征的澤尼克矢高面作為角膜和晶狀體的前后表面，迭代優化其曲率半徑和非球面系數。個性化眼模型參數見表2。

表2 個性化眼模型所用參數

1.2 多視場的選取及成像

雙目水平視角的極限值為188°，單目水平視角可達156°。雙目重合視域為124°，該視域內視覺感知敏感并具有觀測立體感，本文重點關注該范圍內視覺成像的優劣。

1.2.1 多視場的選取

為度量雙目重合視域的多視場成像質量，本文參考二維物體表面離散點的采樣對視場角進行選擇。除軸上視場和最大視場外，還需考慮中間視場點的成像優劣。故采用旋轉對稱法取樣，如式(1)所示

(1)

其中，n表示視場點的數量，θn表示第n個視場，HFOV指最大的半視場。雙目重合視野為124°，故取值為62°。根據公式，定義雙目中心為0°，視場1至視場7視角的選取依次為62°、50.62°、35.79°、0°、-35.79°、-50.62°和-62°。設置多視場下的個性化眼模型結構如圖2所示。

圖2 多視場下的個性化眼模型結構

1.2.2 多視場視覺成像

本文通過構建人眼光學系統分析視場下的波前像差以獲得差異化成像圖。在視光學領域，重建波前像差通常由Zernike多項式描述，如式(2)所示

(2)

其中，Zk(x，y) 是Zernike 多項式的第k個模，Ck是多項式系數，kmax是最大的截斷項。點擴散函數(point spread function，PSF)是脈沖函數模的平方，如式(3)所示

PSF=|h(xi，yi)|

(3)

其中，(xi，yi) 是光斑的質心坐標，h(xi，yi) 為脈沖響應函數。PSF可根據Zernike多項式獲得點光源在視場1至視場7的成像圖，如圖3所示。

圖3 點光源在7個視場下的成像

1.3 圖像預處理

提取圖像的色彩區域以模擬人眼對色彩的差異化感知。Lab顏色空間將圖像的亮度信息和色度信息分離，基本消除各顏色分量之間的強相關性[10]，在彩色圖像分割時可保留原圖像的自然效果。Lab顏色空間中的L分量用于表示像素的亮度，取值范圍是[0，100]，表示從純黑到純白；a表示從紅色到綠色的范圍，取值范圍是[127，-128]；b表示從黃色到藍色的范圍，取值范圍是[127，-128][11]。Lab顏色空間的色域寬闊，可密切匹配人眼色彩感知。根據圖像色彩的差異提取區域圖像的結果如圖4所示。

圖4 圖像差異化區域提取結果

由圖4可知，在Lab顏色空間中進行彩色圖像預處理時，區域邊界細節較清晰，可實現差異化色彩區域的精準分離。

1.4 孿生神經網絡

本文所用孿生神經網絡模型如圖5所示。

圖5 孿生神經網絡模型

如圖5所示，模型的雙分支共享權值W，并具有相同的網絡結構和參數。圖像以樣本對的形式輸入，并將其特征映射至指定維度的特征向量空間中，最后以特征向量的歐氏距離判定樣本對的相似程度。將Inception-Resnet-V2作為雙分支的主干網絡，其中Resnet采用殘差網絡的思想，可加速訓練并防止梯度彌散；Inception模塊允許卷積池化操作并行以增加網絡稀疏性，并利用多尺度卷積核擴大感受野。

Inception-Resnet-V2整體結構由Stem網絡、5 組Inception-Resnet-A網絡、Reduction-A降維層、10組Inception-Resnet-B網絡、Reduction-B降維層、5組Inception-Resnet-C網絡、平均池化層、Dropout層、Softmax函數組成，如圖6所示。

圖6 Inception-Resnet-V2整體結構

其中，3種Inception-Resnet網絡的區別在于卷積核的數量、尺寸和卷積通道數不同：Inception-Resnet-A、Inception-Resnet-B和Inception-Resnet-C的結構分別如圖7(a)、圖7(b)和圖7(c)所示。

圖7 Inception-Resnet-A、Inception-Resnet-B和Inception-Resnet-C結構

Inception-Resnet-A的三路卷積通道由激活函數層先經過1×1×32的卷積層后，二通道和三通道分別進行3×3×32和3×3×48、3×3×64的卷積操作，最后三路通道經384次1×1的卷積運算后和未卷積分支殘差連接。

Inception-Resnet-B和Inception-Resnet-C均經過激活函數層后進入卷積通道。一通道均經過1×1×192的卷積層；Inception-Resnet-B二通道為非對稱分支經過1×1×128、1×7×160和7×1×192的卷積層；Inception-Resnet-C二通道經過1×1×192、1×3×224和3×1×256的卷積層；最后兩模塊的卷積通道分別經1154次和2048次1×1的卷積運算與未卷積分支殘差連接至激活函數層。

Stem部分網絡結構的卷積核拆分用于提取圖像淺層特征；Reduction-A和Reduction-B通過卷積和池化操作降低輸出特征圖尺寸實現降維，將上層結構塊的尺寸分別由35×35降為17×17及由17×17降為8×8。

為描述成對樣本的匹配程度，本文引入對比損失函數作為模型的優化函數。其數學表達式如式(4)所示

(4)

2 結果分析

算法在64位Windows10操作系統下，利用Python3.7平臺使用Keras深度學習框架進行實驗，所有實驗結果及部分對比實驗的運行環境均為16 GB RAM內存的Intel(R) Core(TM) i7-10750H CPU處理器、NVIDIA GTX 1060 6 GB。

2.1 數據集與評價指標

LIVE數據集、TID2013數據集和CSIQ數據集應用廣泛、圖像場景多樣，失真類型豐富，有利于評估圖像質量評價算法的優劣，故選取作為實驗數據集進行性能評估。3個實驗數據集的詳細信息見表3。

表3 3個基準測試數據庫信息

為客觀驗證所提算法的性能，選擇通用性能指標皮爾森線性相關系數(Pearson linear correlation coefficient，PLCC)和斯皮爾曼秩相關系數(Spearman rank order correlation coefficient，SROCC)對所提算法進行評估。PLCC和SROCC分別反映客觀質量評價值與主觀評價之間的線性相關度和單調性。SROCC/PLCC值越大，代表算法性能越好：反之，則較差。

PLCC的數學表達式如式(5)所示

(5)

SROCC的數學表達式如式(6)所示

(6)

其中，N代表了數據庫的失真圖像總數目，xj、yj代表了按照一定的順序作排列后(遞增或遞減順序)的主客觀序列中的第j個圖像的主客觀評價值。

2.2 波前像差的描述

利用Zernike多項式對不同視場下的波前像差進行重建。構建個性化人眼光學系統，設置視場角度，視場1至視場7的眼模型如圖8所示。

圖8 眼模型視場1至視場7

不斷優化眼模型的相關結構參數，得到視場1至視場7所對應的Zernike多項式的35項系數。前7階(35項)Zernike系數見表4，因篇幅有限，這里只列出其中6項，其中Zernike系數的順序與ZEMAX中一致。

表4 Zernike多項式的部分系數值

2.3 成像圖的獲取與分割

根據波前像差值對數據集中的圖像進行預處理以得到不同視場下的成像圖，如圖9所示。

圖9 7個視場處的成像

以孿生子網絡輸出的歐式距離差作為對多視場成像圖進行質量評價的指標，即客觀評價值。視場4成像圖的客觀評價值為0.8002，其客觀質量評價最優；視場1和視場7成像圖的客觀評價值較低，分別為0.5858和0.5844，其客觀質量評價較差。

模擬人眼對色彩的差異化感知，得到7個視場下視覺成像的多個色彩區域。成像圖的色彩區域提取結果如圖10所示。

圖10 成像圖的色彩區域提取結果

色彩區域圖像以樣本對的形式輸入到孿生神經網絡中，對子圖像的評價值加權以獲得整幅圖像的質量分值。加權公式如式(7)所示

(7)

2.4 模型訓練

2.5 性能分析

對LIVE數據集、TID2013數據集和CSIQ數據集中的圖像進行多視場成像處理，以孿生子網絡輸出值的歐式距離表示在視場1至視場7處的客觀質量評價值，如圖11所示。

圖11 3個數據集的客觀質量評價值

其中，3個數據集在多視場處的客觀評價值取該數據集中圖像的平均值得到。由于TID2013數據集中訓練集圖像較CSIQ和LIVE數據集大，使得其訓練網絡泛化能力較優，故所提算法在TID2013數據集的客觀圖像質量評價值整體顯著高于LIVE數據集和CSIQ數據集。從3條曲線的整體趨勢來看：視場4的成像評價值最高，視場1和視場7最低。這一趨勢表明，由于人眼的波前像差值隨著視場角度的擴大而增加，故視覺成像質量逐漸下降。

表5 不同評估算法的性能對比

由表5可知，在TID2013數據集上，所提算法的PLCC和SROCC值分別比LI低0.0100和0.0117，比RISE低0.0200和0.0280，但較其它算法有顯著提高；在CSIQ數據集上，所提算法的SROCC和PLCC雖低于CVSS、MPCC算法，但均高于RISE、DIQA、CAGS、RVSIM、PSA、SPSIM、VS-GSSIM、JIA算法；所提算法的SROCC低于LI和DB-CNN，但PLCC比二者分別高0.0094和0.0042；在LIVE數據集上，所提算法也顯示出較好的一致性。綜合評價表明，所提算法模擬人眼視覺感知，利用不同深度的特征圖表示其不同維度的特征，充分表達圖像由底層到高層的有效信息，在與主觀感知相關性方面更具優勢。分析原因可能為，所提算法構建IQA模型時重點考慮圖像的色度特征并對圖像進行局部分塊，較好表征了圖像；共享權值的孿生神經網絡整體參量數減少，可降低過擬合對圖像評價的影響；寬視場成像質量的評價值由多視場成像質量加權得到，權重分配顧及了邊緣視場，并側重于中心視場成像，故所提算法性能較優。

所提算法引入邊緣視覺成像，同時在Inception模塊中增加BN層，利用孿生網絡求取局部質量值再加權，在算法上增加了一定的復雜度。對算法的平均運行時間進行記錄，并將其與其它算法作了對比。采用柱狀圖直觀表示3個數據集中不同失真類型的平均運行時間。TID2013數據集、LIVE 數據集和CSIQ數據集中單個失真類型的每10幅圖像平均運行時間如圖12所示。

圖12 3個數據集中單個失真類型的每10幅圖像平均運行時間

取3個數據集運行時間的平均值與其它算法進行對比，結果見表6。

表6 每幅圖像的平均運行時間

由表6可知，雖然其平均運行時間高于CVSS、VSPSI、VS-GSSIM算法，但分別比CAGS、MPCC和JIA算法的運行時間降低了0.2698 s、0.0201 s和0.0349 s；同時由表5可知，模型精度相較于部分算法在3個實驗數據集上均有提高。綜合成像質量評估準確度和算法效率兩方面得出，本文算法可實現對中心視覺和邊緣視覺成像質量的量化，同時可嘗試應用于自然圖像場景的大范圍感知中。

3 結束語

本文算法利用個性化眼模型獲得中心視覺和邊緣視覺的成像圖，將顏色作為視覺線索獲取成像圖的差異化色彩區域，利用孿生神經網絡實現對不同視場處成像圖的量化，其評價值與主觀感知表現出良好的一致性，可用作彩色圖像質量評價的新思路。目前所提算法對于色彩復雜的圖像區域提取有一定的局限性，后續將繼續改進模擬人眼色彩感知的相關算法，同時嘗試引入自注意力機制進一步提升算法性能，并將探究邊緣視覺在圖像檢索和場域感知等領域中的應用作為未來研究的新方向。