基于SEM的彩色融合圖像質量主觀評價方法

何炳陽,廖俊勃,張 宇,華創錄,王 新,陳文勇

(1.中國華陰兵器試驗中心,陜西 渭南 714200;2.聯勤保障部隊預備役旅,重慶 400054)

1 引 言

紅外和低照度可見光圖像彩色融合技術在綜合不同波段互補信息、發揮不同成像機理優勢的基礎上,根據人眼對色彩敏感的特點,利用色彩增強融合圖像的信息表達能力,能夠進一步提高人眼視覺在低照度條件下對場景的快速理解、感知能力,和對目標的探測、識別能力,因而成為當前夜視技術的重要發展方向[1-2]。

為了比較不同融合算法圖像的優劣,需要對融合圖像的質量作出評價,通常采用客觀或主觀評價。客觀評價以主觀評價的結果為基準,基于評價模型對融合圖像計算得到評價值,具有高效率、低成本、結果重復性好等優點;而人眼主觀評價則是圖像質量最直接有效的評價方法,雖然評價的人力、時間成本較高,但作為客觀評價的研究基礎,一直是彩色融合圖像質量評價的重要研究方向[3]。

早期的彩色融合圖像質量主觀評價,研究的重點是評估彩色融合圖像在探測識別、感知理解的效率和準確率等性能上相比于灰度融合圖像、單波段圖像的改善[4-8]。隨著研究的深入,綜合評價彩色融合圖像在探測識別、感知理解等視覺任務下的總體質量,逐步成為研究熱點[9-10]。通過開展主觀評價實驗,基于單因變量模型分析清晰度、顏色協調性等影響因素對視覺任務下圖像質量的影響程度,并使用易于建模的影響因素預測融合圖像的總體質量,成為目前流行的研究方法[11],學者們在主觀評價實驗設計[12]、評價結果分析處理[13]等方面持續開展研究。

但基于單因變量模型的彩色融合圖像質量主觀評價方法仍存在一些不足:以探測識別視覺任務為例,根據定義,探測識別是將目標從背景中區別出來并判定其類別的過程,而背景會為目標探測識別提供附加的信息。例如,視場中的道路上似乎有一個小斑點,其合理的概率是一輛車;同樣的斑點如果在天空中或者海面上,則它更可能是一架飛機或一艘船[14]。由于觀察者通過背景來感知理解場景的內容,因而在探測識別過程中,“探測”和“感知”是同時存在的。另一方面,根據彩色融合的原理,中、長波紅外成像利于目標探測,低照度可見光成像符合人眼觀察習慣,利于場景感知,色彩進一步增強了場景的信息表達能力,彩色融合則綜合了雙波段的信息、兼具了“探測”和“感知”兩方面的優勢。因此,在評價探測識別視覺任務下的融合圖像總體質量時,若僅基于“探測”指標建立單因變量的總體質量預測模型[15],不僅易使評價人員忽視“感知”在探測識別過程中的作用,也無法全面地反映彩色融合圖像的質量、無法完整地體現融合的意義和目的。

針對該問題,本文以村莊環境下的探測識別視覺任務為例,選取“感知”和“探測”兩個指標共同作為彩色融合圖像質量的表現指標,設計并開展主觀評價實驗,基于雙因變量的結構方程模型(Structural Equation Model,SEM)[16]分析實驗數據,確定彩色融合圖像質量的影響因素及影響程度,建立彩色融合圖像質量的預測模型并進行驗證,為典型環境、典型視覺任務下、基于預測模型的彩色融合圖像質量客觀評價提供研究基礎,同時為融合圖像質量主觀評價研究提供參考。

2 主觀評價實驗

彩色融合圖像質量的主觀評價需要評價人員在一定的觀察條件下,根據評價指標的定義,按照評價方法給出融合圖像的主觀意見分。

2.1 待評價場景及其融合圖像

待評價場景配準后的雙波段灰度源圖像從公開的TNO Image fusion dataset圖像融合數據集[17]中獲取,根據視覺任務的類型,我們采用了模擬村莊場景的低照度可見光(0.4～0.7 μm)和長波紅外(8～14 μm)黑熱圖像作為彩色融合算法的灰度源圖像,所有圖像大小均為640 pixel×480 pixel。該模擬村莊為荷蘭Marnehuizen軍事訓練場,主要用于訓練士兵和警察,訓練場內的各種設施、景物共同營造出真實的村莊環境。

結合研究目的,我們共選取了8個場景(如圖1所示):編號為01至05的5個場景,用于建立探測識別視覺任務下,彩色融合圖像質量的預測模型;編號為11至13的3個場景,用于預測模型的驗證。

圖1 模擬村莊場景的雙波段灰度源圖像

場景內容如下:

01:一排房屋前的道路上,在距離圖像采集設備不遠處有一個士兵在奔跑;

02:兩棟房屋之間的路徑,草地上的煙霧彈釋放了輕度的煙幕,對低照度可見光成像設備造成了局部遮蔽,一個蹲姿手持步槍的士兵欲利用煙幕的掩護通過兩棟房屋之間的草地;

03:一大一小兩棟房屋及草坪,在大房屋二層的兩扇窗戶里各有一個士兵,一個士兵在敞開玻璃的窗戶內,僅在長波紅外源圖像中可見,另一個士兵在在關閉玻璃的窗戶內,僅在可見光源圖像中可見;

04:一輛停放在村莊小廣場上的吉普車,兩個士兵坐在吉普車的前排,因車身遮擋,僅能看到士兵的頭、肩等部位;

05:一條通向遠處房屋的道路中間,距離圖像采集設備較遠處有一個士兵在行走;

11:銀行的門前樹立有標志牌,地面上布設有鐵絲網,在距離圖像采集設備較近處有一個士兵從銀行走出;

12:兩棟房屋之間的路徑,草地上的煙霧彈釋放了重度的煙幕,對低照度可見光成像設備造成了全局遮蔽,一個手持步槍的士兵利用煙幕的掩護面向圖像采集設備走來;

13:一排房屋前的道路上,在距離圖像采集設備不遠處有一個士兵在奔跑。

根據融合原理的不同,目前彩色融合算法主要分為3類,我們從中選取具有代表性且便于獲取的8種:TNO1996[18]和NRL[19]兩種偽彩色融合算法,TNO2003[20]、PAOCT[21]、MAOCT[21]三種基于色彩傳遞的自然彩色融合算法,以及TNO2016[22]、CbCr LUT[23]和RGB LUT[24]三種基于樣本的自然彩色融合算法。彩色融合圖像質量的預測模型在建立和驗證階段采用的場景與融合算法的對應關系如表1所示。

表1 場景與融合算法的對應關系

為了充分驗證預測模型的可靠性,我們在驗證階段采用了與模型建立階段不同的算法(PAOCT、RGB LUT)、不同參考圖像的相同算法(MAOCT),以及不同色彩通道映射關系的相同算法(NRL),生成不同場景、不同融合效果的評價圖像。以場景03與場景13為例,融合效果的對比如圖2所示。

圖2 場景03與場景13的彩色融合圖像

2.2 評價指標及影響因素

參考人眼視覺特性[25]、已有彩色融合圖像主觀評價相關文獻[10-12],場景清晰度、目標背景差異、顏色自然感、顏色協調性等因素會對探測識別視覺任務下的彩色融合圖像質量產生影響。由于多數彩色融合算法圖像的顏色自然感較差、判斷難度大[10],且顏色自然感與顏色協調性具有強相關和共線性[11-12],因此舍棄顏色自然感,在主觀評價實驗中設置彩色融合圖像質量(Color Fused Image Quality)的影響因素3個:顏色協調性、目標背景差異、場景清晰度;表現指標2個:感知、探測,具體如下:

目標背景差異(Difference between Targets and the Background,DTB):目標與局部背景的差異程度,即背景中目標的突出程度,包含亮度差、色度差等。差異越大,主觀評分越高。

場景清晰度(Scene Sharpness,SS):目標細節與景物細節的多少、紋理的清晰程度,保持源圖細節與去除源圖像噪聲的平衡。圖像越模糊、噪聲越大,主觀評分越低。

顏色協調性(Color Harmony,CH):不考慮目標、場景清晰度,融合圖像的色彩搭配組合使觀察者產生舒適、愉悅感受的程度。舒適、愉悅程度越高,主觀評分越高。

感知(Perception):綜合考慮圖像的質量與色彩,場景內容是否易于快速理解。越易快速準確理解,主觀評分越高。

探測(Detection):綜合考慮圖像的質量與色彩,是否易于快速發現目標并辨識目標的類別、細節、行為等。越易發現辨識,主觀評分越高。

2.3 觀察條件

為了獲得有效的評價結果,主觀評價實驗需要在一定的觀察條件下開展。參考已有彩色融合圖像主觀評價相關文獻和彩色圖像質量主觀評價標準[26-28],確定評價實驗所需的環境照度、顯示設備參數、觀察距離等條件。

評價實驗在室內進行,通過調整照明,將環境照度控制在20 lx左右。使用明基SW270C硬件校色顯示器(2560 pixel×1440 pixel,60 Hz)作為彩色融合圖像的顯示設備,顯示參數設置為AdobeRGB顯示模式、D65色溫、75 %亮度。采用SpyderX校色儀搭配DisplayCAL-3.8.9.3校色軟件對預熱30 min后的顯示器進行測試,測得峰值亮度為172.5 cd/m2,背景色度為6476 K,白點色度坐標為(0.3134,0.3279),與D65白點色度坐標(0.3128,0.3292)基本重合,覆蓋98.1 %的AdobeRGB色域,平均色差ΔE00<0.39,即對于人眼而言,顯示色彩與標準色彩沒有可覺察的差異[29],融合圖像的色彩能夠穩定準確呈現。

觀察位置位于顯示器的正前方,最佳觀察距離與圖像的展示方法相關。參考雙刺激法和激勵比較法,通過將低照度可見光和長波紅外灰度源圖像作為參考圖像、將不同算法的融合圖像同屏對比等方式,確保評價結果的穩定準確。在預測模型的建立階段,每個場景分3行展示8幅圖像,展示尺寸為1920 pixel×1440 pixel,第一行以固定順序居中展示2幅雙波段灰度源圖像,第2、3行以偽隨機順序展示6種算法的彩色融合圖像,例如圖3所示為場景04的展示情況;在模型驗證階段,每個場景分3行顯示6幅圖像,第2、3行以偽隨機順序展示4種算法的彩色融合圖像。根據不同尺寸圖像的最佳水平觀看角度[30],設置觀看距離為80 cm。

圖3 場景04的展示情況

2.4 評價人員和方法

參考ITU-R BT.500-14、GB/T 22123-2008等標準[26-28],結合實際條件,參與實驗的評價人員共15人,其中男性13名,女性2名,年齡在20～45歲之間,具有正常(或矯正后正常)的視力和彩色視覺,全部具有長波紅外圖像的觀察經驗,部分還具有微光圖像或彩色夜視圖像的觀察經驗。

每次實驗開始前,打開電腦預熱顯示器30 min,期間采用無偏向性的語氣,向入座的評價人員介紹測試方法、評價指標和評分等級,并展示與待評價場景內容相近的晝間彩色模擬村莊場景(1920 pixel×1080 pixel,如圖4所示),以幫助評價人員了解待評價場景的概況。

圖4 晝間彩色模擬村莊場景

實驗時,評價人員在對低照度可見光和長波紅外灰度源圖像的內容進行充分的理解后,通過對比,根據主觀感受確定不同指標下的融合圖像質量主觀評分。評分采用ITU五級質量量表,分值為1至5分,按照各指標的定義,依次對應主觀感受劣、差、中、良、優5個等級。實驗要求評價人員在無法區分某些圖像的優劣時給出相同的分數,以避免評價結果不準確,但相同分數圖像的數量不應超過每個場景融合圖像總數量的一半,以避免消極打分。評價人員每隔30分鐘休息5分鐘,單個場景的評價時長不受限制。

3 實驗數據處理與分析

15名評價人員根據5個指標的定義分別對彩色融合圖像質量預測模型建立階段的5個場景、驗證階段的3個場景中的融合圖像進行主觀評分,共獲得模型建立階段的實驗數據450組(共計2250個主觀評分值)、模型驗證階段的實驗數據180組(共計900個主觀評分值),每組數據為1名評價人員對1個場景中1種融合算法圖像5個指標的主觀評分。

首先對獲取的實驗數據進行篩選;其次基于雙因變量的結構方程模型對篩選后的420組(14人)數據進行分析,建立探測識別視覺任務下的彩色融合圖像質量預測模型;最后利用篩選后的156組(13人)數據驗證預測模型的正確性。

3.1 數據篩選

主觀評價可能會受到評價人員情緒、理解能力、個人偏好等因素的影響,在分析數據前,需要對評價結果進行篩選,將評分顯著偏離平均分的評價人員剔除。篩選程序參考ITU-R BT.1788標準附錄2[27],計算各評價人員主觀評分與平均分的皮爾遜相關系數,并將低于最大相關門限的評價人員舍棄。篩選結果如表2、表3所示,模型建立階段剔除評價人員1名,模型驗證階段剔除評價人員2名。

表2 模型建立階段的篩選結果(最大相關門限=0.67)

表3 模型驗證階段的篩選結果(最大相關門限=0.48)

3.2 彩色融合圖像質量預測模型的建立

線性回歸是最普遍流行的統計分析方法,但面對雙(多)因變量模型時,只能對因變量逐一分析且忽略其他因變量的存在及影響,導致分析結果不準確。基于變量的協方差矩陣來分析變量之間關系的結構方程模型[16]是社會、心理研究中常用的統計分析方法[31],能夠利用可測量的顯性指標間接地測量知覺感受、個人特質、期望、能力等高度抽象、難以直接測量的潛在變量,并可同時處理多個因變量、同時處理潛在變量及其顯性指標。因此,本文將采用結構方程模型對圖像質量主觀感受的評價結果進行分析。

探測識別視覺任務下,彩色融合圖像質量的結構方程模型如式(1)和圖5所示:

圖5 彩色融合圖像質量的結構方程模型

(1)

其中,彩色融合圖像質量η為潛在變量,誤差為ζ;目標背景差異x1、場景清晰度x2、顏色協調性x3是融合圖像質量的3個影響因素(自變量),三者對潛在變量的影響程度分別為λ1、λ2和λ3;感知y1、探測y2是融合圖像質量的2個表現指標(因變量),二者對潛在變量變化的反映程度分別為λ4和λ5,測量誤差分別為ε1和ε2。

由于模型中的抽象變量和指標無固有的度量,為了能夠對模型的參數進行估計,我們選取y2作為參照指標,設定λ5=1,此時η與y2具有相同的測量度量。模型假定所有誤差的期望值為零,誤差與和變量、誤差之間互不相關,所有變量表示對其均值的離差。結構方程模型的總體協方差矩陣∑如式(2)所示:

(2)

以上建模和分析過程我們借助IBM SPSS Amos 26.0統計學軟件實現,模型建立階段篩選后的420組實驗數據的分析結果如圖6所示,自變量和誤差上方的數字為方差,雙箭頭上的數字為變量間的協方差,x1、x2、x3每單位變化對η的影響量分別為0.36個單位、0.32個單位和0.23個單位,y1、y2對η每單位變化的反映量分別為0.97個單位和1個單位。適配度指標及臨界值如表4所示,檢驗圖6中的適配度實測值,可知假設模型與樣本適配良好。根據分析結果,當同時表現“感知”和“探測”兩種性能時,村莊環境、探測識別視覺任務下,彩色融合圖像質量的預測模型如式(3)所示(誤差的期望值為零),且“感知”和“探測”兩種性能是均衡的。

表4 整體適配度指標及模型實測值[32]

圖6 模型建立階段實驗數據的分析結果

η=0.36x1+0.32x2+0.23x3

(3)

3.3 彩色融合圖像質量預測模型的驗證

使用IBM SPSS Amos 26.0軟件分析預測模型與模型驗證階段篩選后的156組實驗數據的適配性。參照式(3)和圖6,將模型中的系數λ1、λ2、λ3、λ4和λ5的值分別固定為0.36、0.32、0.23、0.97和1,將誤差ζ、ε1和ε2的方差分別固定為0.11、0.64和0.48,基于該參數固定模型的分析結果如圖7所示,檢驗表4和圖7中的適配度指標和實測值,可知預測模型與模型驗證階段的實驗數據相適配,由此驗證了式(3)評價模型在模擬村莊環境下的正確性、有效性。

圖7 模型驗證階段實驗數據的分析結果

4 結 論

作為客觀評價的研究基礎,人眼主觀評價是比較不同彩色融合算法圖像優劣的最直接有效的方法。本文以村莊環境下的探測識別視覺任務為例,選取“感知”和“探測”2個指標共同作為彩色融合圖像質量的表現指標,設計并開展了15人的彩色融合圖像質量主觀評價實驗。采用雙因變量的結構方程模型對篩選后的評價結果進行了分析,結果表明,當同時表現“感知”和“探測”2種性能時,村莊環境、探測識別視覺任務下,彩色融合圖像的質量可由“目標背景差異”、“場景清晰度”和“顏色協調性”3個因素預測,且“感知”和“探測”2種性能是均衡的。

文中的主觀評價實驗設計、評價結果分析處理方法可為融合圖像質量的主觀評價研究提供參考;建立的村莊環境、探測識別視覺任務下的彩色融合圖像質量預測模型為融合圖像質量的客觀評價提供了研究基礎。增加實驗樣本數、進一步完善主觀評價實驗設計和數據分析方法,參照文中方法建立其他典型環境、典型視覺任務下的彩色融合圖像質量預測模型是下一步研究的重點。