基于特征匹配的低照度圖像增強評價方法研究

王一波，梁偉鄯

（柳州工學院 信息科學與工程學院，廣西 柳州 545616）

0 引 言

當前機器視覺已得到廣泛應用，較多應用場景的光照、氣候條件變化較大，如自動駕駛、遙感成像、無人機等，給視覺成像質量帶來諸多影響，其中低照度成像是在各應用領域中需重點解決的問題。為此，廣大研究人員針對各自的需求提出了較多的低照度圖像增強算法，可歸納為3類：基于分布映射的方法、基于模型優化的方法和基于深度學習的方法[1-5]。如何評價這些方法的性能是首先需要關注的問題，這對于圖像篩選、算法參數選擇、模型優化有著重要的參考價值。低照度圖像增強評價屬于圖像質量評價的范疇，多年來圖像質量評價都是圖像處理領域的研究熱點，不斷有新的優秀評價數據集和評價方法出現，很多方法對于低照度圖像增強評價具有借鑒和參考意義。黃寶慶[6]通過有效融合人眼的單目和雙目視覺特征，創建了一種基于單雙目特征融合的NR-SIQA方法；鹿婷等[7]提出了一種新的與主觀感知密切相關的無參考水下圖像質量評價方法，融合了色度特征、基于人類大腦視覺皮層的對比度特征、反映圖像信息豐富程度的清晰度特征；韓昊男等[8]結合清晰度相關特征和現有的客觀質量評價，針對性地提出了一種由圖像可視性、結構相似性和顏色恢復度相互融合的去霧方法質量評價。但目前較少有專門進行低照度圖像增強評價研究的文獻，可供低照度圖像增強算法研究的專門評價方法也較少，研究人員普遍參考通用圖像評價方法提出新算法。例如，鄭爽爽等人[9]在提出了一種融合變分低照度圖像增強算法后，使用了自然圖像質量評估器（Natural Image Quality Evaluator,NIQE），分別從亮度、對比度、結構組成等方面與經典算法進行了比較；萬方等人[10]通過將圖像分解為基本層和細節層增強低照度圖像，并基于主觀和信息熵的方法對所提算法進行了評價。由于缺少專門針對低照度圖像增強的評價方法，所以各種增強算法缺少相對統一的衡量依據，這將制約著該領域的進一步發展。為此，本文將通過研究低照度圖像增強的共性特點，提出一種可供參考的評價方法。

1 低照度圖像增強評價理論基礎

1.1 Retinex理論

Retinex理論認為圖像I(x,y)是由照度圖像與反射圖像組成，模型如圖1所示。前者指的是物體的入射分量的信息，用L(x,y)表示；后者指的是物體的反射部分，用R(x,y)表示。公式為：

圖1 Retinex模型

同時，由于對數形式能夠較好地反映人類感受亮度的過程，因此將上述過程轉換到對數域進行處理，這樣做也將復雜的乘法轉換為加法，表達式為：

ln(I(x,y))=ln(R(x,y))+ln(L(x,y))

以上理論未考慮干擾對于圖像的影響，一般在低照度條件下，圖像噪聲N(x,y)不能忽略，為此將以上模型修正為：

1.2 理想評價指標

按照Marr計算理論，圖像中的信息即圖像中顏色或亮度的變化，呈現出的是物體和物體的關系以及物體與人的關系的要素。低照度圖像增強的終極目標即剔除與所采集事物無關信息，保留能夠反映本身特性的一切有用信息。圖像I(x,y)的信息完全集中于反射圖像R(x,y)，因此理想的低照度增強即通過有效的濾波算法，從I(x,y)中提取R(x,y)。當然前提是建立在對于L(x,y)、N(x,y)的精確估計基礎上，但這在現實問題中是無法實現的。

2 面向應用圖像評價算法

2.1 監督式評價方法

監督式評價是建立在“真值”已知的前提下，如前節所述，如果已知R(x,y)，就可以將增強后圖像與R(x,y)進行定量比較，從而精確評價低照度增強算法的性能。但通常情況下，R(x,y)難以預先得到。為此，可將人的主觀評價作為參考真值。本文將低照度圖像增強質量劃分為對比度、曝光現象、偽影、細節丟失、噪聲5個方面。按照賦分制，由相關專家分別對上述指標進行評分，則算法質量綜合得分為：

式中：Qc、Qe、Qa、Qd、Qn分別為對比度、曝光、偽影、細節、噪聲指標評分；λc、λe、λa、λd、λn依次為顏色、曝光、偽影、細節、噪聲權重系數，其應滿足λc+λe+λa+λd+λn=1，在此λc、λe、λa、λd、λn取值根據實際應用需要進行調整，如應用對于細節保留特別敏感，則λd取值應明顯高于其他權重，一般情況下，如無特別要求，則各權重可取值相同。

選取一幅低照度圖像運用直方圖均衡和同態濾波算法對其進行處理，結果如圖2所示。

圖2 直方圖均衡與同態濾波比較

由5位受訪者（編號1～5）按照上述指標分別進行打分，每項指標最高10分，最低0分，在此各指標權重相同，結果見表1所列。

表1 監督式評價評分

由表1可以看出，直方圖均衡平均得分6.2，同態濾波平均得分6.96，兩種算法在不同指標上表現略有不同，但整體效果同態濾波要優于直方圖均衡。

2.2 非監督式評價方法

監督式評測的難度在于獲取準確的真值，而人為主觀評價存在著較大的不確定性，如果不能對此種不確定性進行定量描述，則在實際應用中會造成不可預知的結果，但目前尚無較好方法進行主觀不確定性建模。同時主觀評價對于專家數量有較強依賴，專家人數越多，則評價結果越準確，但這會造成較大的人力、時間消耗。為此，本文將重點研究低照度圖像增強質量的非監督式評價方法。

方法一：將增強后圖像與均勻光照條件下拍攝圖像對比，進行一致性評價。二者一致性越好，則增強質量越高，在此須根據實際應用定義一致性。

通常情況下，增強后圖像不可能與光照均勻圖像完全一致，二者的一致性應主要體現為對應像素灰度值比例一致性，為此做如下定義：圖像I1(x,y)、I2(x,y)對應位置的像素灰度值分別為p1(x,y)、p2(x,y)，將p=p1(x,y)/p2(x,y)看作一隨機變量，則其方差σp=E{[p-E(p)]2}表示兩圖像的比例一致性。σp越高，則圖像間的一致性越高。

以同一場景分別在均勻光照和低照度條件下進行采集，對低照度圖像分別采用伽馬校正和同態濾波算法進行處理，其結果如圖3所示。

圖3 伽馬校正與同態濾波比較

對伽馬校正與同態濾波兩種算法的結果進行一致性評價，直方圖均衡一致性為0.05，同態濾波一致性為0.03，后者一致性好于前者，與主觀評價一致。但該種方法需采集均勻光照圖像，同時兩種光照條件下圖像應嚴格配準，這給圖像采集提出了特別高的要求。為此，該種方法并非首選。

方法二：以特征提取精度為依據。提取場景的特征對測試圖像進行測試，一般以檢測特征點為主，如果特征檢測精度越高，則說明低照度圖像增強質量越好。為定量評價算法性能，可以采用連續采集空間相鄰幀，以2幀圖像特征點正確匹配對數為評價依據，具體如下：

式中：CT為正確匹配對數；CF錯誤匹配對數；Q表示正確匹配率，其值越高，則增強質量越好。如果錯誤匹配數為0，則不論正確匹配對數為多少，Q始終為1。這樣將無法區分匹配對數多和少的算法的性能，為此進行如下修正：

補充1/CT后，如果CT越大，則1/CT越小，從而Q得分將越高，則正確匹配對數越高的算法，得分也將越高。

從圖4可以看出，經同態濾波算法增強后的圖像分別運用ORB算法檢測特征點，對2幅圖像進行特征點匹配，則Q值為9.93。

圖4 低照度增強特征匹配

3 實驗分析

3.1 照度影響分析評價

采集由D50標準光源提供0.1 lx、5 lx、20 lx三種照度條件下的圖像，分別采用直方圖均衡、同態濾波、深度學習算法進行增強處理，再檢測相鄰幀的ORB特征點，結果如圖5所示。

圖5 照度對增強算法影響比較

按照處理結果，分別采用特征匹配評價方法進行評分，0.1 lx、5 lx、20 lx經增強后Q值分別為0、9.9、9.95。據此，照度對圖像增強算法的結果有顯著影響，在不同環境光亮度下，Q值都隨著照度變化呈現規律性變化。當照度低于可接受范圍時，增強算法將失效。

3.2 評價方法比較實驗

選取結構特征豐富的場景，分別在均勻光照和低照度條件連續采集2幀圖像，分別運用直方圖均衡、同態濾波算法對低照度圖像進行處理，提取ORB特征點，結果如圖6所示。

圖6 算法處理評價

這里使用主觀評價方法、一致性評價方法、自然圖像質量評估器（Natural Image Quality Evaluator,NIQE）和特征匹配方法分別對直方圖均衡、同態濾波算法的增強效果進行評價，其結果見表2所列。根據表2，監督式評價與非監督式評價結果一致，進而說明在一般的應用場景下，可以使用非監督式評價替代監督式評價。

表2 低照度增強評價方法比較

4 結 語

本文通過研究低照度圖像增強的共性特點，提出了可供參考的評價方法。主要在兩方面取得了進展：一是探索了低照度圖像評價的理論模型，并提出了理想評價指標；二是有針對性地提出了低照度圖像增強主觀和客觀評價方法，具有一定的體系性。通過與其他已有的評價方法進行比較，本文提出的基于特征匹配的評價方法總體性能更好，基本解決了主觀與客觀評價的一致性問題，對于低照度圖像算法改進、圖像篩選及模型優化等應用具有較好的參考價值。今后，將繼續圍繞優化低照度圖像增強評價方法展開研究。