人眼可感知最多相鄰像素灰度差的全局圖像優化方法*

蔡鐵峰

人眼可感知最多相鄰像素灰度差的全局圖像優化方法*

蔡鐵峰

（深圳職業技術學院 教育技術與信息中心，廣東 深圳 518055）

圖像優化可以使圖像內更多面向探測識別的信息被人眼感知．現有的圖像優化方法缺少合理的量化指標，圖像沒有做到面向人眼探測識別最優，甚至優化后圖像人眼可探測識別的景物信息會減少．本文基于圖像中景物輪廓與紋理信息主要體現為相鄰像素灰度差的認識，以圖像中最多相鄰像素對灰度差人眼可感知為量化指標，設計全局圖像優化快速算法．實驗表明，與現有的全局圖像優化方法比較，本方法優化后圖像有最多的相鄰像素灰度差人眼可感知，某種意義上使圖像面向人眼探測識別最優．

探測識別；圖像優化；對比度增強

在灰度圖像中，人眼探測識別主要依賴景物的輪廓與紋理信息，景物輪廓與紋理主要體現在相鄰像素間的灰度差上．當相鄰像素間灰度差小，由于人眼視覺特性，人眼將感知不到此灰度差，也就感知不到相關的景物信息．隨著手機攝像頭等成像設備采集能力的進步，圖像面向人眼探測識別可優化的空間越來越大．圖像優化拉伸圖像對比度，使圖像內信息更多被人眼感知，并且圖像優化方法研究成果也可以用來指導成像系統設計．

灰度圖像優化方法在空間域內可以粗略地分為兩類：全局方法和局部方法．全局方法對整幅圖像進行灰度級拉伸，具有運算簡單快速的特點．局部增強方法放棄全局性約束，由局部區域圖像灰度值確定每個像素的灰度值，能更大拉伸相鄰像素間灰度差，但可能會出現一定程度的圖像失真．全局方法研究是局部方法研究的基礎，在全局方法的基礎上可以衍生出局部方法．

現有的以直方圖均衡(HE)、線性拉伸（LS）、分組直方圖均衡（GLG）為代表的常見全局方法都沒有明確且合理的量化目標，停留在圖像增強階段，沒有使圖像做到最優，甚至出現增強后的圖像不如原圖的情況．OCTM方法[1]以及文獻[2-3]基于直方圖定義圖像全局對比度量化指標，此類量化指標在圖像二值化時反倒取值最優，相應的算法雖添加約束避免二值化，但沒有根本上解決不合理優化目標的天然缺陷．另外一些優化方法基于信息論以直方圖互信息[4]或信息熵作為量化指標[5-9]，把人眼感知信息視為一個信息傳輸過程．這些量化指標都是泛泛地定義在直方圖上，沒有直接定義在圖像相鄰像素之間灰度差上，沒有和人眼探測識別直接關聯起來．本文在以全局灰度級不倒序約束保真圖像信息約束下，以圖像中最多相鄰像素灰度差被人眼可感知為優化目標，設計快速算法得到最優的那幅圖像．

1 問題定義與求解策略

全局圖像優化方法是一個灰度級映射過程，灰度級映射有可能改變圖像信息．本文方法采用全局不倒序為圖像保真約束，本約束要求灰度級在映射過程中大小關系不發生逆轉．對于灰度圖像，人眼探測識別依賴景物的輪廓與紋理信息，景物輪廓與紋理主要體現在相鄰像素間的灰度差上．以沒有先驗知識為前提，可以認為每對存在灰度差的相鄰像素間對都包含一個單位的探測識別信息．故本文在全局不倒序約束下，使圖像中灰度差人眼可感知相鄰像素對的數量最多，在某種意義上使圖像面向人眼探測識別最優．

1.1 圖像優化問題的數學定義

相鄰像素間灰度差小時，由于視覺特性，人眼將感知不到此灰度差，為了便于量化計算，可認為存在人眼感知灰度差的閾值．相鄰像素灰度差大于閾值時人眼才感知到灰度差．人眼感知相鄰像素對灰度差受背景光強度、紋理構型等復雜因素影響，本文采用一種不完善但簡潔的灰度差閾值表達（參見式16），此表達是由實驗數據擬合[10，11]．令變量是一個灰度級，返回值()是其他灰度級與的差能被人眼感知到的灰度差閾值．不同的灰度級對應的灰度差閾值不同，人眼感知灰度差的非均勻性給圖像優化帶來困難．

則本文優化問題數學定義為：

優化目標：

約束條件：

1.2 求解策略

假設我們已經通過把灰度級序列映射到得到那幅最優圖像．在此前提下，把灰度級序列根據式（4）映射到序列中．序列中多個灰度級可以映射到中同一個灰度級，但要求中灰度差不小于人眼視覺閾值的灰度級必須映射到中不同的灰度級．由于確保了映射到同一個灰度級的多個灰度級之間差值小于閾值，所以并沒有減少人眼能正確感知的相鄰像素對的數量．因此，在全局不倒序約束下，把圖像中的灰度級序列映射到能得到最優圖像：

令為中灰度級數量，而為中灰度級數量．當時，有map不倒序地把中每個灰度級分別映射到中不同灰度級，使人眼完全感知到圖像中所有相鄰像素對的灰度差．當時，必然有不同灰度級映射到同一個灰度級，也就是在映射的過程中發生灰度級合并了，灰度級合并可能導致存在灰度差異的相鄰像素對變成灰度相同，使這部分相鄰像素對包含的圖像信息人眼不可見．設計快速算法滿足灰度級合并使圖像中灰度差消失的相鄰像素對最少，是解決本最優化問題的核心．

2 圖像最優化快速算法

本文把灰度值分別與灰度級v、v相等的像素對的數量稱為灰度級v、v合并的代價．由于式（3）的約束，灰度級合并必然是中相鄰灰度級合并在一起，所以很容易想到的合并策略是迭代地進行代價最小相鄰灰度級合并，然而這樣不一定能得到最優合并決策．以圖1（a）為例，假定一幅圖像只有6個灰度級，這6個灰度級按從小到大排序分別是：A、B、C、D、E、F．圖中標示出了所有灰度級間合并代價．現需要把灰度級數量從6個合并到4個．灰度級C、D間合并代價為1最小，先合并C、D得到新灰度級CD，如圖1（b1）所示；更新代價后得到圖1（b2），此時B與CD合并代價為9最小，B與CD合并成BCD，如圖1（b3）所示．然而把B、C合并成一個灰度級，D、E合并成一個灰度級，如圖1（c1）所示，更新代價后如圖1（c2），顯然圖1（c2）合并的代價要小于圖1（b3）．由此可見，迭代單步最優合并不一定是全局合并最優．

（a）原始灰度級序列；（b1）、（b2）、（b3）為迭代合并最小代價相鄰灰度級；（c1）、（c2）為代價最小合并決策

下面仍以圖1為例說明本文將要使用的圖像優化方法的快速算法．圖1（a）有6個灰度級，需要把灰度級壓縮成4個，現尋找代價最小合并決策．對灰度級按小到大排序，給每個灰度級一個編號，如表1所示．

表1 灰度級編號表

同樣3(+1,6)也可由2最后一列與1計算得到，而2可由1計算出來．從而2、3在最優化過程中只須計算最后一列元素，4只有最右上角元素需要計算．構造矩陣、矩陣．其中：

矩陣用于記錄式（6）、（7）、（8）中滿足合并代價最小的，從而本最優化方法只需要計算1、、3個矩陣．

本文所提最優化快速算法有如下5個步驟：

1）統計圖像直方圖，得到圖像中像素數量非0的灰度級以及此類灰度級的數量，并對灰度級按小到大進行編號，如表1所示．如果不大于，轉第5步；如果大于，轉第2步；

3）計算灰度級合并成一個灰度級的代價1矩陣；

4）由1計算矩陣；

5）得到最優圖像．

2.1 計算代價M1矩陣

1矩陣所有元素都初始為0，遍歷圖像所有相鄰像素對．對于任意像素對，假如其兩個像素灰度值對應的灰度級序號為（）其中，則1元素1()=1()+1．從而可以得到任意兩個灰度級對應的代價，也就是0矩陣．對1從左到右按式（11）累加可以得到式（12）．

然后按式（13）從下到上累加可以得到式（5）．

2.2 計算P、E矩陣

矩陣下所有元素都為初始值為0，第一列元素為1中最后一列元素，其它元素由下式計算：

2.3 得到最優圖像

3 實驗結果與分析

在所有滿足全局不倒序的圖像優化方法中，最常見的是直方圖均衡，另外分組直方圖均衡（GLG）和OCTM算法是兩個引起較多關注的方法．這3種算法的對比度增強性能在圖2與表2中與本文方法進行比較．需要指出的是OCTM方法最大化一種圖像全局對比度的評價指標，而直方圖均衡是某種意義上最大所謂的圖像信息熵．

本文挑選了2幅灰度級多的圖像，圖像灰度級越多包含的探測識別信息可能也越多，優化空間更大，由此充分體現本全局圖像優化方法的優異性能．圖2中第一行圖像是室內場景，而第二行圖像是戶外，相較于其它方法，本文方法所得圖像中有最多景物能被人眼看見．如表2所示，本文方法有最多相鄰像素灰度差人眼可見，而OCTM最少．因此在全局不倒序約束下，本文方法能使圖像中最多相鄰像素間灰度差被人眼感知到，從而某種意義上使圖像中最多景物信息被人眼感知到．

表2 人眼能正確感知的景物信息評分

圖2 圖像優化方法性能對比

[1] Wu X. A Linear Programming Approach for Optimal Contrast-Tone Mapping[J]., 2011，20（5）：1262-72．

[2] Yu L, Su H and Jung C. Perceptually Optimized Enhancement of Contrast and Color in Images[J]., 2018（6）：36132-36142．

[3] Jung C, Sun T. Optimized Perceptual Tone Mapping for Contrast Enhancement of Images[J]., 2017，27（6）：1161-1170．

[4] 范曉鵬，蔡鐵峰，朱楓．實現人眼灰度感知信息最大化的圖像增強算法[J]．計算機輔助設計與圖形學學報，2015，27（10）：1900-1906．

[5] Niu Y, Wu X and Shi G, Image Enhancement by Entropy Maximization and Quantization Resolution Upconversion [J].,2016，25（10）：4815-4828．

[6] Wan M, Gu G, Qian W, et al. Particle swarm optimization-based local entropy weighted histogram equalization for infrared image enhancement[J]., 2018，91：164-181．

[7] Kansal S, Purwar S and Tripathi R. Enhancement of Image using Maximum Entropy Bi-Histogram Equalization[C]/2018 3rd International Conference on Communication and Electronics Systems (ICCES), 2018：728-732．

[8] Kanmani M, Narsimhan V. An image contrast enhance- ment algorithm for grayscale images using particle swarm optimization[J]., 2018，77（18）：23371-23387．

[9] Agrawal S, Panda R, Mishro P K, et al. A novel joint histogram equalization based image contrast enhance- ment[J]., 2019.DOI: 10.1016/j.jksuci.2019. 05.010．

[10] Jayant N. Signal compression: technology targets and research directions[J]., 1992，10（5）：796-818．

[11] Chou C, Li Y. A perceptually tuned subband image coder based on the measure of just-noticeable-distortion profile[J]., 1995，5（6）：467-476．

Global Image Optimization with Gray Difference Perceptible by the Most Neighboring Pixels

CAI Tiefeng

（）

Image contrast optimization can make more detection and recognition information in the image perceived by human eyes. The existing image optimization methods lack reasonable quantitative indicators, and the optimized image does not achieve the optimal detection and recognition for human eyes. Even after optimization, the information of the scene that can be detected and recognized by human eyes could be reduced. In this paper, based on the recognition that the contour and texture information of the scene in the image is mainly reflected in the gray difference of neighboring pixels, the paper designs a fast algorithm for global image optimization with the gray difference perceptible by the most neighboring pixel pairs as the quantitative index. Experimental results show that compared with the existing global image optimization methods, the image optimized by the proposed method has the most neighboring pixel pairs perceptible, which makes the image detection and recognition for human eyes optimal in a sense.

detection and recognition; image optimization; contrast enhancement

2019-11-27

深圳職業技術學院校級青年重點資助項目（6018-22k370199991）

蔡鐵峰，男，湖南益陽人，助理研究員，工學博士，研究方向：圖像優化、VR/AR/MR．

TP391.41

A

1672-0318（2020）03-0003-05

10.13899/j.cnki.szptxb.2020.03.001