基于色調色相不變約束的迭代自適應彩色圖像增強

張 義,宛 楠

(1.安徽工程大學 計算機與信息學院，安徽 蕪湖 241000；2.皖南醫學院 醫學信息學院，安徽 蕪湖 241002)

機器視覺系統[1]的實現依賴于圖像處理、計算機視覺和控制理論等技術.通常情況下設計的機器視覺系統需要補光，而光源也需要穩定光照強度，尤其是在更多的噪聲干擾的情況下，獲得較好視覺效果的圖像難度很大，這大大限制了機器視覺系統應用范圍.系統地解決機器視覺系統的難題需要具體地分析影響視覺效果的主要因素，在這些因素中最具有難度的是低照度下的圖像增強問題.傳統的圖像增強方法有很多，利用它們所獲得的結果差強人意.Monika Agarwala[2]等提出了自適應伽瑪校正的距離限權直方圖均衡化，較好地解決了低對比度醫學圖像增強過程中亮度無法保持和對比度增強過高的問題.然而，所采用的醫學圖像并非彩色圖像，因而無法對顏色進行還原，在進行脊髓造影過程中獲得的圖像效果較差，且存在較多干擾.Sreenivasa Setty[3]等提出先利用對比度拉伸，再利用多尺度Retinex算法進行圖像增強.該方法能夠增強脊髓周圍區域組織的鋒利邊緣，且減少圖像的噪聲，尤其是高斯和斑點噪聲，提高了整體對比度.針對數字彩色圖像增強不能提供良好的動態范圍壓縮，在彩色渲染方面容易失敗的問題，Ming-Jung Seow[4]等提出可以利用同態濾波器進行圖像增強.為了避免色彩恢復失真，將原始圖像中每個像素的顏色關系表示為狀態空間中的吸引子，然后利用神經網絡的動力學特性作為聯想記憶，對同態濾波后的圖像像素的自然顏色特征進行記憶恢復.該算法獲得較好的彩色恢復效果，然而與其他算法相比沒有速度上的優勢.Sheng Zhong[5]等提出了一種基于小波分析的黑白圖像增強方法和一種新的偽彩色圖像處理方法.這些方法所獲得的增強圖像具有豐富的層次，算法提高了圖像信息熵達30%左右.然而由于波母函數的不同，選擇不同的波母函數所得到的結果也有差異，因而一致性不易保證.

圖像增強也是提高陰影圖像和低對比度圖像的感知質量的過程，以便圖像能夠獲得更高的視覺效果.圖像采集設備所獲得的圖像本身存在各種噪聲干擾和環境約束，這導致圖像看上去有假邊緣或偽輪廓，這些虛假的特征將淹沒圖像目標真正的特征.一般地，特征并不是存在于整個圖像中，而是在圖像的某一個局部位置，為了方便，通常把這種局部位置稱為視覺焦點區域.視覺焦點可以通過最新的技術-視覺注意機制[6]來找到.研究考慮了在實際低照度環境條件下如何提高視覺焦點提取的精度.因此，圖像增強是圖像視覺焦點提取之前的關鍵問題.在真實的環境條件下，存在許多外部干擾，可能影響提取出視覺焦點區域.當然，在過高照度下，通過視覺注意機制檢測后將得到大亮度的區域，圖像的亮度特征將被這些大亮度的區域所覆蓋.也就是說，視覺焦點感知會由亮度不均勻導致視覺誤差.同時，在調整亮度時，色彩特征檢測不受圖像增強算法的影響，這是提出新算法的原因.首先，在RGB-YCbCr[7]模型基礎上建立新映射模型.在針對亮度變量Y的微小調整中，可以得到YCbCr中3個分量的相應變化，而后應用視覺注意理論檢測文中所提出的圖像增強算法，驗證算法的魯棒性和運行速度.

1 色彩空間模型

色彩空間模型(包括RGB、YCbCr和HSV等)被廣泛用于數字圖像處理.其中，YCbCr顏色空間保留了比任何其他顏色空間更好的亮度分量的細節信息，同時，不少文獻顯示了使用YCrCb信號時，人眼對色度的敏感性低于亮度，即不易在圖像增強過程中出現顏色失真現象.YCbCr是一種能夠在色彩處理和感知均勻性兩個方面獲得較好折衷的色彩空間，其中的色彩均被處理成色彩感知上有意義的信息.這樣，后續的圖像/視頻處理、傳輸和存儲等就在色彩感知上均具有了意義.YCbCr的可分離亮度信號(Y)可以以高分辨率或高帶寬傳輸，而兩個色度分量(Cb和Cr)可以通過多次采樣、壓縮或以其他方式被單獨處理，從而提高了系統效率.

由于定義YCbCr的方程是以旋轉整個標準RGB顏色立方體的方式形成的，因此可以將其縮放以適應可變尺寸的YCbCr顏色立方體.在YCbCr顏色立方體中有一些點不能在相應的RGB域中表示(至少不在標準的RGB范圍內)，因此，可以根據不同的標準定義改變YCbCr的形式.在ITU-RBT.601(也就是以前的CCIR 601)標準中，YCbCr是從RGB空間派生而來的，如式(1)所示：

(1)

JPEG的JFIF使用的YCbCr則按式(2)定義，其中Y、Cb和Cr取值在0～255范圍內，

(2)

針對于以上的定義，轉換后的YCbCr從數值上隨著轉換方式的改變而不同，因而不具備一般性.為此，研究提出了抽象變換形式以便進行統一的描述.

2 迭代自適應算法

2.1 抽象色彩空間變換

定義1 (抽象變換形式)RGB和YCbCr的抽象顏色空間變換形式如下：

(3)

這里,

在圖像增強中，僅僅改善亮度分量不能獲得良好的性能，容易產生顏色失真現象.解決這一問題的可行方法即在圖像亮度增強的同時加入色調不變約束和色相不變約束.色調和色相的定義如下：

(4)

(5)

2.2 色調、色相不變約束

(1)色調不變約束.假設色調保持常數α，則排除亮度干擾后，僅對顏色進行恢復時將采用式(6)進行推導.

(6)

在增強圖像后，3個分量之間的新關系可以表示如下：

(7)

假設顏色平移的位移是線性的,就是ΔR=R′-R,ΔG=G′-G,ΔB=B′-B.假設：

(8)

鑒于二階微小量對全局的影響較小，為了簡化起見,這里忽略不計.這樣式(8)可以展開為：

[2RD11+(D12+D21)G+(D13+D31)B+2(T2A21+T3A31)]ΔR+[2GD22+(D12+D21)R+

(D23+D32)B+2(T2A22+T3A32)]ΔG+[2BD33+(D13+D31)R+(D23+D32)G+

2(T2A23+T3A33)]ΔB=0,

(9)

首先考慮一個簡單的情況，即：

(10)

其中Cb不能為0.如果實際計算中確實為0，可令Cb=ε，其中的ε為不為0的小正數.根據以上的變換，可得：

(11)

(A21k1-A31)ΔR+(A22k1-A32)ΔG+(A23k1-A33)ΔB=k2,

(12)

至此，由于色調與色相的限制，式(9)和式(12)用數學表達式闡述了其中的約束性.

(3)增量迭代模型.以下將利用拉格朗日極值求解方法推導出YCbCr隨著R分量迭代增量的模型.假設：

2RD11+(D12+D21)G+(D13+D31)B+2(T2A21+T3A31)=L1,

(13)

2GD22+(D12+D21)R+(D23+D32)B+2(T2A22+T3A32)=L2,

(14)

2BD33+(D13+D31)R+(D23+D32)G+2(T2A23+T3A33)=L3,

(15)

然后得到：

(16)

(17)

(4)迭代自適應彩色圖像增強.為了比較圖像增強方法的優缺點，通常使用圖像質量指標嵌入這些算法本身.常見的圖像質量指標[8]主要包含7個指標，即結構化內容(Structural Content，SC)，均方誤差(Mean Square Error，MSE)，峰值信噪比(Peak Signal to Noise Ratio，PSNR)，歸一化互相關(Normalized Cross-Correlation，NK)，平均差(Average Difference，AD)，最大差值(Maximum Difference，MD)和歸一化絕對誤差(Normalized Absolute Error，NAE).用粒子群優化算法(Particle Swarm Optimization，PSO[9])找到最佳迭代步驟.迭代自適應彩色圖像增強算法描述如下所示.

算法1 迭代自適應彩色圖像增強算法

輸入A：一幅低照度彩色圖像；輸出EA：已增強的彩色圖像.

初始化:設定R分量的一個隨機初始偏移量.

①將原始圖像由RGB空間轉換為YCrCb彩色空間；

③分別計算A和EA的7個質量指標；

④在圖像增強時，使用PSO搜索最佳迭代次數τ；

⑥將增強后的圖像由YCrCb色彩空間轉換到 RGB空間；

⑦歸一化EA并輸出.

3 視覺注意機制

在機器視覺研究中，作為人類視覺系統(HVS)的視覺生物機制啟發式算法-視覺注意機制(VAM)越來越受到重視，許多專家將各種新穎的視覺注意機制模型應用到不同的領域.經典的視覺注意機制包括線性濾波器、“中心-周圍”差分計算和歸一化、多尺度融合歸一、線性組合和顯著性的競爭焦點等步驟.首先，獲得的彩色圖像使用線性濾波器來降低噪聲.然后將濾波后的圖像發送到3個通道，以便并行獲得圖像的顏色、亮度和方向等信息.在不同的通道下，輸入圖像進行低通濾波和亞采樣，在不同分辨率下利用Gabor濾波，從而形成不同層級的金字塔[10-11].在金字塔的不同層次上獲得顏色、亮度和4個方向(0度，45度，90度，135 度)特征，然后每個特征通道計算不同尺度下對應顯著圖的中心環繞差異和歸一化.在合并和歸一化地圖后，3個通道中的每一個都可以獲得對應的局部顯著圖.通過三通道輸出的線性組合，得到最終的顯著圖.根據經典的Itti算法理論，在顯著圖中擁有最高值的區域是視覺關注的第一焦點區域，而后將此區域刪除，并在其他區域中尋找第二焦點區域、第三焦點區域等等.研究的核心內容是如何獲得包括特征圖像在內的合適的視覺焦點.

4 實驗和討論

為了驗證算法的有效性和魯棒性，選擇卡內基梅隆大學的姿態、照明和表情數據庫(CMU PIE，見圖1)作為測試圖像集.

圖1 PIE 圖像數據庫中的一些圖像

(1)平均偏差(Average Difference，AD).

(18)

(2)歸一化絕對誤差(Normalized Absolute Error， NAE).

(19)

(3)均方誤差(Mean Square Error，MSE).

(20)

(4)最大偏差(Maximum Difference， MD).

(21)

(5)歸一化互相關系數(Normalized Cross-Correlation， NK).

(22)

(6)峰值信號比(Peak Signal to Noise Ratio，PSNR).

(23)

(7)結構化內容(Structural Content，SC).

(24)

6次迭代后獲得的7種圖像質量指標如圖2所示.從圖2中可以看出，隨著迭代次數的增加，絕對誤差相差很大，圖像太亮，對比度不高，增強效果不佳.因此，為了達到更好的圖像客觀性，需要在合理的范圍內搜索迭代次數.研究還發現搜索過程等于獲得了圖3所示的最佳圖像熵.矩形框內的值將是最佳的迭代次數范圍.采用粒子群優化的生物激勵方法來搜索最佳迭代次數τ，經過τ次迭代后，原始圖像與增強圖像的視覺焦點比較如圖4所示.從圖4中可以看出，增強圖像的視覺焦點包含了增強前提取的大部分視覺焦點.結果表明，該算法對視覺焦點提取具有魯棒性，且具有光照不變性的特點.

圖2 6次迭代后獲得的7種圖像質量指標圖3 熵空間中最佳迭代次數的選取

圖4 原始圖像與增強圖像的視覺焦點比較

為了驗證文中算法在圖像增強前后焦點提取的準確性，提出一種焦點覆蓋比作為測試指標，即：

(25)

式中，i表示總數為N的圖像組的第i幅圖像；FO表示焦點覆蓋比；be和ae分別表示增強前和增強后.考慮到圖像增強算法集中的經典算法，研究所提出的算法將與直方圖均衡化、對比度增強、同態濾波、小波變換進行比較，運行結果如表1所示.由表1可以看到，研究所提算法的焦點覆蓋比是最好的，超過直方圖均衡化近 30%，然而所消耗的時間遠低于小波變換.這就證明了研究所提算法對視覺焦點提取的魯棒性性能較好，且具有快速的特性.

表1幾種圖像增強算法運行結果比較

圖像增強算法 FO/%Time/ms圖像均衡化68130對比度增強73210同態濾波75360圖像增強算法 FO/%Time/ms小波變換821280研究所提算法97570

5 結論

研究提出的方法在低光照環境下，采用迭代自適應彩色圖像增強方法，取得了較好的效果.大多數彩色圖像增強算法都是從灰度圖像增強中擴展出來的，其中3條通道都進行了相似的增強操作.由于需要在短時間內處理大量的圖像數據，導致計算機性能低下.與其他方法相比，此方法取得了較好的效果.同時，采用閉環反饋增強控制，提高了圖像增強算法的魯棒性.目前，將該方法應用于機器視覺中后，通過視覺注意機制提取圖像焦點，能夠保持圖像增強前后焦點差別不大.涉及的算法推導是建立在線性變換基礎上的，因而效果仍需進一步改善，后續將建立非線性變換的迭代自適應彩色圖像增強算法，為后續的跟蹤和識別工作奠定了基礎.

[1] 施特格.機器視覺算法與應用[M].北京：清華大學出版社,2008.

[2] MONIKA AGARWAL，RASHIMA MAHAJAN.Medical image contrast enhancement using range limited weighted histogram equalization[J].Procedia Computer Science,2018(125):149-156.

[3] S SETTY,N K SRINATH,M C HANUMANTHARAJU.An improved approach for contrast enhancement of spinal cord images based on multiscale retinex algorithm[J].International Journal of Imaging & Robotics,2014,13(2):112-125.

[4] M J SEOW,V K ASARI.Ratio rule and homomorphic filter for enhancement of digital colour image[J].Neurocomputing,2006,69(7-9):954-958.

[5] S ZHONG,X JIANG,J WEI,et al.Image enhancement based on wavelet transformation and pseudo-color coding with phase-modulated image density processing[J].Journal of Tianjin University of Technology,2012, 58(5):56-63.

[6] L MAGAZZINI,K D SINGH.Spatial attention modulates visual gamma oscillations across the human ventral stream[J].Neuroimage,2017(166)：219-229.

[7] X ZHU,R CHEN,H XIA,et al.Shadow removal based on YCbCr color space[J].Neurocomputing,2015(151):252-258.

[8] A SAHA,Q M J WU.Full-reference image quality assessment by combining global and local distortion measures[J].Signal Processing,2016,128(C):186-197.

[9] S KARTHEESWARAN.A data-parallelism approach for PSO-ANN based medical image reconstruction on a multi-core system[J].Informatics in Medicine Unlocked, 2017(8):21-31.

[10] X YU,X FEI.Target image matching algorithm based on pyramid model and higher moments[J].Journal of Computational Science,2017(21):189-194.

[11] W ZHAO,H LUO,J PENG,et al.Spatial pyramid deep hashing for large-scale image retrieval[J].Neurocomputing,2017,243(C):166-173.