高動態范圍圖像色調映射算法研究

劉婷娜，苗笛聲，白永強，朱仲杰*

（1.浙江萬里學院，浙江 寧波 315100；2.鄭州大學，河南 鄭州 450000）

0 引 言

在數字圖像處理中，亮度絕對值之間的比值即為動態輻射[1]。通常情況下，108：1為現實環境下的標準亮度動態程度，在固定場景中人類視覺系統的亮度動態范圍約為1 000：1[2-5]。光源的動態范圍在標準環境下的狀態如圖1所示。

圖1 亮度范圍比較

目前在低動態范圍（Low Dynamic Range，LDR）中，8 bit/color/pixel是圖像中表示亮度常用的方式，但較不穩定，將使得曝光不合理，致使場景信息無法有效留存。顯然，這些LDR圖像不能滿足實際的應用要求。與LDR圖像不同，HDR（High Dynamic Range，HDR）圖像在寬范圍的亮度表示方面主要是運用浮點點數來體現[6-8]，有更多細節能夠在亮度區間中得到表現。因此，HDR圖像在遙測遙感、安全監控、數字電視以及電子消費等領域得到了廣泛的應用[9-12]。在專業的顯示器輔助下，HDR圖像給使用者的視覺感知幾乎同現實環境趨于一致，并且在顏色及亮度方面更具優勢。但是由于成本和技術問題，這些HDR顯示設備很難普及[13]。因此，在實際的應用過程中，在現階段的顯示設備中將HDR圖像可視化至關重要。為了應對這一挑戰，人們開發了將HDR圖像轉換為LDR圖像的技術，稱為色調映射（Tone-Mapping，TM）技術[14-15]。近幾年，一些研究學者[16-18]綜述了色調映射算法的發展，現代化的色調映射算法發展迅猛，并且性能更為優質。基于心理物理學的各種色調映射算法實驗也表明，不同的色調映射算法在感知的不同方面具有優勢，但沒有一種方法能夠在所有方面都達到最優感知。因此，本文重點研究TM相關技術的發展，分析現有方法的優缺點。

1 常用色調映射算法

TM的最終目標是生成自適應LDR數據，盡可能保留原始HDR對象的場景細節和局部對比度等信息，同時降低整體對比度。換句話說，觀察者期望從帶有TM的LDR圖像中獲得與真實場景相同的視覺感知。TM算法在LDR顯示器上顯示HDR圖像的過程如圖2所示。

圖2 色調映射的作用

現階段，色調映射算法可分為全局色調映射、局部色調映射以及混合色調映射3種。

1.1 全局色調映射

全局色調映射也稱為空間不變色調映射。該算法要求具備標準的映射函數，以確保整體作用的有效性[19]。

Gamma校正廣泛用于調整圖像的動態范圍以增強對比度，其公式為：

式中：Iin為輸入圖像；Iout為輸出圖像。盡管HDR圖像參數相對來說較為簡單，但是為了防止曝光混亂的問題，對HDR圖像參數的選擇非常重要。實際應用過程中問題也較多。更改直方圖布局，能夠有效提高圖像對比度，該方法稱為直方圖均衡化法。Larson等人首次將其應用于TM，并結合一些包括眩光、失去敏銳度和顏色敏感度的人類視覺系統（Human Visual System，HVS）特征[20]。在實際應用中，Log-Gamma是英國廣播公司（British Broadcasting Corporation，BBC）和日本廣播協會（Nippon Hoso Kyokai，NHK）聯合開發的一種重要的HDR標準[21]，分別用對數曲線和Gamma曲線表示信號值的上、下半部分來作為非線性傳遞函數：

式中：r為參考白電平；E是r的歸一化信號；E′屬于非線性信號；a、b、c為常數。原文中，r值為0.5，a=0.178 832 77，b=0.284 668 92，c=0.559 910 73。

全局色調映射算法除了上文的基本方法外，還發展出了大量的新型算法[22-26]。

Yang等人指出色彩的復原可以使用自適應伽馬矯正或者圖像整合的方法來實現。而亮度圖的直方圖，自適應參考的是兩個Gamma函數，依次調整明暗分量的亮度，并采用自適應控制方法，實現對圖像亮度的調整，并將其融合來提高各個部分的細節強度。結果證實，HDR場景的動態范圍可以得到有效壓縮，與原始圖像對比度好，細節清晰，外觀逼真[27]。

基于直方圖的TM算法中，直方圖均衡化是最為常見的問題，尤其在結果實用性上，對比度的大幅提高以及高亮度的過分壓縮會使其質量受損。為了應對此類現象，Khan等人在直方圖中提高了肉眼的視覺敏感度，并且結合亮度直方表實現對TM查找表的構建法[13]，基于HVS建造了一系列等間距容器，在圖像的各個容器中均分了一定比例的像素，將HVS中像素模糊的部分清除，以實現更優質的視覺體驗。吳等人對傳統的基于直方圖的噪聲抑制色調映射算法進行更新，提出顯示模型控制函數，由此得到的色調映射曲線的映射結果亮度是可以控制的，通過對映射曲線的管控，實現對對比度過拉伸以及亮度反轉的控制[28]。

Lee等人在對稱S形曲線的視網膜適應模型基礎上，提出了一種新的非對稱S曲線，并在非對稱S曲線的幫助下提出了兩種全局色調映射算法，在難度上更低，性能更為優質[19]。

Jung等人在感知量化（Perceptual Quantization，PQ）（PQ是一種基于對比敏感度函數的傳遞函數，它體現了人類在亮度上的視覺體驗）的基礎上提出了一種新的色調映射算法[29]，在PQ極限曲線的基礎上，研究出了與人類視覺感知更為貼切的TM對比度提高曲線，該方法不僅能保持圖像的自然度，還可以有效地增強圖像的對比度。

Xi等人的變分模型以梯度域為基礎，能夠實現對圖像動態范圍的控制，并且在圖像細節處理上也更為細致[30]。通過將Gibbs樣本思想加入到算法中，使得算法效率大幅提高。在確保算法有效的前提下，其對細節的控制也更為嚴格。此外，在TM過程中色移問題的處理方面，該算法選擇的是自適應管理飽和算題[31]。通過對圖像處理的前后狀態如亮度比、自適應控制輸出圖像飽和度比對等，來實現對顏色的調整。

1.2 局部色調映射算法

全局色調映射的問題較多，為此，研究人員提出了專門應對HSV部分色調映射方法。該方法不同之處在于，其參考信息主要是周圍像素資料，可以靈活地維護每個區域的更多信息。結合人體視覺系統對細節的研究，亮度會在人們進行四周觀察時發生變化，但是，亮度的改變并沒有對旁觀者產生太大的影響[32]。因此，盡管各個亮度區域發生了巨大的變化，但是其映射函數要根據實際情況來設計。

局部色調映射算法分為分層的算法和基于分段的算法兩種。分層的算法首先通過濾波將HDR圖像的亮度通道進行分解，其次將基層與細節層的部分區域進行壓縮，最后LDR圖像的生成在修改后的圖層中完成?；诜侄蔚乃惴ò凑詹呗缘牟煌瑏碛嗅槍π缘貏澐諬DR部分，在HVS等因素的幫助下，實現對各個區域的動態空間檢測。如何有效地分解亮度通道，是基于分層的算法的關鍵步驟?；A層的周圍模糊或尖銳時，則會在細節層產生振鈴效應，將會引起TM圖像梯度反轉[33-35]。為此，要解決上述問題，必須通過特定的濾波器來處理。

在分層局部色調映射算法中，反射層和照明層通過圖像的形式來實現互相作用。二者的關系為：

I(x,y)=R(x,y)L(x,y) （3）

式中：I為輸入圖像的亮度；R代表反射層；L代表照明層。在反射層中，所處的環境中細節是固定的，并且動態范圍不大。而圖像的高動態范圍是因為光照層在不同區域的影響不同，使得其變化較大。為此，在濾波的作用下，可以實現圖像高度分量的拆分，分解為反射層和照明層兩部分，并且要對照明層壓縮處理，實現圖像的有效建設：

I′(x,y)=R(x,y)L′(x,y) （4）

式中：I′為輸出圖像亮度，L′為壓縮后的照明層。具體流程如圖3所示。

圖3 基于分層的局部色調映射算法的流程圖

高斯濾波是一種經典濾波方法，可將其應用于ICAM中。然而，其權重主要受到空間間隔的影響，因此算法的實際效果不明顯[36]。Zhang等人研究了鄰近像素和中央像素，并對雙邊濾波展開了探究，有效地實現了對圖像細節的處理[37]。Yang等人以逐像素的方式發明了一種色調映射算法，還設計了量身定制的硬件來實現此TM算法[38]。

Wang等人發現了一種能夠有效保留細節的方法，這種自適應雙邊濾波器方法不僅具有高亮度范圍壓縮能力，同時提高了工作效率[39]。Liu等人在雙邊濾波的基礎上進一步升級出三邊濾波，結合梯度信息，實現圖像的分層，進一步實現了梯度濾波階段的高效能[40]。

由于尺寸的不確定，雙邊過濾器在細節處理上的效率較低。Farbman等人選擇在加權最小二乘改進框架的周圍控制平滑算子[41]，提出在漸進式粗化以及對尺度細節控制的過程中，該算子效果顯著，因此現階段方法在細節的控制方面、色彩的處理方面以及對比度的調節方面，TM算法的效果更好。同樣，Kim等人通過研究加權最小二乘濾波器，實現了對HDR場景細節的控制，并設計了新的學習神經網絡，實現了對色彩的控制，并且亮度穩定[42]。

同時，基于導頻濾波器的梯度控制和邊緣控制作用較好，Lu等人在Retinex算法的基礎上進行了革新[43]。新方法與高斯濾波相比，在細節的處理方面更為有效。Barai等人在視覺注意體系的基礎上研究出新的TM算法，將導頻濾波器和顯著區域相結合，能夠比其他方法更好地保持圖像的邊緣和自然度[44]。

于璐陽等人提出，現階段算法都是在保邊濾波器基礎上進行的，此類方法在處理圖像基層上的效率較高，但該濾鏡在色調映射時會出現光暈，并且對亮度過高或過暗的區域處理時，改善效果不佳。對此，他們提出了新的、更為高效的色調映射算法——在局部極值基礎上的色調映射算法和在邊窗濾波基礎上的色調映射算法[45]。

除上述過濾器外，Yun等人還在TM中加入了拉普拉斯金字塔模型，基于該模型的層次表達性，邊緣控制的能力較強[46]。此類方法的整體性能較好，但是局部信息不多，為此光暈及色彩問題嚴重。相對來說，分段算法在這部分的優勢更為顯著。

隨著對閾值亮度的調節，蘆碧波等人在亮度分區自適應的基礎上提出了對數色調映射算法，將圖像亮度信息劃分為高、中、低3個區域，分別對區域亮度進行對數壓縮和融合，同時采用雙邊濾波技術提取細節補償[47]。區別于一般的閾值控制，Drosler等人在韋伯-費希納定律的基礎上研究出新的亮度控制方法，此方法充分體現了心理與身體量能的聯系[48]。在韋伯分數的基礎上，圖像分為低對比度區域、偏差區域、韋伯區域以及飽和區域，在各個壓縮因子的作用下，實現對亮度的壓縮。同樣，顧等人也在韋伯-費希納定律的基礎上，構建了一種高效的局部非線性模型，有效地減少了細節失真現象。在該模型中，物理與感知刺激強度在非線性關系上趨于相同，為此其應用范圍更廣泛[49]。

此外，本文還綜述了一些能夠有效推動圖像分割的聚類算法。Li等人在統計聚類色調映射方法的基礎上提出了一種更為高效的適應圖像內容及色彩的方法，并且在群集中將主成分拆分來進行補丁，以達到豐富域的目的[50]。Kang等人在局部細節的處理上同樣選擇聚類算法，同時該方法在色調映射圖像細節的處理上效果顯著[51]。Li等人在K-means聚類的基礎上進行了研究，以實現對TM算法的控制，并在高斯和拉普拉斯金字塔的基礎上實現了快速分割，降低了混合段間隙對其產生的影響[52]。

1.3 混合色調映射算法

全局色調映射算法在計算上較為便捷，但是細節處理方面的能力不足。局部色調映射算法則較為復雜。為此，將二者結合所得到的結果效率更高[53-56]。

Duan等人在全局直方圖的基礎上，對其進行控制以再現全局對比度，通過對局部對比度的控制來使其保持穩定。實驗結果表明，該方法具有良好的可靠性和有效性，計算效率高，參數穩定[57]。OK等人的混合色調映射算法是在差分壓縮以及自適應參考值的基礎上進行的，此方法參照客觀質量指標來進行，通過對明暗部分細節的考量，實現對區域細節的調整，其感知質量優于現有的其他方法[58]。

Shao和Yu提出了人類體驗和分層模型的TM算法，此方法能夠實現對人類亮度感知細節的調整，首先在數域中將亮度通道進行映射，以實現對整體亮度的調節，然后利用人眼感知模型對導頻濾波器得到的底層亮度進行壓縮，最后對調整后的底層與細節層進行色彩處理，以得到低動態范圍圖像[59]。饒志濤等人在全局對比度與局部細節的處理上選擇的是將局部與全局運算符組合的方法[60]，同時，TM過程中的光暈問題在雙邊濾波的作用下也得到了有效的處置。

2 實驗分析與比較

為了實現對TM算法效果的進一步研究，針對不同算法進行了深入的實驗，實驗情況如圖4所示。

Chen[31]等人指出，全局色調映射算法是在直方圖的基礎上實現對全局動態范圍的控制，并且隨著亮度的調整，提高其對色彩飽和度的適應力，可實現對色彩偏移的校正，效果如圖4（a）、圖4（b）及圖4（c）所示。Lu等人[43]提出的算子選擇為局部色調映射算法，在通過導引濾波器獲得一系列基礎層和細節層之后，為每個層設計不同的權重系數，圖4（d）、圖4（e）及圖4（f）的實驗說明了，在對比度處理的過程中，細節及光暈損失能夠得到有效處理。作為混合色調映射算法之一，Shao和Yu[59]提出的算子在性能上更為優質，如圖4（g）、圖4（h）及圖4（i）所示，此算子在人類感知驅動力及分層模型的基礎上展開，以實現對細節和色彩的控制。

從主觀角度能夠證實：當HDR圖像的亮度動態范圍較小時，在圖4（a）、圖4（d）及圖4（g）圖像中，3種算法的作用區別不大；而在其他圖像中，結果的偏差則較高。因此，全局算法的整體性較好，但細節處理的效果較差，尤其在明暗部分，如圖4（a）中的樹木和窗戶、圖4（b）中的教堂圓頂和窗戶以及圖4（c）中的云和陰影。相反，局部算法在細節處理上的效果則較好，但是仍然有很多缺點，特別是圖4（e）中的對比度和顏色失真以及圖4（f）中的輕微暈。如圖4（g）、圖4（h）及圖4（i）所示，混合算法能夠有效地實現對細節、對比度及光暈的控制。然而，在圖4（h）中顏色失真問題仍舊存在。3種算法在各自的感知面都具有各自的特點，但是在最佳感知效果上無法實現完整性。因此，需要對TM進行深入的研究。

圖4 不同算法的實驗結果比較

除主觀評估外，色調映射圖像質量指數（Tone Mapped Image Quality Index，TMQI）是本文的主要算法評估手段。TMQI首先評估色調映射圖像的結構保真度和自然度，其次利用冪函數對兩個測度進行調整，最后取平均值得到最終得分。色調映射圖像的質量會隨著TMQI值的提高而提高，相反，TMQI值越低，則圖像質量越差[61]。在數據庫中對20幅HDR圖像使用不同算法后其TMQI的數值如表1所示。從表1可以看出，Shao和Yu混合算法的TMQI分數（0.880 9）和自然度度量（0.497 8）都處于最高的水平，Lu等人提出的局部算法的保真度分數（0.860 6）最高。

表1 TMQI平均得分比較

760×1016 1.58 4.65 5.96

通過對三種算法整體性能的對比發現，在環境條件一致的情況下，各個大小的圖像在不同算法中的運行時間變化較大，如表2所示。全局算法的運行時間最短，效率最高；局部算法和混合算法會隨著圖像尺寸的加大而增加運行時間；混合算法的質量相對來說更高，但是其所花費的運行時間也更長。

表2 運行時間比較

3 結 語

由于硬件研發過程的阻礙因素較多，高動態范圍（HDR）顯示器還未得到進一步的發展。在HDR圖像應用中，色調映射（TM）過程起著重要的作用。目前，許多學者提出了多種TM算法并取得了良好的性能。然而，這些算法存在的一系列問題依舊需要引起重視。為了促進HDR影像的廣泛應用，需要對TM進行深入的研究。