多義圖像合成算法研究

劉文兆 ， 湛永松， 石民勇

（1. 天津師范大學新聞傳播學院，天津 300387；2. 中國傳媒大學數字技術與藝術研發中心，北京 100024；3. 桂林電子科技大學計算機與控制學院，廣西 桂林 541004）

近年來，合成具有多重含義的圖像在計算機圖像研究領域越來越受到關注[1-5]。多義圖像是指以具有不同含義的兩幅圖像為目標，對其采取頻域變換處理后融合成一幅圖像，其在不同視角下可呈現出對應于目標圖像的兩種不同含義。產生不同的認知含義是基于人眼在固定視角下對不同頻率具有不同敏感度的視覺特性[6]。通過改變圖像不同頻率下的內容，能使同一幅圖像在不同視角下呈現不同視覺形象[2-4]。目前，多義圖像在各種視覺廣告、媒體、藝術、醫療、信息技術等領域具有廣闊的應用前景。

Majaj[3]發現人眼對各類文字識別時在多個頻率通道信息的選擇上具有單一性，并由此將多個簡單字母合成具有多重字母含義的圖像，但其合成結果中多個字母干擾比較明顯。Setlur[4]提出了合成不同頻率下相互沖突的情感狀態的面部圖像算法，方法是先隔離不同面部表情的兩幅圖像中粗糙的低頻成分和精細的高頻成分，然后根據邊緣檢測進行圖像分割和變形圖像，合成具有多義情感的圖像。雖然該方法可以保留較多的面部細節，但是由于對不同表情人臉進行區域分割后使用了變形算法，會產生介于不同表情之間的不自然的面部形態，導致其多義性不夠明確和強烈。Schyns[2]使用混合圖像的方法構造多義圖像，Oliva[5]發展了該算法并取得了比較好的效果。其方法是將兩幅圖像分別進行高斯低、高通濾波，然后將兩個濾波結果加權求和獲得混合圖像，其中的濾波操作在 Fourier變換下進行。該方法取得了視覺上較以往更好的多義效果，但由于在Fourier變換下無法確定相位信息，不能在合成過程中對結果圖像進行局部調整。為獲得理想的混合效果，需加大高通和低通截止頻率之間的距離，使得合成圖像丟失頻帶信息過多，導致結果圖像變得模糊且色飽和度下降。

本文提出了一種基于小波變換的多義圖像合成算法。小波變換具有精確表征圖像的局部特征能力，通過對圖像高頻和低頻成分分別制定融合規則以保留高、低頻目標圖像的特定信息，可實現局部特殊融合處理以及圖像局部調整。用本文算法合成的圖像能保留完整的頻帶信息，從而具有很高的色飽和度和清晰度，其視覺效果上的多義性也更為明確清晰。由于合成過程中不需變形處理，有效減少了人機交互操作，因此算法具有較高的合成效率。

1 小波變換

1.1 二維小波變換

小波變換具有多尺度多分辨率特點，能夠在時域、頻域同時表征信號特征。因此，二維小波變換已在目前成為圖像處理的重要手段[7-9]。

1.2 Mallat快速算法[10]

STEPHANE G. MALLAT提出了二維信號多分辨率分解的小波快速算法，方法是：

若設H（低通）和G（高通）為2 個一維鏡像濾波算子，其下標r和c分別對應于圖像的行和列，則在尺度 j-1上有如下的Mallat分解公式

若對二維圖像進行M級的小波分解，最終將有(3M＋1)個不同頻帶，其中有3M個高頻帶（細節成分）和一個低頻帶（近似圖像）。

2 小波合成算法

2.1 算法概述

本文所提出的小波合成算法流程如圖1所示。算法主要包括5個過程：小波分解、系數調整、高低頻融合、圖像重構、均值降噪。其中，高低頻融合原則可采取預先提供的默認規則，此時可在人機交互的過程中加入局部濾波函數，從而對圖像高低頻系數進行局部調整之后融合。

融合前需要對兩幅圖像A、B進行預處理。根據素材具體條件及合成目的，將圖像A、B的低頻輪廓調整為一致（如圖4，構造兩幅低頻主要輪廓接近的待合成圖像）、沖突（如圖8，構造強烈干擾高頻的低頻內容）或搭配（如圖5、圖7使低頻與高頻局部搭配一致，以加強高頻效果）。對圖像進行N階M級的小波分解，分解深度M由圖像尺寸和所需的多義觀看視角決定，根據合成目的要求，制定融合規則。將圖像A、B的小波低頻分量融合為新的低頻分量，此分量決定合成圖像小視角觀看時得到的形象；將A、B的高頻系數融合為新高頻系數，此分量決定合成圖像大視角觀看時得到的形象；之后用新系數重構圖像。由于分解重構存在量化誤差，可改變階數N重復合成過程，對結果進行k次優選后均值降噪，得到最終的多義圖像。

圖1 多義圖像合成算法流程圖

2.2 融合方法

合成的目的是使結果圖像在α視角（對應近距離觀看或以大尺度顯示）呈現圖像A，β視角（對應遠距離觀看或以小尺度顯示）呈現圖像B，其中2＞α＞β＞0（單位：弧度）。首先根據用戶給定的兩個視距L1、L2（L2>L1）或視角α、β由式(3)計算合適的分解級數M，函數Ceil定義為取大于等于變量的最小整數

對圖像A、B分別進行M級小波分解，并對第M級的低頻和高頻分別選定融合規則F，此時可在不同分解級上對低頻和高頻分量進行局部調整，融合后各分量如下

需要根據特定的素材圖像及效果要求制定不同的融合規則，因此融合規則是合成的關鍵。為強化圖像A或B的效果，給出可選的通用融合規則如下

如需強調圖像A的高頻效果，FAj選擇為兩低頻分量加權求和，KA、KB為用戶輸入的權值，FDj選擇為取DAj；值得注意的是圖像A的低頻AAj權值越大，結果將越趨于重構圖像A。若要強調圖像B的低頻，FAj選為取ABj，FDj選為兩高頻分量加權求和，通過改變B的高頻權重，控制是否在重構過程中保留更多圖像B的細節。

利用融合后的系數重構圖象并保存結果。若需要對合成圖像做局部調整，則在融合前對各分解系數進行局部濾波，然后重新融合重構。

2.3 誤差處理

通過變換小波階數 N自動重復 k次合成過程，對k個結果圖象均值降噪后輸出并保存。若不進行降噪，結果圖像將看到輕微的噪波。噪波是由于DWT統一量化誤差在對圖像進行分解和重構的積分運算中被逐級放大造成的[9-10,14]，量化誤差隨小波階數N增大而減小，噪波亦隨之減小。若輸入較大N值可一次就合成噪波較小的結果。圖2(a)是合成圖3(c)時，N=4的重構圖像與均值圖像3(c)的差值圖像，由噪波的幅度可知降噪的必要性。圖2(b)是做對齊預處理后與圖4(e)的差值圖像，其噪波幅度較圖2(a)明顯減小，圖2(c)是經預處理后N=30時的差值圖像，此時噪波已降到很小。

圖2 不同N值的差值圖像

3 實驗及效果分析

下面分別通過合成多義人臉圖像、貓臉紋理圖像、沖突表情圖像來比較不同算法的合成效果。為了客觀比較本文算法與以往算法的效能，使用與文獻[4-5]相同的素材進行合成比較。合成實驗4給出了本文算法的其它2個效果。

3.1 人臉合成實驗

人臉圖例素材源于文獻[5]。最終合成圖像效果為大視角觀看為端莊的女人（高頻部分），小視角觀看是憤怒的男人（低頻部分）。

如圖3(c)為A=I2和B=I1小波合成算法的結果。此處的融合原則取式(5)的強化B（權值KA=KB=0.5，M=4）。圖4(e)為經過輪廓調整預處理后(A=I4，B=I3)在相同融合原則下得到的結果，算法以Daubechies小波變換進行M=4級分解，N選取4-30進行(k=27)均值降噪。圖4的預處理只是為了比較處理效果，并非從藝術的角度對圖像進行調整。圖4(d)是在相同預處理下，融合原則選強化A（權值KA=0.3，KB=0.7）得到的結果。可以看出由于低頻混合了I3、I4，使最終重構圖像顏色發生變化，圖4(d)的顏色介于I4和圖4(e)之間。通過控制I4低頻的權值可決定最終合成的顏色，但若融合I4的低頻成分過高，將趨于完全重構I4。所以理想的方法是參照文獻[11-13]在預處理階段或合成之后重新映射圖像的顏色以保證合成出希望的色彩。圖4(f)是對融合系數進行局部調整后合成的結果，融合原則同圖4(e)，目的是加強形象B的效果并消除B眉毛區域的低頻對A形象的干擾（權值KA=0.3，KB=0.7）。

圖3 I1、I2是目標圖像，(a)、(b)文獻[5]算法的結果，(c)小波合成算法的結果

圖4 低頻輪廓調整后的目標及合成圖像

傳統的客觀評價融合圖像方法多是對隨機誤差進行統計平均，雖計算簡單易實現，但沒有考慮人的視覺心里因素[6,15-16]，許多情況下并未反映人眼的視覺特性，不能和主觀評價相一致。人對形象的認知經常建立在抽象的概念之上，很難用數學統計量標定。多義圖像就是基于人眼的視覺特性對同一圖像產生不同認知，因此主觀評價比較直觀和準確，容易操作。例如，通過視覺上比較圖3(c)、圖3(b)，可知圖3(c)在兩個視覺尺度上都更加清晰，色彩也更鮮明。視覺上比較圖5(a)和圖5(b)也可得到相同的結論。

文獻[5]的算法給出的結果圖3(a)低頻圖像突出，但是干擾高頻，大視角時成為明顯噪聲。結果圖3(b)效果稍好，它是加大濾波器高低頻截止頻率的差距后得到的，結果低頻不夠突出，小視角觀看過于模糊。圖3(a)和(b)的高頻都不夠突出，清晰度較差，對比度降低，合成圖像損失原有高頻圖像的大量細節，圖像看起來整體模糊，色彩飽和度低。

圖4(e)利用本文算法很好的還原了圖像的色彩飽和度和對比度，無論大視角還是小視角觀看都很清晰，變換視角能夠準確的識別出不同的人臉圖像，多義特性非常突出和鮮明。圖4(f)是素材經過輪廓對齊預處理并進行眼部調整得到的結果。由于素材A、B低頻輪廓（對應低頻近似圖像中的高頻）一致，即使低頻進行了融合或替換，高頻細節經小波重構仍可恢復，可看到十分清晰的面部細節，基本還原了素材圖像的對比度。比較圖4(e)和圖3(c)可知：兩個原始圖像混合處理之前進行區域配準的預處理能有效解決低頻干擾高頻細節的問題。

3.2 紋理合成實驗

圖5(a)利用本文算法合成大視角觀看具有貓臉紋理的女人像，觀看時隨視角變小，貓臉效果逐漸消失。由圖5(a) 和圖5(c)對比圖5(b)和圖5(d)可以明顯看出，本文算法對比文獻[5]合成的圖像具有更高的色彩飽和度和對比度，無論大視角還是小視角觀看都較文獻[5]的結果清晰明亮，變換貓臉紋理的多義特性非常突出和鮮明。這里合成的目標圖像A用遮蔽貓臉的女人像，B選原始女人像。參數為 Daubechies小波，權值KA=KB=0.5，M=3，N=4-30，K=27。

圖5 貓臉紋理效果比較

3.3 表情合成實驗

表情圖例素材源于文獻[4]。合成圖像目的為大視角近看是憤怒的表情（高頻部分），遠看是高興的表情（低頻部分）。文獻[4]的算法給出的結果如圖6(c)，圖像低頻高興的表情過于突出，干擾高頻憤怒的表情成分難以識別，變形運算使結果圖像更趨近于動作幅度大的高興表情，面部動作幅度較小的憤怒表情因變形幾乎完全破壞。圖6(b)顯示了本文算法突出憤怒表情的合成結果，如在大視角下觀看憤怒表情的效果將更好。小視角下圖6(a)和圖6(b)高興的表情都很清晰。參數為Daubechies小波，權值KA=0.25，KB=0.75，M=2，N=4-30，K=27。

3.4 效果實驗

圖7(a)給出一個高清晰的籃球紋理圖片(1600×1200)，這里是縮小后的效果，以小尺度顯示圖7(b)可看到兩個橘子。無論大小尺度都保持很高的色飽和度。融合規則選強化橘子，參數為Daubechies小波，權值KA=0.6，KB=0.4，M=6，N=4-30，K=27。

圖8借助人類視覺思維一旦對容易組織起來的視覺內容形成概念，就很難打破再識別其它信息的特點[1]，當在低頻部分構造容易識別的文字形象與高頻沖突時，小視角低頻內容誘導識別為其他文字，可以更好的屏蔽其它文字信息，實現信息遮蔽和隱藏。“不需要…信息”在大小視角都很清晰，“…隱私…”只有在大視角才可辨認。小視角只能識別“低頻…內容”。參數為Daubechies小波，權值KA=0.7，KB=0.3，M=3。

圖6 憤怒表情效果比較

圖7 籃球與小尺度顯示的橘子

圖8 低頻屏蔽高頻文字內容

4 結 論

本文提出了一種基于小波變換的多義圖像合成算法。與以往算法相比，該算法能夠生成在色飽和度、對比度、低頻清晰度、高頻細節等多方面更理想的結果。合成可以對局部細節進行調整，主觀視覺效果十分明顯直觀，適用于影視特效、視覺藝術、廣告等商業領域。在未來的工作中，需要對提高算法效率進行研究。建立科學的多義圖像合成效果的客觀評定標準，對不同效果需求分類并給出相應高低頻融合原則。此外，可將本文研究成果應用于連續的多義視頻融合，并對更多層多義圖像融合算法進行研究。

[1]OLIVA A, SCHYNS P. Coarse blobs or fine edges?evidence that information diagnosticity changes the perception of complex visual stimuli [J]. Cognitive Psychology, 1997, 34(1): 72-107.

[2]SCHYNS P, OLIVA A. Dr. Angry and Mr. Smile: when categorization flexibly modifies the perception of faces in rapid visual presentations [J]. Cognition, 1999,69: 243-265.

[3]MAJAJ N, PELLI D, KURSHAN P, et al. The role of spatial frequency channels in letter identification [J].Vision Research, 2002, 42: 1165-1184.

[4]SETLUR V, GOOCH B. Is that a smile?: gaze dependent facial expressions. In NPAR ’04:Proceedings of the 3rd International Symposium on Non-Photorealistic Animation and Rendering, ACM Press, New York, NY, USA, 2004: 79-151.

[5]OLIVA A, TOORALBA A, SCHYNS P G. Hybrid images ACM Transaction on graphics [J]. ACM Siggraph, 2006, 25(3): 527-530.

[6]BLAKEMORE C., CAMPBELL F W. On the existence of neurons in the human visual system selectively sensitive to the orientation and size of retinal images [J].Journal of Physiology (London), 1969, 203: 237-260.

[7]MALLAT S G. Multifrequency channel decompositions of images and wavelet models [J]. IEEE Trans.Acoust., Speech, Signal Processing, 1989, 37:2091-2110.

[8]Li H, MANJUNATH B S, MITRA S. Multisensor image fusion using the wavelet transform [J].Graphical Models and Image Processing, 1995, 57(5):235-245.

[9]DAVID A Y. Image merging and data fusion by means of the discrete two dimensional wavelet transform [J].J. Opt. Soc. A, 1995, 12(9): 1834-1841.

[10]MALLAT S G. A theory for multiresolution signal decomposition: the wavelet representation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, 11 (7): 674-693.

[11]REINHARD E, ASHIKHMIN M, GOOCH B, et al.Color transfer between images [J]. IEEE Computer Graphics and Applications, 2001, 21(5): 34-41.

[12]YU-WING TAI, JIAYA JIA, CHI-KEUNG TANG.Local color transfer via irobabilistic segmentation by expectation maximization [C]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005: 747-754.

[13]NEUMANN L, NEUMANN A. Color style transfer techniques using hue, lightness and saturation histogram matching [C]. Computational Aestheticsin Graphics, Visualization and Imaging, 2005: 111-122.

[14]WATSON A B, YANGG Y, SOLOMON J A, et al.Visibility of wavelet quantization noise [J]. IEEE Trans.on Image Processing, 1997, 6: 1164-1175.

[15]HUGHES H C, NOZAWA G, KITTERLE F. Global precedence, spatial frequency channels, and the statistics of natural images [J]. Journal of Cognitive Neuroscience, 1996, 8(3): 197-230.

[16]CAMPBELL F W. The human eye as an optical filter [J].Proceedings of the IEEE, 1968, 56(6): 1009-1015.