基于傅里葉域優化的圖像去摩爾紋研究

黃穎聰，柳 偉

（1. 深圳信息職業技術學院計算機學院，廣東 深圳 518172；2. 深圳大學電子與信息工程學院，廣東 深圳 518060）

日常生活中，帶有內置攝像頭的移動設備的廣泛使用簡化了捕捉和共享屏幕內容的過程。然而，當使用這些設備拍攝屏幕時，經常會出現摩爾紋圖案，降低了圖像質量和視覺體驗。摩爾紋圖案是由相機濾色器陣列 (CFA) 和屏幕的子像素布局之間的頻率混疊產生的，通常表現為條紋、振蕩網格或曲線圖案。這些圖案會對后續的視覺理解任務造成影響，例如圖像編輯[1-2]和目標檢測[3-5]等。因此，圖像去摩爾紋研究已成為視覺研究領域中的一個重要課題。

圖像去摩爾紋是一個不適定問題，因為每個輸入可能有多個去摩爾紋解。隨著深度學習的蓬勃發展，基于卷積神經網絡（Convolutional Neural Network, CNN）的數據驅動方法[6-7]在圖像去摩爾紋任務中取得了良好的成果。針對摩爾紋圖案的多頻率特性，Sun[8]等人提出了一種多分辨率網絡來消除不同頻率下的摩爾紋圖案。此后，越來越多的研究人員開始用CNN模型進行圖像去摩爾紋研究。為了更好地利用摩爾紋圖案的特征，He[9]等人引入了摩爾紋圖案去除深度神經網絡（Moiré Pattern Removal Deep Neural Network, MopNet），該網絡專注于研究摩爾紋的頻率分布、邊緣強度和外觀類別。然而，該網絡的設計過于復雜并且具有大量參數。

目前，摩爾紋去除性能的提升主要是由模型架構創新驅動，很少有工作專注于優化損失函數來匹配摩爾紋圖案的頻率特性。大多數圖像去摩爾紋模型使用空間域像素損失或感知損失來優化網絡。然而，使用空間域中定義的損失函數通常會存在頻譜偏差問題[10-11]，即神經網絡傾向于以有偏差的方式學習低頻。并且由于一般圖像的低頻部分比高頻部分具有更大的數量級，損失函數傾向于關注并更多地了解低頻。由于被摩爾紋圖案污染的圖像會在頻域中表現出大量的高頻噪聲，使用空間域損失進行優化無法完全去除這些高頻噪聲。因此，有必要針對這一問題進行解決，以產生具有良好視覺感知的圖像。

本文提出一種用于訓練圖像去摩爾紋網絡的傅里葉空間損失（Fourier Space Loss, FSL），使用二維離散傅里葉變換分別將復原的圖像和Groundtruth圖像轉換為相應的頻率表征并計算二者在頻域空間中的距離。通過使用FSL來引導去摩爾紋模型專注于解決圖像中對人類感知最重要的部分，監督恢復圖像的頻率信息。因此，通過這種指導可以更好地去除摩爾紋圖案，并且可以獲得具有高感知質量和更少偽影的結果。與空間域損失優化提供的局部指導不同，傅立葉變換引入的頻域損失提供了全局指導[12]。本文實驗驗證所提出的方法在公共數據集上實現了SOTA的結果，并且提出的損失可以和其他空間域損失進行互補。

1 相關工作

1.1 圖像去摩爾紋

近年來，圖像去摩爾紋的方法得到了顯著的發展。現有的方法可以大致分為兩類：模型驅動方法和數據驅動方法。

模型驅動方法采用濾波或圖像分解技術。 Wei等人[13]引入了中值高斯濾波方法來消除 X 射線顯微鏡圖像中的摩爾偽影。Liu等人[14]指出，摩爾紋圖案在頻域中的能量分布是集中的并且很少與紋理混合。他們通過在空間域中對紋理補丁實施低秩約束以及在 DCT 域中對摩爾紋圖案實施稀疏約束，將退化圖像分為紋理層和摩爾紋層。然而，這些模型驅動的方法通常會導致恢復圖像過于平滑，缺乏精細的細節。

與模型驅動方法不同，數據驅動方法采用卷積神經網絡直接學習摩爾紋圖像到清晰圖像的轉換。例如，Sun等人引入一種非線性多分辨率全卷積神經網絡，能夠解決不同頻段的摩爾紋圖案。他們還提出了第一個大規模的真實世界數據集，這激發了許多后續的研究。2019年，考慮到摩爾紋的動態變化特性，Cheng等人[15]提出一種動態特征編碼模塊，專門用于處理多尺度摩爾紋圖案。2020年，Zheng等人[16]提出一種多尺度帶通卷積神經網絡，將圖像去摩爾紋任務分為紋理恢復任務和顏色恢復任務。他們采用兩步驟色調映射策略來進行全局色偏校正。為了處理高分辨率圖像，He等人[17]則提出了一種全高清去摩爾紋網絡（Full High-Definition Demoireing Network, FHDe2Net），它利用兩個分別聚焦于全局和局部摩爾紋圖案的獨立網絡。Yang等人[18]則設計了一個高分辨率去摩爾紋網絡（High-Resolution Demoire Network, HRDN），它由并行高分辨率網絡、連續信息交換模塊和最終的特征融合層組成。2022年，Yu等人[19]提出了ESDNet，采用語義對齊的尺度感知來去除超高清圖像中的摩爾紋圖案。

1.2 頻域學習

近年來，出現了許多算法，通過從頻域提取信息來解決各種任務。例如，Liu等人[20]引入小波變換來取代傳統的圖像調整大小操作，提高了放大和縮小過程的質量。另一種方法，FDIT[21]則有效地將圖像分解為低頻和高頻分量，從而增強了整體圖像生成過程。在圖像去模糊領域，SDWNet[22]已成功地將小波變換集成到深度神經網絡中，從而實現了出色的去模糊效果。類似地，Xue等人[23]提出了一個緊湊的頻域神經網絡，通過具有激活函數的多個卷積層來學習低層結構，最終在頻域中實現更高質量的圖像重建。總體而言，這些方法顯示了卷積神經網絡 (CNN) 在頻域空間操作時的有效性。

1.3 圖像的傅里葉域表征

傅里葉變換是信號處理中廣泛使用的強大工具，它可以將信號從時域變換到頻域，將其分解為易于實現和具有可觀察特性的基本信號的總和。它實現了從時間基到頻率基的基變化。作為多維信號，圖像的頻率是衡量像素強度變化程度的指標。圖像的二維離散傅立葉變換可以定義為：

式中，f(x,y)表示輸入圖像在位置(x,y)處的像素值，F(u,v)表示復頻率分量，M和N是輸入圖像的寬度和高度，i是虛數單位。離散傅里葉變換后得到的圖像，通常用幅度和相位來表示：

式中，Im和Re分別表示圖像傅立葉變換的虛部和實部。幅度譜表示圖像中不同頻率分量的強度，而相位譜表示這些分量在圖像中的位置和相對相位。

2 基于傅里葉域優化的圖像去摩爾紋

2.1 圖像去摩爾紋方法建模

2.2 傅里葉空間損失

本文對不同損失函數進行優化的結果進行了頻譜分析，結果如圖1所示。可以看出，Ground-truth圖像的大部分亮點都集中在頻譜圖的中心，即低頻部分。而摩爾紋圖像的頻譜有更加對稱的高頻噪聲分布，這表明摩爾紋大部分集中在高頻區域。圖1c-1e表明使用空間域損失優化的圖像仍然具有一些無法去除的對稱細線形狀或點狀噪聲。基于這一觀察，本文的動機是通過頻譜正則化來學習更真實的圖像。

圖1 不同損失函數優化結果的頻譜分析圖

因此，本文提出一種與模型無關的傅里葉空間損失來訓練圖像去摩爾紋網絡，圖像傅里葉頻譜中的特定空間頻率在經過傅里葉變換后取決于所有圖像像素，因此具有全局性質。目標是減少基于 CNN的方法產生的失真，并利用頻率信息作為圖像去摩爾紋的指導。對于深度網絡，傅立葉空間約束可以提供額外的監督以實現更好的圖像恢復。受這種直觀理解的啟發，設計了傅里葉空間損失來抑制摩爾紋圖案的生成。具體來說，使用快速傅立葉變換來將輸出和相應的地面真實圖像轉換到頻域。在頻域中，和之間的實部和虛部的L1范數差值分別表示為LF,Re和LF,Im。基于F(u,v)和，LF,Re和LF,Im計算如下：

由于圖像由多個顏色通道組成，因此分別計算每個通道的傅里葉變換并按通道執行變換。公式中省略了通道的表示。最后，傅立葉空間損失定義為LF,Re和LF,Im之和：

摩爾紋的產生是頻率混疊從而不滿足奈奎斯特采樣定理產生的，與圖像在空間域中的表示相反，這些高頻率的噪聲可以在頻率空間中清楚地分離。此外，傅立葉分量提供有關圖像的全局信息，而不是由空間域中的像素表示的局部信息。利用這些屬性來設計新的損失，以實現高效的感知去摩爾紋訓練。算法的流程圖如圖2所示。

圖2 傅里葉損失優化算法的框架流程圖

2.3 訓練損失設置

本文將 FSL 作為空間域中定義的損失（例如L1 或 L2 損失等）的補充損失。完整的訓練損失設置由空間域中的損失和提出的傅里葉域中的損失組成。如下式所示：

3 實驗與結果分析

3.1 數據集和評價指標

本文的實驗是在三個可公開訪問的基準數據集上進行的：LCD-Moiré、TIP2018和FHDMi。LCD-Moiré數據集包含10200對合成生成的圖像。TIP2018數據集是從ImageNet中提取的真實照片的集合，每張照片的分辨率為400×400。它包含135000個圖像對，其中90%-10%分別用于訓練和測試。FHDMi數據集包括9 981個用于訓練的圖像對和2 019個用于測試的圖像對，所有圖像對的分辨率為1920×1080。為了進行評估，本文采用三個廣泛使用的指標：PSNR（峰值信噪比）、SSIM（結構相似性）和LPIPS（學習感知圖像塊相似性）進行全面的定量分析。

3.2 實驗細節

本文選擇DMCNN（一種具有多尺度結構的圖像去摩爾紋網絡）作為骨干網絡來評估提出方法的有效性。初始學習率設置為0.000 1，并使用循環余弦退火策略進行調節，模型使用 Adam優化器進行優化。對于FHDMi和LCD-Moiré數據集，本文從高清圖像中隨機裁剪512×512塊，并以batchsize為訓練模型150個epoch。對于TIP2018數據集，本文使用batchsize為4訓練模型70個epoch。

3.3 結果和分析

3.3.1 實驗結果

本文對每個數據集都采用PSNR、SSIM和LPIPS進行定量評估，驗證了所提出方法所帶來的改進。較高的PSNR和SSIM 值表示較好的圖像質量，而較低的LPIPS值則表示圖像感知質量更好，因為它表明生成的圖像的感知質量更接近干凈的圖像。對比實驗結果如表1中所示，與僅使用L1損失相比，使用傅里葉空間損失優化的模型所有數據集都有一致的性能提升。與其他損失相比，FSL在大多數指標中實現了最佳性能。此外，本文還進行了消融實驗，以探究幅度和相位對圖像去摩爾紋網絡性能的影響。實驗結果表明，從整體傅里葉空間損失中單一去除幅度或相位分量會顯著降低性能，這表明了同時考慮這兩個分量的重要性。值得注意的是，可以觀察到保留幅度信息的性能增益相對大于相位信息的性能增益，這是由于能量主要集中在振幅上。

表1 不同損失的性能比較

3.3.2 主觀質量結果比較

本文還將提出的方法與廣泛使用的損失函數（包括 L1 loss, ASL, Perceptual loss and FFL）進行主觀質量結果比較。主觀質量對比結果如圖3和圖4所示，顯示了提出方法的有效性。對于合成的 LCD-moiré數據集，可以觀察到使用傅里葉損失進行優化的復原結果比其他方法更自然，并且減輕了模糊性。對于第一張圖像，FSL顯著降低了在平坦區域中生成大面積偽影的風險，并有效去除了大多數高頻摩爾紋圖案，從而提高了圖像的感知質量。在其他行中，提出的方法也比對比方法恢復得更好。使用傅里葉損失優化的結果中的紋理細節清晰，沒有嚴重扭曲，而其他方法無法顯示出令人滿意的物體外觀。

圖3 不同損失函數合成LCD-Moiré上的主觀質量結果

圖4 不同損失函數在真實FHDMi上的主觀質量結果

對真實數據集 FHDMi 的主觀質量結果分析表明，通過提出的方法進行優化的模型獲得的圖像在主觀上更令人愉悅。這也表明了提出方法具有很強的泛化能力，在不同的數據集和不同的場景下都能實現較好的性能提升。

3.3.3 消融實驗

此外，本文還探究了了提出的FSL在不同網絡架構中的適用性和通用性。表2中的結果表明，將FSL集成到各種架構中可以一致地提高所有評價指標的性能。這表明了FSL與模型無關的特性，從而驗證了其在不同網絡結構中使用的通用性。

表2 FSL用于不同網絡中的PSNR和SSIM性能對比

表3 不同λ取值的結果

表4 不同損失函數和網絡結構配置的結果對比

3.3.5 驗證與相關損失互補性

本文還進行了一個實驗來驗證所提出的FSL和感知損失的互補性，結果如表 4所示。設置1至3表明，L1像素損失和FSL的組合可達到37.0480dB的性能，比單獨使用L1損失高出約2.46dB。這表明了提出的FSL在提高去摩爾紋圖像質量方面的有效性。設置4和5顯示了所提出的FSL與感知損失的強大互補性，而設置6-8進一步證實了FSL在較大模型中與感知損失結合使用時的有效性。

4 結語

本文介紹了一種新穎的損失函數 FSL，旨在提高圖像去摩爾紋網絡的恢復質量。通過使用傅立葉變換在頻域中進行優化，FSL 可以更精確地消除高頻摩爾紋圖案和大面積黑色偽影。將 FSL 集成到訓練過程中可以顯著提高所需圖像的視覺質量。本文的實驗結果驗證FSL 在定量指標和視覺質量方面都取得了較好的性能提升，證明了所提方法的有效性。