自監督學習的單幅透射圖像恢復

徐金東 馬詠莉 梁宗寶 倪夢瑩

掃描儀、相機和攝像機等設備對紙質內容進行成像時,背面信息常會透射疊加到正面文字內容中,這不僅降低了圖像內容的可讀性,還會影響圖像的后續處理,如電子閱卷、歷史文檔數字恢復[1]和場景文本識別[2]等.透射圖像恢復,即透射去除,是從含有背面和正面內容的混合圖像中恢復出正面內容的過程,可建立如式(1)所示模型.

其中,I表示有透射的混合圖像,F表示正面圖像,α是透射混合參數,T表示背面圖像,g(·) 為透射衰減函數.因T、α和g(·) 均未知,從I中去除T、恢復F是一個不適定的NP (Non-deterministic polynomial)難問題.而且,背面圖像的內容結構和屬性常與正面圖像相似,導致難以在去除背面透射信息的同時恢復正面文檔圖像中的內容和細節.

現有文檔圖像的恢復可以分為兩大類:基于閾值處理的方法和基于學習的方法.閾值處理法是傳統的文檔圖像恢復方法[3-5],通過像素閾值判分正面或背面內容,文獻[6]提出了一種結合局部圖像對比度和局部圖像梯度的自適應對比度圖,采用局部區域中檢測到的邊緣來估計局部閾值,但由于透射文檔圖像質量參差不齊,在計算局部和全局閾值時需要大量的經驗參數,系統結構復雜、運行效率較低.為減輕參數設計和調整的負擔,基于學習的方法通過訓練的思路來獲取圖像恢復模型,文獻[7]和文獻[8]通過引入不同的分類器直接對圖像特征進行分類,減少參數的數量,提高了文檔二值化方法的效率.近幾年神經網絡在不少應用場景中取得良好性能,基于深度學習透射圖像恢復的方法[9-12]備受研究者的青睞,這類方法能夠實現端到端的從透射圖像中恢復出正面內容,但需要大量的成對數據集,且常存在過擬合現象.最近,生成對抗網絡(Generative adversarial networks,GAN)[12]在合成圖像方面大放異彩,并且一部分科研人員將其用于圖像恢復相關處理任務,文獻[13]利用GAN 擴充訓練數據集,處理圖像二值化任務,文獻[14]使用Pix2Pix GAN 去除了光學音樂識別的五線譜,文獻[15]引入了一種包含兩個判別器網絡的雙判別器GAN 結構,以結合全局和局部信息,而Castellanos[16]提出了一種使用無監督區域自適應的神經網絡方法將文檔圖像進行二值化操作,與其他學習的方法相比,這些基于GAN 的模型會產生更好的結果,但是仍需要大量的成對數據進行訓練,難以泛化.

為了解決以上問題,本文利用無需成對數據的循環一致性生成對抗網絡(Cycle-consistent generative adversarial networks,CycleGAN)[17],提出了一種基于自監督學習的單幅透射圖像恢復方法(Self-supervised learning based on cycle-consistent generative adversarial networks,S-CycleGAN),主要由特征提取模塊和自學習模塊組成,特征提取模塊通過跳躍鏈接融合全局和局部特征,以增強去透射模型的表達能力,自學習模塊能對不同的特征映射賦予不同的權重并進行自適應學習,進而實現透射圖像的高質量恢復.

本文的主要創新概括為:

1) 將S-CycleGAN 應用于文檔圖像恢復,提出了一種基于自監督學習的單幅透射圖像恢復方法,并用于單幅圖像中透射內容去除,該方法不依賴于先驗知識,在訓練過程中不需要成對數據集;

2) 設計了一種新穎的去透射生成器,它結合了自學習模塊和特征提取模塊來自監督訓練網絡提取圖像特征,盡可能保留了圖像的細節內容;

3) 通過設計特征提取模塊、自學習模塊和跳躍鏈接,融合全局和局部特征,增加了S-CycleGAN 的深度,提高了文本內容的表達能力,產生視覺上滿意的恢復效果.

1 自監督學習的單幅透射圖像恢復

S-CycleGAN 是將未配對圖像的去透射問題轉化為圖像到圖像的生成問題,利用自監督學習的循環一致性網絡生成無透射的圖像.S-CycleGAN 整體網絡架構如圖1 所示,涉及的核心內容包括:生成器、判別器和損失函數.

圖1 S-CycleGAN 的網絡結構 (Gy和 Gx 表示生成器,Dy和 Dx 表示判別器. x和 y 分別表示輸入的透射圖像和無透射圖像,Lcycle和 Lperceptual 分別表示循環一致性損失和感知損失)Fig.1 Structure of S-CycleGAN (Gy and Gx are generators while Dy and Dx are discriminators,x and y represent the input bleed-through image and non-bleed-through image respectively,Lcycle and Lperceptual represent cycle consistency loss and perceptual loss respectively)

S-CycleGAN 由兩個分支組成:1)透射-透射分支:x→Gy(x)→Gx(Gy(x)),利用有透射圖像x生成無透射圖像Gy(x),再重構成有透射圖像Gx(Gy(x));2) 無透射-無透射分支:y→Gx(y)→Gy(Gx(y)),利用無透射圖像y生成有透射圖像Gx(y),再重構成無透射圖像Gy(Gx(y)).

S-CycleGAN 的兩個分支中的每一個分支都有一個判別器,分別是Dy和Dx,這兩個分支共享兩個生成器Gy和Gx.Gy是將透射圖像生成(恢復)為無透射圖像,而Gx是將透射部分添加到無透射圖像中生成有透射圖像.

1.1 生成器網絡結構

生成器Gx采用與CycleGAN 相似的編碼器-解碼器網絡結構,本文Gx使用了6 個殘差塊.為了實現自監督學習以及增強特征表示,本文方法在CycleGAN 生成器Gx的基礎上構建生成器Gy,在Gy網絡結構中加入特征提取模塊和自學習模塊,從大規模的無標簽數據中挖掘自身的監督信息,從而得到更好的去透射結果.生成器Gy的作用是恢復正面的圖像內容,在去除透射過程中保留細節,網絡結構如圖2 所示.

圖2 生成器 Gy 的網絡結構Fig.2 The network structure of Gy

Gy網絡的輸入是一幅帶有透射的圖像,首先經過三層卷積來增強輸入圖像紋理細節,提高正面圖像與背面圖像的對比度,然后饋送到三個具有跳躍鏈接的特征提取模塊(Feature extractor module,FEM)中,以保留低層信息并將其傳遞到深層網絡中,三個特征提取模塊的輸出特征通過自學習模塊(Self-learning module,SLM)以及兩層卷積融合獲得一個無透射的輸出.其中,自學習模塊的作用是獲得的自適應權值,使得S-CycleGAN 更加關注混合內容中較嚴重區域和正面紋理等細節信息.

1.1.1 特征提取模塊-FEM

FEM 的網絡結構如圖3 所示,包括卷積層、ReLU 層和SLM.在S-CycleGAN 的設計中,生成器Gy的目的是將帶有透射的輸入圖像生成無透射的圖像,并且不需要估計中間參數,為了實現這個目標,生成器Gy應該盡可能地保留正面圖像內容和細節,同時消除透射信息.因此,生成器Gy中的特征提取模塊應充分利用透射圖像的特征信息.

圖3 FEM 的網絡結構Fig.3 The network structure of FEM

FEM 由多個卷積、RELU和SLM 的功能層組成,以層次遞進方式反復提取特征信息.經過圖3所示的由淺入深的功能層后,會交換大量不必要的冗余信息,從而導致一些有用特征信息丟失.因此,在特征提取塊中增加了跳躍鏈接,將淺層特征與深層特征融合,使網絡保留更多的有效特征信息,從而更有利于恢復清晰的圖像.另外,為了平衡網絡性能和時間復雜度,將FEM 的所有卷積層的通道數設為64,卷積核大小設為3×3.

1.1.2 自學習模塊-SLM

SLM 的網絡結構如圖4 所示,主要用于關注圖像的不同特征.輸入的特征圖F大小由C×H ×W變為C×1×1,其中C表示通道數,H×W表示圖像大小.通過兩個卷積層和ReLU、sigmoid 激活函數來獲取特征,與輸入的特征圖F做元素相乘操作得到Fc,在這一階段的卷積核大小為1×1,通道數分別為8和64,步長為1.過程可如式(2)所示.

圖4 SLM 的網絡結構 (F 表示自學習模塊的輸入,Fc 表示自學習模塊的中間輸出,Fresult 表示自學習模塊的輸出)Fig.4 The network structure of SLM (F is the input to the self-learning module. Fc is the intermediate output of the self-learning module. Fresult is the output of the selflearning module)

其中,pool(·) 表示平均池化操作,Conv(·) 表示卷積操作,σ(·) 是sigmoid 函數,δ(·) 是ReLU 函數,?是元素相乘,Fc表示此階段的輸出.

考慮到透射到正面的背面內容 “深淺不一”,透射圖像的背面內容常不均勻地疊加在正面圖像上,因此需要SLM 能夠捕捉特征圖Fc中的高響應區域,使模型更加關注相應區域并對此進行處理.因此,特征圖Fc通過池化、卷積和Sigmoid 激活操作后,大小由C×H ×W變為 1×H ×W,通道數降為1,將會得到區域特征信息,與輸入特征圖Fc做乘法操作,獲得最終的關注不同相應區域的權重特征圖,在這一階段的卷積核大小為3×3,通道數為1,步長為1.處理過程如式(3)所示.

其中,Fresult表示自學習模塊的最終輸出.

為了解釋自學習模塊在網絡中的有效性,對特征提取模塊結構輸出的特征權重圖進行可視化.圖5顯示了尺寸為4×64 的特征圖,可以清楚地看到,網絡以不同的權重自適應地學習不同的特征映射.

圖5 自學習模塊權重圖Fig.5 Self-learning module weight map

1.2 判別器網絡結構

判別器用于區分生成圖像的 “真假”,其輸入是生成器網絡生成的圖像.在S-CycleGAN 中,有兩個判別器,即Dy和Dx.Dy用于區分生成的無透射圖像和真實的無透射圖像,Dx用于區分生成的透射圖像和真實的透射圖像.判別器Dy和Dx采用相同的網絡結構,如圖6 所示.判別器的前4 組模塊用于提取特征,最后一組模塊用于確定生成圖像的“真假”.網絡中5 個卷積層通道數依次為64、128、256、512和1,每一層的卷積核大小為4×4、步長為2.

圖6 判別器的網絡結構Fig.6 The network structure of discriminator

1.3 損失函數

由于采用非成對的數據來監督網絡,生成的圖像無法保持圖像中的顏色和結構信息,故引入循環一致性損失[17]來最小化透射圖像x和其重構的透射圖像Gx(Gy(x))、無透射圖像y和其重構的無透射圖像Gy(Gx(y)). 循環一致性損失(Lcycle)定義為式(4).

其中,x和y表示不需要配對的透射圖像和無透射圖像,E 表示數學期望,x～Pdata(x)表示透射數據集中樣本的概率分布,y～Pdata(y)表示無透射數據集中樣本的概率分布,‖·‖1表示L1范式.

判別器Dy的作用是最大化損失,并以此區分生成的無透射圖像和真實的無透射圖像,而生成器Gy要使損失最小化,使生成的無透射圖像接近真實的無透射圖像.因此,Dy的對抗性損失()定義為式(5).

循環一致性損失和對抗性損失能夠約束圖像中的顏色和結構信息,但對文檔圖像的細節信息沒有考慮.因此,本文使用感知損失[18]來使生成的圖像在語義細節上更接近目標圖像,在生成器Gy和生成器Gx的約束下的感知損失(Lperceptual) 如式(7)所示.

其中,‖·‖2表示L2范數,φ表示VGG-16 網絡[19]的特征提取器.本文使用VGG-16 網絡的第2和第5 個池化層中提取的特征按照式(7) 進行組合,VGG-16 網絡是由ImageNet[20]預先訓練的模型.

其中,ω是感知損失函數的權重系數.

2 實驗結果與分析

2.1 實驗設置

2.1.1 對比算法和數據集

為了充分測試S-CycleGAN 的性能,實驗采用的數據集為:DIBCO 2013[21]、DIBCO 2012[22]、DIBCO 2014[23]、DIBCO 2017[24]、DIBCO 2011[25]、DIBCO 2009[26]、H-DIBCO 2016[27]和真實的透射圖像.仿真合成圖像按照式(1)進行混合,其中g(·) 為高斯模糊操作,濾波器大小為5×5,標準差為2,α在[0.15,0.25]間隨機選擇,以盡可能模擬實際透射情況.

實驗選擇了6 種具有代表性的文本圖像恢復方法:經典的Otsu[4]算法和Ntirogiannis[5]方法,基于深度學習的SAGAN[28]、DD-GAN[15]、Castellanos[16]和Sungho[29]方法.

2.1.2 評價指標

為定量評價透射圖像恢復效果,使用文檔圖像二值化國際競賽中的評估參數[21-27]:峰值信噪比(Peak signal to noise ratio,PSNR)、F-measure(FM),pseudo-F-measure (pFM)和距離倒數失真(Distance reciprocal distortion,DRD).其中,前三個指標值越大說明算法準確性越高,DRD 越小說明像素恢復差錯越少.

1) PSNR

3) pFM

其中,pRecall表示生成的結果圖像相比于標準二值化圖像檢測到文字信息完整性的百分比.

4) DRD

其中,DRD用于測量二值圖像中的視覺失真.NUBN是標準二值化結果圖像中非均勻(并非所有黑色或白色像素) 8×8 像素塊的數量,DRDq表示在5×5像素塊鄰域內,標準二值化圖像與生成的結果圖像第q個翻轉像素之間的權重加和的差值.

2.1.3 參數敏感性分析

為了對比感知損失函數的權重系數ω取值不同對文檔圖像透射去除效果的影響,本節以合成透射數據集為例,結合FM和pFM評價指標,通過設置不同的權重系數ω進行參數敏感性分析實驗.

不同的權重系數ω對FM和pFM評價指標的影響如圖7 所示,可見當感知損失函數的權重系數ω越小時,FM和pFM評價指標的數值越小,當ω在0.8 附近時,FM和pFM的值達到最大,此時文檔圖像透射去除效果最好,所以本文設定ω=0.8.

圖7 不同權重系數 ω 對FM和pFM 評價指標的影響Fig.7 Influence of different weight coefficient ω for FM and pFM

2.2 DIBCO 數據集實驗結果與分析

表1 為3 個DIBCO 系列數據集的定量評價結果(獲得的最佳結果用粗體標出).與已有的方法相比,本文的S-CycleGAN 在4 個評價指標中均有3項取得了最佳結果.

表1 DIBCO 數據集的文檔透射圖像恢復定量評價Table 1 Quantitative evaluation of document bleedthrough image restoration of DIBCO datasets

為了直觀展示視覺對比效果,圖8 給出了不同方法在DIBCO 2011[25]數據集中的一個樣本圖像的處理結果.如圖所示,圖8(a)中大面積背面內容疊加到正面圖像中且右上部分透射內容較重(強透射區域).因直方圖沒有明顯的雙峰特征,且圖像整體亮度偏低,Otsu[4]算法計算出的閾值較小,從而導致計算輸出的二值圖像引入了大量噪聲.Ntirogiannis[5]方法雖然能抑制一定的噪聲,但也丟失了部分文本內容.基于深度學習的方法SAGAN[28]、DDGAN[15]、Castellanos[16]和Sungho[29]方法的恢復結果要優于經典方法,對文字的恢復較為準確,但仍有較多背面內容在恢復過程中被當作正面的內容,導致恢復結果出現了噪聲誤差.本文方法S-CycleGAN 給出了較好的視覺效果,更加接近真值圖像(Ground truth),可以在不需要成對數據集的情況下,無論是強透射區域還是弱透射區域都可以生成更為清晰的細節,更好地恢復透射文檔圖像.

圖8 各方法在DIBCO 2011 數據集內一個樣本的恢復結果Fig.8 Experiment results of one sample in DIBCO 2011 datasets by different methods

圖9 給出了不同方法對H-DIBCO 2016[27]數據集中的一個樣本圖像的恢復結果.Otsu[4]、DDGAN[15]和Sungho[29]的實驗結果中存在大量噪聲信息.Ntirogiannis[5]方法可以更有效地去除陰影和類似正面文本的背面噪聲,但存在文本信息錯分的情況.SAGAN[28]和Castellanos[16]方法恢復的實驗結果中存在文字筆畫不連續的現象.S-CycleGAN 不僅能更好地去除陰影和噪聲,而且更好地保留了正面文本細節.

圖9 各方法在H-DIBCO 2016 數據集的一個樣本恢復結果Fig.9 Experiment results of one sample in H-DIBCO 2016 datasets by different methods

2.3 合成數據集和真實圖像實驗結果與分析

2.3.1 合成數據集實驗結果

本文方法S-CycleGAN 與其他幾種去除透射算法在合成數據集上的定量評價如表2 所示.粗體為恢復方法中最佳的指標結果,顯然可見,S-CycleGAN 在四個客觀度量指標上均優于其他去除透射方法.

表2 合成數據集的文檔透射圖像恢復定量評價Table 2 Quantitative evaluation of document bleedthrough image restoration of synthetic datasets

合成數據集中一個樣本圖像的恢復結果對比如圖10 所示,可見經典的Otsu[4]和Ntirogiannis[5]方法無法消除文檔的背面透射內容,這是因為此類方法難以在正面和背面內容區分中找到一個有效閾值,且Ntirogiannis[5]方法恢復的內容中標點符號嚴重缺失.Castellanos[16]正面的文檔內容沒有完全恢復且造成了一定的內容細節損失,恢復效果不理想.DD-GAN[15]和Sungho[29]方法產生了相對較好的視覺效果,但存在紋理細節不清晰等問題.綜合來看,S-CycleGAN 生成的結果更為自然,紋理細節也較為清晰.

圖10 各方法在合成數據集的一個樣本恢復結果Fig.10 Experiment results of one sample on synthetic document bleed-through datasets by different methods

2.3.2 真實透射圖像實驗結果

真實圖像為 “京瓷FS-1020MFP”掃描獲取的全國大學英語六級試卷和某初中數學試卷的數字圖像,截取其中有明顯透射的樣本進行恢復,各種對比方法的實驗結果分別如圖11和圖12 所示.

圖11 不同方法在全國大學英語六級試卷透射圖像的恢復結果Fig.11 Experiment results of CET-6 bleed-through datasets by different methods

由視覺效果綜合比較可見,Ntirogiannis[5]和Su-ngho[29]方法的恢復結果中存在部分內容缺失的問題,例如圖12(g)中 “-6”的 “-”丟失,恢復的圖像與原始文檔內容不一致.Otsu[4]和DD-GAN[15]方法可以將透射內容進行一定程度的去除,但存在恢復正面字跡不清晰、邊緣不夠平滑的問題.Castellanos[16]和SAGAN[28]方法保留了正面文本內容但仍存在一定的背面噪聲.與其他方法相比,本文方法S-CycleGAN 不僅能更好地去除透射內容和噪聲,而且清晰、平滑、正確的保留了正面文本內容.

圖12 不同方法在某初中數學試卷透射圖像上的恢復結果Fig.12 Experiment results of test papers bleed-through datasets by different methods

2.4 消融實驗

第3.2 節和第3.3 節的對比實驗結果表明,基于S-CycleGAN 的圖像恢復方法取得了良好的性能.為了更好地理解該方法中不同組成部分的作用,測試每個組成部分在網絡中的重要性,進行了有無特定成分的消融實驗,以驗證每個模塊在S-CycleGAN 的功能.消融實驗在合成數據集和H-DIBCO 2016[27]數據集上進行,主要對比:CycleGAN、無SLM 的S-CycleGAN和本文方法S-CycleGAN.

表3 給出了S-CycleGAN 及其兩種消融變體在合成數據集和H-DIBCO 2016 數據集上的客觀度量指標計算結果.由表3 可見,加入了本文設計的功能模塊后的S-CycleGAN 的實驗指標得到較大提升,結果最優,且部分指標相差較大.圖13 給出了S-CycleGAN 及其兩種消融變體在合成數據集中一個樣本圖像的恢復結果.可以看出網絡中加入自學習模塊能夠關注到圖像的不同區域特征,以“非均勻”的方式處理透射到正面的 “深淺不一”內容,更好的恢復出了正面圖像內容的紋理、邊緣等信息,不僅有效地去除了透射內容,還能完整保留正面圖像的文字細節.從表3 的客觀指標評價和圖13的實驗結果來看,在CycleGAN 中加入了特征提取模塊和自學習模塊對透射文檔圖像的恢復十分有效.

圖13 不同網絡結構在合成數據集上的消融實驗Fig.13 Ablation experiments of different network structures on synthetic datasets

表3 S-CycleGAN 模塊有效性客觀評價指標對比Table 3 Objective evaluation indexes comparison for the modules in S-CycleGAN

3 結論

本文提出了一種自監督學習的單幅透射圖像恢復網絡(S-CycleGAN),該網絡可以直接對非配對的透射文檔圖像執行圖像恢復任務,且無需混合比例、閾值等任何先驗參數.通過設計有效的生成器網絡,針對文檔圖像中透射分布不均勻、文字印記深淺不一等問題,在網絡中加入自學習模塊,提高關注點的表示和感興趣內容的表現力,以獲得更好的透射圖像恢復效果和重建細節內容.在合成數據集、DIBCO 數據集和真實圖像上與現有方法進行了實驗對比,結果表明S-CycleGAN 在客觀度量指標和視覺效果上均取得了較好的結果,有望集成于掃描儀、相機等實際成像設備.