攝屏類圖像重構算法①

陳申渭，馬漢杰，馮 杰，許佳立

1(浙江理工大學 信息學院，杭州 310018)

2(杭州市公安局余杭分局，杭州 311100)

1 引言

隨著科技的進步，數碼相機取代了傳統膠卷相機的壟斷地位，并搭載在智能手機中，成為了現代人日常生活密不可分的一部分.數碼相機中的感光元件CCD 或CMOS 是按矩陣排列的電子感光元件，為了減少成本、縮小體積，其內部圖像傳感器大多采用彩色濾鏡陣列(Color Filter Array，CFA)，再通過RAW 圖像去馬賽克過程對缺少像素信息插值恢復[1].根據奈奎斯特采樣定律，當屏幕信息頻率接近于數碼相機的感光元件陣列密度時，會產生摩爾紋現象.此外，這種CFA 方式通過降低了采樣頻率來提高采樣效率，但細節的缺失更容易出現彩色摩爾紋現象.近年來，RAW 圖像去馬賽克算法得到不斷地改進和完善，為避免摩爾紋的產生取得了良好的效果，如邱菊[2]提出基于CCD 靜態圖像的摩爾紋去除算法研究.邱香香[3]提出基于CCD 靜態圖像的摩爾紋去除算法.劉芳蕾[4]提出基于圖像分解的紋理圖像摩爾紋消除方法.Sun 等人[5]提出了基于多分辨率卷積神經網絡的摩爾紋圖像修復.

另一類摩爾紋并不是在成像時直接產生，而是在縮放后產生.當拍攝圖像的分辨率遠高于被拍攝圖像的分辨率時，由于屏幕信息頻率遠低于數碼相機的感光元件陣列密度，根據奈奎斯特的采樣定律，這并不會在成像時產生摩爾紋現象.然而在縮放過程中圖像的信息頻率隨之縮放，使得圖像高頻信息相互混疊，導致圖像產生摩爾紋干擾.1983年，Parker[6]等中詳細介紹的各類經典空間插值方法，但例如最鄰近域法、雙線性插值法、雙三次插值法，B 樣條插值法，三次卷積插值法和蘭索斯插值算法均有嚴重的摩爾紋現象.在OpenCV中提出了新的圖像縮放算法—利用像素區域關系的重采樣插值(resampling using pixel area relation)，通過快速獲取幾個像素平均值從而得到較為平滑的縮放圖像，是現今最為實用的避免縮放類摩爾紋的算法.此外對于現在比較流行的基于字典學習的圖像插值方法，基于深度學習的圖像插值方法以及基于決策樹的圖像插值方法等，均有著良好的實驗效果[7-9].但它們都需要預先利用大量圖像做訓練，使得實用性大打折扣.本文特指的攝屏類圖像就具有典型的縮放類摩爾紋，它是過采樣圖像由于縮放插值算法成像受到高頻的噪聲干擾失真所導致的.如今主流手機的后置攝像頭的像素一般在1200 萬以上，其遠高于主流的屏幕分辨率[10].高分辨率的圖像在低分辨率的屏幕中完整顯示需要經歷圖像縮放操作，而且，縮小的比例越接近于被采樣圖像的真實大小，則兩者頻率越接近，信息混疊的干擾就越明顯.攝屏類圖像固有全局的高頻信號，且條紋像素的灰度值較低，使得圖像梯度較大，因此，該類圖像的摩爾紋現象尤為嚴重.在另一類非等比例縮放算法中，基于內容感知的圖像非等比例縮放等技術得到較為廣泛地應用，例如基于混合能量的內容敏感圖像縮放等[11，12].此外，鏡頭畸變和角度旋轉等差異同樣存在于被采樣圖像和攝屏圖像之間，此類算法也廣泛應用于拍攝圖像處理中[13，14].

除一般的用戶的電腦顯示屏外，大型LED 屏幕在舞臺、廣場等地被廣泛應用.大型LED 銀幕的液晶點間條紋清晰可見，拍攝的圖像在縮放顯示時極易產生摩爾紋，這都嚴重降低了畫面質量.

被采樣的屏幕圖像和采樣獲得的成像圖像之間有著分辨率的轉變.普通的圖像，高頻信息體現圖像細節，往往符合實際需求.針對更高細節的需求，Tsai[15]是最早提出超分辨率重建(SRIR 或SR)的人之一，超分辨率重建是一種將已有的低分辨率圖像轉換成高分辨率圖像的方法，文獻[16]詳細介紹了超分辨率的原理及方法.而攝屏類圖像的高頻條紋受LED 液晶顯示屏的物理構造影響，在更高分辨率的情況下采集了網紋狀噪聲，是一種不符合實際需求的由低分辨轉變為高分辨率的變化.

基于上述分析，結合圖像的超分辨率重構的逆向思維和非等比率縮放算法，以及利用模型驅動的圖像分割技術和隨機游走進行高頻信號的采集[17，18].實現針對攝屏類圖像的重構算法，將圖像還原成被采樣圖像，使其更貼近用戶實際需求，同時解決攝屏類圖像分辨率過大，以及縮放后摩爾紋現象、鏡頭畸變、拍攝角度傾斜等問題.

2 重構算法的基本思路

本文提出的高分辨率攝屏類圖像重構方法分為圖像空間域的重構和圖像顏色通道的插值恢復，主要算法步驟包括高頻信號采樣和像素顏色插值兩部分，本文介紹了濾波算法和三種交替使用的圖像分割算法.算法流程如圖1所示.通過空間長度自適應的濾波算法分離兩個方向的圖像周期信號，通過兩個方向上的映射來分離并建立信號模型，在重構圖像的具體過程中，先重構圖像的空間矩陣，再對像素值插值恢復.

圖1 本文算法框架

2.1 圖像信號與空間映射

如圖2(d)、(g)所示，攝屏類圖像信號呈現周期變化.在成像過程中，被采樣圖像的像素點矩陣在屏幕中以液晶點的形式輸出，在相機采樣后形成呈矩陣排布的狀如“山峰”的液晶點單元區域.描述攝屏圖像的模型可表示為:

式中，x為攝屏圖像的空間坐標，I(x)為攝屏圖像，J(x0)為被采樣原圖，x0為空間坐標x在被采樣原圖上映射的空間坐標，a為環境光值，即忽略屏幕自身發光的液晶點間隙采樣所表現的光值，t1(x)為原圖信息影響率，t2(x)為環境光值影響率.

求解x0與x的映射關系，需要對圖像高頻信號進行采樣.已知被采樣像素Pi,j對應于攝屏圖像液晶點單元區域Ei,j.顯然像素點集合fP1,j,P2,j,P3,j,...,Pn,jg 對應單元區域集合Ej=fE1,j,E2,j,E3,j,...,En,jg.通過圖像分割先將攝屏圖像分割成E1,E2,E3,...,En的連續條形區域，再進一步分割成一個個液晶點單元區域小塊，能夠精確有效地重構圖像的空間結構.

2.1.1 空間長度自適應的線型濾波算法

在分割圖像時，為了盡可能保留橫軸方向的高頻信號同時去除相切方向的高頻噪聲，需要在保留橫方向圖像梯度信息的同時削弱豎軸方向的梯度變化.本文提出一種空間長度自適應的線型濾波算法.經實驗觀察，單元區域內極大值點和中心點對應的t1(x)值較大，最接近采樣圖像信息，因此按豎軸方向通過爬山算法取得極大值點集Q 并舍去非極大值點的灰度信息，其中A點與B點為相鄰的兩個極大值點，將A點與B點的距離Tab作為線型濾波器的長，寬度為1，保留極大值信息的同時梯度最小化，將A點與B點之間的灰度分量Pa+i設為等差數列，既

通過極大值點的間距作為線型濾波的濾波器的和長度，組成連續不重疊的濾波器窗口.

液晶點單元各個方向都存在強梯度變化，本文通過濾波算法，將圖像梯度分解成兩個方向.受圖像畸變和鏡頭角度等復雜變化影響，兩個方向存在對應水平和豎直方向上的偏轉角度.效果如圖2(e)、(f)、(h)所示.

2.1.2 圖像高頻信號的提取

通過濾波后的圖像信息，其橫軸方向的周期變化更為明顯直觀，當坐標接近液晶點單元區域中心時，圖像灰度值達到峰值，當坐標處在區域邊緣，即液晶點間隙時，圖像灰度達到最低值，如圖2(h)所示其橫截面具體呈現波浪形的漸變曲線，符合三角函數變化，式(1)中原圖信息強度t1(x)可表示為:

其中，B表示受環境光照影響的屏幕信息最大影響率，即原圖信息影響率t1(x)的理論最大值，Tx為高頻信號變化周期.

受鏡頭畸變和拍攝角度等因素影響，周期Tx是隨坐標小幅波動的變量，因此取Tx的平均數常量作為代替.可表示為:

本文提出高頻信號提取的基于鄰域搜索快速Greedy 算法[17]，加快算法的收斂速度，更高精度地提取圖像高頻信號進行圖像分割，具體算法如下:

圖2 圖像濾波效果圖

首先通過標定橫軸方向上的周期鄰域內極小值點，從而獲得周期連續的高頻圖像點集，豎軸方向相鄰的像素點組成相連的像素集合，這些集合在全局上形成連續不想交的密集條紋，物理上對應于濾波圖像中的液晶點間隙.

通過貪心算法標定極小值點能夠最大限度地獲取圖像高頻信號.但是同樣噪聲較多.通過簡單的集合邏輯濾波簡單地去除噪聲 Δa，而Δa往往大于實際存在的噪聲a.

通過先驗的頻率周期T，標定領域最小值點，獲得更為精確的結果.

算法相比較于梯度算子等邊緣檢測的圖像分割算法，通過已知的變化函數和周期，更加快速準確地提取圖像高頻信號.

其次對標定信息的模型擬合，利用攝屏圖像的先驗知識，即固有的空間結構來建立數學模型，通過橫軸方向上的周期性和豎軸方向上的連續性，修復圖像的缺失點和偏差點.實際是基于模型驅動的圖像分割算法中的目標幾何判定.

此外利用基于隨機游走的圖像分割算法，采用貝努利隨機游走迭代的方式.

貝努利隨機游走迭代的方式是一種一維線段上的隨機游走.已知濾波后的大小為m×m圖像g，將圖像g的每一行作為整體分割成m個大小為m×1的線形圖像集合，以豎軸方向的變化為時間向量依次作為圖像幀數，從而將二維圖像分割成一維線段集，將圖像分割轉化為直線上的隨機游走.如圖3所示，若種子點于t時刻在直線上的位置為點i，那么在下一時刻t+1，或以p的概率跳到t+1 整數點，或以q的概率運動到i-1 點，或以r=1-p-q的概率繼續停留在i點.隨著幀數的迭代，種子點的運行軌跡在二維圖像上形成了連續的路徑，從而完成圖像分割.實際實驗過程以像素的梯度變化和先驗的周期信息為標準，種子點朝灰度值較小的方向游走，使其軌跡對應于攝屏圖像中液晶點物理間隙，對應于所求的高頻條紋.

圖3 貝努利隨機游走

通過隨機游走跟蹤圖像的極小值點獲取高頻條紋信息，返回種子點路徑，在高頻信號圖像模型建立上起到復檢作用.隨機游走算法優點在于獲得連續穩定的線段，缺點在于需要在平滑區域開始作為初始幀，獲得精準的種子點.

圖4 是攝屏圖像，通過濾波操作，將其網狀的周期高頻信號分離，如圖5 是濾波后圖像.通過濾波削弱圖像豎直方向高頻信號并保留水平方向高頻信號，圖6是圖5 對應的圖像分割軌跡，其軌跡為密集的互不相交的水平方向條紋，對應于攝屏圖像所采集的液晶點間隙.算法通過精準的圖像分割軌跡，從而計算攝屏圖像與原始圖像的空間映射關系.

圖4 濾波后攝屏圖像

2.2 圖像空間重構

在圖像空間重構過程中，需要計算從大小為m×m的原圖像g到大小為n×n的目標圖像h的空間非線性映射 Φ.引入大小為m×n的過度圖像t，將映射Φ拆解為從g到t的豎直方向映射Φ1和從t到h的水平方向映射Φ2.

圖5 濾波后攝屏圖像

圖6 圖像分割軌跡

圖7 空間重構示意圖

圖像g通過濾波后拆解成M1和M2兩個相切方向的高頻信號模型.通過豎直方向的周期高頻變化M1 形成的條紋狀濾波圖像，將圖像沿水平方向分割成E1,E2,E3,...,En的連續條形區域，其中Ej在h上的映射區域為n維行向量αj，通過拆解，在過度圖像t上的映射為m維行向量 βj.得到過度圖像t=[β1,β2,β3,...,βn]T和M2在圖像t上的映射M3.

同理通過M3 和過度圖像t，將圖像進一步空間重構，形成n×n的目標空間矩陣.實際實驗時，將四周不完整的邊框舍去，獲得規整的矩陣h0.

2.3 圖像顏色通道插值恢復

在圖像空間重構的基礎上，通過插值算法，恢復圖像的顏色通道.不同的插值算法具有不同的實際效果.本文算法重點測試了三類不同的插值算法.分別是是線性的區域重采樣的插值算法，去除液晶點間隙噪聲的插值算法和基于加權的插值算法.

區域插值算法能夠有效消除噪聲干擾，但同樣對細節造成一定缺失.領域內極大值解的插值算法，通過圖像的先驗知識，頻域內的極大值來代替被采樣圖像的灰度值，優點是細節保存完整，缺點是容易產生噪聲并且對環境光照敏感.此外基于加權和卷積的插值算法本文具體實驗了基于蘭索斯函數擬合的重構算法和基于向量內積的自適應加權插值重構算法，具有一定的改進效果但時間復雜度大增.本文實驗的區域插值算法使用線性插值且濾波器大小為2 倍信號周期.去除液晶點間隙噪聲的插值算法以一個信號周期作為濾波器大小的線性插值為基礎去除物理噪聲點.在實際算法中，CFA 濾鏡陣列綠色分量占比更多，以綠色通道分量判斷噪聲點并舍棄[19].此外，利用向量的內積操作，自適應地增大.

3 實驗結果與分析

為驗證本文算法的重構效果，使用50 幅不同偏轉角度和頻率空間大小的攝屏圖像進行實例驗證，并與原被采樣圖像、一般縮放圖像和重采樣算法的縮放圖像相比較.此外還對不同顏色插值算法進行討論.實驗平臺采用Windows10，Visual Studio 2017 編譯環境，Intel Corei7 3.6 Hz CPU時鐘頻率，內存16.0 GB.實驗圖像的頻率周期T2[4,10]，偏轉角度不超過23 度23°，實驗圖片以1200 W 攝像頭在無鏡頭光燈的明亮環境下采樣.

利用本文算法對圖像進行重構的結果如表1 和圖8所示，實驗Lena 圖展示了原被采樣圖像的光滑區域和高頻區域在攝屏圖像與縮放及重構圖像中的表現.從結果可以看出，由于Bayer 格式攝像設備采集的實際RGB 分量比為1:2:1 以及白平衡設置等因素，圖像在采樣后造成綠色分量較實際值偏大使得圖像較原圖相比更綠更暗.去噪重構圖像有效地篩除了部分綠色分量以及部分液晶點物理結構所造成的低灰度信號，色調還原最佳.線性插值重構與區域從采樣類似，獲得更為平滑的圖像，有效抑制了摩爾紋的產生，但在細節上去噪聲重構算法更佳.同時，重構圖像準確還原圖像原始空間結構，并且消除圖像短鏡頭畸變和角度傾斜等問題.

表1 圖像特征對比

如圖9所示，圖像直方圖直觀地反應出圖像間色調的相似程度[20].本文算法重構后圖像在圖形上恢復了圖像的空間結構，且較好地恢復了圖像顏色，在重構圖像中有效避免了摩爾紋的產生.為了更好地評判重構后的圖像質量，本文圖像的直方圖相似度(Correlation)和巴氏距離(Bhattacharyya distance)來評價色調的還原程度[20].并對各類圖像進行定量評價，各評價指標的計算結果如表2所示.

表2 圖像直方圖相似度和巴氏距離(%)

直方圖相似度dcorrel和巴式距離dbhatta公 式如下:

式中，k為直方圖的灰度級，，分別為hk，的均值，計算結果歸一化.圖像與被采樣圖像的dcorrel越大，說明相似度越高，色調還原程度越好.圖像與攝屏圖像的dcorrel越小，說明相似度越低，色調重采樣度越高.圖像與被采樣圖像的dbhatta越小，說明像素的離散分布越吻合，色調越接近.圖像與攝屏圖像的dbhatta越大，同樣說明色調重采樣度越高.實驗結果中，去噪聲重構圖像和內積法重構圖像與被采樣圖像的直方圖相似度達到81.5%和84.3%，遠高于攝屏圖像的38.7%和區域重采樣插值縮放圖像的62.3%.數據表明在幾類圖像中，去噪聲重構圖像色調還原程度最高.

圖8 圖像重構對比圖

圖9 圖像直方圖對比

4 結論與展望

本文針對高清攝屏圖像相對于實際被采樣圖像像素過大，縮放容易產生摩爾紋等問題，提出全新的圖像重構思想，并對應基本算法步驟.與傳統圖像插值以及重構不同，本文重構算法在圖像超分辨率重構和非等比例縮放算法的思想基礎上，針對攝屏圖像的獨特性質，一方面利用液晶屏幕的物理結構，在針對性的濾波算法基礎上通過模型驅動的圖像分割和隨機游走來提取圖像的信號模型進而完成空間重構.另一方面通過對攝屏圖像的先驗知識，有效抑制物理結構帶來的噪聲干擾，獲得色調還原度和細節保存較好的重構圖像.實驗樣本中去噪聲重構圖像和內積法重構圖像與被采樣圖像的直方圖相似度達到81.5%和84.3%，遠高于攝屏圖像的38.7% 和區域重采樣插值縮放圖像的62.3%.算法將圖像的空間矩陣重構還原至被采樣的屏幕畫面，在保留了圖像信息的同時，舍去高頻網狀周期噪聲，極大地壓縮圖像大小，使圖像更符合實際需求.本文算法在液晶屏幕拍攝，尤其是被封裝的設備方面具有實用價值.

本文的重構方法在圖像分割上對于光滑區域更為理想，但算法較為依賴先驗的光滑區域信息，在被采樣圖像全局均有高頻噪聲的情況下誤差較大.并且本文算法在偏轉角度和信號周期長度上普適性不佳.實驗結果受外界噪聲干擾明顯，具體受屏幕鏡面反射、環境光值、液晶壞點、聚焦、屏幕污垢灰塵等因素影響.目前使用單幀圖像作為實驗素材，可以通過多幀圖像進行相機標定從而來提高精度.