基于自校驗的單像素成像系統動態干擾去除方法*

張健 陳家霖 陳笑然 冒添逸 沈姍姍 何睿清?

1)(南京工程學院信息與通信工程學院,南京 211167)

2)(南京郵電大學地理與生物信息學院,南京 210023)

3)(南京工業職業技術大學航空工程學院,南京 210023)

單像素成像系統通過對目標場景的多次調制,獲取相應的單像素測量值,并由此重構圖像.在這一過程中,如果其他物體侵入成像場景,會嚴重影響測量值的準確性,降低重構圖像質量.由于侵入物體的反射率,形態均具有一定的隨機性,因此從桶探測器信號的角度很難有效分離出受干擾信號.針對這一問題,基于哈達瑪矩陣的特征,提出了一套自校驗方法,即利用桶探測器自身測量值進行正確性校驗,篩選出未受干擾的桶探測器信號,顯著提升了重構圖像的質量.該方法適用于一般性成像場景,且不需要引入額外的調制圖像輔助校驗,有力推動了單像素成像技術的實用化進程.

1 引言

單像素成像技術起源于量子成像技術[1,2],近年來得到廣泛關注.與傳統成像方法相比,單像素成像技術具有更寬的光譜響應范圍,更快的響應速度以及更高的靈敏度,在高速成像[3?6]、微光成像[7?9]以及特殊波段成像[10?13]方面具有極大的應用潛力.

當前制約單像素成像實際應用的關鍵因素是采樣時間長和成像質量低.為了提高效率應減少采樣時間,學者們在單像素成像的求解過程和調制方法方面開展了大量研究.在求解方法方面,單像素成像的求解主要依賴于壓縮感知算法[14],該算法利用圖像的稀疏性,打破了奈奎斯特采樣定理的限制,為低采樣率下的圖像重構提供了有效手段.在調制方法方面,研究人員通常采用正交性較好的哈達瑪矩陣作為測量矩陣,該方法也稱為哈達瑪單像素成像(HSI).為了獲得更好的重構效率,HSI 可以采用特定的采樣順序來獲取系數,讓更重要的系數排在前面以便實時獲取目標圖像的絕大部分信息[15].為此,Zhang等[16]研究了HSI 中使用的鋸齒形、方形和圓形采樣順序.此外,其他采樣順序如俄羅斯套娃(Russian doll)[17]、蛋糕切割法(cake cut)[18]和折紙法(origami)[19]等都比自然順序表現更好.

另一方面,由于單像素成像機理與傳統成像完全不同,研究人員從多個角度建立了單像素成像的成像模型,分析噪聲對于其成像性能的影響.Jauregui-Sánchez等[20]建立了一個單像素相機的模型,不僅考慮了入射光的特性,還考慮了探測器的物理特性.特別是該模型考慮了用作光檢測器的光電二極管的光電流、暗電流、光電流散粒噪聲、暗電流散粒噪聲和約翰遜-奈奎斯特(熱)噪聲的影響.在電信號和最終圖像質量之間建立了清晰的關系.Sun等[21]對基于焦平面調制的單像素成像系統中影響重建圖像質量的每個系統組件的噪聲進行了研究,建立了一個噪聲模型來描述這些不同噪聲源的綜合影響,并進行了數值模擬量化影響的分析.該項研究為評估單像素成像系統的性能提供了一種簡單而準確的方法.Jiang等[22]提出將信號采集過程中的噪聲分為乘性噪聲(如照明強度的波動噪聲、采樣矩陣畸變產生的噪聲和傳輸介質散射噪聲等)和加性噪聲(如光電探測器的暗噪聲和背景雜散光產生的噪聲等),并分析了不同重構算法、不同采樣策略對圖像質量的影響.

現有的單像素成像系統的理論模型大部分都是在成像環境穩定的情況下建立的.但在實際成像情況下,可能存在其他物體“侵入”目標場景.這種動態干擾使得桶探測器測量值無效,并導致重構圖像質量嚴重下降.由于目標場景與動態干擾都具有隨意性,因此其反射率、干擾時間、干擾物的移動路徑均不確定,從而難以直接通過桶探測器的測量值進行去除.

針對這一問題,本文提出了一種檢驗正確信號的方法,有效篩選了無干擾或受干擾較小的信號,剔除了受干擾嚴重的信號.仿真和實驗均表明,本方法可以有效提高重構圖像質量,也為單像素成像技術的實用化開辟了新的思路.

2 原理

當T不變時,ui在不考慮干擾和噪聲的情況下是一個常數,因此可以利用ui的大小判斷是否存在動態干擾.但在實際情況中,探測器噪聲、背景光照等因素使得ui不可能為一個常數.此外,動態干擾的類型,對探測器的擾動程度都不確定.針對這個問題,本文提出通過統計的方法,對因動態干擾導致的錯誤信號進行識別和剔除.為了保證一般性,本文主要考慮非稀疏場景(稀疏度較低)的異常信號去除,因此在實驗中采用全采樣,同時默認大部分信號沒有受到干擾,干擾的總比例作為先驗知識,但是在哪一幀存在干擾未知.算法如圖1 所示,流程如下:

步驟1計算ui.假設Hi的大小為N×N,那么共有N2個ui需要計算.如圖1(a)—(d)所示.

步驟2統計ui的直方圖,如圖1(e)所示.橫坐標為ui的強度,假設采集到的ui最大值,最小值分別記為和.分段區域個數為K,那么每一段的強度范圍為/K,縱坐標為第k個區間內包含的組數,記為Nk(k1,2,···,K),那么ui對應的分布直方圖如圖1(e)所示.

步驟3無干擾信號的生長方法.選擇直方圖中Nk(k1,2,···,K)中的最大值對應的下標作為初始生長位置,并將其標記為紅色,然后從初始生長位置向兩邊生長(如圖1(e)中黃色箭頭所示),每一次迭代向兩側生長一個位置,經過生長的區域所包含的總組數的比例記為η.在迭代過程中如果遇到了邊界,則該方向生長停止.當η＞η0,則迭代停止,η0為生長比例閾值,通常不小于干擾比例ε.當生長停止時,生長部分為不受干擾的信號,該方法可以獲取正確的ui的數值范圍,標記為紅色(如圖1(f)所示),這些正確的組對應的桶探測器數值同樣被標記為紅色(如圖1(g)和圖1(h)所示),用于重構.本文采用壓縮感知算法進行重構:

其中I為待測圖像,為利用(4)式得到的求解結果;θ為測量矩陣,θ中每一行表示為θm,θmg(Hi),g(·)表示將二維矩陣寫成一維行向量的運算;l為li組成的向量;Ψ(I)為待測圖像的正則項,λ為常數,用于調節正則項在優化算法中的權重.這里使用TVAL3 算法[23]求解凸優化過程:

本文采用均方誤差(MSE)作為重構圖像的像質評價函數:

其中Iref和I′分別是無干擾時的重構圖像和待評價圖像,M和N是圖像大小:

3 實驗結果分析

3.1 實驗系統

實驗系統如圖2(a)所示.這個系統包含了一個投影儀(DLP 4500)、一個單像素探測器、一個目標場景以及一套數據采集系統(未畫出).投影儀向場景投射一系列調制矩陣,單像素探測器探測反射光能量,并將其傳入控制系統.干擾物動態穿梭于探測器與待測場景之間,如圖2(a)所示.在實驗中,共設置了兩種成像場景(無干擾的場景重構圖分別如圖2(b)和圖2(c)所示),每種場景采用了3 種干擾物,分別是白色A4 紙、黑絨布以及彩色水果圖案3 種干擾物(如圖2(f1)—(f3)所示).

圖2 成像系統示意圖(a)成像系統;(b)場景1 無干擾情況下的重構圖像;(c)場景2 無干擾情況下的重構圖像;(d1),(d2)場景1,2 無干擾時ui 曲線;(d3),(d4)場景1,2 無干擾時li 曲線;(e)干擾物為黑布時,目標成像過程中的遮擋情況;(f1)—(f3)干擾物(A4 紙、黑絨布、彩色水果圖案)Fig.2.Schematic diagram of imaging system:(a)Imaging system;(b)reconstructed image of scene 1 without occlusion;(c)reconstructed image of scene 2 without occlusion;(d1),(d2)ui,curves of scene 1 and 2 respectively;(d3),(d4)li,curves of scene 1 and 2 respectively;(e)occlusion(black cloth)during single-pixel imaging;(f1)–(f3)occlusion(A4 paper,black cloth and color fruit pattern).

3.2 實驗結果

首先展示了兩個具有不同干擾物體的場景,在不同干擾時間情況下的重構圖像.場景1 的重構情況如圖3 所示,場景2 的重構情況如圖4 所示.

可以看出,當成像系統包含單一干擾物時,本方法可以較好地刪除受干擾信號(直方圖中標記為藍色),保留正確信號(直方圖中標記為紅色).要強調的是,在圖3 和圖4 對應場景中,證實了本方法的優勢,即在所有干擾類型中,受干擾信息均淹沒li中,不具有區分性.而如果單純從或的數據大小分析有干擾信號的位置,又難以區分第一幀測量結果(因為第一幀是全1 的投影,因此數值較高)與干擾信號之間的區別.

圖3 場景1 重構情況(a1)—(f1)未去除干擾的重構圖像;(a2)—(f2)去除干擾后的重構圖像;(a3)—(f3)ui 的統計直方圖;(a4)—(f4)ui 強度值;(a5)—(f5)li強度值;圖中紅色表示使用本方法得到的正確桶探測器檢驗值ui(直方圖中為ui 的強度范圍)和用于重構的強度值li,藍色表示由本方法得到的干擾值Fig.3.Reconstruction in scene 1:(a1)–(f1)Reconstructed image without removing occlusion;(a2)–(f2)reconstructed image after removing occlusion;(a3)–(f3)statistical histogram ofui ;(a4)–(f4)ui value;(a5)–(f5)li value;in the figure,red represents the correct value ofui(or the intensity range ofui in the histogram)and the value ofli used for reconstruction,while blue one represents the wrong values.

圖4 場景2 重構情況(a1)—(f1)未去除干擾的重構圖像;(a2)—(f2)去除干擾后的重構圖像;(a3)—(f3)ui 的統計直方圖;(a4)—(f4)ui 強度值;(a5)—(f5)li強度值;圖中紅色表示使用本方法得到的正確桶探測器檢驗值ui(直方圖中為ui 的強度范圍)和用于重構的強度值li,藍色表示由本方法得到的干擾值Fig.4.Reconstruction in scene 2:(a1)–(f1)Reconstructed image without removing occlusion;(a2)–(f2)reconstructed image after removing occlusion;(a3)–(f3)statistical histogram ofui ;(a4)–(f4)ui value;(a5)–(f5)li value;the red curves represents the correct value ofui(or the intensity range ofui in the histogram)and the value ofli used for reconstruction,while blue one represents the wrong values.

利用本方法剔除錯誤信號之后,重構圖像質量顯著提高,背景噪聲顯著減少,圖像細節顯著提高.而且在大部分情況下,第一幀測量值沒有被當作干擾信號被刪去,體現了本方法的優越性.

其次,為了研究本方法的魯棒性,在一次單像素成像實驗中,使用了3 種干擾.場景1 和場景2中干擾類型分別如圖5(a4)和(b4)中,黑色箭頭所示.從圖5(a3)和(b3)可以看出,本方法在多種干擾條件下,仍保持了較好的魯棒性,重構圖像質量明顯提升,具有較好的實用性價值.

圖5 多種干擾條件下的單像素系統抗干擾能力測試(a1),(b1)未去除干擾的重構圖像;(a2),(b2)去除干擾后的重構圖像;(a3),(b3)ui的統計直方圖;(a4),(b4)ui 強度值;(a5),(b.5)li強度值;圖中紅色表示使用本方法得到的正確桶探測器檢驗值ui(直方圖中為ui的強度范圍)和用于重構的強度值li,藍色表示由本方法得到的干擾值Fig.5.Test of dynamic occlusion removal under various occlusion conditions:(a1),(b1)Reconstructed image without removing occlusion;(a2),(b2)reconstructed image after removing occlusion;(a3),(b3)statistical histogram ofui ;(a4),(b4)the value ofui ;(a5),(b5)the value ofli ;the red curves represents the correct value ofui(or the intensity range ofui in the histogram)and the value ofli used for reconstruction,while blue one represents the wrong values.

4 結論

單像素成像技術容易受到外界干擾,產生錯誤的測量值,從而降低重構圖像質量.本文基于哈達瑪矩陣的性質,設計了一種自校驗的方法,成功分離出由動態干擾造成的錯誤信號.實驗證明該方法對不同場景、不同干擾物以及不同干擾時間都具有顯著效果.利用本方法重構的圖像質量明顯優于直接重構的圖像.本文中的方法可以應用于前景遮擋、背景環境不穩定等情況.在高速成像,目標跟蹤等領域具有較廣的應用前景,推動了單像素成像技術的實用化.