基于場景有序運動的熱紅外視頻去噪方法

楊 暄,王義坤,韓貴丞,蔡能斌,亓洪興

(1.中國科學(xué)院上海技術(shù)物理研究所空間主動光電技術(shù)重點實驗室,上海 200083；2.中國科學(xué)院大學(xué),北京 100049；3.上海市現(xiàn)場物證重點實驗室，上海 200083)

1 引 言

熱紅外成像技術(shù)可以獲得成像場景自身的溫度分布特征,在遙感、工業(yè)檢測等領(lǐng)域具有廣泛的應(yīng)用[1-2]。然而對于場景動態(tài)范圍較小的一些應(yīng)用場合,比如海洋搜救中落水人員出現(xiàn)“失溫”現(xiàn)象后的搜尋[3]、海洋表面溫度研究(Sea Surface Temperature,SST)[4]以及水下目標(biāo)的熱尾流特性分析[5]等都要求盡可能的減少圖像噪聲,提高系統(tǒng)靈敏度,后續(xù)才能有效的進行圖像分析與目標(biāo)判別。因此如何減少噪聲,提高熱紅外圖像的信噪比始終是項重要的研究方向。

由于熱紅外探測器器件與工藝技術(shù)的限制,所獲取的圖像噪聲仍然較大,這種噪聲可以區(qū)分為空間噪聲與時間噪聲兩大類[6]。其空間噪聲表現(xiàn)為單幀圖像上的非均勻性,目前效果較好的非均勻性校正方法大多依賴于圖像間的配準(zhǔn)工作[7-8],而在噪聲強烈的情況下,圖像的配準(zhǔn)往往會有較大的誤差；時間噪聲表現(xiàn)為圖像上常規(guī)出現(xiàn)的高斯白噪聲、泊松噪聲等高頻隨機噪聲,并逐步發(fā)展了諸如NLM、BM3D、SAIST等基于非局部自相似性(Nonlocal Self-Similarity,NSS)的主流去噪方法[9-11]。近幾年有人提出利用低秩矩陣近似(Low-Rank Matrix Approximation,LRMA)的觀點進行去噪[12-15],它同樣尋找圖像中的相似塊,在無噪的情況下這些相似塊組建的矩陣應(yīng)當(dāng)具有低秩特性,而噪聲會使這種低秩特性產(chǎn)生退化,因此該方法旨在從退化的觀測數(shù)據(jù)中恢復(fù)出潛在的低秩結(jié)構(gòu),最終達到去噪效果。但所有基于NSS的方法前提是從單幀或相鄰幀中獲取足夠的局部相似塊,在噪聲強烈的情況下難以獲取充分的相似結(jié)構(gòu),最終導(dǎo)致圖像失真。

在許多熱成像設(shè)備的應(yīng)用場合中,比如軍用或者民用的遙感飛行,在穩(wěn)定控制機構(gòu)的作用下其航拍的多幀圖像場景往往是沿著一個方向進行有序的單調(diào)運動[16],這種有序運動可以作為先驗知識引入圖像或視頻的處理流程中。基于這種考慮,本文提出了一種基于場景有序運動的熱紅外視頻去噪方法,首先利用有序運動的先驗知識來構(gòu)建低秩矩陣近似所需的穩(wěn)定觀測矩陣,并使用恒定統(tǒng)計方法對數(shù)據(jù)歸一化去除空間噪聲,再利用核范數(shù)最小化的相關(guān)優(yōu)化算法去除時間噪聲,最終重構(gòu)圖像序列實現(xiàn)熱紅外視頻去噪。經(jīng)仿真分析文中方法具有較高的峰值信噪比與去噪魯棒性,并通過遙感實驗測試了方法有效性。

2 去噪方法設(shè)計

2.1 低秩矩陣近似去噪原理

Y=X+N

(1)

(2)

(3)

其中,λ是正則化參數(shù);||X||*是矩陣X的核范數(shù),即矩陣的奇異值之和||X||*=∑i|σi(X)|,σi(X)是矩陣X的第i個奇異值。對于式(3)F-范數(shù)的NNM模型可以利用奇異值閾值(Singular Value Thresholding,SVT)的方法獲得封閉解[19],即:

(4)

其中,Y=UΣVT是對矩陣Y的奇異值分解;Sλ(Σ)代表對角矩陣Σ在可變參數(shù)λ下的軟閾值函數(shù)。即對角矩陣Σ中的每個非零元素σi有:

Sλ(σi)=max(σi-λ,0)

(5)

盡管NNM模型被廣泛應(yīng)用到低秩矩陣近似上,但它仍有一定的不足。式(5)中的每一個奇異值均會縮減相同的閾值λ,而由奇異值分解的先驗知識可知,較大的奇異值對應(yīng)著更主要的投影方向,該奇異值應(yīng)當(dāng)縮減較少從而最大化的保留數(shù)據(jù)主要信息。因此這里使用一種加權(quán)核范數(shù)最小化(Weighted Nuclear Norm Minimization,WNNM)的非凸優(yōu)化方法[20],矩陣的加權(quán)核范數(shù)定義為||X||w*,=∑i|wiσi(X)|,則式(3)改寫為:

(6)

當(dāng)權(quán)重系數(shù)滿足0≤w1≤w2≤…≤wr時,式(6)仍然具有封閉解:

(7)

且:

(8)

其中,c1=σi(Y)-ε,c2=(σi(Y)+ε)2-4C,ε與C為常量。

因此當(dāng)使用含噪的圖像信息來構(gòu)建具有潛在低秩特性的觀測矩陣時,通過上述方法便可以去除數(shù)據(jù)中的隨機分布噪聲,進而恢復(fù)出圖像信息。

2.2 有序運動構(gòu)建觀測矩陣

通過2.1節(jié)的分析可知,利用低秩矩陣近似進行去噪的首要一步是構(gòu)建穩(wěn)健的觀測矩陣,目前基于該理論的去噪方法中這一步同樣涉及圖像或視頻中的非局部相似性問題[21-22],它尋找圖像或視頻中的相似塊,經(jīng)堆疊并依次展開后組成觀測矩陣。如圖1(a)所示,連續(xù)的多幀圖像中具有相似部分,當(dāng)這些區(qū)塊的匹配準(zhǔn)確時,其構(gòu)建的觀測矩陣經(jīng)奇異值分解后的奇異值集中在階次較低的位置如圖1(b),因而該矩陣具有低秩特性；而當(dāng)噪聲等原因?qū)е孪嗨茐K的位置估計出現(xiàn)較大誤差時,其觀測矩陣的奇異值會分布在階次更高的位置如圖1(c)所示,其低秩特性便無法保證,最終處理后的圖像會發(fā)生模糊[11],因此構(gòu)建穩(wěn)定的觀測矩陣是一項重要內(nèi)容。

圖1 連續(xù)多幀圖像中相似塊矩陣的奇異值Fig.1 Singular values of the observed matrix by patches aligned to the sequential frames

在遙感飛行以及巡視監(jiān)控的這些場合下,場景信息整體的運動速度較慢,與此同時熱紅外成像設(shè)備的曝光頻率通常可以滿足連續(xù)多幀高冗余度的拍攝需要。同理如圖2所示,成像設(shè)備中的面陣探測器沿某一方向進行有序的勻速運動并連續(xù)曝光成像時,那么沿運動方向的各個像元可以視為不同時刻對同一目標(biāo)場景的重復(fù)掃描,將每個像元獲取的觀測信號作為獨立的時間序列,那么這些時間序列也具有很高的冗余性且滿足如下關(guān)系:

y0(t)=x0(t)+n0(t)

(9)

ym(t)=xm(t)+nm(t)

(10)

x0(t)=xm(t+m·τ)

(11)

其中,m是運動方向上的像元數(shù)量;y0(t),y1(t),…,ym(t)是運動方向上不同像元所獲取的時間序列信號；x0(t),x1(t),…,xm(t)是不含噪聲的真實源信號；n0(t),n1(t),…,nm(t)是獨立同分布的隨機噪聲；t=1,2,…，k為離散的采樣時刻；τ是兩組序列信號之間的相位延遲,且滿足:

τ=(IFOV·Fps)/ω

(12)

其中,IFOV為成像設(shè)備的瞬時視場角;Fps為幀頻;ω為場景與設(shè)備間的相對運動角速度,對于遙感飛行系統(tǒng)即為飛行速高比,對于巡視監(jiān)控類系統(tǒng)即為運動軸的角速度。

圖2 探測器掃描示意圖Fig.2 Schematic diagram of detector scanning

因此可以引入運動狀態(tài)的先驗知識,利用相位延遲τ與運動方向上像元的時間序列來構(gòu)建具有冗余的含噪觀測矩陣,如式(13)所示,通過調(diào)整參數(shù)τ將各個序列的起始點盡量配準(zhǔn),并作為矩陣的行向量。因為這里觀測矩陣的構(gòu)建是由硬件系統(tǒng)狀態(tài)所保證的,所以避免了強噪聲情況下相似塊匹配的誤差而帶來的影響,從而保證觀測矩陣的穩(wěn)健性與潛在低秩特性。

Y=(y0(t),y1(t+τ),…,ym(t+m·τ))Τ

(13)

2.3 觀測矩陣的數(shù)據(jù)歸一化

對于紅外圖像信號而言,除了隨機分布的時間噪聲還有空間噪聲。低秩矩陣近似去噪利用的是期望信號間相似性,對于時間噪聲具有良好的去除效果。而空間噪聲往往是片狀不均勻分布的,某些相鄰像元間的響應(yīng)參數(shù)有相似性,因此不均勻的響應(yīng)特性會隱藏在觀測矩陣的有效秩階次中并破壞低秩結(jié)構(gòu),因此在觀測矩陣構(gòu)建之前還需要對數(shù)據(jù)進行歸一化,去除空間噪聲帶來的影響。

通常會認為探測器像元的響應(yīng)信號與入射光通量在一定范圍內(nèi)服從線性關(guān)系,即:

y(t)=ax(t)+b

(14)

在恒定統(tǒng)計的相關(guān)模型下,原信號x(t)服從標(biāo)準(zhǔn)正態(tài)分布X～N(0,1),在采樣時間足夠長的情況下,可以獲得如下的統(tǒng)計關(guān)系[20]:

my=E[y]=E[ax+b]=aE[x]+E[b]

=amx+b=b

(15)

sy=E[|y(t)-my|]=E[|a(x(t)-mx)|]

=asx=a

(16)

其中,my為響應(yīng)信號的均值;a為響應(yīng)增益參數(shù);b為響應(yīng)偏置參數(shù)。因此可以統(tǒng)計每個像元所獲取信號的均值與方差,通過式(17)進行歸一化,消除空間噪聲帶來的影響:

x(t)=(y(t)-b)/a=(y(t)-my)/sy

(17)

2.4 數(shù)據(jù)處理流程

通過上述分析,去噪方法的具體流程如圖3所示:

1)首先熱紅外成像設(shè)備在平臺的勻速掃描下連續(xù)曝光獲得有序的場景運動視頻；

2)根據(jù)探測器所有像元的位置,從每一幀中抽取獲得對應(yīng)的時間序列,并通過計算當(dāng)前系統(tǒng)狀態(tài)下曝光幀頻、瞬時視場角與運動角速度間關(guān)系,獲得時間序列的相位延遲τ；

3)將沿運動方向像元的時間序列依照式(13)構(gòu)建觀測矩陣；

4)對觀測矩陣中所有元素做均一化操作,消除空間噪聲；

5)利用奇異值分解與加權(quán)核范數(shù)最小化方法(WNNM)去除時間噪聲；

6)判斷當(dāng)次矩陣數(shù)據(jù)在歐式距離下的誤差是否收斂且下降到閾值,若沒有則重復(fù)迭代；

7)對垂直于運動方向的每一組時間序列均執(zhí)行3)到6)的流程,從而對視頻中所有數(shù)據(jù)進行去噪恢復(fù)；

8)根據(jù)原始圖像中像素的位置將優(yōu)化后矩陣的各個元素重新映射到對應(yīng)圖像中,從而重構(gòu)每一幀圖像,獲得去噪后視頻。

圖3 數(shù)據(jù)處理流程圖Fig.3 Flow chart describing the data processing

3 實驗分析

3.1 仿真分析

仿真實驗設(shè)置如圖4所示,為了獲取有序運動的紅外視頻圖像,首先取無噪的長畫幅紅外圖像作為參考,使用與圖像等寬的滑動窗口從圖像的一側(cè)開始移動,每次移動一個像素,并將該窗口內(nèi)的圖像作為視頻的一幀,由此模擬場景有序運動過程。

評價標(biāo)準(zhǔn)采用圖像去噪領(lǐng)域常用的峰值信噪比(Peak Signal-to-Noise Ratio,PSNR),定義如下:

圖4 視頻捕獲仿真示意圖Fig.4 Simulation for video capture

(18)

為更好地驗證方法在低信噪比場景下的有效性,本文特意選取信號動態(tài)范圍較小的低溫植被覆蓋地區(qū)場景,即一張512×1980像素的長畫幅無噪熱紅外圖像作為參考,運動方向沿圖像長度方向進行,并用上述方法生成300幀512×640像素的視頻。這里人為添加不同強度的隨機噪聲,并將文中方法與目前主流的V-BM4D視頻去噪方法進行分析比較。

去噪效果對比如圖5(a)～5(d)所示,其中圖5(a)為原始視頻中的一幀圖像；圖5(b)為加入噪聲后圖像,PSNR=25.97 dB；圖5(c)是采用V-BM4D去噪后圖像,PSNR=36.15 dB；圖5(d)是文中方法去噪后圖像,其中運動方向的序列數(shù)量m=10,相位延遲參數(shù)τ=1,經(jīng)計算PSNR=37.43 dB；圖5(e)與圖5(f)是兩種方法去噪后對應(yīng)的局部放大圖。可以看出采用V-BM4D的視頻去噪算法在低動態(tài)范圍的場景下雖然仍保持了35 dB以上的PSNR值,但出現(xiàn)了較為明顯的塊狀涂抹痕跡；而文中方法獲得了更高的PSNR值,且保留了更多圖像細節(jié)。

圖5 兩種方法處理后圖像去噪效果對比Fig.5 The contrast of denoised image with two methods

圖6是兩種方法處理后的視頻所有幀的平均PSNR值隨噪聲強度變化曲線。在噪聲較小的情況下,兩種方法的去噪性能相當(dāng),當(dāng)噪聲逐漸增大時文中方法的性能衰減趨勢較慢,且仍具有較高的PSNR值,具有一定的算法魯棒性。

圖6 PSNR隨噪聲強度變化曲線Fig.6 The plot of PSNR with different noise intensity

3.2 海水遙感實驗

為驗證文中方法的實際去噪效果,于東海海域進行了機載遙感飛行試驗。由于海水表面的溫度差異很小,熱紅外成像對噪聲的波動會更加敏感,因此該場景下的圖像信噪比較低。成像設(shè)備主要參數(shù)及試驗條件如表1所示,根據(jù)幀頻與飛行速高比基于穩(wěn)像平臺進行連續(xù)的曝光成像,此時所有時間序列具有固定的相位延遲,由此獲得場景有序運動的熱紅外視頻。

視頻中隨機抽取兩幀的處理前后效果如圖7所示。其中，圖7(a1)與(a2)是原始圖像,由于響應(yīng)非均勻性以及場景信號動態(tài)范圍較小的原因,圖像中無法得到有效信息；圖7(b1)與(b2)是經(jīng)數(shù)據(jù)歸一化去除盲元與空間噪聲后的圖像效果,圖中空間噪聲的非均勻性已經(jīng)基本上得到消除,然而在場景信息較平坦區(qū)域,其時間噪聲產(chǎn)生的影響仍十分明顯；圖7(c1)與(c2)是再經(jīng)過低秩矩陣近似算法去除時間噪聲后的最終效果,可以看出不論是圖像中的非均勻性或是隨機分布的高頻噪聲均得到去除,從而實現(xiàn)了熱紅外視頻去噪。

圖7 實際遙感數(shù)據(jù)去噪效果Fig.7 Denoising results on the remote sensing data

4 總 結(jié)

由于噪聲的影響,在動態(tài)范圍較小的場景下熱紅外圖像的信噪比往往會低于預(yù)期水準(zhǔn),干擾了圖像信息的有效使用。而在諸多熱紅外成像的應(yīng)用場合比如遙感飛行,其場景會在某一方向產(chǎn)生單調(diào)的有序運動。因此本文基于低秩矩陣近似的相關(guān)理論,利用場景有序運動這一先驗知識來構(gòu)建穩(wěn)定的觀測矩陣,設(shè)計了一種應(yīng)用于熱紅外視頻的去噪方法。經(jīng)仿真分析,在強噪聲環(huán)境下本方法相較于主流的視頻去噪算法具有更高的峰值信噪比與降噪魯棒性,并通過海洋遙感實驗數(shù)據(jù)證明了方法有的效性,從而在紅外遙感與巡視監(jiān)控等領(lǐng)域具有一定應(yīng)用價值。