基于局部關(guān)聯(lián)信息的視頻監(jiān)控圖像中γ輻射噪斑的消除方法

曹 令，劉桂華,*，鄧 豪，鄧 磊，周炳宏

(1.西南科技大學(xué) 信息工程學(xué)院，四川 綿陽(yáng) 621000；2.西南科技大學(xué) 特殊環(huán)境機(jī)器人技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室，四川 綿陽(yáng) 621000)

核輻射環(huán)境中的高能粒子流對(duì)人體危害很大，會(huì)造成頭暈、失眠等癥狀，甚至造成染色體畸變和死亡[1]。因此核設(shè)施維檢和突發(fā)核事故處理，幾乎都是采用遙控操作模式，而輻射環(huán)境內(nèi)圖像采集設(shè)備獲取的現(xiàn)場(chǎng)圖像是最直觀的信息。但輻射空間內(nèi)的高能粒子入射到圖像采集設(shè)備內(nèi)部后，與圖像傳感器材料相互作用，對(duì)像素單元的輸出造成干擾，導(dǎo)致輻射現(xiàn)場(chǎng)采集的視頻圖像往往帶有強(qiáng)烈的噪聲[2-4]。其中，噪聲產(chǎn)生的主要原因是γ射線會(huì)對(duì)硅光電二極管結(jié)構(gòu)的成像模組造成巨大影響，使視頻監(jiān)控圖像產(chǎn)生分布復(fù)雜的噪斑。雖然系列抗輻射加固方法可提升電子元器件的輻射耐受能力[5-8]，但這通常伴隨著高昂的成本及設(shè)備便攜性的犧牲，難以被廣泛應(yīng)用于輻射環(huán)境，故基于數(shù)字圖像去噪的輻射環(huán)境清晰化可視方法吸引了研究人員的關(guān)注。針對(duì)γ輻射環(huán)境下的視頻監(jiān)控圖像噪斑消除問題，文獻(xiàn)[9]提出一種改進(jìn)的自適應(yīng)中值濾波與自動(dòng)閾值小波變換相結(jié)合的復(fù)合圖像去噪方法，降噪和邊緣保持均效果顯著，但該處理對(duì)象是以椒鹽噪聲和高斯噪聲為主的脈沖噪聲，對(duì)大型噪斑去除效果不佳。文獻(xiàn)[10]首先提取噪聲，然后采用3×3擴(kuò)散核與噪聲區(qū)域卷積，通過各向同性擴(kuò)散濾波修復(fù)污染區(qū)域，最后通過非下采樣金字塔和非下采樣方向?yàn)V波器對(duì)降噪圖像后處理，但在噪聲統(tǒng)計(jì)時(shí)未剔除非噪聲區(qū)域，易造成過度處理。文獻(xiàn)[11]將稀疏表示與變分技術(shù)應(yīng)用到核輻射干擾圖像處理中，提出了噪斑去除模型，但這些模型主要考慮亮度體現(xiàn)的信息，未考慮顏色分量的影響。文獻(xiàn)[12]基于卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)一種由噪聲學(xué)習(xí)單元和紋理學(xué)習(xí)單元相結(jié)合的輕量級(jí)網(wǎng)絡(luò)去除噪斑，但需制作大量正負(fù)樣本數(shù)據(jù)集訓(xùn)練，這類數(shù)據(jù)在真實(shí)γ輻射環(huán)境下不易大量獲取。

隨著數(shù)字圖像處理相關(guān)理論及方法的發(fā)展，圖像噪斑去除方法不斷取得進(jìn)步。其中，各向異性擴(kuò)散濾波[13]利用當(dāng)前像素與周圍像素的關(guān)系，向四周擴(kuò)散降噪。非局部均值(NLM)[14]利用自然圖像中存在的大量相似性紋理和結(jié)構(gòu)，搜尋相似度高的模塊加權(quán)平均恢復(fù)圖像。稀疏三維變換域協(xié)同濾波(BM3D)[15]首先在目標(biāo)圖像塊附近搜尋相似圖像塊整合為三維矩陣，然后對(duì)相似圖像塊分維度變換，最后將圖像塊逆變換分權(quán)重疊加去除噪斑。上述方法均利用局部區(qū)域內(nèi)像素的相似信息去除噪聲，對(duì)局部區(qū)域結(jié)構(gòu)紋理失真嚴(yán)重的斑塊噪聲去除效果不佳。加權(quán)核范數(shù)最小化(WNNM)[16]首先在整個(gè)圖像搜尋非局部相似塊進(jìn)行奇異值分解，通過估算權(quán)值將分解結(jié)果整合，有效利用圖像先驗(yàn)信息去除噪聲，但利用相似圖像塊樣本的低秩矩陣逼近干凈樣本時(shí)會(huì)丟失部分紋理結(jié)構(gòu)信息。Bitonic濾波[17]通過圖像的形態(tài)學(xué)操作獲得多樣化的數(shù)據(jù)并做差分運(yùn)算，將差分結(jié)果作為權(quán)重加權(quán)降噪，可取得很好地去噪效果，但圖像細(xì)節(jié)紋理變模糊。針對(duì)γ輻射環(huán)境視頻監(jiān)控圖像噪斑難以去除的問題，本文首先根據(jù)γ輻射環(huán)境視頻監(jiān)控圖像的噪斑特性，分割噪斑區(qū)域，再利用與噪斑區(qū)域具有強(qiáng)關(guān)聯(lián)性的干凈圖像數(shù)據(jù)修復(fù)噪斑。

1 噪斑形成及特性分析

γ射線與物質(zhì)相互作用產(chǎn)生光電效應(yīng)、康普頓散射和電子對(duì)效應(yīng)[18]，在基于硅光電二極管的互補(bǔ)金屬氧化物(CMOS)及電荷耦合器件(CCD)的氧化物結(jié)構(gòu)和Si/SiO2界面形成陷阱電荷[19-21]，致使圖像傳感器暗電流增加，閾值電壓漂移，影響成像質(zhì)量。在輻射響應(yīng)區(qū)域，多個(gè)光電子在區(qū)域內(nèi)同時(shí)沉積能量，像元輸出灰度值增大，相鄰像元發(fā)生串?dāng)_[22]，形成表現(xiàn)為亮白的條紋狀噪斑。空氣中的CO2、水、氮氧化合物在γ射線電離輻射影響下由基態(tài)轉(zhuǎn)化為激發(fā)態(tài)，當(dāng)從激發(fā)態(tài)衰變回基態(tài)時(shí)向外輻射熒光，在圖像中形成深藍(lán)、橙紅色光斑。圖1a、b均是無防輻射加固采集設(shè)備在γ輻射環(huán)境下采集的受污染圖像，圖像上分布偏藍(lán)和偏紅的團(tuán)狀、條紋狀噪斑。可看出，圖1中充斥大量噪斑，但圖像中物體輪廓仍然可見，圖像的部分特征仍然存在，表明非噪斑區(qū)域信息保留完整。

a——γ輻射泄露現(xiàn)場(chǎng)圖像；b——γ輻照室現(xiàn)場(chǎng)圖像

從像素層面分析噪斑，將圖1左上角局部放大并灰度化，結(jié)果如圖2所示。對(duì)比圖2a、b可知,圖像灰度化后噪斑的分布和相對(duì)強(qiáng)度與原圖保持一致。圖2c為噪斑灰度圖某局部區(qū)域放大的像素值，其中表示噪斑的紅圈標(biāo)記區(qū)域內(nèi)像素值差異較小，噪斑邊緣與周圍像素點(diǎn)形成較大反差，噪斑區(qū)域像素值不僅會(huì)變大形成亮噪斑，還會(huì)反向突變?yōu)橄袼刂档偷陌翟氚撸S圈標(biāo)記的非噪斑區(qū)域像素值在局部區(qū)域內(nèi)平滑變化。因此可得出：噪斑是圖像局部范圍像素值發(fā)生急劇同向突變產(chǎn)生的，且噪斑區(qū)域像素值接近，但與周圍像素點(diǎn)表現(xiàn)出明顯的差異，而非噪斑區(qū)域像素值變化相對(duì)平滑，圖像數(shù)據(jù)保留完整。

a——噪斑；b——噪斑灰度化；c——灰度化噪斑局部放大

γ輻射環(huán)境的圖像采集設(shè)備受到空間內(nèi)高能粒子影響，導(dǎo)致采集的圖像部分像素點(diǎn)發(fā)生突變形成輻射噪斑，噪斑掩蓋了發(fā)生突變前的原圖像平滑變化的特征。但突變后的圖像，噪斑區(qū)域像素點(diǎn)與鄰近非噪斑區(qū)域像素點(diǎn)的關(guān)聯(lián)性仍然與原圖像一致。因此受到γ輻射污染的視頻監(jiān)控圖像，局部區(qū)域平滑變化特征可作為局部關(guān)聯(lián)信息用來消除噪斑修復(fù)圖像。

2 噪斑消除方法

噪斑消除分為兩步：1) 噪斑分割，利用噪斑區(qū)域內(nèi)像素值同向突變及突變后噪斑區(qū)域像素值差距較小的性質(zhì)分割出噪斑區(qū)域，分割區(qū)域作為圖像待修復(fù)區(qū)域，其余部分作為干凈區(qū)域；2) 噪斑修復(fù)，使用與待修復(fù)區(qū)域具有局部關(guān)聯(lián)性的相鄰區(qū)域干凈像素點(diǎn)及相鄰幀同區(qū)域干凈像素點(diǎn)，以兩者像素值的差異為關(guān)聯(lián)度，采用步進(jìn)式方式修復(fù)噪斑區(qū)域，達(dá)到降噪保真的效果。

2.1 噪斑分割

噪斑分割模型如圖3所示。取噪斑圖像記為I，首先圖像灰度化減少數(shù)據(jù)量，按順序全局檢索，通過閾值判斷鎖定疑似噪點(diǎn)P1。然后以P1為中心向四鄰域方向搜索，采用區(qū)域生長(zhǎng)方法，將鄰域中像素值與P1相近的點(diǎn)同樣判定為疑似噪點(diǎn)P2，再以P2為中心生長(zhǎng)，持續(xù)擴(kuò)張形成疑似噪斑。噪斑由局部區(qū)域像素點(diǎn)突變形成，噪斑內(nèi)噪點(diǎn)數(shù)量有限，當(dāng)噪點(diǎn)擴(kuò)張數(shù)超過最大擴(kuò)張閾值，則當(dāng)前疑似噪斑并非噪斑。最后使用噪斑均值向八鄰域膨脹覆蓋邊界，噪斑膨脹前后差分獲得邊界殘差，通過殘差檢測(cè)模型判斷當(dāng)前疑似噪斑是否為噪斑。

圖3 噪斑分割模型Fig.3 Plaque noise segmentation model

設(shè)定突變最大閾值Th1和最小閾值Th2，分別用于判定亮噪斑和暗噪斑。PH為疑似亮噪斑，PL為疑似暗噪斑，則疑似噪斑檢測(cè)模型為：

PH?U(Pk,1)>Th1

k=1,2,…,n

(1)

PL?U(Pk,1)

k=1,2,…,n

(2)

其中：U(Pk,1)為以Pk為中心，步進(jìn)為1的鄰域；n為噪點(diǎn)擴(kuò)張數(shù)。

以疑似噪斑像素均值向噪斑邊界的八鄰域區(qū)域擴(kuò)張，得到噪斑膨脹區(qū)域J，通過膨脹區(qū)域前后的邊界差分獲得邊界殘差圖Di，邊界殘差數(shù)學(xué)表達(dá)式為：

(3)

其中：Iedge、Jedge分別為膨脹前、后邊界；m為邊界像素點(diǎn)數(shù)量。

為了確認(rèn)當(dāng)前疑似噪斑是否為真實(shí)噪斑，設(shè)計(jì)殘差邊界檢測(cè)模型為：

(4)

其中：C為干凈區(qū)域；β1、β2為權(quán)值；P為噪斑。

檢測(cè)模型通過權(quán)值β1、β2將檢測(cè)結(jié)果分為3類，如若邊界點(diǎn)與噪斑均值殘差小，則將邊界點(diǎn)吸收為噪斑P，殘差大則吸收為具有局部關(guān)聯(lián)性的干凈區(qū)域C，處于權(quán)值β1、β2之間的點(diǎn)既不滿足像素點(diǎn)突變特性不構(gòu)成噪聲威脅，又不具備干凈樣本區(qū)域平滑變化的特征，將其保留為原值。圖4為γ輻射環(huán)境視頻監(jiān)控圖像的噪斑提取效果，通過疑似噪斑生長(zhǎng)、鄰域擴(kuò)張和殘差邊界檢測(cè)可分割出不規(guī)則的噪斑。

a——γ輻射環(huán)境圖像；b——灰度化；c——噪斑提取

2.2 噪斑修復(fù)

通過對(duì)污染圖像的分析可知，噪斑相鄰的圖像數(shù)據(jù)有部分并未受到影響，仍保留其原有信息。利用圖像像素點(diǎn)間的局部關(guān)聯(lián)信息，使用數(shù)據(jù)保留良好的干凈區(qū)域修復(fù)噪斑數(shù)據(jù)，噪斑修復(fù)模型如圖5所示。首先利用幀內(nèi)噪斑相鄰干凈數(shù)據(jù)向內(nèi)坍縮和前后相鄰幀同區(qū)域干凈數(shù)據(jù)均值獲得兩類修復(fù)基準(zhǔn)數(shù)據(jù)，然后以兩類基準(zhǔn)數(shù)據(jù)差值為關(guān)聯(lián)度轉(zhuǎn)化為權(quán)重ω，最后通過權(quán)重ω加權(quán)基準(zhǔn)數(shù)據(jù)替換噪斑區(qū)域修復(fù)圖像。

圖5 噪斑修復(fù)模型Fig.5 Plaque noise restoration model

為保證修復(fù)后的圖像數(shù)據(jù)保持與相鄰干凈區(qū)域的強(qiáng)相關(guān)性，使修復(fù)圖像更平滑保真，采用步進(jìn)式方法修復(fù)噪斑數(shù)據(jù)，步進(jìn)式噪斑修復(fù)如圖6所示。以噪斑邊界Q點(diǎn)為起始點(diǎn)，按順序由外向內(nèi)恢復(fù)噪斑信息。

圖6 步進(jìn)式噪斑修復(fù)Fig.6 Step-by-step plaque noise restoration

噪點(diǎn)修復(fù)數(shù)學(xué)模型為：

j=1,2,3

(5)

其中：Q為待修復(fù)噪點(diǎn)；j為通道數(shù)；N為干凈點(diǎn)數(shù)；Qf、Qb為噪點(diǎn)相鄰幀對(duì)應(yīng)干凈點(diǎn)。

以Q為中心，搜尋八鄰域內(nèi)的干凈區(qū)域C和相鄰幀對(duì)應(yīng)區(qū)域干凈點(diǎn)Qf、Qb作為修復(fù)基準(zhǔn)，通過權(quán)重ω調(diào)節(jié)基準(zhǔn)數(shù)據(jù)的占比，對(duì)噪斑區(qū)域像素點(diǎn)修復(fù)。彩色圖像分為R、G、B三通道分別降噪，分通道處理能保持圖像的顏色不失真。修復(fù)的噪點(diǎn)標(biāo)記為干凈樣本，自適應(yīng)權(quán)重ω為：

(6)

(7)

其中：x2為可調(diào)節(jié)因子；ε為幀內(nèi)基準(zhǔn)數(shù)據(jù)權(quán)重最小占比約束因子；d2為當(dāng)前幀內(nèi)干凈數(shù)據(jù)與相鄰幀干凈數(shù)據(jù)的差異性，d2越大則幀內(nèi)干凈數(shù)據(jù)權(quán)重越高，對(duì)噪斑修復(fù)基準(zhǔn)數(shù)據(jù)影響越大。

由于幀內(nèi)局部數(shù)據(jù)的關(guān)聯(lián)性高于幀間數(shù)據(jù)的關(guān)聯(lián)性，則幀內(nèi)基準(zhǔn)數(shù)據(jù)占比應(yīng)該不低于1/2，通過ε約束幀內(nèi)干凈數(shù)據(jù)權(quán)重占比，ε表達(dá)式為：

ε=x2/ln 2

(8)

3 實(shí)驗(yàn)

由于γ輻射環(huán)境的特殊性，往往沒有干凈的視頻監(jiān)控圖像樣本用于降噪效果對(duì)比分析，文獻(xiàn)[23]指出靜態(tài)場(chǎng)景多幀圖像平均降噪方法，已經(jīng)廣泛的成為成像應(yīng)用中獲取干凈樣本的標(biāo)準(zhǔn)技術(shù)，通過對(duì)同一場(chǎng)景的多幅圖像求均值可獲得真實(shí)干凈的樣本。圖7、8為60Co γ輻射環(huán)境視頻監(jiān)控圖像對(duì)同一場(chǎng)景不同幀數(shù)圖像求均值的結(jié)果，可看出，隨幀數(shù)的增加圖像越來越清晰。

設(shè)計(jì)殘差圖像噪點(diǎn)數(shù)量檢測(cè)實(shí)驗(yàn)，進(jìn)一步驗(yàn)證干凈樣本的可用性。以100幀均值圖像為基準(zhǔn)圖，分別將其他幀數(shù)均值圖像與基準(zhǔn)圖像做差分，統(tǒng)計(jì)殘差圖像像素值大于閾值Th的數(shù)目，結(jié)果如圖9所示。圖9中基準(zhǔn)圖一為圖7不同幀數(shù)均值圖像與100幀均值圖像差分后殘差圖像的噪點(diǎn)數(shù)量，基準(zhǔn)圖二為圖8不同幀數(shù)均值圖像與100幀均值圖像差分后殘差圖像的噪點(diǎn)數(shù)量，此處閾值經(jīng)測(cè)試選取10。統(tǒng)計(jì)結(jié)果顯示，兩類γ輻射環(huán)境視頻監(jiān)控圖像的均值圖像殘差圖像噪點(diǎn)數(shù)量隨平均幀數(shù)的增加呈下降趨勢(shì)，且在50幀后趨近于0，圖像數(shù)據(jù)逐步穩(wěn)定。結(jié)合圖7～9可知，選取100幀均值圖像作為γ輻射環(huán)境視頻監(jiān)控圖像的干凈樣本是可行的。

a——測(cè)試圖像；b——5幀均值圖像；c——10幀均值圖像；d——50幀均值圖像；e——100幀均值圖像

a——測(cè)試圖像；b——5幀均值圖像；c——10幀均值圖像；d——50幀均值圖像；e——100幀均值圖像

圖9 殘差噪點(diǎn)統(tǒng)計(jì)圖Fig.9 Residual noise statistical chart

為了驗(yàn)證基于局部關(guān)聯(lián)信息噪斑消除算法的效果，與經(jīng)典的高斯濾波、中值濾波、雙邊濾波、各向異性濾波[13]，在加性高斯白噪聲中表現(xiàn)優(yōu)異的NLM[14]、BM3D[15]、WNNM[16]等圖像降噪算法及近年來提出的Bitonic濾波[17]等進(jìn)行對(duì)比實(shí)驗(yàn)，做定性評(píng)估和定量對(duì)比，圖像質(zhì)量定量評(píng)價(jià)采用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)兩種客觀評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)測(cè)試數(shù)據(jù)為γ輻射環(huán)境視頻監(jiān)控圖像和γ輻照室采集的瞬時(shí)劑量率為200 Gy/h的測(cè)試圖像，實(shí)驗(yàn)點(diǎn)劑量率采用重鉻酸銀劑量計(jì)測(cè)量獲得，圖像分辨率為600×600，圖像降噪效果如圖10、11所示。

a——噪聲圖；b——干凈樣本；c——高斯濾波；d——中值濾波；e——雙邊濾波；f——NLM；g——BM3D；h——WNNM；i——各向異性濾波；j——Bitonic濾波；k——本文方法

3.1 定性分析

以噪斑分布復(fù)雜的γ輻照室視頻監(jiān)控圖像做定性分析，將圖11左上角150×150像素大小圖像截取放大兩倍(該區(qū)域具有豐富的紋理結(jié)構(gòu))，如圖12所示。高斯濾波、中值濾波和Bitonic濾波都使畫面模糊，細(xì)節(jié)紋理不可見，雙邊濾波、非局部均值、BM3D、各向異性濾波紋理保留較好，但部分噪斑仍清晰可見，WNNM能較好地去除噪斑，場(chǎng)景顏色趨于正常，但圖像細(xì)節(jié)被過度模糊，紋理信息保留不足。而本文方法雖然對(duì)局部區(qū)域顏色均衡不夠好，有部分噪斑處理后遺留的小孔洞，但圖像顏色保真度效果很好，圖像邊緣紋理清晰。

a——噪聲圖；b——干凈樣本；c——高斯濾波；d——中值濾波；e——雙邊濾波；f——NLM；g——BM3D；h——WNNM；i——各向異性濾波；j——Bitonic濾波；k——本文方法

a——噪聲圖；b——干凈樣本；c——高斯濾波；d——中值濾波；e——雙邊濾波；f——NLM；g——BM3D；h——WNNM；i——各向異性濾波；j——Bitonic濾波；i——本文方法

3.2 定量比較

PSNR和SSIM兩種評(píng)價(jià)指標(biāo)的結(jié)果列于表1。可看出，部分降噪算法在γ輻射環(huán)境下的視頻監(jiān)控圖像噪斑消除中有一定的效果，但仍有部分噪斑難以去除，而本文方法在峰值信噪比和結(jié)構(gòu)相似性等指標(biāo)上表現(xiàn)優(yōu)秀，針對(duì)不同類型的γ輻射環(huán)境視頻監(jiān)控圖像噪斑均有較好的去噪效果，說明本文方法對(duì)γ輻射環(huán)境下的視頻監(jiān)控圖像噪斑修復(fù)效果顯著。

表1 評(píng)價(jià)指標(biāo)Table 1 Evaluation index

4 結(jié)論

通過圖像噪聲預(yù)分割再處理去除γ輻射環(huán)境視頻監(jiān)控圖像噪斑，在不增加硬件成本的前提下提高γ輻射環(huán)境視頻監(jiān)控圖像的質(zhì)量。利用噪斑的形成和分布特性分割噪斑，運(yùn)用圖像像素點(diǎn)局部關(guān)聯(lián)信息去除噪斑修復(fù)圖像數(shù)據(jù)。使用無防輻射加固設(shè)備采集的60Co γ輻射環(huán)境視頻監(jiān)控圖像進(jìn)行驗(yàn)證，與8種去噪方法做定性分析和定量對(duì)比。結(jié)果表明，本文提出的去噪方法能較有效地去除γ輻射環(huán)境下視頻監(jiān)控圖像的噪斑，在圖像細(xì)節(jié)紋理保留上具有較好的效果。