融合偏振信息的多孔徑水下成像算法

劉賓 趙鵬翔 趙霞 羅悅 張立超

(中北大學信息與通信工程學院, 太原 030051)

水下光學成像是探索水下奧秘的關鍵技術, 但是環境中介質吸收和背向散射效應會造成圖像嚴重退化.基于差分偏振的復原技術是水下圖像復原技術的主要方法之一, 通過正交偏振圖之間的共模抑制實現背景散射光的抑制, 但是相關研究表明該方法對于非均勻光場等情況的恢復效果一般, 其原因主要在于非均勻光場條件下偏振度和強度的估計誤差. 針對上述問題, 本文提出融合偏振信息的多孔徑水下成像技術, 該方法利用相機陣列實現虛擬大孔徑成像系統, 從而獲取廣角光場信息, 進而融合場景的深度信息實現背景散射和偏振度的精確估計, 估計參數值能更好地反映場景的全局特征. 對渾濁水下環境中不同偏振度目標進行成像實驗, 與目前先進的復原算法進行對比, 結果表明, 本文方法能夠有效克服水下非均勻光場帶來的問題, 得到高質量的復原結果.

1 引 言

水下環境中懸浮顆粒對光的散射和吸收導致光學成像系統的探測距離和成像質量等指標顯著下降, 嚴重影響了后續水下目標的識別和分析[1,2],因此水下圖像的復原技術是光學成像領域的熱點研究問題. 具體來說, 水下圖像復原方法主要有數字圖像處理復原、光學系統優化復原、多維度光學信息融合復原等[3?6]. 數字圖像復原技術以水下成像的物理退化模型為基礎, 依靠先驗和假設等估計退化因子并反演退化過程以達到提升圖像質量的效果, 其中典型的代表為暗通道先驗技術、多通道融合技術[7,8]. 區別于數字圖像處理復原方法, 另一類方法則側重從光學系統優化設計和光學信息多維度融合方面出發達到水下圖像復原的目標, 其中典型代表為多光譜融合復原、多視角信息融合復原、偏振光學成像復原等[9?12]. 基于偏振成像的復原方法利用散射光的偏振特性, 分離目標和背景光, 估計散射光強和透射系數, 達到抑制散射光提升圖像質量的目的. 該方法散射介質類型實用性廣, 細節保真度高, 特別是在高濃度散射介質中尤具優勢, 因此在各領域中得到廣泛應用.

分析上述方法的基本原理可知, 有效分離場景中目標和背景光信息, 準確估計場景的散射光強和偏振度分布是保證實現高質量復原的關鍵. 但是相關算法在場景背向散射參數估計中主要采用常數法和多次項擬合法[13]. 常數法是將場景背向散射參數按常數對待, 以單視角圖像中不包含目標的局部區域的平均值作為全局參數. 多次項擬合法針對常數法誤差大的問題, 提出利用場景中不包含目標的區域作為依據, 以二維多次項擬合的方式獲取圖像全局后向散射參數. 該方法相對常數法能夠獲取更好的復原效果, 但仍然以單一視角圖像為依據,受視場角的約束, 場景真實背向散射參數仍具有較大的局部性, 缺乏全局性考慮. 同時當場景復雜導致背景區域較少時, 將嚴重影響擬合精度, 從而影響復原質量.

因此, 本文提出融合偏振信息的多孔徑水下成像方法, 通過大基線多視角多孔徑成像系統實現場景信息的廣角探測. 在探測場景光場信息的基礎上, 通過光線的分類實現目標和背景信息的有效區分, 并獲得場景背景散射和偏振度參數的估計, 有效保證參數的全局性. 將其應用到偏振圖像復原算法中可得到更好的重建質量.

2 差分偏振水下成像的基本原理

水下成像模型中探測器接收的光輻射主要包括目標的反射光D(x,y) 和背景反射光B(x,y) 兩部分. 由于目標的反射光在水中傳播時受懸浮顆粒的影響, 到達探測器的直接透射光強隨傳輸距離呈現指數衰減:

式中, (x,y) 是探測圖像的像素坐標;L(x,y) 是目標的原始反射光強;t(x,y) 是光的透射率, 表示為

其中,β(x,y) 代表水體的衰減系數, 用來量化水體對光的吸收與散射, 一般在研究過程中將其假定為常數,d表示透射光的傳輸距離. 背景反射光由光經過水中懸浮顆粒產生背向散射, 被探測器獲取,表示為

其中A∞對應于在環境中無窮遠處的后向散射強度值.

于是, 可得到達探測器的總光強為

由(1)—(4)式計算可得目標的原始反射光強為

偏振差分水下復原技術在光學成像系統前放置相互正交的檢偏器, 利用其共模抑制作用來濾除背向散射光, 偏振方向正交的強度分布表示為I//(x,y) 和I⊥(x,y) . 由水下成像模型可得

則后向散射光的偏振度可以表示為

其中DB表示后向散射光中的完全偏振光強. 結合(6)式和(7)式可知

于是得到光的透射率表達式:

由(9)式可知, 在光的透射率t(x,y) 的計算過程中最重要的是后向散射強度值A∞以及后向散射光的偏振度Pscat(x,y) 兩個參數的估計.

3 后向散射參數的估計方法及問題分析

根據第2 節分析, 準確估計后向散射強度值A∞和后向散射光的偏振度Pscat(x,y) 參數是影響圖像復原質量的關鍵因素. 傳統水下偏振成像方法中后向散射參數的估計方法主要以常數法為主, 即在圖像中選取場景中遠處非目標區域, 逐像素計算并求取平均值作為最終估計數值. 此種方法具有較大誤差, 特別是在非均勻光場環境中, 無法有效恢復感興趣目標. 分析體散射函數的定義可知, 其在水體中隨時間和空間變化, 一般表示為角度和深度的函數. 因此, 在非均勻光場環境中必須從全局的角度考慮背向散射參數[14?18]. 針對上述問題, 相關研究人員針對性地開展了相應的研究, 最具代表性的是參考文獻[13]提出一種在非均勻光場環境下的偏振圖像復原方法, 該方法考慮了背向散射參數在空間分布的不均勻性, 通過選取場景中非目標區域, 三維擬合得到全空間背向散射光強度和偏振度的分布函數, 進而得到復原圖像. 此方法相對傳統方法能夠克服背向散射參數空間分布不均勻性, 復原圖像的清晰度和對比度均得到了提升.

但是, 如(9)式所述,A∞和Pscat(x,y) 是水體環境中無窮遠處對應的后向散射參數, 而該方法忽略了水體中存在多重散射問題, 系統獲取的背景區域的信息仍然是經過多重散射后的信息, 從而估計參數存在水體多重散射的影響. 另一方面, 現有系統以單視角獲取場景的光場信息, 該方法存在一定的局限, 即某固定小角度范圍水體散射函數的測量及估計結果無法精確地反映水體的散射系數, 更無法描述散射體對光散射方向的貢獻.

4 多孔徑水下偏振成像方法

針對非均勻光場環境下的背向散射參數估計問題, 本文提出利用多孔徑成像技術獲取水下場景廣角度范圍內的光場信息, 憑借多孔徑成像系統的虛擬大孔徑效應, 結合光場重聚焦方法實現水體中無窮遠處背向散射參數的估計[19?22].

按照雙平面表示法, 可以對場景輻射光的角度和位置進行描述. 經過平面uv和平面st的到達子視角探測器的總光強可以描述為

其中,D(u,v,s,t),B(u,v,s,t) 分別表示經過(u,v)和 (s,t) 的目標的透射光和背景散射光. 按照水下成像模型可得

其中,L(u,v,s,t) 表示目標的原始反射光強, 即子視角恢復后的圖像;A∞對應于后向散射強度值;t(u,v,s,t)表示光在水中的透射率. 將正交偏振狀態引入, 可以獲得由 (u,v,s,t) 確定子視角的偏振方向正交的強度分布I//(u,v,s,t)和I⊥(u,v,s,t) 的表示式:

則對應后向散射光的偏振度可以表示為

綜合上述公式, 可以獲取由 (u,v,s,t) 確定光的透射率表達式:

由于水下圖像降質主要考慮水體后向散射的影響, 因此忽略目標輻射偏振特性后, 得到后向散射光中的完全偏振光強 ?B(u,v,s,t) 為

子視角復原圖像對應光線 (u,v,s,t) 的表達式為

不難發現, 多孔徑水下偏振成像方法考慮了環境光場輻射光線的位置和角度信息, 通過光線的位置和角度約束可以實現任意深度平面的重聚焦. 由于多孔徑系統具有虛擬超大孔徑, 因此系統具有極窄的景深, 可以在重聚焦過程中有效去除非聚焦面光線的影響, 降低水體多重散射造成的背向散射參數估計誤差. 并且, 系統重聚焦過程融合了多個觀測視角的背向散射的信息, 可以更好地反映場景的全局特征.

5 實驗及結果分析

本文設計渾濁水下目標圖像成像實驗系統, 被檢測目標選用偏振特性差異較大的金屬徽章和塑料玩偶, 器皿采用尺寸為45 cm × 60 cm × 45 cm的玻璃水箱.

實驗1對本文所提出的方法進行驗證, 在裝滿清水的水箱中加入45 mL 牛奶, 攪拌均勻以模擬水下渾濁環境. 采用投影光源在水槽上方以一定角度打光, 形成非均勻照明環境. 成像器件為CMOS (complementary metal oxide semiconductor)彩色相機, 500 萬像素.

利用直線運動平臺實現相機水平移動, 以獲取多視角圖像. 相機前端為線偏振片, 分別調整為水平和垂直方向兩種狀態, 以獲取不同視角下的兩種相互正交的偏振態圖像, 實驗系統如圖1 所示.

圖1 模擬渾濁水下多孔徑成像實驗現場圖Fig. 1. Simulated turbid underwater multiple aperture imaging experiment scene.

為驗證本文方法, 通過軌道平移獲取場景的17 個視角的場景圖像信息. 一方面, 利用擬合法對偏振度分布和背景散射參數進行估計后恢復圖像;另一方面, 利用場景的多視角信息進行重聚焦, 分別以各視角為參考, 調節聚焦因子至場景的無窮遠處獲取不同視角的重聚焦結果, 并利用重聚焦結果進行偏振度分布和背景散射參數的估計, 進而對各視角圖像進行恢復. 最后利用恢復的多視角圖像進行重聚焦操作, 將其聚焦至目標平面處, 得到多視角融合恢復圖像. 如圖2(a)和圖2(b)所示, 本文給出了擬合法和重聚焦方法估計的偏振度分布和背景散射參數(中心參考視角). 圖2(e)和圖2(f)分別給出了擬合法和本文方法估計參數后恢復的中心參考視角的恢復結果. 圖2(g)為利用本文方法估計參數后恢復結果的多視角重聚焦結果. 針對上述結果, 本文采用結構相似性(structural similarity, SSIM) 和峰值信噪比(peak signal-tonoise ratio, PSNR) 兩個參數進行定量評價, 得到的結果如表1.

圖2 模擬渾濁水下目標圖像恢復結果對比, 其中上圖為玩偶圖像恢復結果; 下圖為金屬幣圖像恢復結果 (a1), (a2) 擬合法估計的偏振度分布和背景散射; (b1), (b2) 重聚焦估計的偏振度分布和背景散射; (c1), (c2) 水平偏振圖像; (d1), (d2) 垂直偏振圖像;(e1), (e2) 擬合法恢復圖像; (f1), (f2) 參考視角恢復圖像; (g1), (g2) 多視角融合恢復圖像Fig. 2. Comparison of simulated turbid underwater target image recovery results. Up panel: Doll image recovery results. Down panel: Metal coin image recovery results. (a1), (a2) The polarization degree distribution and background scattering estimated by the fitting method; (b1), (b2) refocusing estimation of polarization degree distribution and background scattering; (c1), (c2) horizontally polarized image; (d1), (d2) vertically polarized images; (e1), (e2) image restoration by fitting method; (f1), (f2) image recovery from reference perspective; (g1), (g2) multi-perspective fusion to restore the image.

從恢復結果和數據對比可以看出, 利用擬合法估計參數恢復的結果能夠較好地恢復圖像, 但是由于照明不均勻, 導致恢復圖像的亮度和對比度分布不均勻, 同時伴有較大噪聲. 利用本文方法對偏振度和背景散射參數估計后, 應用到參考視角的恢復結果可以獲得亮度均勻對比度好的結果, 但是和擬合法一樣仍然存在較大的噪聲. 當采用多個視角的恢復結果進行重聚焦, 融合多視角信息聚焦至目標平面后, 則可以大大降低圖像噪聲, 提升圖像質量,并且保證了圖像的色彩還原度.

實驗2利用本文方法對不同渾濁濃度下水中目標的復原情況進行對比. 在尺寸為45 cm ×60 cm×45 cm 的玻璃水箱中加入50 L 清水, 形成清水環境, 然后加入1, 1.3, 1.6, 1.9 mL 脂肪乳注射液(分別對應于濃度1 至濃度4), 攪拌均勻后形成四種不同渾濁濃度的水下環境條件. 利用渾濁水下目標圖像成像實驗系統, 分別獲取清水及四種不同濃度水下模擬環境的實驗數據, 并用本文方法對四種濃度下的圖像進行復原. 圖3(a)為清水條件下的圖像, 圖3(b)—(e)為不同乳濁濃度下的恢復結果.

針對所獲得的不同渾濁濃度下圖像的恢復結果, 同樣采用SSIM 和PSNR 兩個參數進行定量評價, 得到的結果如表2 所列.

通過對比上述不同濃度下圖像恢復結果和定量分析數據可以看出, 隨著水中乳濁液濃度的不斷增加, 圖像復原結果的對比度和峰值信噪比都在逐步降低, 說明隨著水體渾濁度的增加, 本文所提出的方法對水下景物的恢復效果在逐步減弱. 但是在較大的濃度下, 仍然可以比較好地恢復水下目標.

表1 實驗1 結果定量比較Table 1. Quantitative comparison of experiment 1 results.

圖3 模擬不同渾濁濃度水下目標圖像恢復結果對比, 其中上圖為玩偶圖像恢復結果; 下圖為金屬幣圖像恢復結果 (a1),(a2) 清水圖像; (b1), (b2) 濃度1對應的復原圖像;(c1), (c2) 濃度2對應的復原圖像; (d1), (d2)濃度3對應的復原圖像; (e1),(e2) 濃度4 對應的復原圖像Fig. 3. Comparison of simulated different turbid concentrations underwater target image recovery results. Up panel: Doll image recovery results. Down panel: Metal coin image recovery results. (a1), (a2) Images in clear water; (b1), (b2) the restoration image corresponding to concentration 1; (c1), (c2) the restoration image corresponding to concentration 2; (d1), (d2) the restoration image corresponding to concentration 3; (e1), (e2) the restoration image corresponding to concentration 4.

實驗3利用本文方法對不同泥沙濃度環境下的水下圖像復原結果進行對比分析. 在之前所用水箱中放入目標物, 同樣加入50 L 清水, 形成清水環境, 然后使用量筒在水中分別加入10, 20, 30 mL的泥沙(分別對應于濃度1 至濃度3), 攪拌均勻,模擬出三種不同泥沙濃度的水下環境. 使用水下成像系統獲取清水環境和三種不同泥沙濃度模擬環境的實驗數據. 利用本文的方法分別對三種濃度下的實驗數據進行處理復原, 復原結果如圖4 所示.圖4(a)為清水條件下的圖像, 圖4(b)—(d)為不同乳濁液濃度下的恢復結果.

同樣, 針對不同泥沙濃度環境的復原結果, 依舊使用圖像質量評價函數SSIM 和PSNR 進行定量分析. 結果如表3 所列.

表2 實驗2 結果定量比較Table 2. Quantitative comparison of experiment 2 results.

圖4 模擬不同泥沙濃度水下目標圖像恢復結果對比, 其中上圖為玩偶圖像恢復結果; 下圖為金屬幣圖像恢復結果 (a1),(a2) 清水圖像; (b1), (b2) 泥沙濃度1 對應的復原圖像; (c1), (c2) 泥沙濃度2 對應的復原圖像; (d1), (d2) 泥沙濃度3 對應的復原圖像Fig. 4. Comparison of simulated underwater target image recovery results with different sediment concentrations. Up panel: Doll image recovery results. Down panel: Metal coin image recovery results. (a1), (a2) Image of clear water; (b1), (b2) the restoration image corresponding to sediment concentration 1; (c1), (c2) the restoration image corresponding to sediment concentration 2; (d1),(d2) the restoration image corresponding to sediment concentration 3.

表3 實驗3 結果定量比較Table 3. Quantitative comparison of experiment 3 results.

從上述結果和數據可以看出, 在泥沙環境下的水下目標復原結果, 也遵循濃度越高, 恢復圖像效果越差的規律, 在較大濃度下也能對圖像進行一定的復原. 但是與使用乳濁液模擬的水下渾濁環境復原圖像相比, 復原結果相對較差. 這是由于在水中泥沙的顆粒較大, 散射較強, 系統所獲取的有效信息較低, 而乳濁液模擬的水下渾濁環境中, 水中懸浮粒子的顆粒較小, 散射較弱, 獲取的有效信息相對較多, 恢復的圖像相對較好.

6 結 論

本文提出了一種非均勻光場水下圖像復原方法. 該方法重點針對水體背向散射參數空間分布估計方法進行優化, 充分考慮水體散射的角度、深度和多重散射等因素, 采用多孔徑重聚焦成像方法,能更有效地估計水體環境下無窮遠處的背向散射強度和偏振度分布參數. 本文方法能夠實現廣角水體信息測量, 反映水體背向散射的全局特征. 重聚焦過程可以有效克服多重水體散射問題, 能夠反映水體無窮遠處散射特性. 實際實驗結果表明, 該方法能夠有效地改善非均勻光場條件下的水下圖像復原質量, 有利于場景中目標圖像的恢復.