火星沙塵環境光學圖像增強方法

李海波， 曹云峰， 丁萌， 莊麗葵

(1. 南京航空航天大學 自動化學院, 南京 210016； 2. 南京航空航天大學 航天學院, 南京 210016；3. 南京航空航天大學 民航學院, 南京 210016)

火星是人類進行深空探測的熱點之一，到目前為止，世界各國對火星的探測任務已超過40次，然而成功率并不高，在著陸任務中只有7次是成功的，其中著陸過程中的技術故障是失敗的主要原因[1]。未來探測任務要求探測器能夠在環境復雜的高科學價值區域精確著陸，這需要提高探測器著陸精度，美國國家航空航天局(NASA)公布的新一代精確著陸精度為10～100 m[2]。現階段的著陸導航系統主要依靠慣性測量單元，其采用的航位遞推算法難以達到上述精度要求，因此需要補充其他傳感器，引入新的測量信息提高導航精度[3]。與其他傳感器相比，光學相機具有體積小、質量輕和功耗低等優點，其在“勇氣號(Spirit)”與“機遇號(Opportunity)”著陸時已成功用于水平速度估計[4]。隨著計算機視覺技術的發展，許多學者對光學輔助導航在深空探測中的應用進行了研究。文獻[5]提出了一種基于圖像灰度特征的撞擊坑自主檢測方法，并將檢測信息用于著陸導航；文獻[6-7]研究了利用機器視覺對撞擊坑、巖石等障礙的檢測方法，并對相關方法做了總結；文獻[8]針對光學導航的狀態估計問題提出了一種利用天體表面陰影區進行特征提取與匹配的方法；文獻[9-11]研究了將光學測量信息與慣性測量信息融合的火星探測器著陸導航方法。除此之外，國內外還有關于將機器視覺應用于輔助火星探測器著陸導航的大量研究。

上述所有將機器視覺用于輔助著陸導航的一個前提是視覺傳感器采集的圖像是清晰的。然而，在火星上沙塵天氣活躍。20世紀70年代，火星上的沙塵氣旋首先被“海盜號(Viking)”軌道探測器觀測到[12-13]。這種沙塵氣旋可達到數英里的寬度和高度[14]。當火星的表面由松散的物質構成時，沙塵顆粒可以在空氣中傳播，使形成沙塵氣旋成為可能[15-16]。此外，沙塵暴也偶然在火星上發生。在1971—1972年，沙塵暴曾經被“水手9號(Mariner 9)”探測器觀測到[17-19]。探測器著陸時極有可能遇見沙塵天氣，從而導致視覺傳感器采集的圖像對比度降低，顏色發生偏移，影響機器視覺算法對撞擊坑、巖石等地表障礙的檢測識別。

對于受霧霾干擾圖像的增強研究較多，如文獻[20-22]，采用基于Retinex的方法對圖像進行增強。但對于去除火星探測器著陸過程沙塵對機器視覺影響的研究并不多。在其他應用領域里，也鮮有去除沙塵影響的研究。文獻[23]分析了沙塵天氣對光脈沖時延和展寬的影響，但主要針對的是激光。文獻[24]在目標識別中提出了一種去除沙塵影響的方法，然而這種方法需要比較長的處理時間。文獻[25]提出了一種對單幅靜止圖像去除沙塵影響的方法，此方法需要對特定目標測量一些先驗信息，不適合用于解決火星著陸沙塵影響問題。針對這一問題，本文提出一種去除火星探測器著陸時沙塵對機器視覺影響的方法。該方法采用基于四叉樹細分的方法計算大氣光值，以此為基礎，計算透射系數，完成清晰圖像恢復。

1 去除沙塵影響方法原理

在計算機視覺中,一個描述受不同天氣影響的模型被廣泛使用，這些天氣情況包括陰霾、雨、霧、冰雹和雪等[26-27]。本文采用這個模型來表示受沙塵影響的圖像，此模型為

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中：I為受沙塵影響的圖像，可以由視覺傳感器獲得，是可知的；J為火星地表實際的圖像，是期望得到的清晰圖像，不受沙塵影響并且能夠反映更多火星地表實際情況；t為透射系數；A為大氣光值；x為圖像的像素點。大氣光值A和透射系數t是未知的，因此要想得到清晰圖像J，需要獲得A和t的值。

1.1 大氣光值計算方法

對于大氣光值A的計算，直接在全圖范圍內搜索亮度最大區域，容易將白色物體或亮度較高物體作為大氣光值，產生錯誤的恢復結果。為避免局部圖像在某通道存在極大值引起對大氣光值的錯誤估計，本文采用在最小值圖像上進行四叉樹細分的方法。最小值圖像是由原始圖像各像素取其各通道(R、G、B通道)最小值構成。該方法的具體步驟為：①選取受沙塵影響的圖像；②計算圖像各個通道(R、G、B通道)的最小值，構成最小值圖像；③對最小值圖像進行4等分，計算4個子圖像塊均值，選取均值最大的圖像塊繼續進行4等分，重復劃分迭代，直至子圖像塊的面積小于指定閾值時，記錄圖像塊均值最大部分；④在此基礎上，在初始圖像中尋找相同位置區域，計算區域各通道均值，選取區域各通道均值作為大氣光各通道值。

1.2 透射系數計算方法

對于透射系數計算，本文采用暗通道方法。火星探測器拍攝的圖像經過白平衡后可以呈現出類似地球光照拍攝的圖像，因此暗通道的方法可以在火星上應用。暗通道由He等[28]發現，暗通道表明清晰圖像一個或多個通道中經常存在一些較小且接近于零的值，當圖像受到惡劣天氣影響時，暗像素的值不再趨近于零，這反映了惡劣天氣對清晰圖像的影響。暗通道的存在可以用來計算t的值。

對于任何一個圖像J，暗通道Jdark可以描述為

(2)

式中：c表示圖像某一通道；Jc表示圖像J在某一通道的分量；R、G和B為圖像的彩色通道；Ω(x) 為以x為中心的一塊區域。從式(2)中可以看出，暗通道是由2次最小值操作獲得：第1次操作是在每個像素上執行；第2次操作是在每個區域上進行，其操作順序是可以交換的。

暗通道提供了一個重要的先驗條件，對于一幅未受到天氣影響的清晰圖像，暗像素的值趨近于零，即

Jdark→0

(3)

這是計算t值的關鍵先驗條件。式(1)中，A在一幅圖像中其值是恒定的。因此，式(1)可以由A標準化為

(4)

(5)

(6)

如前所述，當J是一個不受惡劣天氣情況影響的清晰圖像時，其暗像素的值趨近于零，即

(7)

Ac總是正的，因此有

(8)

將式(8)代入式(6)中，多項式項從式(6)中消除，即

(9)

因此有

(10)

1.3 清晰圖像恢復模型

在大氣光值A與透射系數t通過計算獲得的情況下，通過式(1)可以推導出清晰圖像的恢復模型，其形式為

(11)

當t(x)取值過小時，J(x)計算值較大趨向于噪聲，因此要對t(x)值進行限制，設定t(x)下限值為t0，防止恢復圖像時產生噪聲，其最終的恢復形式為

(12)

2 清晰圖像恢復實驗及分析

2.1 大氣光值計算實驗過程

由于目前條件限制，很難獲得當火星探測器進入著陸段時遇到沙塵的圖像。因此通過實驗室模擬的方式獲得一系列受沙塵影響的圖像，對本文方法進行原理性校驗。其具體操作步驟為：首先，制作一個包含火星地表常見著陸障礙(撞擊坑、巖石和斜坡等)的沙盤；然后，利用吹風機產生風，將沙塵吹起，沙塵籠罩在沙盤的上方；最后，通過相機拍攝沙盤，獲得受沙塵影響的原始圖像。將這些圖像進行分割，做成樣本集，用來測試校驗所提出的方法。任意選取2個樣本如圖1所示，首先求取大氣光值，按1.1節所述方法計算圖1最小值圖像，結果如圖2所示。在圖2中，利用四叉樹細分方法，搜尋均值最大的圖像塊，細分圖像塊的閾值面積設定為初始圖像面積的1%，搜尋結果如圖3中矩形填充區域所示。

圖1 受沙塵影響的圖像

圖2 最小值圖像

圖3 細分搜尋結果

搜尋結果位置相同的區域，如圖4中矩形填充區域所示。計算區域各通道的均值，將各通道均值作為大氣光各通道估計值，求出大氣光A的值。

圖4 搜尋結果在初始圖位置

2.2 透射系數計算及清晰圖像恢復

圖5 透射系數圖

從圖5中可以看出，2幅圖像中均存在一些光暈和方塊，這導致在每個恢復圖像中存在恢復圖像質量低和不連續的情況。為解決此問題，本文采用快速導向濾波[29]優化透射系數，結果如圖6所示。

圖6 優化后的透射系數圖

從圖6中可以看出，光暈和方塊從圖中消失了。利用優化后的透射系數對受沙塵影響的圖1進行恢復，其結果如圖7所示。

2.3 恢復圖像特征分析

進一步分析初始圖像與最終恢復圖像顏色特征，分別建立初始圖像(見圖1)與最終恢復圖像(見圖7)的RGB通道直方圖，分別如圖8和圖9所示。從圖8中可以看出，受沙塵影響圖像的色彩分布相對集中，RGB三色值動態變化范圍較窄，直方圖分布相對集中。圖9中恢復圖像的彩色值分布非常廣泛，顏色明顯得到改善，直方圖分布比較均勻，分布模式符合清晰圖像的特點。

圖7 最終恢復圖像

圖8 初始受沙塵影響圖像RGB通道直方圖

圖9 最終恢復圖像RGB通道直方圖

3 方法性能分析

3.1 四叉樹細分閾值變化的影響

為檢驗四叉樹細分閾值對去除沙塵效果的影響，選取不同的閾值進行測試分析。首先在受沙塵影響的樣本圖像庫中隨機選取一張受沙塵影響的圖像，如圖10(a)所示；然后分別選取閾值面積為初始圖像面積的0.001%、0.005%、0.01%、0.05%、0.1%、0.5%、1%、5%、10%檢驗去塵效果，其測試結果如圖10(b)～(j)所示。從圖10中可以看出，當閾值選取過大時，恢復圖像的質量會降低，如圖10(i)、(j)所示，圖像中巖石區域部分圖像亮度增加，存在發白失真的現象；當閾值選取的過小時，如圖10(b)、(c)所示，恢復圖像的整體略暗。從圖10的測試結果可以看出，閾值選擇為初始圖像面積的0.01%～1%較為合適。采用四叉樹細分的方法時間復雜度為O(N)，空間復雜度為O(N)。其中N為輸入圖像的像素數量。

圖10 受沙塵影響圖像及設置不同閾值的測試結果

3.2 光照條件變化的影響

選取不同時間和不同光照條件下受沙塵影響的圖像如圖11(a)～(c)所示，其各個圖像中光照強度不同。通過采用本文方法，相應的恢復圖像如圖11(d)～(f)所示，從圖中可以看出該方法對不同光照條件的影響具有一定的適應性。

3.3 沙塵強度變化的影響

隨機選取一組受沙塵影響的圖像如圖12(a)～(c)所示，從圖中可以看出每幅圖像的沙塵強度并不相同，是一組沙塵強度逐漸增加的圖像。圖12(d)～(f)為(a)～(c)對應的恢復圖像，從圖中可以看出，本文方法對沙塵強度的變化具有一定的魯棒性。

圖11 不同光照條件下受沙塵影響圖像及對應恢復圖像

圖12 不同沙塵強度下受沙塵影響圖像及對應恢復圖像

3.4 場景變化的影響

考慮場景變化對受沙塵影響圖像恢復的影響。火星探測器著陸時，地表撞擊坑、巖石和斜坡等障礙是需要規避的，為此建立相應場景圖像，如圖13(a)～(c)所示，分別為包含撞擊坑、巖石和斜坡的一組圖像。圖13(d)～(f)為(a)～(c)對應的恢復圖像，從圖中可以看出，本文方法對場景的變化具有一定的適應性。

圖13 不同場景下受沙塵影響圖像及對應恢復圖像

4 與其他方法比較分析

目前，美國國家航空航天局蘭利研究中心(NASA Langley Research Center)采用Retinex技術獲得清晰的圖像，其詳細信息可以參考相關網站 (http:∥dragon.larc.nasa.gov/retinex/)。采用Retinex技術的方法主要包括單尺度Retinex(Single Scale Retinex,SSR)方法、多尺度加權平均Retinex(Multi-Scale Retinex,MSR)方法和彩色恢復多尺度Retinex(Multi-Scale Retinex with Color Restoration,MSRCR)方法。這些方法也經常用于受霧霾干擾圖像的增強[20-22]。為進一步檢驗本文方法效果，將本文方法與這幾種方法進行對比。本文方法與MSR、SSR、MSRCR方法的時間復雜度均為O(N)，對圖像的處理效果進行對比分析。從圖像庫中隨機選取一張受沙塵影響的圖像如圖14(a)所示，將這幅圖像分別由MSR、SSR、MSRCR方法和本文方法進行處理，其結果分別如圖14(b)～(e)所示。從圖14中可以看出，采用MSR、SSR、MSRCR方法恢復的圖像均不如采用本文方法恢復的圖像效果好。

進一步分析，引入定量分析指標來評估實驗結果，采用清晰度、標準差指標評估恢復圖像質量。清晰度的計算公式為

(13)

(14)

式中：xi為第i個像素；μ為像素灰度均值。σ值越高，圖像包含的信息量越大。采樣這2個指標的客觀評價結果如表1所示。

從表1中可以看出，初始圖像的清晰度和標準差都比較低，采用不同方法恢復后清晰度與標準差均獲得提高，其中采用本文方法恢復后的清晰度與標準差最大，恢復效果最好。

在一些視覺導航算法中，邊緣檢測經常是其中的一個重要步驟，因此引用邊緣強度來評估恢復圖像的效果。邊緣強度的計算式為

圖14 受沙塵影響圖像及各種方法恢復結果對比

(15)

式中：G為邊緣強度；Gx為水平方向邊緣檢測灰度值；Gy為垂直方向邊緣檢測灰度值。G值越高，圖像包含的邊緣信息量越大。比較結果如表2所示。

表1 定量分析對比

表2 邊緣強度對比

從表2中可以看出，初始圖像由于受沙塵影響邊緣強度值較小，采用不同方法進行恢復后邊緣強度得到提高，其中采用本文方法恢復后的圖像邊緣強度最大，圖像包含的邊緣信息量最大，這表明本文方法相比其他方法具有較好的效果。

5 結 論

本文提出一種火星沙塵環境中光學圖像增強的方法，該方法對受沙塵影響圖像模型中大氣光值計算采用基于四叉樹細分的方法，在最小值圖像上進行細分迭代搜尋均值最大的指定閾值區域，然后在輸入圖像中尋找相對應的區域并計算區域各通道均值，求出大氣光值。在此基礎上，計算透射系數，完成清晰圖像的恢復。從實驗結果可以看出，本文方法在去除沙塵對光學圖像影響方面具有較好的效果；與文中提到的其他方法比較，本文方法在主觀評價和客觀評價方面都具有明顯的優勢。機器視覺在火星探測器精確著陸中具有重要的輔助作用，而火星的沙塵天氣會對機器視覺造成一定的影響，本文方法能夠進一步減輕沙塵對機器視覺的影響，為機器視覺的后期處理提供清晰圖像。

參考文獻(References)

[1] 崔平遠,高艾,于正湜.火星著陸自主導航方案研究進展[J].深空探測學報,2014,1(1):18-27.

CUI P Y,GAO A,YU Z S.Research progress of autonomous navigation scheme for Mars landing[J].Journal of Deep Space Exploration,2014,1(1):18-27(in Chinese).

[2] STEINFELDT B A,GRANT M J,MATZ D A,et al.Guidance, navigation,and control system performance trades for Mars pinpoint landing[J].Journal of Spacecraft and Rockets,2010,47(1):188-198.

[3] 吳偉仁,李驥,黃翔宇,等.慣導/測距/測速相結合的安全軟著陸自主導航方法[J].宇航學報,2015,36(8):893-899.

WU W R,LI J,HUANG X Y,et al.INS/rangefinder/velocimetry based autonomous navigation method for safe landing[J].Journal of Astronautics,2015,36(8):893-899(in Chinese).

[4] BRAUN R D,MANNING R M.Mars exploration entry,descent and landing challenges[J].Journal of Spacecraft and Rockets,2007,44(2):310-323.

[5] 陳建清,朱圣英,崔祜濤,等.應用灰度特征的行星隕石坑自主檢測方法與著陸導航研究[J].宇航學報,2014,35(8):908-915.

CHEN J Q,ZHU S Y,CUI H T,et al.Automated crater detection method using gray value features and planet landing navigation research[J].Journal of Astronautics,2014,35(8):908-915(in Chinese).

[6] 丁萌.空間探測器著陸過程中的機器視覺關鍵技術研究[D].南京:南京航空航天大學,2010:11-16.

DING M.Research on key technology of machine vision for spacecraft landing[D].Nanjing:Nanjing University of Aeronautics and Astronautics,2010:11-16(in Chinese).

[7] 丁萌,李海波,曹云峰,等.基于光學圖像的撞擊坑識別研究[J].深空探測學報,2015,2(3):195-202.

DING M,LI H B,CAO Y F,et al.Research survey of passive image-based impact crater detection[J].Journal of Deep Space Exploration,2015,2(3):195-202(in Chinese).

[8] 魏若巖,阮曉鋼,肖堯,等.一種小天體表面陰影區的魯棒匹配算法[J].宇航學報,2015,36(2):203-210.

WEI R Y,RUAN X G,XIAO Y,et al.A robust match algorithm for asteroid shadow areas[J].Journal of Astronautics,2015,36(2):203-210(in Chinese).

[9] 李建國,崔祜濤,田陽.光學輔助慣性測量信息的火星著陸導航算法[C]∥中國宇航學會深空探測技術專業委員會第九屆學術年會,2012:17-20.

LI J G,CUI H T,TIAN Y.Vision-aided inertial navigation algorithm for Mars landing[C]∥The 9th Academic Annual Meeting of Committee of Deep Space Exploration Technology,Chinese Society of Astronautics,2012:17-20(in Chinese).

[10] 李建國.火星探測器自主光學著陸導航方法研究[D].哈爾濱:哈爾濱工業大學,2014:42-64.

LI J G.Research on autonomous vision navigation methods for spacecraft landing on Mars[D].Harbin:Harbin Institute of Technology,2014:42-64(in Chinese).

[11] 李建國,崔祜濤,田陽.基于特征匹配的著陸導航敏感器相對校準算法[J].紅外與激光工程,2014,43(1):267-273.

LI J G,CUI H T,TIAN Y.Sensors relative calibration method for landing navigation based on feature matching[J].Infrared and Laser Engineering,2014,43(1):267-273(in Chinese).

[12] THOMAS P,GIERASCH P J.Dust devils on Mars[J].Science,1985,230(4722):175-177.

[13] REISS D,FENTON L,NEAKRASE L,et al.Dust devil tracks[J].Space Science Reviews,2016,203(1-4):143-181.

[14] STATELLA T,PINA P,DA SILVA E A.Automated determination of the orientation of dust devil tracks in mars orbiter images[J].Advances in Space Research,2014,53(12):1822-1833.

[16] LORENZ R D,BALME M R,GU Z,et al.History and applications of dust devil studies[J].Space Science Reviews,2016,203(1-4):5-37.

[17] HANEL R A,CONRATH B J,HOVIS W A,et al.Infrared spectroscopy experiment on the Mariner 9 mission:Preliminary results[J].Science,1972,175(4019):305-308.

[18] HANEL R,CONRATH B,HOVIS W,et al.Investigation of the Martian environment by infrared spectroscopy on Mariner 9[J].Icarus,1972,17(2):423-442.

[19] HANEL R,SCHLACHMAN B,BREIHAN E,et al.Mariner 9 michelson interferometer[J].Applied Optics,1972,11(11):2625-2634.

[20] 趙蘇齊,吳健珍.基于Retinex的霧霾圖像去霧算法[J].科教導刊,2016(4):156-157.

ZHAO S Q,WU J Z.Defogging images based on Retinex theory[J].Scientific and Technological Innovation,2016(4):156-157(in Chinese).

[21] 劉志晨,徐惠民.基于單尺度Retinex算法的霧霾圖像清晰化系統開發研究[J].國土與自然資源研究,2017(1):71-73.

LIU Z C,XU H M.Research on haze image clarity system based on single scale Retinex algorithm[J].Territory & Natural Resources Study,2017(1):71-73(in Chinese).

[22] 張雅媛.基于多尺度Retinex算法的彩色霧霾圖像增強研究[J].包裝學報,2016,8(3):60-65.

ZHANG Y Y.Research of haze color image enhancement based on multi-scale Retinex[J].Packaging Journal,2016,8(3):60-65(in Chinese).

[23] WANG H,WANG Y,CAO M,et al.Influence of atmospheric visibility on laser pulse delay and broadening in sand and dust weather[J].Acta Optica Sinica,2015,35(7):9-16.

[24] WANG Y,LI Y,ZHANG T.The method of image restoration in the environments of dust[C]∥International Conference on Mechatronics and Automation (ICMA).Piscataway,NJ:IEEE Press,2010:294-298.

[25] WANG Y Y,YANG C Y,WANG X K.The dedusting method based on a single still image[J].Applied Mechanics and Materials,2013,333-335:929-933.

[26] NARASIMHAN S G,NAYAR S K.Vision and the atmosphere[J].International Journal of Computer Vision,2002,48(3):233-254.

[27] NARASIMHAN S G,NAYAR S K.Chromatic framework for vision in bad weather[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2002,1:598-605.

[28] HE K,SUN J,TANG X.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2011,33(12):2341-2353.

[29] HE K,SUN J.Fast guided filter[EB/OL].New York:Cornell University Library,2015[2017-03-29].https:∥arxiv.org/abs/1505.00996.