特殊天氣條件下的目標檢測方法綜述

林 猛，周 剛，楊亞偉，石 軍

新疆大學 信息科學與工程學院 信號檢測與處理重點實驗室，烏魯木齊 830046

目標檢測是一項重要的計算機視覺任務，主要任務是正確檢測圖像中目標對象的存在并準確定位。作為計算機視覺中最具挑戰(zhàn)的問題之一，目標檢測能夠為圖像的語義理解提供有價值的信息，并且與許多應用相關(guān)，一直受到極大的關(guān)注。目標檢測涵蓋不同的應用目標，例如行人檢測[1]、人臉檢測[2]、文本檢測[3]等。目標檢測的目的是開發(fā)高效的計算模型和技術(shù)，同時它也是許多其他高級計算機視覺任務的基礎(chǔ)，比如實例分割[4]、語義分割[5]、目標跟蹤[6]等。

早期，基于手工特征構(gòu)建的目標檢測方法在21 世紀初陷入瓶頸。隨著2012 年AlexNet[7]的誕生，基于深度學習的目標檢測時代便由此揭開序幕。以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學習方法能夠?qū)W習更高級、更深層次的特征。在深度學習時代，目標檢測方法可以分為兩種：兩階段目標檢測方法和單階段目標檢測方法。前者先由算法生成一系列的錨框，再通過卷積神經(jīng)網(wǎng)絡(luò)進行分類和定位，這類方法以R-CNN系列[8]和FPN[9]為代表。而后者則直接通過主干網(wǎng)絡(luò)回歸物體的類別概率和位置坐標，其中以YOLO 系列[10]、SSD 系列[11]和Retina-Net[12]是為典型。

隨著基于深度學習的目標檢測方法的發(fā)展，有很多學者對此進行了總結(jié)和分析。Zou等人[13]對目標檢測近二十年的技術(shù)發(fā)展進行了詳細的概括。Agarwal 等人[14]、Zhao等人[15]、Liu等人[16]對基于深度學習的通用目標檢測框架進行了綜述。但這些綜述均未研究目標檢測框架在特殊天氣條件下的有效性。特殊天氣是相對一般晴朗天氣的，造成視程障礙現(xiàn)象：包括霧霾、沙塵、降雨和降雪等天氣情況。特殊天氣會造成圖像模糊、特征無法辨識等問題，會讓常規(guī)的目標檢測方法的檢測性能大幅下降，甚至失效。陳飛等人[17]對復雜環(huán)境下的交通標志檢測與識別方法進行了綜述。董天天等人[18]對復雜天氣條件下的交通場景多目標識別方法進行了綜述。然而目前針對特殊天氣條件下的一般目標檢測方法綜述相當缺乏，這也是本文撰寫的必要之處。本文將對特殊天氣條件下的目標檢測方法進行詳細的闡述和總結(jié)，主要內(nèi)容結(jié)構(gòu)如圖1所示，將特殊天氣條件下的目標檢測相關(guān)文獻分成三個部分進行分析：（1）數(shù)據(jù)集的構(gòu)建，針對特殊天氣下目標檢測任務數(shù)據(jù)集的來源和制作方法進行總結(jié)歸納，按數(shù)據(jù)集的屬性分成真實數(shù)據(jù)集與合成數(shù)據(jù)集兩大類，并對合成數(shù)據(jù)集部分以合成方式展開為物理驅(qū)動和數(shù)據(jù)驅(qū)動。（2）基于圖像恢復的目標檢測，將這一大類方法分為恢復與檢測相獨立和恢復與檢測相統(tǒng)一兩部分，分析圖像恢復方法相關(guān)文獻并說明其與目標檢測任務之間的聯(lián)系。（3）基于遷移學習的目標檢測，以特征對齊機制的研究和多步域自適應兩部分展開，總結(jié)遷移學習在特殊天氣下目標檢測的應用，尤其是分析領(lǐng)域自適應方法在該問題上近些年的研究發(fā)展。最后對全文進行了總結(jié)，指出目前存在的問題并展望未來研究方向。

圖1 本文主要內(nèi)容結(jié)構(gòu)Fig.1 Main content structure of this paper

1 數(shù)據(jù)集的構(gòu)建

目前在特殊天氣條件下的目標檢測研究面臨的主要難題之一是缺少面向特殊天氣的目標檢測數(shù)據(jù)集，這使得難以通過深度學習的方法來訓練模型。一般情況下很難構(gòu)造出相同位置、相同光照條件下的同一個場景的清晰圖像和對應的特殊天氣圖像。同時在真實特殊天氣圖像中進行目標檢測標注，也將會耗費很大的人工成本。表1 總結(jié)了目前研究中常見的公開數(shù)據(jù)集[19-30]。這些特殊天氣數(shù)據(jù)集主要以霧天和雨天為主，雪天和沙塵的數(shù)據(jù)集較為缺乏。同時在這些數(shù)據(jù)集當中，具有目標標注信息的較少，這對特殊天氣條件下的目標檢測研究造成了很大的限制。針對數(shù)據(jù)集的構(gòu)建問題，目前的研究主要采用兩種方法：真實數(shù)據(jù)標注和合成數(shù)據(jù)生成。真實數(shù)據(jù)標注是通過輔助算法和人工方式，對采集到的真實圖像進行標注。這類方法生成的數(shù)據(jù)集的清晰圖像和對應特殊天氣下的圖像均由人工方式在現(xiàn)實環(huán)境中獲取而來。Liu等人[19]通過固定攝像機在場景中的位置歷經(jīng)一年的時間進行拍攝，再由人工選取清晰圖像和對應的4種不同濃度的霧天圖像，形成真實圖像數(shù)據(jù)集。Zhao 等人[20]對23 個城市進行圖像采集，并采用圖像配準和數(shù)據(jù)清洗獲取同一場景的無霧霾圖像和有霧霾圖像，最后人工標注圖像中的視覺目標和霧霾等級。盡管作者使用了圖像配準和數(shù)據(jù)清洗等方法來使得帶霧霾的圖像和不帶霧霾的圖像之間盡可能的配對，但是相機視角的細微調(diào)整、場景環(huán)境的變化、光照條件的不可控等因素都會導致其難以達到嚴格意義上的圖像配對。即便如此，它的存在對于本文的研究問題仍具有十分重要的參考價值。Wang等人[31]通過拍攝雨天的視頻獲取多幅同一場景的雨天圖像，并利用算法標注出每幅圖像的雨滴位置，最后用多幅圖像來估計出無雨的背景圖像。這類方法雖然能夠獲取較為真實的圖像數(shù)據(jù)，但是無法利用已有的數(shù)據(jù)集，而且需要大量的數(shù)據(jù)采集和人工標注成本。由于能見度較差，難以提供精確的人工標注，使得在特殊天氣下人工標注成本提高更為明顯。因此很多研究者致力于特殊天氣的合成算法研究，在已有標注信息的數(shù)據(jù)集上合成特殊天氣效果。針對特殊天氣的合成方法，大致可以分為兩類：基于物理模型驅(qū)動的方法和基于數(shù)據(jù)驅(qū)動的方法。

表1 常見的特殊天氣數(shù)據(jù)集Table 1 Common adverse weather datasets

基于物理模型驅(qū)動的方法，利用特殊天氣的成像特點，進行特殊天氣的合成。文獻[32]提出的光學散射模型已被廣泛用于合成霧圖像，也是雨合成的重要理論參考。該模型的經(jīng)典描述如下：

其中I(x)為帶霧圖像，J(x)為清晰圖像，A為大氣光，t(x)為透射率。衰減系數(shù)β控制著霧的密度，β值越大，霧越密。d(x)為物體與相機之間的距離。通常在已有清晰圖像基礎(chǔ)上，估計出深度信息從而利用公式（2）計算出透射率，然后利用公式（1），調(diào)整不同的大氣光和衰減系數(shù)，獲得不同效果霧霾。雨雪等情況，則需要制作出雨線或雪花的蒙版，添加到清晰圖像上。

Tarel等人[21]用SiVICTM軟件構(gòu)建了一個真實的復雜的城市模型來生成圖像，同時可得到清晰圖像的深度圖，利用光學散射模型[32]為圖像添加霧效果，通過設(shè)置不同的β和A合成了4種不同類型的霧天圖像，從而得到去霧領(lǐng)域的第一個小型合成數(shù)據(jù)集。該數(shù)據(jù)集用于評估自動駕駛系統(tǒng)在各種霧天環(huán)境中的性能，后續(xù)又用類似的方法得到了擴充版本的合成數(shù)據(jù)集[22]。但該數(shù)據(jù)集的樣本圖像分辨率很低，真實感較差，同時數(shù)據(jù)集規(guī)模較小，難以進行深度學習模型的訓練。Ancuti 等人[23]通過傳感器設(shè)備采集圖像的深度信息，然后利用文獻[32]提出的光學散射模型在不同的深度下改變透射率來實現(xiàn)霧效果。此外，還通過專業(yè)霧霾機生成霧霾的方式為清晰場景制造霧霾效果，再通過相機拍攝的方式分別制作了室內(nèi)圖像[24]和室外圖像[25]的兩個用于評估去霧算法的數(shù)據(jù)集。Li 等人[26]同樣基于物理模型驅(qū)動的方法，通過卷積神經(jīng)網(wǎng)絡(luò)的方法來估計真實圖像的深度，將式（1）和（2）中的大氣光系數(shù)A和衰減系數(shù)β賦予不同的數(shù)值來合成帶霧圖像，并對4 322 幅真實帶霧圖像進行了標注。Cityscapes[33]能夠充分反映真實晴天下的復雜城市交通場景，但缺乏相應的特殊天氣場景。在文獻[28]中，對計算得來的原始深度圖進行去噪和補全后使用光學散射模型進行霧合成并將其添加到Cityscapes 數(shù)據(jù)集的圖像中，從而建立了名為“Foggy Cityscapes”的數(shù)據(jù)集。其中有550張精煉的高質(zhì)量合成霧圖像帶有精細語義標注，可以直接利用其進行目標檢測的監(jiān)督訓練，并通過半監(jiān)督學習方法將這550張圖像擴充為20 000 張沒有精細標注的合成霧圖像。但是該合成數(shù)據(jù)集受到原有數(shù)據(jù)集標注信息的限制，同時還需要獲取真實場景的完整深度信息，這本身就是一個非常具有挑戰(zhàn)性的問題。后續(xù)使用與文獻[28]中相同的基于物理模型的霧渲染方法，對合成數(shù)據(jù)集Synscapes[34]中的圖像進行霧渲染，得到了名為“Foggy Synscapes”的純合成數(shù)據(jù)集[27]，并且證明混合使用純合成數(shù)據(jù)和真實數(shù)據(jù)比單獨使用它們的效果更好。Garg 等人[35]分析雨滴成像的物理模型，認為雨滴會造成圖像亮度增加并具有運動模糊的現(xiàn)象，由此構(gòu)建出適用于單幅圖像和視頻的雨線成像數(shù)據(jù)集。Hu等人[30]分析了不同場景深度下的雨的視覺效果，發(fā)現(xiàn)雨滴在近景位置呈現(xiàn)出雨線效果，而在遠景位置呈現(xiàn)出霧效果，認為雨天圖像由雨線和霧共同構(gòu)成，由此構(gòu)建了雨成像模型，生成了名為“Rain Cityscapes”的合成雨數(shù)據(jù)集。類似的還有Ren等人[36]利用紐約大學深度數(shù)據(jù)集[37]中的圖像和對應的深度信息來計算透射率從而得到相應的帶霧圖像。Liu等人[29]認為雪天圖像是由雪花前景和無雪圖像組合而成，并通過PhotoShop 軟件制作了5.8×103的基礎(chǔ)蒙版來模擬飄落的雪的顆粒大小的變化。每個基底掩模由小、中、大顆粒之一組成。同時，每個基模中的雪粒子具有不同的密度、形狀、運動軌跡和透明度，從而增加了變化，最終構(gòu)造了10萬張合成雪天圖像。Tremblay等人[38]提出了雨強度可控的物理框架，并用這個框架對現(xiàn)有的數(shù)據(jù)集[39]進行了雨合成，得到了高度逼真的雨渲染結(jié)果。與Tremblay 等人[38]的工作較為接近的是Halder 等人[40]提出的基于物理粒子模擬器[41]、場景照明估計和雨光度建模實現(xiàn)晴天圖像雨渲染。他們都利用合成數(shù)據(jù)集進行了特殊天氣下的目標檢測任務實驗，證明擴充后的數(shù)據(jù)集可顯著增加檢測性能。

基于物理模型驅(qū)動的方法，可以非常方便的通過調(diào)整物理模型參數(shù)來合成各種各樣的特殊天氣效果，同時也不需要任何訓練數(shù)據(jù)。但是他們通常把實際環(huán)境中復雜的成像原因抽象為簡化的物理模型，從而容易造成合成圖像與真實圖像的偏差。基于數(shù)據(jù)驅(qū)動的方法，往往利用真實圖像數(shù)據(jù)對圖像進行“風格轉(zhuǎn)換”，實現(xiàn)更為接近真實的效果。早期基于生成對抗網(wǎng)絡(luò)的風格轉(zhuǎn)換[42]由于需要成對的訓練數(shù)據(jù)，導致實用性大大降低。Huang 等人[43]提出一種生成對抗網(wǎng)絡(luò)用來合成圖像數(shù)據(jù)，采用同一場景下白天的圖像來生成夜晚的圖像，將譯碼、生成和判定三個部分整合在統(tǒng)一的網(wǎng)絡(luò)中。Zhai等人[44]提出將雨圖像合成和對抗性攻擊這兩種研究結(jié)合起來，并根據(jù)成像模型模擬雨條紋來合成真實感較強的雨水圖像，同時驗證了這種方法對目標檢測任務的有效性。Shao 等人[45]提出一種利用圖像深度信息將原有物理模型合成霧霾的圖像通過生成對抗網(wǎng)絡(luò)轉(zhuǎn)換成與真實霧霾圖像具備相同概率分布的合成霧圖像。Yasarla等人[46]提出一種基于高斯過程的半監(jiān)督編碼-解碼網(wǎng)絡(luò)，通過無標注真實數(shù)據(jù)對已有的物理模型合成的雨圖像在特征層面進行生成，從而獲得更好的去雨效果。基于數(shù)據(jù)驅(qū)動的方法可以合成與真實圖像相近的概率分布的圖像，且這類方法通常借助生成對抗網(wǎng)絡(luò)來實現(xiàn)，能夠比較方便地嵌入到其他的網(wǎng)絡(luò)模型當中，同時可以緩解數(shù)據(jù)集的標注壓力，但這種方式不能控制各種物理成像條件，比如雨量的大小、霧的濃度等等。

2 基于圖像恢復的目標檢測

為了解決特殊天氣條件下對目標檢測問題，一種思路是從圖像恢復的角度出發(fā)，先對圖像進行恢復，再用常規(guī)的方法進行目標檢測。

目前針對特殊天氣的圖像恢復算法的研究，大多是通過成像模型來進行理論分析的。Li 等人[47]針對霧霾的光學散射模型進行了詳細分析，并總結(jié)近二十年的去霧算法與光學散射模型的關(guān)系。文獻[48-49]也對包括深度估計、小波、增強、濾波等在內(nèi)的經(jīng)典的去霧方法進行了詳細的總結(jié)。Gui等人[50]對基于深度學習的去霧算法進行了全面的總結(jié)。Wang等人[51]對視頻和單圖像去雨算法進行了歸納總結(jié)，認為雨滴成像的物理特性是構(gòu)建絕大多數(shù)去雨算法的基礎(chǔ)。然而基于成像模型的圖像恢復算法，需要計算的參數(shù)多，屬于一種病態(tài)問題。針對這個難點，目前研究方法基本可以分為兩大類：模型驅(qū)動方法和數(shù)據(jù)驅(qū)動方法。模型驅(qū)動方法需要對成像模型中的參數(shù)進行先驗假設(shè)，然后對圖像進行恢復。He等人[52]提出了一種暗通道先驗，基于此先驗知識，粗略估計透射率，再根據(jù)引導濾波[53]進行優(yōu)化并估計大氣光系數(shù)，最終獲得去霧圖像。Peng等人[54]提出一種基于改進的光學散射模型去沙塵算法，首先對環(huán)境光進行白光校正，其次用一種光學濾波器濾除非噪聲的區(qū)域，最后利用最大值通道和最小值通道的差值作為先驗信息來估計透射率。數(shù)據(jù)驅(qū)動方法是通過數(shù)據(jù)集訓練的方式來估計合適的參數(shù)。Yang 等人[55]提出了一種基于先驗學習的圖像去霧深度網(wǎng)絡(luò)，它結(jié)合了傳統(tǒng)去霧方法和基于深度學習方法的優(yōu)點。Yang 等人[56]對近十年來從模型驅(qū)動到數(shù)據(jù)驅(qū)動的去雨方法進行了全面的綜述，并通過比較各類去雨方法的實驗結(jié)果來表明數(shù)據(jù)驅(qū)動的方法通常比模型驅(qū)動的方法性能更好。

在對特殊天氣圖像恢復的基礎(chǔ)上，進行后續(xù)的目標檢測算法，可以實現(xiàn)系統(tǒng)性的應用。Li等人[57]提出基于光學散射模型的AOD-Net 用來去霧，并與目標檢測網(wǎng)絡(luò)結(jié)合形成端到端的訓練，在合成濃霧條件下目標檢測平均精確率提高了12%，同時這也是第一個端到端可訓練的去霧目標檢測模型。Huang等人[58]利用兩個子網(wǎng)來共同學習可視性增強和目標檢測，并通過共享特征提取層來減少圖像退化的影響，最終提出了一個聯(lián)合學習可見性增強、目標分類和目標定位的用于霧天目標檢測的多任務網(wǎng)絡(luò)（DSNet）。Li 等人[59]提出一種輕量級的去霧網(wǎng)絡(luò)PDR-Net，并結(jié)合經(jīng)典的目標檢測網(wǎng)絡(luò)Faster R-CNN[60]，平均精確率提高了約2%。Zhang等人[61]提出了一種條件生成對抗網(wǎng)絡(luò)（ID-CGAN）來進行去雨，與去雨前圖像的目標檢測相比，這種去雨方法能夠使得目標檢測的平均精確率提高30%。Fu 等人[62]將經(jīng)典的高斯拉普拉斯金字塔技術(shù)與CNN相結(jié)合提出了一種輕量金字塔網(wǎng)絡(luò)（LPNet）用來去雨，并利用LPNet+Faster R-CNN 的方式，實驗證明了LPNet 對目標檢測這種高級視覺任務的潛在價值。Fan 等人[63]提出了一種Res GuideNet的單幅圖像去雨方法，并驗證了這種圖像恢復方法對后續(xù)目標檢測任務的有效性。Jiang 等人[64]提出了一種多尺度漸進式融合網(wǎng)絡(luò)（MSPFN）來利用雨條紋跨尺度的相關(guān)信息進行單幅圖像去雨，MSPFN 生成的去雨圖像的檢測精度比原始雨圖像的檢測精度提高了近10%。圖像去退化（去雨、去霧、去雪等）往往作為目標檢測的預處理步驟，并用目標檢測任務來評價去退化效果[65]。

將部分恢復結(jié)合檢測方法的實驗數(shù)據(jù)列于表2中。首先，圖像恢復對于目標檢測任務肯定是有益的，列于表二中的幾種方法在圖像恢復性能指標上均有不錯的表現(xiàn)，它們在各自數(shù)據(jù)集上進行圖像恢復過后，目標檢測性能均有不同幅度的提升。尤其ID-CGAN[61]在基于PASCAL VOC 2007的合成的雨圖像數(shù)據(jù)集上，先進行圖像恢復再進行目標檢測的平均精確度相比于直接進行目標檢測的平均精確度提升高達78%。其中PDR-Net[59]、ID-CGAN[61]、MSPFN[64]先將圖像進行恢復，再聯(lián)合目標檢測方法，即去退化網(wǎng)絡(luò)與目標檢測網(wǎng)絡(luò)單獨進行訓練。但這種對退化圖像進行預處理的方法通常涉及復雜的網(wǎng)絡(luò)，需要在像素級監(jiān)督下單獨訓練。這種方法在處理過程中能夠獲得圖像恢復指標較高的圖像，圖像恢復的評價指標通常以PSNR與SSIM為主，但這兩項指標的數(shù)值與圖像的真實感程度并非是相關(guān)的，經(jīng)過恢復的圖像不一定是有利于目標檢測任務的[26]。圖像恢復過程中也會引入各種失真，從而導致域偏移[28]，以至于難以獲得較好的目標檢測性能。同時，這種預處理也會占用更多的算力，對實際應用造成困難。同時從表2 可以看出在處理霧天條件的目標檢測任務時，聯(lián)調(diào)（JAOD-Faster R-CNN）的方法相比于單獨訓練的AOD-Net+F的方法在檢測性能上有大幅提升。而經(jīng)過微調(diào)的Retrained F與聯(lián)調(diào)的JAOD-Faster R-CNN性能接近，這說明簡單的級聯(lián)結(jié)構(gòu)并不優(yōu)于合成數(shù)據(jù)集直接訓練方法。最近的DSNet[58]證明了目標檢測可以受益于與圖像恢復之間的聯(lián)合學習，并以未做任何改動RetinaNet、恢復+檢測以及恢復聯(lián)合目標檢測的DSNet三類方法在合成霧天圖像數(shù)據(jù)集（FOD）和真實霧天圖像數(shù)據(jù)集（Foggy Driving）上分別進行了實驗，可以發(fā)現(xiàn)表中所示的3 種恢復+檢測的方法在Foggy Driving上的表現(xiàn)甚至不如未對霧天圖像進行任何恢復處理的RetinaNet，相比于去霧前，mAP 下降了2～6 個百分點，也印證了經(jīng)過恢復的圖像不一定是有利于目標檢測任務的觀點，同時這種恢復+檢測簡單級聯(lián)的方法在單幅圖像的處理時間上大幅增加。DSNet 在與RetinaNet 時間成本相當?shù)那闆r下，mAP提升了約6個百分點。由此可見將圖像恢復與目標檢測任務進行聯(lián)合學習的優(yōu)越性，也說明了DSNet 的輕量級與較高的準確率。此外，應當注意的是，上述三類方法在真實霧天圖像數(shù)據(jù)集（Foggy Driving）上的mAP相比于合成霧天圖像數(shù)據(jù)集都有所下降，原因是由于此訓練集為合成數(shù)據(jù)，沒有對真實圖像進行利用，這種合成圖像與真實圖像在目標檢測準確率上的所表現(xiàn)出的偏差，暴露了在合成數(shù)據(jù)集上訓練的模型應用在現(xiàn)實環(huán)境中會出現(xiàn)性能下降的問題，同時構(gòu)建大規(guī)模數(shù)據(jù)集的成本壓力也成為了這類方法的一大瓶頸。

表2 基于圖像恢復的目標檢測方法的實驗結(jié)果Table 2 Experimental results of image restoration and joint object detection

3 基于遷移學習的目標檢測

在許多實際應用中，重新收集所需要的數(shù)據(jù)集需要較高人工成本甚至是不現(xiàn)實的。這種情況下，在任務域之間進行遷移學習是可取的。遷移學習[66-67]在分類、回歸和聚類等任務中都已經(jīng)取得了顯著的成功。從目標檢測出發(fā)，通過遷移學習的方式提高特征的適用性是目前特殊天氣條件下目標檢測任務的主流研究思路。

特殊天氣下圖像特征會發(fā)生域偏移（domain shift），這種偏移會導致目標檢測性能的顯著下降[68]。域偏移目標檢測的常用方法主要有兩個方向：（1）訓練有監(jiān)督的模型，然后對目標域進行微調(diào)；（2）無監(jiān)督跨域表示學習。前者需要重新構(gòu)建數(shù)據(jù)集，這一點已經(jīng)在前文中進行了敘述，而后者目前主要流行的是領(lǐng)域自適應（domain adaptive，DA）[69-70]的方法，是一種模型適應新的領(lǐng)域而不需要重新訓練的技術(shù)，近年來受到越來越多的關(guān)注。它通常被認為是解決缺乏特定領(lǐng)域的訓練數(shù)據(jù)集的一種有效方法。但這類方法仍然存在一些挑戰(zhàn)：第一是源/目標域的特征對齊機制還有待進一步研究；第二是源域和目標域數(shù)據(jù)的特征空間差異較大時難以遷移。源域的特征空間和目標域的特征空間存在一定的相關(guān)性，特征對齊機制就是研究某種特征變換以獲得域不變特征。Chen 等人[71]基于H-divergence 理論從圖像級和實例級兩個方面來處理域偏移，并使用正則化損失以幫助網(wǎng)絡(luò)更好地學習領(lǐng)域不變特征。這也是第一篇解決目標檢測領(lǐng)域自適應問題的工作，獲得了突破性的實驗結(jié)果。該方法將晴天圖像作為源域而將霧霾圖像作為目標域，二者通過特征對齊模塊實現(xiàn)了域遷移。此外，在一些場景中，如在大霧天氣中駕駛，域偏移會隨著物體尺度的變化而變化。霧通常使遠處的物體比近處的物體更模糊。因此，在所有尺度上執(zhí)行一致的特征對齊效果不佳，需要對不同尺度的目標在兩個域之間分別進行對齊。于是Chen等人[72]又將尺度問題納入考量，將FPN嵌入到目標檢測網(wǎng)絡(luò)當中，形成了SA-DA-Faster。He等人[73]提出了多重對抗Faster R-CNN（MAF）框架用于域偏移目標檢測，該框架主要通過層次域的特征對齊模塊和聚合候選特征對齊模塊來實現(xiàn)領(lǐng)域自適應。Zhu等人[74]認為對局部區(qū)域的關(guān)注才是目標檢測成功的關(guān)鍵，提出了由“區(qū)域挖掘”和“區(qū)域級對齊”兩個關(guān)鍵組件組成的框架，但是在該方法中區(qū)域分類器的損失梯度僅傳播到骨干網(wǎng)絡(luò)中，而沒有對RPN 進行自適應。Saito等人[75]提出一種基于強局部對準和弱全局對準的自適應檢測模型用于目標檢測，但它僅在骨干網(wǎng)絡(luò)較低層和最后一層進行特征對齊。在文獻[76]中，認為僅僅調(diào)整和適應主干網(wǎng)絡(luò)的全局特征是遠遠不夠的，進一步研究了RPN 模塊的可移植性。Xie 等人[77]受[75]的啟發(fā)，提出了一種多級領(lǐng)域自適應Faster R-CNN，使用不同的域分類器來監(jiān)督多尺度的特征對齊，同時增加領(lǐng)域分類器的數(shù)量來提高模型的識別能力，優(yōu)化了整體對抗訓練。Pan等人[78]提出了一種具有魯棒性的多尺度對抗學習方法用于跨域目標檢測，該方法主要通過多重擴張卷積核減小圖像級域差異，并剔除可轉(zhuǎn)移性較低的圖像和實例來減弱負遷移的影響。有些學者認為相關(guān)局部區(qū)域的上下文信息對提高模型的整體性能有很大的幫助。文獻[79]在文獻[75]的基礎(chǔ)上提出了一種基于不同尺度的層次上下文向量并結(jié)合目標檢測的信息，形成無監(jiān)督領(lǐng)域自適應目標檢測方法。該方法利用多重互補損失函數(shù)進行優(yōu)化，并提出梯度分離訓練以學習更有針對性的特征表示。Cai等人[80]從區(qū)域?qū)用婧蛨D結(jié)構(gòu)一致性的角度出發(fā)，利用mean teacher[81]在目標檢測背景下通過一致性正則化來彌合領(lǐng)域差距，以Faster R-CNN為主干，通過將對象關(guān)系集成到一致性代價的度量中，對mean teacher 進行了全新的重構(gòu)用于跨域目標檢測。但是文獻[80]并沒有解決mean teacher 的內(nèi)在模型偏差，Deng等人[82]提出了一種無偏mean teacher（UMT）方法，使用CycleGAN 轉(zhuǎn)換的源類目標圖像作為teacher 模型的輸入，原始目標圖像作為student模型的輸入來減少模型偏差的影響，采用非分布估計策略選擇最適合當前模型的樣本。此外，由于所使用的特定領(lǐng)域自適應方法在很大程度上受到底層目標檢測方法架構(gòu)的影響。針對Faster R-CNN 目標檢測及其變體的領(lǐng)域自適應已經(jīng)進行了相當廣泛的研究，但是Faster R-CNN 作為兩階段目標檢測方法，存在推理時間過長的問題。因此，對于自動駕駛等對時間要求苛刻的實時應用來說，它可能不是最佳選擇。于是Hnewa 等人[83]提出了多尺度域自適應YOLO（MS-DAYOLO）算法，該算法支持YOLOv4 骨干網(wǎng)在特征提取階段的不同層次上進行領(lǐng)域自適應，使它們對不同尺度的領(lǐng)域遷移具有魯棒性。Wang等人[84]從CNN 模型如何獲得可轉(zhuǎn)移性的視角出發(fā)，將權(quán)值的方向和梯度分為領(lǐng)域特定部分和領(lǐng)域不變部分，領(lǐng)域自適應的目標是在消除領(lǐng)域特定方向的干擾的同時集中于領(lǐng)域不變方向。針對目標檢測設(shè)計的帶噪聲標簽的學習方法很少。Khodabandeh等人[85]將目標檢測問題簡化為圖像分類的方法，將整個學習過程分為三步：利用源域中的標記數(shù)據(jù)訓練模型，并用該模型在目標域數(shù)據(jù)上生成帶噪聲的標簽，使用分類模塊對標簽進行細化，最后利用源域數(shù)據(jù)與帶噪聲標簽的目標域數(shù)據(jù)再訓練模型，從而提高其魯棒性。

以上方法采用領(lǐng)域自適應原則，側(cè)重于對源域與目標域之間分布的特征進行對齊，而基于天氣的圖像恢復過程中可能獲得的潛在信息往往被忽略。為了解決上述局限性，在文獻[86]中，將特殊天氣的先驗知識納入考量，提出了一個無監(jiān)督的基于先驗的域?qū)鼓繕藱z測框架，利用圖像成像原理獲取特殊天氣的先驗知識來定義一種新的先驗對抗損失函數(shù)，從而減輕天氣對檢測性能的影響。Liu等人[87]提出了一種名為IA-YOLO圖像自適應目標檢測方法，設(shè)計了一個可微分圖像處理模塊（DIP），該模塊的超參數(shù)由一個基于輕量CNN的參數(shù)預測器（CNN-PP）自適應學習。CNN-PP根據(jù)輸入圖像的亮度、顏色、色調(diào)和特定天氣信息自適應預測DIP 的超參數(shù)。圖像經(jīng)過DIP模塊處理后，可以抑制天氣信息對圖像的干擾，同時恢復潛在信息，最終得到了一種端到端學習DIP、CNN-PP 和YOLOv3 骨干檢測網(wǎng)絡(luò)的聯(lián)合優(yōu)化方案。將圖像恢復與單步領(lǐng)域自適應相結(jié)合的方法為特殊天氣條件下的目標檢測提供了一種新的思路。

上述方法在源域和目標域直接相關(guān)時，可以較好地完成知識轉(zhuǎn)移。但當兩個域之間差異性較大時，難以單純從特征層面進行遷移。近些年來，許多學者提出需要一個或多個中間域?qū)⒉町愝^大的源域和目標域橋接起來，用于解決二者特征空間差異較大的問題。Kim 等人[88]從源域產(chǎn)生各種不同的移動域，并通過學習多領(lǐng)域不變表示來提高領(lǐng)域之間的特征不可區(qū)分性。Shan 等人[89]提出了一種基于像素和特征級的領(lǐng)域自適應目標檢測方法。該方法首先采用基于CycleGAN 的像素級領(lǐng)域自適應，然后采用基于Faster R-CNN 的特征級領(lǐng)域自適應方法。這種多步領(lǐng)域自適應的方法在Foggy Cityscapes數(shù)據(jù)集上相比于單步的方法[71]的結(jié)果提高了約1 個百分點，同時還進行了雨天場景的目標檢測，在數(shù)據(jù)集VKITTI-Rainy 上，平均精確度達到52.2%。Hsu等人[90]提出了一種漸進領(lǐng)域自適應目標檢測方法。通過合成圖像的方法將源圖像轉(zhuǎn)換成與目標圖像相似的圖像，構(gòu)造了一個中間域。為了保證中間域與目標域的相似性，采用生成對抗網(wǎng)絡(luò)的方法使得中間域生成的圖像與目標域的圖像概率分布接近。Chen 等人[91]利用CycleGAN實現(xiàn)加權(quán)插值后的圖像級特征增強全局可分辨性，并通過上下文信息來增強局部識別能力。Soviany等人[92]首先將CycleGAN從源域轉(zhuǎn)換到目標域的圖像加入到訓練集中。其次，采用課程自主學習的方法，利用帶偽標簽的真實目標圖像進一步適應目標檢測模型。當兩個領(lǐng)域的差異性較大時，這類利用生成對抗網(wǎng)絡(luò)對齊源域和目標域圖像分布的多步領(lǐng)域自適應的方法往往比單步的方法更加有效。在無監(jiān)督領(lǐng)域自適應的假設(shè)中，帶標簽的源域數(shù)據(jù)和不帶標簽的目標域數(shù)據(jù)都是可供使用的，并且通常將它們一起訓練以減少域間的差異。無源數(shù)據(jù)領(lǐng)域自適應方法在分類任務中已經(jīng)有了一些應用[93-94]，受此啟發(fā)，Li等人[95]首次提出了一個無源數(shù)據(jù)領(lǐng)域自適應目標檢測（SFOD）框架。并提出了自熵下降法來尋找合適的置信度閾值從而尋找可靠的偽標簽用于優(yōu)化模型。

把本章所提到的10種領(lǐng)域自適應的目標檢測方法及其性能效果列于表3。表中“性能效果”一列：Dataset A→Dataset B 表示A 為源域，B 為目標域；括號內(nèi)為未采用領(lǐng)域自適應方法的基礎(chǔ)檢測框架的檢測性能；表格最右側(cè)3列數(shù)據(jù)分別為該算法在該數(shù)據(jù)集上AP表現(xiàn)最差的類別、表現(xiàn)最好的類別以及所有類別的AP均值；表格的最后一行，將Sindagi等[86]的方法與基于恢復的方法進行了對比。從表3中可以看出，上述方法大多以目標檢測框架Faster R-CNN 為主，對單階段目標檢測方法如YOLO、SSD等方法的研究較少。同時從源域數(shù)據(jù)集Cityscapes 遷移到目標域數(shù)據(jù)集Foggy Cityscapes 是研究此類問題較為流行的一種方式。通過表3 來比較不同方法在從Cityscapes 到Foggy Cityscapes 的域遷移上所表現(xiàn)的性能。從表中數(shù)據(jù)來看，不論是該算法AP 表現(xiàn)最差的類別，還是AP 表現(xiàn)最好的類別以及所有類別的均值A(chǔ)P，基于領(lǐng)域自適應的目標檢測方法在檢測性能上相比于原始檢測方法來說都有較大幅度的提升。在Cityscapes→Foggy Cityscapes的遷移中，上述實驗主要采用8個帶有實例級注釋的類別進行實驗，用二者的訓練集共同訓練，用Foggy Cityscapes 的驗證集進行測試。從收集到的文獻中發(fā)現(xiàn)，檢測效果較好的目標大多是樣本較多或者目標尺度較大，例如car 類別。其中文獻[86]作為這其中較為重要方法在霧天、雨天、雪天3種天氣條件下進行了目標檢測任務。基于遷移學習的方法比恢復+檢測這種簡單級聯(lián)的方法有較大優(yōu)勢。例如，在Cityscapes→Foggy Cityscapes 的遷移中，僅使用源域數(shù)據(jù)訓練得到的Faster R-CNN 其mAP 為24.4%。將DCPDN[96]和Grid-Dehaze[97]去霧網(wǎng)絡(luò)作為預處理步驟時mAP 分別提升至26.4%、29.2%，提升幅度較小，而使用基于先驗的域自適應方法時獲得mAP為39.3%，檢測精度得到了大幅增長。

表3 基于領(lǐng)域自適應的目標檢測方法的實驗結(jié)果Table 3 Experimental results of object detection based on domain adaptation

這類遷移學習的方法的優(yōu)點是可以讓未標注的目標域圖像參與到模型的訓練過程中。由此，可以利用到真實圖像的有效信息，減小數(shù)據(jù)集的標注壓力，且這種方法能夠?qū)δ繕擞虻奶卣鬟M行有效的學習并取得較好的檢測性能，從而成為目前用于解決特殊天氣下的檢測問題的主流方法。但從實驗結(jié)果分析來看，實驗結(jié)果距離清晰圖像上的檢測結(jié)果仍然有較大差距。例如，現(xiàn)有的目標檢測方法在PASCAL VOC 2007 數(shù)據(jù)集上的mAP最高能夠達到90%左右，而在一些特殊天氣的目標檢測數(shù)據(jù)集上檢測結(jié)果不足60%。這類方法仍然具有較大的提升空間。

4 結(jié)束語

本文對特殊天氣條件下的目標檢測方法從數(shù)據(jù)集的構(gòu)建、基于圖像恢復和基于遷移學習三個方面進行了綜述。從調(diào)研的文獻來看，現(xiàn)有的特殊天氣數(shù)據(jù)集主要以合成霧天為主，而在這其中能夠直接用于目標檢測任務的較少。基于圖像恢復的方法很多，但是與目標檢測任務相結(jié)合的較少。遷移學習作為該類問題的主流方法已經(jīng)取得了不錯的進展，但是檢測性能仍然有大幅的提升空間，目標檢測任務在特殊天氣條件下仍然面臨許多困難和挑戰(zhàn)。本文對下一步待解決的問題與研究方向進行了總結(jié)：

（1）缺乏數(shù)據(jù)集。基于深度學習的目標檢測方法十分依賴于數(shù)據(jù)集，由于特殊天氣下真實圖像數(shù)據(jù)難以標注，因此大多數(shù)研究都是在合成數(shù)據(jù)集上進行的。目前雪天和沙塵天的數(shù)據(jù)集比較匱乏，希望未來能夠用于目標檢測任務的特殊天氣數(shù)據(jù)集覆蓋領(lǐng)域更加的全面。在將要開展的研究中，期望首先在已有的在晴朗天氣條件下采集而來的目標檢測的數(shù)據(jù)集中挑選合適的圖像獲取深度信息，再根據(jù)物理成像模型將仿真的特殊天氣合成到圖像中。最后以數(shù)據(jù)模型驅(qū)動的方式，使得之前的合成圖像更加接近于真實特殊天氣圖像[38]。

（2）將圖像恢復與目標檢測任務相結(jié)合往往具有較好的效果，但這兩個任務往往是獨立的。雖然統(tǒng)一的端到端的多任務框架能夠有效提升效果，但目前端到端的方法只能在合成數(shù)據(jù)集上進行[61]，缺乏對真實情況的考慮。與此同時，發(fā)現(xiàn)遷移學習應用于跨域目標檢測問題時[79，86]，其檢測性能是能夠有較大幅度的提升的。因此將圖像恢復嵌入到基于遷移學習的目標檢測框架之中，可能是未來研究熱點[87]。

（3）由于現(xiàn)實中的特殊天氣復雜多變，有限的數(shù)據(jù)集難以覆蓋所有天氣情況，而領(lǐng)域自適應方法只研究對特定的目標域進行特征空間對齊。與領(lǐng)域自適應方法不同，領(lǐng)域泛化[98]重點強調(diào)對任意未知的目標域的學習能力。在未來，領(lǐng)域泛化的思想或許能夠?qū)碗s多變特殊天氣下的目標檢測問題提供一個好的研究思路。