特殊天氣條件下的目標檢測方法綜述

林 猛，周 剛，楊亞偉，石 軍

新疆大學 信息科學與工程學院 信號檢測與處理重點實驗室，烏魯木齊 830046

目標檢測是一項重要的計算機視覺任務，主要任務是正確檢測圖像中目標對象的存在并準確定位。作為計算機視覺中最具挑戰的問題之一，目標檢測能夠為圖像的語義理解提供有價值的信息，并且與許多應用相關，一直受到極大的關注。目標檢測涵蓋不同的應用目標，例如行人檢測[1]、人臉檢測[2]、文本檢測[3]等。目標檢測的目的是開發高效的計算模型和技術，同時它也是許多其他高級計算機視覺任務的基礎，比如實例分割[4]、語義分割[5]、目標跟蹤[6]等。

早期，基于手工特征構建的目標檢測方法在21 世紀初陷入瓶頸。隨著2012 年AlexNet[7]的誕生，基于深度學習的目標檢測時代便由此揭開序幕。以卷積神經網絡為代表的深度學習方法能夠學習更高級、更深層次的特征。在深度學習時代，目標檢測方法可以分為兩種：兩階段目標檢測方法和單階段目標檢測方法。前者先由算法生成一系列的錨框，再通過卷積神經網絡進行分類和定位，這類方法以R-CNN系列[8]和FPN[9]為代表。而后者則直接通過主干網絡回歸物體的類別概率和位置坐標，其中以YOLO 系列[10]、SSD 系列[11]和Retina-Net[12]是為典型。

隨著基于深度學習的目標檢測方法的發展，有很多學者對此進行了總結和分析。Zou等人[13]對目標檢測近二十年的技術發展進行了詳細的概括。Agarwal 等人[14]、Zhao等人[15]、Liu等人[16]對基于深度學習的通用目標檢測框架進行了綜述。但這些綜述均未研究目標檢測框架在特殊天氣條件下的有效性。特殊天氣是相對一般晴朗天氣的，造成視程障礙現象：包括霧霾、沙塵、降雨和降雪等天氣情況。特殊天氣會造成圖像模糊、特征無法辨識等問題，會讓常規的目標檢測方法的檢測性能大幅下降，甚至失效。陳飛等人[17]對復雜環境下的交通標志檢測與識別方法進行了綜述。董天天等人[18]對復雜天氣條件下的交通場景多目標識別方法進行了綜述。然而目前針對特殊天氣條件下的一般目標檢測方法綜述相當缺乏，這也是本文撰寫的必要之處。本文將對特殊天氣條件下的目標檢測方法進行詳細的闡述和總結，主要內容結構如圖1所示，將特殊天氣條件下的目標檢測相關文獻分成三個部分進行分析：（1）數據集的構建，針對特殊天氣下目標檢測任務數據集的來源和制作方法進行總結歸納，按數據集的屬性分成真實數據集與合成數據集兩大類，并對合成數據集部分以合成方式展開為物理驅動和數據驅動。（2）基于圖像恢復的目標檢測，將這一大類方法分為恢復與檢測相獨立和恢復與檢測相統一兩部分，分析圖像恢復方法相關文獻并說明其與目標檢測任務之間的聯系。（3）基于遷移學習的目標檢測，以特征對齊機制的研究和多步域自適應兩部分展開，總結遷移學習在特殊天氣下目標檢測的應用，尤其是分析領域自適應方法在該問題上近些年的研究發展。最后對全文進行了總結，指出目前存在的問題并展望未來研究方向。

圖1 本文主要內容結構Fig.1 Main content structure of this paper

1 數據集的構建

目前在特殊天氣條件下的目標檢測研究面臨的主要難題之一是缺少面向特殊天氣的目標檢測數據集，這使得難以通過深度學習的方法來訓練模型。一般情況下很難構造出相同位置、相同光照條件下的同一個場景的清晰圖像和對應的特殊天氣圖像。同時在真實特殊天氣圖像中進行目標檢測標注，也將會耗費很大的人工成本。表1 總結了目前研究中常見的公開數據集[19-30]。這些特殊天氣數據集主要以霧天和雨天為主，雪天和沙塵的數據集較為缺乏。同時在這些數據集當中，具有目標標注信息的較少，這對特殊天氣條件下的目標檢測研究造成了很大的限制。針對數據集的構建問題，目前的研究主要采用兩種方法：真實數據標注和合成數據生成。真實數據標注是通過輔助算法和人工方式，對采集到的真實圖像進行標注。這類方法生成的數據集的清晰圖像和對應特殊天氣下的圖像均由人工方式在現實環境中獲取而來。Liu等人[19]通過固定攝像機在場景中的位置歷經一年的時間進行拍攝，再由人工選取清晰圖像和對應的4種不同濃度的霧天圖像，形成真實圖像數據集。Zhao 等人[20]對23 個城市進行圖像采集，并采用圖像配準和數據清洗獲取同一場景的無霧霾圖像和有霧霾圖像，最后人工標注圖像中的視覺目標和霧霾等級。盡管作者使用了圖像配準和數據清洗等方法來使得帶霧霾的圖像和不帶霧霾的圖像之間盡可能的配對，但是相機視角的細微調整、場景環境的變化、光照條件的不可控等因素都會導致其難以達到嚴格意義上的圖像配對。即便如此，它的存在對于本文的研究問題仍具有十分重要的參考價值。Wang等人[31]通過拍攝雨天的視頻獲取多幅同一場景的雨天圖像，并利用算法標注出每幅圖像的雨滴位置，最后用多幅圖像來估計出無雨的背景圖像。這類方法雖然能夠獲取較為真實的圖像數據，但是無法利用已有的數據集，而且需要大量的數據采集和人工標注成本。由于能見度較差，難以提供精確的人工標注，使得在特殊天氣下人工標注成本提高更為明顯。因此很多研究者致力于特殊天氣的合成算法研究，在已有標注信息的數據集上合成特殊天氣效果。針對特殊天氣的合成方法，大致可以分為兩類：基于物理模型驅動的方法和基于數據驅動的方法。

表1 常見的特殊天氣數據集Table 1 Common adverse weather datasets

基于物理模型驅動的方法，利用特殊天氣的成像特點，進行特殊天氣的合成。文獻[32]提出的光學散射模型已被廣泛用于合成霧圖像，也是雨合成的重要理論參考。該模型的經典描述如下：

其中I(x)為帶霧圖像，J(x)為清晰圖像，A為大氣光，t(x)為透射率。衰減系數β控制著霧的密度，β值越大，霧越密。d(x)為物體與相機之間的距離。通常在已有清晰圖像基礎上，估計出深度信息從而利用公式（2）計算出透射率，然后利用公式（1），調整不同的大氣光和衰減系數，獲得不同效果霧霾。雨雪等情況，則需要制作出雨線或雪花的蒙版，添加到清晰圖像上。

Tarel等人[21]用SiVICTM軟件構建了一個真實的復雜的城市模型來生成圖像，同時可得到清晰圖像的深度圖，利用光學散射模型[32]為圖像添加霧效果，通過設置不同的β和A合成了4種不同類型的霧天圖像，從而得到去霧領域的第一個小型合成數據集。該數據集用于評估自動駕駛系統在各種霧天環境中的性能，后續又用類似的方法得到了擴充版本的合成數據集[22]。但該數據集的樣本圖像分辨率很低，真實感較差，同時數據集規模較小，難以進行深度學習模型的訓練。Ancuti 等人[23]通過傳感器設備采集圖像的深度信息，然后利用文獻[32]提出的光學散射模型在不同的深度下改變透射率來實現霧效果。此外，還通過專業霧霾機生成霧霾的方式為清晰場景制造霧霾效果，再通過相機拍攝的方式分別制作了室內圖像[24]和室外圖像[25]的兩個用于評估去霧算法的數據集。Li 等人[26]同樣基于物理模型驅動的方法，通過卷積神經網絡的方法來估計真實圖像的深度，將式（1）和（2）中的大氣光系數A和衰減系數β賦予不同的數值來合成帶霧圖像，并對4 322 幅真實帶霧圖像進行了標注。Cityscapes[33]能夠充分反映真實晴天下的復雜城市交通場景，但缺乏相應的特殊天氣場景。在文獻[28]中，對計算得來的原始深度圖進行去噪和補全后使用光學散射模型進行霧合成并將其添加到Cityscapes 數據集的圖像中，從而建立了名為“Foggy Cityscapes”的數據集。其中有550張精煉的高質量合成霧圖像帶有精細語義標注，可以直接利用其進行目標檢測的監督訓練，并通過半監督學習方法將這550張圖像擴充為20 000 張沒有精細標注的合成霧圖像。但是該合成數據集受到原有數據集標注信息的限制，同時還需要獲取真實場景的完整深度信息，這本身就是一個非常具有挑戰性的問題。后續使用與文獻[28]中相同的基于物理模型的霧渲染方法，對合成數據集Synscapes[34]中的圖像進行霧渲染，得到了名為“Foggy Synscapes”的純合成數據集[27]，并且證明混合使用純合成數據和真實數據比單獨使用它們的效果更好。Garg 等人[35]分析雨滴成像的物理模型，認為雨滴會造成圖像亮度增加并具有運動模糊的現象，由此構建出適用于單幅圖像和視頻的雨線成像數據集。Hu等人[30]分析了不同場景深度下的雨的視覺效果，發現雨滴在近景位置呈現出雨線效果，而在遠景位置呈現出霧效果，認為雨天圖像由雨線和霧共同構成，由此構建了雨成像模型，生成了名為“Rain Cityscapes”的合成雨數據集。類似的還有Ren等人[36]利用紐約大學深度數據集[37]中的圖像和對應的深度信息來計算透射率從而得到相應的帶霧圖像。Liu等人[29]認為雪天圖像是由雪花前景和無雪圖像組合而成，并通過PhotoShop 軟件制作了5.8×103的基礎蒙版來模擬飄落的雪的顆粒大小的變化。每個基底掩模由小、中、大顆粒之一組成。同時，每個基模中的雪粒子具有不同的密度、形狀、運動軌跡和透明度，從而增加了變化，最終構造了10萬張合成雪天圖像。Tremblay等人[38]提出了雨強度可控的物理框架，并用這個框架對現有的數據集[39]進行了雨合成，得到了高度逼真的雨渲染結果。與Tremblay 等人[38]的工作較為接近的是Halder 等人[40]提出的基于物理粒子模擬器[41]、場景照明估計和雨光度建模實現晴天圖像雨渲染。他們都利用合成數據集進行了特殊天氣下的目標檢測任務實驗，證明擴充后的數據集可顯著增加檢測性能。

基于物理模型驅動的方法，可以非常方便的通過調整物理模型參數來合成各種各樣的特殊天氣效果，同時也不需要任何訓練數據。但是他們通常把實際環境中復雜的成像原因抽象為簡化的物理模型，從而容易造成合成圖像與真實圖像的偏差。基于數據驅動的方法，往往利用真實圖像數據對圖像進行“風格轉換”，實現更為接近真實的效果。早期基于生成對抗網絡的風格轉換[42]由于需要成對的訓練數據，導致實用性大大降低。Huang 等人[43]提出一種生成對抗網絡用來合成圖像數據，采用同一場景下白天的圖像來生成夜晚的圖像，將譯碼、生成和判定三個部分整合在統一的網絡中。Zhai等人[44]提出將雨圖像合成和對抗性攻擊這兩種研究結合起來，并根據成像模型模擬雨條紋來合成真實感較強的雨水圖像，同時驗證了這種方法對目標檢測任務的有效性。Shao 等人[45]提出一種利用圖像深度信息將原有物理模型合成霧霾的圖像通過生成對抗網絡轉換成與真實霧霾圖像具備相同概率分布的合成霧圖像。Yasarla等人[46]提出一種基于高斯過程的半監督編碼-解碼網絡，通過無標注真實數據對已有的物理模型合成的雨圖像在特征層面進行生成，從而獲得更好的去雨效果。基于數據驅動的方法可以合成與真實圖像相近的概率分布的圖像，且這類方法通常借助生成對抗網絡來實現，能夠比較方便地嵌入到其他的網絡模型當中，同時可以緩解數據集的標注壓力，但這種方式不能控制各種物理成像條件，比如雨量的大小、霧的濃度等等。

2 基于圖像恢復的目標檢測

為了解決特殊天氣條件下對目標檢測問題，一種思路是從圖像恢復的角度出發，先對圖像進行恢復，再用常規的方法進行目標檢測。

目前針對特殊天氣的圖像恢復算法的研究，大多是通過成像模型來進行理論分析的。Li 等人[47]針對霧霾的光學散射模型進行了詳細分析，并總結近二十年的去霧算法與光學散射模型的關系。文獻[48-49]也對包括深度估計、小波、增強、濾波等在內的經典的去霧方法進行了詳細的總結。Gui等人[50]對基于深度學習的去霧算法進行了全面的總結。Wang等人[51]對視頻和單圖像去雨算法進行了歸納總結，認為雨滴成像的物理特性是構建絕大多數去雨算法的基礎。然而基于成像模型的圖像恢復算法，需要計算的參數多，屬于一種病態問題。針對這個難點，目前研究方法基本可以分為兩大類：模型驅動方法和數據驅動方法。模型驅動方法需要對成像模型中的參數進行先驗假設，然后對圖像進行恢復。He等人[52]提出了一種暗通道先驗，基于此先驗知識，粗略估計透射率，再根據引導濾波[53]進行優化并估計大氣光系數，最終獲得去霧圖像。Peng等人[54]提出一種基于改進的光學散射模型去沙塵算法，首先對環境光進行白光校正，其次用一種光學濾波器濾除非噪聲的區域，最后利用最大值通道和最小值通道的差值作為先驗信息來估計透射率。數據驅動方法是通過數據集訓練的方式來估計合適的參數。Yang 等人[55]提出了一種基于先驗學習的圖像去霧深度網絡，它結合了傳統去霧方法和基于深度學習方法的優點。Yang 等人[56]對近十年來從模型驅動到數據驅動的去雨方法進行了全面的綜述，并通過比較各類去雨方法的實驗結果來表明數據驅動的方法通常比模型驅動的方法性能更好。

在對特殊天氣圖像恢復的基礎上，進行后續的目標檢測算法，可以實現系統性的應用。Li等人[57]提出基于光學散射模型的AOD-Net 用來去霧，并與目標檢測網絡結合形成端到端的訓練，在合成濃霧條件下目標檢測平均精確率提高了12%，同時這也是第一個端到端可訓練的去霧目標檢測模型。Huang等人[58]利用兩個子網來共同學習可視性增強和目標檢測，并通過共享特征提取層來減少圖像退化的影響，最終提出了一個聯合學習可見性增強、目標分類和目標定位的用于霧天目標檢測的多任務網絡（DSNet）。Li 等人[59]提出一種輕量級的去霧網絡PDR-Net，并結合經典的目標檢測網絡Faster R-CNN[60]，平均精確率提高了約2%。Zhang等人[61]提出了一種條件生成對抗網絡（ID-CGAN）來進行去雨，與去雨前圖像的目標檢測相比，這種去雨方法能夠使得目標檢測的平均精確率提高30%。Fu 等人[62]將經典的高斯拉普拉斯金字塔技術與CNN相結合提出了一種輕量金字塔網絡（LPNet）用來去雨，并利用LPNet+Faster R-CNN 的方式，實驗證明了LPNet 對目標檢測這種高級視覺任務的潛在價值。Fan 等人[63]提出了一種Res GuideNet的單幅圖像去雨方法，并驗證了這種圖像恢復方法對后續目標檢測任務的有效性。Jiang 等人[64]提出了一種多尺度漸進式融合網絡（MSPFN）來利用雨條紋跨尺度的相關信息進行單幅圖像去雨，MSPFN 生成的去雨圖像的檢測精度比原始雨圖像的檢測精度提高了近10%。圖像去退化（去雨、去霧、去雪等）往往作為目標檢測的預處理步驟，并用目標檢測任務來評價去退化效果[65]。

將部分恢復結合檢測方法的實驗數據列于表2中。首先，圖像恢復對于目標檢測任務肯定是有益的，列于表二中的幾種方法在圖像恢復性能指標上均有不錯的表現，它們在各自數據集上進行圖像恢復過后，目標檢測性能均有不同幅度的提升。尤其ID-CGAN[61]在基于PASCAL VOC 2007的合成的雨圖像數據集上，先進行圖像恢復再進行目標檢測的平均精確度相比于直接進行目標檢測的平均精確度提升高達78%。其中PDR-Net[59]、ID-CGAN[61]、MSPFN[64]先將圖像進行恢復，再聯合目標檢測方法，即去退化網絡與目標檢測網絡單獨進行訓練。但這種對退化圖像進行預處理的方法通常涉及復雜的網絡，需要在像素級監督下單獨訓練。這種方法在處理過程中能夠獲得圖像恢復指標較高的圖像，圖像恢復的評價指標通常以PSNR與SSIM為主，但這兩項指標的數值與圖像的真實感程度并非是相關的，經過恢復的圖像不一定是有利于目標檢測任務的[26]。圖像恢復過程中也會引入各種失真，從而導致域偏移[28]，以至于難以獲得較好的目標檢測性能。同時，這種預處理也會占用更多的算力，對實際應用造成困難。同時從表2 可以看出在處理霧天條件的目標檢測任務時，聯調（JAOD-Faster R-CNN）的方法相比于單獨訓練的AOD-Net+F的方法在檢測性能上有大幅提升。而經過微調的Retrained F與聯調的JAOD-Faster R-CNN性能接近，這說明簡單的級聯結構并不優于合成數據集直接訓練方法。最近的DSNet[58]證明了目標檢測可以受益于與圖像恢復之間的聯合學習，并以未做任何改動RetinaNet、恢復+檢測以及恢復聯合目標檢測的DSNet三類方法在合成霧天圖像數據集（FOD）和真實霧天圖像數據集（Foggy Driving）上分別進行了實驗，可以發現表中所示的3 種恢復+檢測的方法在Foggy Driving上的表現甚至不如未對霧天圖像進行任何恢復處理的RetinaNet，相比于去霧前，mAP 下降了2～6 個百分點，也印證了經過恢復的圖像不一定是有利于目標檢測任務的觀點，同時這種恢復+檢測簡單級聯的方法在單幅圖像的處理時間上大幅增加。DSNet 在與RetinaNet 時間成本相當的情況下，mAP提升了約6個百分點。由此可見將圖像恢復與目標檢測任務進行聯合學習的優越性，也說明了DSNet 的輕量級與較高的準確率。此外，應當注意的是，上述三類方法在真實霧天圖像數據集（Foggy Driving）上的mAP相比于合成霧天圖像數據集都有所下降，原因是由于此訓練集為合成數據，沒有對真實圖像進行利用，這種合成圖像與真實圖像在目標檢測準確率上的所表現出的偏差，暴露了在合成數據集上訓練的模型應用在現實環境中會出現性能下降的問題，同時構建大規模數據集的成本壓力也成為了這類方法的一大瓶頸。

表2 基于圖像恢復的目標檢測方法的實驗結果Table 2 Experimental results of image restoration and joint object detection

3 基于遷移學習的目標檢測

在許多實際應用中，重新收集所需要的數據集需要較高人工成本甚至是不現實的。這種情況下，在任務域之間進行遷移學習是可取的。遷移學習[66-67]在分類、回歸和聚類等任務中都已經取得了顯著的成功。從目標檢測出發，通過遷移學習的方式提高特征的適用性是目前特殊天氣條件下目標檢測任務的主流研究思路。

特殊天氣下圖像特征會發生域偏移（domain shift），這種偏移會導致目標檢測性能的顯著下降[68]。域偏移目標檢測的常用方法主要有兩個方向：（1）訓練有監督的模型，然后對目標域進行微調；（2）無監督跨域表示學習。前者需要重新構建數據集，這一點已經在前文中進行了敘述，而后者目前主要流行的是領域自適應（domain adaptive，DA）[69-70]的方法，是一種模型適應新的領域而不需要重新訓練的技術，近年來受到越來越多的關注。它通常被認為是解決缺乏特定領域的訓練數據集的一種有效方法。但這類方法仍然存在一些挑戰：第一是源/目標域的特征對齊機制還有待進一步研究；第二是源域和目標域數據的特征空間差異較大時難以遷移。源域的特征空間和目標域的特征空間存在一定的相關性，特征對齊機制就是研究某種特征變換以獲得域不變特征。Chen 等人[71]基于H-divergence 理論從圖像級和實例級兩個方面來處理域偏移，并使用正則化損失以幫助網絡更好地學習領域不變特征。這也是第一篇解決目標檢測領域自適應問題的工作，獲得了突破性的實驗結果。該方法將晴天圖像作為源域而將霧霾圖像作為目標域，二者通過特征對齊模塊實現了域遷移。此外，在一些場景中，如在大霧天氣中駕駛，域偏移會隨著物體尺度的變化而變化。霧通常使遠處的物體比近處的物體更模糊。因此，在所有尺度上執行一致的特征對齊效果不佳，需要對不同尺度的目標在兩個域之間分別進行對齊。于是Chen等人[72]又將尺度問題納入考量，將FPN嵌入到目標檢測網絡當中，形成了SA-DA-Faster。He等人[73]提出了多重對抗Faster R-CNN（MAF）框架用于域偏移目標檢測，該框架主要通過層次域的特征對齊模塊和聚合候選特征對齊模塊來實現領域自適應。Zhu等人[74]認為對局部區域的關注才是目標檢測成功的關鍵，提出了由“區域挖掘”和“區域級對齊”兩個關鍵組件組成的框架，但是在該方法中區域分類器的損失梯度僅傳播到骨干網絡中，而沒有對RPN 進行自適應。Saito等人[75]提出一種基于強局部對準和弱全局對準的自適應檢測模型用于目標檢測，但它僅在骨干網絡較低層和最后一層進行特征對齊。在文獻[76]中，認為僅僅調整和適應主干網絡的全局特征是遠遠不夠的，進一步研究了RPN 模塊的可移植性。Xie 等人[77]受[75]的啟發，提出了一種多級領域自適應Faster R-CNN，使用不同的域分類器來監督多尺度的特征對齊，同時增加領域分類器的數量來提高模型的識別能力，優化了整體對抗訓練。Pan等人[78]提出了一種具有魯棒性的多尺度對抗學習方法用于跨域目標檢測，該方法主要通過多重擴張卷積核減小圖像級域差異，并剔除可轉移性較低的圖像和實例來減弱負遷移的影響。有些學者認為相關局部區域的上下文信息對提高模型的整體性能有很大的幫助。文獻[79]在文獻[75]的基礎上提出了一種基于不同尺度的層次上下文向量并結合目標檢測的信息，形成無監督領域自適應目標檢測方法。該方法利用多重互補損失函數進行優化，并提出梯度分離訓練以學習更有針對性的特征表示。Cai等人[80]從區域層面和圖結構一致性的角度出發，利用mean teacher[81]在目標檢測背景下通過一致性正則化來彌合領域差距，以Faster R-CNN為主干，通過將對象關系集成到一致性代價的度量中，對mean teacher 進行了全新的重構用于跨域目標檢測。但是文獻[80]并沒有解決mean teacher 的內在模型偏差，Deng等人[82]提出了一種無偏mean teacher（UMT）方法，使用CycleGAN 轉換的源類目標圖像作為teacher 模型的輸入，原始目標圖像作為student模型的輸入來減少模型偏差的影響，采用非分布估計策略選擇最適合當前模型的樣本。此外，由于所使用的特定領域自適應方法在很大程度上受到底層目標檢測方法架構的影響。針對Faster R-CNN 目標檢測及其變體的領域自適應已經進行了相當廣泛的研究，但是Faster R-CNN 作為兩階段目標檢測方法，存在推理時間過長的問題。因此，對于自動駕駛等對時間要求苛刻的實時應用來說，它可能不是最佳選擇。于是Hnewa 等人[83]提出了多尺度域自適應YOLO（MS-DAYOLO）算法，該算法支持YOLOv4 骨干網在特征提取階段的不同層次上進行領域自適應，使它們對不同尺度的領域遷移具有魯棒性。Wang等人[84]從CNN 模型如何獲得可轉移性的視角出發，將權值的方向和梯度分為領域特定部分和領域不變部分，領域自適應的目標是在消除領域特定方向的干擾的同時集中于領域不變方向。針對目標檢測設計的帶噪聲標簽的學習方法很少。Khodabandeh等人[85]將目標檢測問題簡化為圖像分類的方法，將整個學習過程分為三步：利用源域中的標記數據訓練模型，并用該模型在目標域數據上生成帶噪聲的標簽，使用分類模塊對標簽進行細化，最后利用源域數據與帶噪聲標簽的目標域數據再訓練模型，從而提高其魯棒性。

以上方法采用領域自適應原則，側重于對源域與目標域之間分布的特征進行對齊，而基于天氣的圖像恢復過程中可能獲得的潛在信息往往被忽略。為了解決上述局限性，在文獻[86]中，將特殊天氣的先驗知識納入考量，提出了一個無監督的基于先驗的域對抗目標檢測框架，利用圖像成像原理獲取特殊天氣的先驗知識來定義一種新的先驗對抗損失函數，從而減輕天氣對檢測性能的影響。Liu等人[87]提出了一種名為IA-YOLO圖像自適應目標檢測方法，設計了一個可微分圖像處理模塊（DIP），該模塊的超參數由一個基于輕量CNN的參數預測器（CNN-PP）自適應學習。CNN-PP根據輸入圖像的亮度、顏色、色調和特定天氣信息自適應預測DIP 的超參數。圖像經過DIP模塊處理后，可以抑制天氣信息對圖像的干擾，同時恢復潛在信息，最終得到了一種端到端學習DIP、CNN-PP 和YOLOv3 骨干檢測網絡的聯合優化方案。將圖像恢復與單步領域自適應相結合的方法為特殊天氣條件下的目標檢測提供了一種新的思路。

上述方法在源域和目標域直接相關時，可以較好地完成知識轉移。但當兩個域之間差異性較大時，難以單純從特征層面進行遷移。近些年來，許多學者提出需要一個或多個中間域將差異較大的源域和目標域橋接起來，用于解決二者特征空間差異較大的問題。Kim 等人[88]從源域產生各種不同的移動域，并通過學習多領域不變表示來提高領域之間的特征不可區分性。Shan 等人[89]提出了一種基于像素和特征級的領域自適應目標檢測方法。該方法首先采用基于CycleGAN 的像素級領域自適應，然后采用基于Faster R-CNN 的特征級領域自適應方法。這種多步領域自適應的方法在Foggy Cityscapes數據集上相比于單步的方法[71]的結果提高了約1 個百分點，同時還進行了雨天場景的目標檢測，在數據集VKITTI-Rainy 上，平均精確度達到52.2%。Hsu等人[90]提出了一種漸進領域自適應目標檢測方法。通過合成圖像的方法將源圖像轉換成與目標圖像相似的圖像，構造了一個中間域。為了保證中間域與目標域的相似性，采用生成對抗網絡的方法使得中間域生成的圖像與目標域的圖像概率分布接近。Chen 等人[91]利用CycleGAN實現加權插值后的圖像級特征增強全局可分辨性，并通過上下文信息來增強局部識別能力。Soviany等人[92]首先將CycleGAN從源域轉換到目標域的圖像加入到訓練集中。其次，采用課程自主學習的方法，利用帶偽標簽的真實目標圖像進一步適應目標檢測模型。當兩個領域的差異性較大時，這類利用生成對抗網絡對齊源域和目標域圖像分布的多步領域自適應的方法往往比單步的方法更加有效。在無監督領域自適應的假設中，帶標簽的源域數據和不帶標簽的目標域數據都是可供使用的，并且通常將它們一起訓練以減少域間的差異。無源數據領域自適應方法在分類任務中已經有了一些應用[93-94]，受此啟發，Li等人[95]首次提出了一個無源數據領域自適應目標檢測（SFOD）框架。并提出了自熵下降法來尋找合適的置信度閾值從而尋找可靠的偽標簽用于優化模型。

把本章所提到的10種領域自適應的目標檢測方法及其性能效果列于表3。表中“性能效果”一列：Dataset A→Dataset B 表示A 為源域，B 為目標域；括號內為未采用領域自適應方法的基礎檢測框架的檢測性能；表格最右側3列數據分別為該算法在該數據集上AP表現最差的類別、表現最好的類別以及所有類別的AP均值；表格的最后一行，將Sindagi等[86]的方法與基于恢復的方法進行了對比。從表3中可以看出，上述方法大多以目標檢測框架Faster R-CNN 為主，對單階段目標檢測方法如YOLO、SSD等方法的研究較少。同時從源域數據集Cityscapes 遷移到目標域數據集Foggy Cityscapes 是研究此類問題較為流行的一種方式。通過表3 來比較不同方法在從Cityscapes 到Foggy Cityscapes 的域遷移上所表現的性能。從表中數據來看，不論是該算法AP 表現最差的類別，還是AP 表現最好的類別以及所有類別的均值AP，基于領域自適應的目標檢測方法在檢測性能上相比于原始檢測方法來說都有較大幅度的提升。在Cityscapes→Foggy Cityscapes的遷移中，上述實驗主要采用8個帶有實例級注釋的類別進行實驗，用二者的訓練集共同訓練，用Foggy Cityscapes 的驗證集進行測試。從收集到的文獻中發現，檢測效果較好的目標大多是樣本較多或者目標尺度較大，例如car 類別。其中文獻[86]作為這其中較為重要方法在霧天、雨天、雪天3種天氣條件下進行了目標檢測任務。基于遷移學習的方法比恢復+檢測這種簡單級聯的方法有較大優勢。例如，在Cityscapes→Foggy Cityscapes 的遷移中，僅使用源域數據訓練得到的Faster R-CNN 其mAP 為24.4%。將DCPDN[96]和Grid-Dehaze[97]去霧網絡作為預處理步驟時mAP 分別提升至26.4%、29.2%，提升幅度較小，而使用基于先驗的域自適應方法時獲得mAP為39.3%，檢測精度得到了大幅增長。

表3 基于領域自適應的目標檢測方法的實驗結果Table 3 Experimental results of object detection based on domain adaptation

這類遷移學習的方法的優點是可以讓未標注的目標域圖像參與到模型的訓練過程中。由此，可以利用到真實圖像的有效信息，減小數據集的標注壓力，且這種方法能夠對目標域的特征進行有效的學習并取得較好的檢測性能，從而成為目前用于解決特殊天氣下的檢測問題的主流方法。但從實驗結果分析來看，實驗結果距離清晰圖像上的檢測結果仍然有較大差距。例如，現有的目標檢測方法在PASCAL VOC 2007 數據集上的mAP最高能夠達到90%左右，而在一些特殊天氣的目標檢測數據集上檢測結果不足60%。這類方法仍然具有較大的提升空間。

4 結束語

本文對特殊天氣條件下的目標檢測方法從數據集的構建、基于圖像恢復和基于遷移學習三個方面進行了綜述。從調研的文獻來看，現有的特殊天氣數據集主要以合成霧天為主，而在這其中能夠直接用于目標檢測任務的較少。基于圖像恢復的方法很多，但是與目標檢測任務相結合的較少。遷移學習作為該類問題的主流方法已經取得了不錯的進展，但是檢測性能仍然有大幅的提升空間，目標檢測任務在特殊天氣條件下仍然面臨許多困難和挑戰。本文對下一步待解決的問題與研究方向進行了總結：

（1）缺乏數據集。基于深度學習的目標檢測方法十分依賴于數據集，由于特殊天氣下真實圖像數據難以標注，因此大多數研究都是在合成數據集上進行的。目前雪天和沙塵天的數據集比較匱乏，希望未來能夠用于目標檢測任務的特殊天氣數據集覆蓋領域更加的全面。在將要開展的研究中，期望首先在已有的在晴朗天氣條件下采集而來的目標檢測的數據集中挑選合適的圖像獲取深度信息，再根據物理成像模型將仿真的特殊天氣合成到圖像中。最后以數據模型驅動的方式，使得之前的合成圖像更加接近于真實特殊天氣圖像[38]。

（2）將圖像恢復與目標檢測任務相結合往往具有較好的效果，但這兩個任務往往是獨立的。雖然統一的端到端的多任務框架能夠有效提升效果，但目前端到端的方法只能在合成數據集上進行[61]，缺乏對真實情況的考慮。與此同時，發現遷移學習應用于跨域目標檢測問題時[79，86]，其檢測性能是能夠有較大幅度的提升的。因此將圖像恢復嵌入到基于遷移學習的目標檢測框架之中，可能是未來研究熱點[87]。

（3）由于現實中的特殊天氣復雜多變，有限的數據集難以覆蓋所有天氣情況，而領域自適應方法只研究對特定的目標域進行特征空間對齊。與領域自適應方法不同，領域泛化[98]重點強調對任意未知的目標域的學習能力。在未來，領域泛化的思想或許能夠對復雜多變特殊天氣下的目標檢測問題提供一個好的研究思路。