基于深度學習的低信息量圖片物體檢測算法研究

王博

摘要：本文探討了物體檢測模型在一些領域的應用困難，比如基于熱像圖的物體檢測，基于x射線圖的物體檢測，由于這類圖像信息量低，傳統物體檢測模型難以應用。本文提出了一種統一化的解決方案，利用pix2pix模型將信息含量較低的圖片轉化為常規圖片，再利用SSD模型偵測圖像中的物體。通過實驗，驗證了算法的可行性。

Abstract： This paper discusses the application difficulties of object detection models in some fields， such as object detection based on thermal image， object detection based on x-ray image. Due to the low information volume of such images， traditional object detection models are difficult to apply. This paper proposes a unified solution that uses the pix2pix model to convert images with lower information content into regular images， and then uses SSD models to detect objects in the image. The feasibility of the algorithm is verified by experiments.

關鍵詞：深度學習;物體檢測;pix2pix;SSD

Key words： deep learning;object detection;pix2pix;SSD

中圖分類號：TP391.4? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1006-4311（2019）24-0256-04

1? 緒論

1.1 引言

現在圖像中的物體檢測技術在日常生活和一些專業領域中應用的非常廣泛，比如人臉識別系統，醫學圖像分析等。智能的物體檢測技術給人們的生活和工作帶來了非常大的便利。本文經過調查發現，還有許多場景有應用物體檢測技術的需求。比如，在進入車站或者機場時都要經過安檢。乘客的行李通過安檢儀，安檢儀用x射線掃描行李，x射線圖像在屏幕上顯示，安檢員通過屏幕觀察是否有違禁品。如果能有一種物體檢測技術自動的在x射線圖中標注出物體的話，那將大大提高安檢的效率。還有，在發生火災或者其他自然災害時，救援人員會用到紅外熱像儀去探測災變現場中的物體。與安檢的場景類似，只不過這里需要分析的圖像是熱像圖。

那么上面遇到的問題該怎么解決呢？通常的做法是這樣，以熱像圖為例，需要準備大量的熱像圖，并在上面標注出現的物體，然后用這些標注好的圖像去訓練一個物體檢測模型。這里最大的問題是標注大量圖片是不可能完成的任務。那么有沒有開源的別人訓練好的模型可以直接用呢？答案是有的。但是這些開源模型都是用PASCAL VOC、ImageNet、COCO等數據集訓練的，這些數據集以日常圖片為主（如圖1），因此用它們去檢測特殊圖像時效果不好。

于是，問題似乎卡在了這里，從新標注圖片是不可能完成的任務，開源的已訓練好的模型又不能直接用在熱像圖和x射線圖這類圖片上（如圖2和圖3）。

1.2 解決方案

圖1和圖3這種的應用場景中出現的圖片本文統一稱為低信息量圖片，把圖1這種開源物體檢測模型接受的圖片稱為高信息量圖片。既然開源物體檢測模型只能接受高信息量圖片，那么很自然的想到，低信息量圖片是不是可以轉化為高信息量圖片呢？答案是肯定的。可以看看圖3，人可以從圖片里的物體輪廓大致猜測出物體本來的樣子。那么有沒有一種人工智能技術模仿出人的這種能力呢？答案也是肯定的。經過調查，條件生成對抗網絡（簡稱C-GAN）可以做到[1]。C-GAN可以做到的事情如圖4所示。

input是C-GAN的輸入，output是C-GAN的輸出，target是input對應的真實圖像。

于是本文的解決方案就是，把低信息量的圖片先輸入C-GAN，用C-GAN生成高信息量圖片，再把生成的高信息量圖片送入目標檢測網絡里面。這樣，整個過程只需要訓練一個條件生成對抗網絡，不需要從新訓練一個目標檢測網絡。這樣，只需要收集類似圖4中input和target對應的樣本就可以了，這種數據的收集難度要遠遠的小于在圖片上標注物體。為了驗證算法的可行性，本文實驗選取的是開源的cityscape數據集。

2? 模型概述

2.1 條件生成性對抗網絡（谷歌pix2pix模型）

條件生成性對抗網絡，即C-GAN。顧名思義，它是一種生成性的神經網絡模型。如圖5中所示，一個條件生成網絡稱為G，可以接受一個物體的輪廓，描繪出輪廓對應的物體圖片。如何訓練G呢？用“對抗”的思想。訓練G的同時，會訓練一個鑒別網絡稱為D。D可以分辨出物體的圖片是真實的（真實的訓練樣本），還是虛構的（G所生成的）。通過設計損失函數，讓G和D互相對抗提升，最終訓練出表現比較好的生成網絡G[2]。

2.2 物體檢測模型

目標檢測的任務是找出圖像中所有感興趣的目標（物體），確定它們的位置和大小，是機器視覺領域的核心問題之一。由于各類物體有不同的外觀、形狀、姿態，加上成像時光照，遮擋等因素的干擾，目標檢測一直是機器視覺領域最具有挑戰性的問題。

2.2.1 基于候選框的目標檢測算法

基于候選框的目標檢測算法把目標檢測過程分為兩個子過程，候選框選擇和圖片分類[3]。基于這個思路，研究者主要從以下兩個方面提升檢測效率：不斷探索和優化候選框選擇算法，加快檢測速度;加深CNN網絡，獲得更高的檢測準確率。但是這類算法最大的缺陷是無法達到實時性的要求。

2.2.2 基于回歸位置的目標檢測算法

制約基于候選框的目標檢測算法的速度提升的關鍵是將目標檢測問題轉化成了對圖像局部區域的分類問題，不能充分利用局部對象在整個圖片中的上下文信息。對此，研究者們又提出了基于回歸位置的目標檢測算法，如YOLO[5]，SSD[6]，DSSD[7]等。基于回歸位置的目標檢測算法只使用一個卷積網絡便完成了在整個圖像上對檢測框的回歸和類別概率的預測，網絡結構簡單，實現了端到端的優化，且使檢測速度有很大的提升，能實現實時處理。

總結：通過對比現今開源的目標檢測算法，如表1[4]，綜合考慮各個算法的優缺點，考慮到如果想要將本文的算法用在視頻中的物體檢測的話，實時性是一個很重要的方面，所以本文的實驗選取開源的SSD算法作為的目標檢測算法。

3? 實驗

3.1 數據集

本文訓練圖像轉換模型是用的谷歌開源項目pix2pix。本項目中有幾個預設的數據集，本文選取的是其中的cityscape數據集。該數據集包含兩部分，訓練集2975張圖片，每張圖片分為左右兩部分，一半是低信息量圖片，另一半是其對應的正常圖片。驗證集500張圖片。

3.2 實驗流程

第一步，用cityscapes數據集訓練出一個圖像轉換模型C-GAN。如圖6所示。

第二步，如圖7，將C-GAN和目標檢測網絡連接起來，用測試集測試效果。測試集圖片包括兩部分，一部分是input，即低信息量的圖片，第二部分是其對應的真實圖片ground truth。把input從SSD端輸入，得到結果的第一列，把input從C-GAN端輸入得到結果的第二列，把ground truth從SSD端輸入得到結果的第三列。

4? 實驗結果

因為測試圖片太多，限于篇幅的關系，選取四組測試結果展示，如圖8。其中每一列的意義與3.1第二步中敘述的一致。

從實驗結果來看，本文的思路，即把低信息量的圖片通過轉換，拿轉換后的圖片進行目標檢測，總體上是可行的。在一些場景中，轉換來的圖片表現與真實圖片十分相近，甚至在一些場景中（第三組），轉換來的圖片表現還更好一點。但是本文也發現一些問題，比如圖片中一些遠處的物體、行人、汽車等，有可能在轉換來的圖片中看不到。這可能是因為受限于實驗條件，在訓練圖片轉換網絡時訓練集中圖片比較少，而且訓練的輪數也比較少。如果用更好的機器，更多的圖片（現在網絡上cityscapes的公開數據集已經非常多了），更多的訓練輪數，那么圖片轉換網絡會更加的精確。還有，在一些場景中很明顯的物體，目標檢測網絡卻檢測不到，這有待于目標檢測領域的進步。

5? 應用討論

算法應用的抽象過程如圖9所示，把訓練好的C-GAN和開源的目標檢測網絡SSD封裝成一個模型，輸入熱成像圖或者x射線圖，輸出標注好的圖片。

本研究提出的這一套算法，利用深度學習的方法解決了在圖像信息不完整的情況下的目標檢測問題。本文設想了如下幾個應用場景：

①火災：在火災的場景中，人們使用紅外探測器探測失火地點中的人和其他物體。但是紅外圖像信息量低，容易照成人們誤判。可以把這套算法嵌入到裝有紅外探測器的設備中，比如無人機。這樣通過算法輸出高質量并標出物體的圖像，可以更加準確的判斷出火災中物體的位置，為救援提供更加準確的信息。

②安檢：現在不管是地鐵、高鐵或是機場中，安檢一般都是利用x射線設備。但是x射線圖只有物體的輪廓，可疑物品需要安檢員通過x射線掃描圖肉眼判斷。當人流量特別大時，這種安檢方式不僅效率低，而且漏檢的概率比較大。如果利用本文的算法，只需提供一些物體和其對應的x射線圖作為數據，然后對算法進行微調后，就能將其用于安檢場景。這不僅降低了安檢員的工作量，而且提高了安檢效率。

③自動駕駛：自動駕駛汽車通過攝像頭和雷達發現周圍的情況。但是在夜晚或者氣候惡劣的情況下，攝像頭能拍到的畫面就有限，這樣容易照成計算機判斷不準而導致車禍。如果將本文的算法嵌入車載計算機系統，在處理攝像頭拍到的畫面時，可以利用的算法進行物體檢測。這樣能進一步提高自動駕駛汽車在夜晚或惡劣天氣情況下的安全系數。

6? 總結與展望

本文通過分析引言中提到的應用場景，指出在這些場景中的目標檢測是非常困難的問題。因為受限于已標注數據量的問題，現有的目標檢測工具在這些場景中表現都很差。于是本文提出一套算法，利用深度學習的方法將低信息量的圖像轉換成適用于目標檢測工具的圖像。然后，通過實驗，發現這套算法是可行的：通過深度學習方法生成的模擬圖像，不僅能在上面標注出物體，而且在許多實驗結果中，它的表現和正常圖像非常接近。但是，本文也發現一些問題。首先，圖像轉換網絡表現還有非常大的進步空間，這有待于實驗設備與數據集的進步。此外，本文發現現在最優的目標檢測網絡依然需要更進一步的發展。

展望：本文的研究現在只是第一步，它僅僅驗證了的算法的可行性。后面還可以有許多實驗可以做，比如：

①如果把算法應用于視頻中目標檢測的任務，就需要研究整個算法處理一張圖片的時間。然后結合具體的應用需求，調整算法，使其滿足視頻的幀率要求。

②實驗中的圖像轉換網絡使用的是谷歌的pix2pix模型，它本身的網絡結構就有待于更多的調整和實驗。

③訓練圖像轉換網絡（C-GAN）利用的數據是街景和其“對應”的低信息量圖片。現在已經有一種叫cycle-GAN[8]的網絡不需要這種完全“對應”的數據集，就能達到和C-GAN相似的效果。但是總體來說，cycle-GAN的效果還是低于C-GAN。但是如果進一步研究cycle-GAN，使其比肩甚至超過C-GAN的話，就能更進一步降低收集數據集的難度。

參考文獻：

[1][2]Phillip Isola， Jun Yan Zhu， Tinghui Zhou， et al. Image-to-Image Translation with Conditional Adversarial Networks. arXiv preprint arXiv： 1611.07004v1， 2016.

[3][4]王慧玲，綦小龍，武港山.基于深度卷積神經網絡的目標檢測技術的研究進展[J].計算機科學，2018，45（9）：11-19.

[5]Redmon J， Divvala S， Girshick R. et al. You Only Look Once： Unified， Real-Time Object Detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press， 2016： 779-788.

[6]Liu W， Anguelov D， Erhan D， et al. SSD： Single shot multibox detector[C]. European conference on computer vision.Cham， Springer， 2016： 21-37.

[7]Fu C Y， Liu W， Ranga A， et al. DSSD： Deconvolutional Single Shot Detector[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press， 2017： 2301-2312.

[8]Jun Yan Zhu， Taesung Park， Phillip Isola， et al. Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. arXiv preprint arXiv： 1703.10593v1， 2017.