紅外熱成像技術在ADAS系統中的應用

鐘明霞,姜柏軍

(浙江商業職業技術學院,浙江 杭州 310053)

1 引 言

目標檢測是高級駕駛輔助系統(ADAS)[1]的關鍵技術,主要通過傳感器、處理單元以及控制單元以幫助駕駛者察覺可能發生的危險,消除人為錯誤和分心駕駛來降低事故率,是提高駕駛安全的主動安全技術。目標檢測其關鍵核心技術主要包含兩個步驟:一是感知檢測對象；二是將對象進行分類以確定行動方案。步驟一需要借助傳感技術,主要用來增強或逐步取代駕駛中所需的感知能力,優化駕駛性能。步驟二需要借助人工智能深度學習算法,對傳感器傳送的道路交通圖像或視頻進行分類識別,以區分是機動車、行人、自行車等交通對象。

汽車駕駛場景中的目標檢測是富有挑戰性的問題,目前ADAS系統中應用的主要傳感部件包括可見光攝像機、雷達傳感器和激光測距儀等,可見光攝像機能夠獲取環境景象信息,在光線和照明充足前提下,在交通標注識別、車道偏離警告、緊急制動輔助、行人/動物檢測分類等方面性能優越。缺點是夜視功能較弱且在雨霧天氣情況下視距縮短。而激光雷達傳感器可獲取環境空間的三維尺寸信息,缺點是激光雷達會受粉塵、雨霧天氣影響,一般在汽車上激光雷達需要結合其他傳感器來實現避障,對細小物體識別差。而紅外熱成像儀因為對溫度敏感,夜視能力強,作用距離遠,可排除眩光和天氣干擾,甚至在黑暗中或大霧條件下檢測和分類目標,提供改進的態勢感知。因此在行駛汽車的傳感器套件中有必要添加紅外熱像儀,應用紅外熱成像技術的價值在于可增加ADAS系統傳感器套件的可靠性并提高系統感知性能。如圖1所示為用可見光RGB相機和LWIR(長波紅外)熱成像相機在霧隧道中記錄的示例圖像,很明顯的LWIR拍攝的圖像更利于目標識別。

圖1 可見光RGB相機與LWIR熱成像相機拍攝圖像效果對比Fig.1 Comparison of image effects between visible light RGB camera and LWIR thermal imaging camera

近年來基于深度學習算法的ADAS系統目標檢測技術得到了巨大的發展[2],比如一些著名的檢測算法(Faster R-CNN、YOLO和SSD)在機動車或行人檢測方面以及交通標志的識別任務中表現優越[3],但是由于交通目標一旦處于復雜環境,或光照不足,或處于惡劣天氣時段,深度學習算法的目標檢測結果經常出現誤檢或漏檢,同時檢測速度達不到系統要求的實時性需求。為了解決上述問題,本文提出了紅外熱像技術結合深度學習下的最新的目標檢測YOLOv5算法來幫助ADAS系統實現兼顧精度與實時性的目標檢測,主要特點有:①改變傳統目標檢測算法采用RGB可見光圖像作為算法的輸入,采用紅外熱成像儀采集的圖像進行目標檢測。②為了更好的進行特征提取便于后續的檢測分類,本文研究了紅外熱圖像的預處理方法,包括圖像增強以及ROI目標提取。③選擇了最新的YOLOv5模型作為目標檢測的基本模型,并采用遷移學習提高了模型的訓練速度和檢測效率。

2 紅外熱圖像預處理

前面提到了盡管紅外熱成像技術采集的圖像(以下簡稱為紅外熱圖像)在交通目標檢測方面具有優于RGB可見光圖像的優點,但是它也同樣存在缺點。相比于可見光圖像,紅外熱圖像具有信噪比低、目標紋理特征少、分辨率低等特點,導致圖像信息量太少,難以區分目標與背景等[4]。這些問題會影響目標檢測的準確性,故需要針對紅外熱圖像的特性進行圖像預處理,主要包括2個方面。

(1)圖像增強

圖像增強目標是增加紅外熱圖像的目標與背景的對比度,本文采用文獻[5]提出的基于通道擴展的紅外圖像數據增強算法。因為紅外圖像為單通道圖像導致圖像信息量不夠難以實現目標識別,所以對紅外圖像分別執行CLAHE圖像增強算法和inversion圖像增強算法,然后進行三通道合成,再輸入到后續操作中,這樣圖像數據量可以進一步增加,后續網絡模型訓練更利于特征提取。圖2所示為原圖與圖像增強效果對比。

(a)原圖 (b)增強效果圖圖2 圖像增強效果對比Fig.2 Comparison of image enhancement effects

(3)目標ROI提取

經研究發現視覺將顯著性算法在移動目標跟蹤、目標識別領域有著很好的識別效果,因此本文打算采用視覺顯著性原理對目標 ROI 進行快速定位。但是行人或遠處的汽車等在紅外熱成像相機獲得的交通路況圖像或視頻通常都以紅外弱小目標對象的形式存在,因為圖像噪聲或對比度低等影響目標檢測誤檢率較高。為解決誤檢問題,本文采用文獻[6]基于空間距離改進的視覺顯著性算法,通過減少噪聲、背景的干擾,同時該方法可以減少對圖像的計算量,提高紅外弱小目標的檢測結果。以本文圖1中霧隧道紅外熱成像圖為例,對應的目標ROI的提取效果如圖3所示。

圖3 目標ROI提取Fig.3 Extraction of target ROI

3 YOLOv5訓練目標檢測網絡

ADAS系統的交通目標檢測是根據傳感器傳送的圖像或視頻來檢測是否存在給定類型的交通目標實例(比如行人、機動車、自行車、動物等),若檢測為真值確定其存在則同步返回一個邊界框,用于標注每個交通目標實例的空間位置和覆蓋范圍。在汽車駕駛場景目標檢測任務中,一般需要同時檢測多類目標,但是因為汽車駕駛場景下存在不同類型目標尺度差異、姿態多樣以及背景復雜且存在遮擋等不利因素導致目標檢測面臨諸多挑戰。其中最大的困難是網絡模型訓練后的模板匹配過程很耗時,以至于難以實現兼顧精度與實時性的目標檢測系統。

計算視覺新創公司Roboflow通過實驗證明YOLO系列最新的YOLOv5算法在目標檢測方面性能優越,不僅在硬件環境上易于配置,而且模型訓練速度遠超YOLOv4,可實時產生系統批處理結果。因此,本文采用YOLOv5算法,在圖像預處理基礎上對實驗數據集進行遷移學習,訓練并優化模型用于檢測和分類各種交通環境或天氣條件下的交通目標對象。遷移學習通過把當前YOLOv5模型框架下已學習訓練好的針對COCO數據集預訓練的相關性模型參數遷移到新的模型來幫助新模型加快并優化模型的學習效率。這樣可以降低訓練對于樣本數量的依賴從而提高模型的精度,主要包含以下步驟:

(1)訓練數據集采集與標注

為了驗證實驗效果,本文測試數據庫采用2019年8月FLIR公司推出的免費用于算法訓練的FLIR Thermal Starter 數據集V1.3。數據是由安裝在車上的RGB相機和熱成像相機獲取的。數據集總共包含14452張紅外圖像,其中10228張來自多個短視頻；4224張來自一個長為144 s的視頻；數據集圖像包括5種目標分類:行人、狗、機動車、自行車及其他車輛。該數據集使用MSCOCO labelvector進行標注,提供了帶注釋的熱成像數據集和對應的無注釋RGB圖像(如圖4所示),數據集文件格式包括五種:①14位TIFF熱圖像(無AGC)；② 8位JPEG熱圖像(應用AGC),圖像中未嵌入邊界框；③ 8位JPEG熱圖像(應用AGC),圖像中嵌入邊界框便于查看；④RGB-8位JPEG圖像；⑤注釋:JSON(MSCOCO格式)。

圖4 FLIR Thermal Starter 數據集圖像示例Fig.4 Example of FLIR Thermal Starter data set image

(2)數據集預處理及配置文件準備

為了完成模型的訓練,FLIR Thermal Starter 數據集必須進行預處理后才能使用,將JSON標簽轉換為YOLO格式,并按照YOLOv5的訓練文件結構要求布置。同時加載預訓練模型,準備YOLOv5代碼庫,在yolov5目錄下的model文件夾下是模型的配置文件,提供s、m、l、x版本,版本越高,架構也越大,訓練時間也會逐漸增大。為了保證系統的實時性,本文采用s版本,即采用yolov5s.yaml,修改參數后的模型文件命名custom_yolov5s.yaml,以及uc_data.yaml文件,模型的輸出是FLIR Thermal Starter 數據集中的5類交通目標,因此修改模型的對象預測層輸出類別數量為5。

(3)參數設置及模型訓練,模型訓練參數設置如表1所示。

表1 訓練參數設置Tab.1 Training parameter settings

分類和目標檢測的性能評價通常采用準確率、精確率與召回率、綜合評價指標(F1)來進行衡量。圖5展示了模型訓練結果,從圖中可以看出,隨著模型訓練迭代次數的增加整個模型趨于收斂,損失值不斷降低,模型精確率和召回率也滿足要求。當迭代次數到達250次之后,模型趨于穩定,準確率最高超過90 %。

圖5 模型訓練結果Fig.5 Model training results

4 實驗結果及分析

為了測試和驗證系統的目標檢測性能,在數據集中選取了白天、夜晚光照不足、路口眩光、霧霾隧道等不同環境或天氣條件下的圖像進行性能測試,圖像實驗結果如圖6～9所示,進行了四種情況下RGB可見光圖像與紅外熱成像儀拍攝圖像目標檢測后的效果對比。很明顯,相比較RGB可見光相機,紅外熱圖像在夜視不足、眩光、惡劣環境或天氣條件下具有更準確的檢測效果。

(a)可見光 (b)紅外熱圖圖6 白天可見光相機圖像和紅外熱圖像檢測效果Fig.6 The detection results of visible light camera images and infrared thermal images during the day

(a)可見光 (b)紅外熱圖圖7 夜晚光照不足情況下可見光相機圖像和紅外熱圖像檢測效果Fig.7 The detection effect of visible light camera image and infrared thermal image under the condition of insufficient night light

(a)可見光 (b)紅外熱圖圖8 路口眩光可見光相機圖像和紅外熱圖像檢測效果Fig.8 The detection effect of the junction glare visible light camera image and infrared thermal image

本文從FLIR Thermal Starter數據集中選擇用于測試的實驗紅外熱圖像600張,其中包含行人、機動車、自行車等交通目標2101個,隨著模型訓練迭代次數到達300次,檢測準確率為90.58 %,即有效檢測目標1903個；誤檢測目標123個,誤檢率為5.85 %；漏檢目標75,漏檢率為3.57 %,目標檢測速度為140FPS。通過實驗也證明,經過圖像預處理步驟(增強、ROI提取)后的模型分類精度更高,檢測速度更快。不同圖像預處理方法的模型檢測精度和速度對比見表2所示。

5 結 語

本文提出了現在主流的汽車傳感器技術在目標檢測方面存在的缺陷,分析了紅外熱成像技術在ADAS系統應用的優點,提出了在傳感器套件中添加紅外熱像儀的必要性及其技術價值,然后在圖像預處理基礎上結合YOLOv5算法研究了復雜交通環境中的移動目標檢測問題,為汽車輔助駕駛系統的實際應用提供了新思路。后續工作考慮采用RGB可見光圖像和紅外熱圖像的彩色圖像融合技術進行交通檢測和目標識別,進一步增強目標檢測系統的目標識別速度和準確度,以保證系統對各類場景的適應性。