機場航站樓熱成像視頻下融入運動信息的顯著人體檢測方法

劉 暢，於躍成

（江蘇科技大學計算機學院，江蘇鎮江 212100）

0 引言

隨著民航事業的蓬勃發展，機場的安全性越來越受到人們關注。傳統采用員工在航站樓中巡檢的方式費時費力，員工的責任心成為影響巡檢效果的關鍵因素。若員工在巡檢過程中出現分心，則極易造成航站樓的安全隱患。因此，使用巡檢機器人代替人工完成航站樓巡檢工作成為必然的發展趨勢。為適應夜間機場航站樓弱光甚至無光的環境，選用熱成像攝像頭作為巡檢機器人的監控攝像頭成為最佳選擇。

熱成像攝像頭主要通過環境中的紅外輻射形成單通道圖像，所以由熱成像攝像頭提供的熱成像視頻在弱光甚至無光環境下可具有較好效果。人體自身體溫使得人體圖像在熱成像視頻中更加顯著，也使得針對人體的顯著檢測算法能夠在熱成像視頻中取得良好效果。近年來，研究者們進行了大量顯著人體檢測算法實驗，如文獻［1］利用區域和邊緣對比度生成的聯合對比度突出圖像的顯著性區域，也有將視覺注意力和信息論運用于顯著人體檢測的方法［2］。隨著深度神經網絡的廣泛運用，大量基于深度神經網絡的顯著性檢測算法被提出，比如在U-Net 網絡［3］基礎上利用混合損失指導三層次神經網絡的BASNet 模型［4］，在U-Net 網絡中引入多個LSTM 注意力神經網絡的網絡模型［5］等。

諸多實驗已證明顯著人體檢測算法在熱成像場景下的有效性，但是大多數顯著人體檢測算法都是將連續幀的視頻數據拆成一幀一幀的靜態圖像進行檢測，這種檢測算法在面對機場航站樓的真實復雜場景時依舊面臨巨大的挑戰，特別是人體在熱成像圖像中呈現的復雜情況，如人體部分被遮擋、圖像邊緣的人體目標不完整等。視頻數據與靜態圖像數據最大的不同之處是視頻可通過連續幀反映出物體運動信息，而由于人體運動產生連續幀之間的差異，使得人體圖像更加突出與顯著，因此在單幀的顯著性檢測效果不佳時，在顯著性檢測方法中融入動態信息以便更好地利用連續幀視頻數據成為一種重要的手段。通常通過檢測連續幀中運動目標的方式提取運動信息，但是熱成像視頻存在缺少紋理特征、視覺效果模糊、分辨率和信噪比低等特點，為檢測連續幀中的運動目標帶來了巨大挑戰。

基于熱成像視頻的以上特點，在進行運動目標檢測時無需考慮光照變化帶來的影響，但也使得運動目標檢測中較為常用的光流法［6］無法適用于熱成像視頻。常用的幀差法實現起來十分簡單，但是該方法過于敏感，檢測結果中往往存在大量非可疑目標的背景區域［7］。背景差法是通過背景模型將運動目標作為前景從背景區域中提取出來，使用高斯混合模型［8］、RPCA 模型［9］和改進的ViBe 算法模型［10］等背景模型的背景差法也是目前最流行的運動目標檢測方法，其兼顧了魯棒性和效率，并且將背景模型與幀差法相結合，有助于提高目標檢測精度［11］，但是背景差法也面臨著如相機移動、背景動態變化等諸多挑戰［12］。為了保證巡檢效率，在實際的機場航站樓巡檢機器人場景中，要求巡檢機器人一直保持動態移動。攝像機的動態移動使得運動目標檢測更具挑戰性，雖然背景差法可通過背景模型的更新來適應背景的輕微變化，但僅使用背景差法檢測動態熱成像場景中的運動目標無法取得良好效果。

基于上述觀察，本文提出一種動態熱成像攝像頭下的運動目標檢測方法（DTMD），并將檢測結果作為一種運動信息通過融合模塊融入到單幀顯著性檢測方法中，從而充分利用連續幀的視頻數據，使融合后的顯著人體檢測方法在面對人體部分被遮擋、人體在出入圖像邊緣等機場實際復雜情況時依然能取得良好效果。

1 相關工作

1.1 動態場景中的運動檢測

在攝像機保持移動的情況下，隨著攝像機的移動，整個視頻畫面都在發生運動。在該情況下，區分靜止物體與運動物體變得十分困難。背景差法雖然可通過更新背景模型的方式使背景模型適應因攝像機移動帶來的連續幀背景變化，但是效果十分不理想。因此，如何通過對背景差法的改良應對動態攝像機一直都是研究熱點。

文獻［13］提出基于特征的方法構建全景圖，將攝像頭拍攝到的圖像看成一整個平面來消除背景運動。但這種構建全景圖的方式只對平移或平轉運動的攝像機有一定作用，在實際的機場場景中，巡檢機器人多數的運動是前后移動，因此該方法無法應用于機場巡檢機器人場景中。部分研究者會通過運動估計消除動態攝像機的影響，如構建兩個背景模型以完成不同任務，一個用于估計攝像機運動，一個用于檢測前景［14］。使用運動估計仿射模型，通過6 個參數的估計可快速進行運動估計［15］。還有一些研究者則是通過特征點軌跡來分離前景和背景，通過分析特征點軌跡，對其進行標記，并將標記信息傳播至整個圖像。常見的特征點分析方法有對軌跡屬性進行聚類的方法［16］、通過動態子空間分析軌跡數量隨時間變化的方法［17］以及結合物體外觀特征的方法［18］等。但是上述方法大多僅在可見光場景下有效，在熱成像場景下，部分方法并不能取得良好效果。因此，基于深度神經網絡對場景進行評估并將分析結果用于檢測模型設計中［19］，或者直接對背景建模［20］成為應對背景變化、攝像機移動等問題的有效方法。但是基于深度神經網絡的方法往往需要大量計算資源，較為耗時，而機場巡檢任務對實時性要求較高，所以將基于深度神經網絡的運動目標檢測作為運動信息提取方法在當前場景中并不適用。

受上述啟發，為應對熱成像場景，本文使用背景模型并結合圖像特征點軌跡的聚類方法與運動估計仿射模型以區分視頻數據的前景和背景，提出一種動態熱成像攝像頭下的運動目標檢測方法（DTMD），該方法能夠有效解決熱成像場景下攝像機移動導致的背景變化等問題。

1.2 顯著性檢測融合運動信息

基于靜態圖像的顯著性檢測方法未能發揮視頻連續幀數據的優勢，也沒有充分利用物體的運動信息。研究者們為了充分利用物體運動信息，也提出許多融合物體運動信息的顯著性檢測算法，將運動信息作為神經網絡的一部分融入顯著性檢測神經網絡中。文獻［21］將過去幀、過去幀的檢測顯著圖和當前幀作為卷積神經網絡的輸入，使得神經網絡在檢測顯著性對象時可結合時間信息和物體運動信息。遞歸神經網絡一直都是處理序列化數據的有效方法，如FGRNE 神經網絡可結合物體運動信息與LSTM 序列特征進行顯著性檢測［22］。

雖然將連續幀作為神經網絡的一個分支輸入可有效提取與利用運動信息，但此類模型往往需要大量計算資源作為支撐，對于實時性要求較高的巡檢任務并不合適。而且在實際場景中，也有許多未發生移動的顯著人體，此時運動信息分支的神經網絡無法為顯著性人體檢測提供幫助，甚至會產生負面影響。

為應對熱成像場景，本文提出將運動信息檢測與顯著性檢測作為兩個任務分支同時執行，最后將兩個分支的輸出進行融合，得到最終融合運動信息的顯著人體檢測方法，該方法能夠在巡檢機器人有限的計算資源下達到實時檢測效果。

2 融入運動信息的顯著人體檢測方法

在處理視頻數據時，通常將連續的圖像數據作為檢測方法的輸入數據。本文方法先后將兩張圖像數據作為融入運動信息的顯著人體檢測方法的輸入數據，一幀為當前幀圖像數據，也是檢測圖像數據，一幀為參照幀數據。因為熱成像數據缺少細節的特點，所以無法從熱成像數據中提取到有效的細微運動信息。為了使運動信息更加明顯，本文選擇當前幀之前5 幀的圖像數據作為參照幀。融合動態信息的顯著性人體檢測流程如圖1所示。

Fig.1 Flow of salient human body detection method incorporating motion information圖1 融合動態信息的顯著性人體檢測流程

2.1 動態熱成像攝像頭下的運動目標檢測方法

2.1.1 高斯混合背景模型

背景模型通過從圖像視頻數據中分離出前景和背景，從而檢測運動目標。高斯混合背景模型通過初始設置k個高斯分布模型進行建模，使用第一幀圖像數據的每一個像素值對第一個高斯分布模型進行初始化。將當前像素的值設為均值，權重設為1，其他高斯分布模型的均值和權重都初始化為0，如式（1）所示。

其中，k表示高斯分布模型的個數，由于熱成像圖像數據為單通道的灰度圖，因此將k設為3，xt表示t時刻的像素值，wi，t表示t時刻第i個高斯分布模型的權重值，η表示高斯分布概率密度函數，μi，t、τi，t分別表示t時刻第i個高斯分布模型的均值和協方差矩陣。

將每一個新像素值xt與k個高斯分布模型相匹配，若匹配，則該點為背景區域，不匹配則為目標前景區域。匹配公式如式（2）所示。

其中，μi，t-1表示上一幀第i個高斯分布模型的均值，σi，t-1表示上一幀第i個高斯分布模型的標準差。無論是否匹配，對k個高斯分布模型權重進行更新，如式（3）所示。

其中，α表示學習率，當匹配當前像素點時，Mi，t為1，不匹配則為0。當高斯分布模型匹配當前像素點時，則對當前的高斯分布模型進行更新，若不匹配則不更新。

若所有高斯分布模型都不匹配，則對權重最低的高斯分布模型進行替換。雖然背景模型可通過模型的更新應對背景的緩慢變化，并且在熱成像數據中不需要考慮到光線變化給背景帶來的影響，但只憑更新背景模型無法有效應對攝像機運動帶來的背景變化，檢測出的前景中依舊會包含大量未移動的背景區域。本文將高斯混合背景模型檢測出的前景部分劃分成一個個前景區域，并對其作進一步判斷。

2.1.2 特征點選取與匹配

本文通過在參照幀和當前幀的圖像數據上提取特征點，對兩幀的特征點進行匹配，從而得到特征點運動軌跡，并對其作進一步分析，排除被誤判為前景的背景區域。相比于SIFT 等其他特征點檢測算法，SURF 特征點算法更加高效，且適用于熱成像環境，所以本文選用SURF 特征點算法作為本文的特征點提取算法［23］。其首先通過構建Hessian 矩陣檢測出極值點，在圖像中坐標為（x，y）點的Hessian矩陣H(f(x，y))定義如式（4）所示。

其中，f(x，y)表示原始圖像的高斯卷積，之后構建尺度空間，在不同尺度上檢測特征點，去除錯誤定位的特征點，得到穩定的特征點。最后確定特征點的主方向，生成特征點描述子。

特征點匹配算法通過兩個特征點之間的歐式距離確定匹配度，歐氏距離越短，兩個特征點匹配度越高，并通過Hessian 矩陣跡的正負號判斷對比度變化方向。若正負號不同，則將歐式距離設為0，排除兩個特征點匹配的可能。最后，當前幀與參照幀上匹配好的特征點會形成一個特征點對。

2.1.3 運動估計仿射模型

通過兩幀之間已匹配的特征點對，對初步檢測出的運動目標前景作進一步判斷。由于熱成像圖像缺少紋理和細節，本文選擇運動估計仿射模型與特征點軌跡聚類兩種方法排除攝像機移動導致的背景運動信息。

本文從計算速度和準確性兩方面考慮，選用六參數模型作為運動估計仿射模型。為了對攝像機的移動作出運動估計，本文選用高斯混合背景分離出背景區域中匹配的特征點對，計算六參數背景運動估計仿射模型，如式（5）所示。

2.1.4 特征點軌跡聚類方法

通過匹配的特征點對得到特征點運動軌跡，為了對特征點的運動軌跡進行聚類，本文對特征點運動軌跡分別計算距離屬性和方向屬性，如式（7）、式（8）所示。

在通過運動估計仿射模型和特征點軌跡聚類方法進一步提取出特征點中的背景特征點之后，本文將包含特征點多數為背景特征點的前景區域從前景中排除。

2.2 融合模塊

為了保證該方法的效率和魯棒性，本文并不將運動信息直接融入到顯著性檢測算法中，而是將運動目標檢測圖與顯著性檢測圖進行融合，生成融入運動信息的顯著性檢測圖。該方法可讓本文動態熱成像攝像頭下的運動目標檢測方法（DTMD）與任意一種單幀的顯著性檢測方法相融合，用運動信息彌補單幀顯著性檢測算法的分割檢測不完全等缺點。

本文將運動目標檢測圖和顯著圖分別作交集與并集操作，利用輪廓檢測方法將兩圖交集的前景分割成一個個矩形前景區域。在每個矩形前景區域中計算運動目標檢測圖和顯著圖的并交比，當該數值過大時，說明至少有一種檢測方法在此區域中的檢測結果異常。將該前景區域排除，而其余前景區域中的兩圖并集將被保留，得到最終融合結果。

3 實驗與分析

本文實驗硬件平臺的CPU 型號為Intel Core i7，GPU 型號為GTX 1060，內存為16G。

3.1 數據集

為驗證模型的效率和有效性，本文使用4 個測試數據集。其中，OSU［24］、KAIST［25］和FLIR 是3 個公開的數據集，而ATH 則是機場候機樓采集的實際數據集。對于OSU 數據集，本文選取其中irw01-irw06的序列圖像。這些序列圖像主要關注行人行走時的多種姿態，包括行人手中物體對于身體產生的部分遮擋情況，以及兩個行人相遇時身體相互遮擋的情況。該數據集由固定攝像頭拍攝，所以背景沒有變化，行人與背景之間也具有較高對比度。

KAIST 數據集和FLIR 數據集都是通過車載攝像頭在街道上采集的圖像數據，這些圖像數據往往會因為攝像機參數的不同而呈現出不同的成像效果。此外，與攝像機距離不同的行人在圖像中也會表現出不同的尺度大小。考慮到機場巡檢機器人的實際工作場景，本文主要關注數據集中不同尺度的人體、騎行對象和人群聚集場景。

ATH 數據集為機場候機樓真實場景下采集得到的實際數據集。類似于KAIST 和FLIR 兩個數據集，ATH 數據集中同樣面臨著由于人體目標與攝像機之間因距離不同所造成的圖像尺度問題。然而，不同于其它標準數據集，ATH 數據集中包含了候機樓特有的登機口、座椅區以及窗口處等諸多場景下的樣本。此外，數據集中的人體目標包含站立、蹲坐、彎腰等多種姿態，并包含人體相互遮擋，或被座椅、立柱和衣著遮擋等多種遮擋場景。可見相比于標準測試數據集，ATH 數據集更為真實，場景也更加復雜。

3.2 評價指標

為了評估該方法的性能，本文選擇分割模型中常用的評價指標F-measure 和mIOU。一般而言，模型在數據集上運行后的F-measure 和mIOU 值越高，意味著該模型有著更好的性能。如式（9）所示，F-measure 定義了顯著人體圖像分割的精確率和召回率加權調和平均值。

對于巡檢任務來說，可疑目標能否被正確發現比可疑目標身體全部區域是否都被正確檢測出來更加重要。這意味著在使用F-measure 度量模型性能時，顯著人體圖像分割的精確率應該占據更大的比重。按照文獻［26］的建議，本文設置β2的值為0.3。精確率Precision 和召回率Recall的定義如式（10）、式（11）所示。

其中，TP表示正樣本被正確預測的數目，FP、FN分別表示負樣本被檢測成正樣本的數目以及將正樣本預測成負樣本的數目。

mIOU 定義如公式（12）所示，用于表示真實圖像與預測圖中正樣本的交并比。

3.3 實驗結果與分析

本文僅使用高斯混合背景模型從數據集中檢測運動目標效果，如圖2 所示。其中，左圖為原始輸入圖，右圖為高斯混合背景模型檢測圖。

Fig.2 Gaussian mixture background model detection results圖2 高斯混合背景模型檢測結果

由圖2 可以看出，雖然高斯混合背景模型可檢測出圖像中的運動目標，但是由于攝像機的運動使得檢測出的目標中包含大量未運動目標，如墻壁、燈牌等。本文提出的動態熱成像攝像頭下的運動目標檢測方法在數據集上的檢測效果如圖3 所示。其中，左圖為原始輸入圖，右圖為運動目標檢測圖。

Fig.3 DTMD detection results圖3 DTMD模型檢測結果

如圖3 所示，本文提出的運動目標檢測方法在熱成像場景下有效檢測圖像中運動目標的同時，可排除由于攝像機運動帶來的影響。

為驗證本文所提出的將運動信息融入顯著性檢測方法的有效性，選擇4 種單幀顯著性模型Hsaliency［27］、Amulet［28］、CPD［29］、SRM［30］在4 個數據集上進行實驗，并將動態熱成像攝像頭下的運動目標檢測方法（DTMD）與4 種模型融合進行對比實驗。其中，Amulet、CPD、SRM 是基于深度神經網絡的模型。F-measure 與mIOU 結果對比如表1所示。

Table 1 Comparison of F-measure and mIOU results表1 F-measure與mIOU結果對比

由表1 可知，在融入運動信息后，單幀的顯著性模型在4 個數據集上的性能普遍有所提升，特別是在mIOU 評價指標上的表現。在OSU 數據集上由于攝像機未發生移動，數據集本身較為簡單，所以單幀顯著性檢測模型具有較好的性能。由于在融入的運動信息中包含少部分落葉等非人體運動信息，因此該模型融入運動信息后在評價指標上的表現略有下降，但在顯著性人體檢測上的表現會更加完整。Hsaliency 模型本身并不是基于深度神經網絡的模型，所以在對比度較低的KAIST 數據集和FLIR 數據集上表現不佳，在融入運動信息后整體檢測效果得到提升。Amulet 雖然檢測速度較慢，但是檢測精度較高，在融入運動信息之后能夠進一步提升模型精度，并且檢測結果更加完整，特別是在ATH 機場實際數據集中。

CPD 模型和SRM 模型具有較快的檢測速度，但是分割出的目標往往出現檢測不完全的情況，融入運動信息后在運動效果明顯、圖像邊緣人體目標不完整等情形下的檢測效果明顯提升。以CPD 模型和SRM 模型為例的可視化效果如圖4 所示，其中左圖為原始輸入圖，右圖為運動目標檢測圖。

Fig.4 Visual detection results圖4 可視化檢測結果

如圖4 可知，融入運動信息后的模型能夠清晰、有效地檢測出視頻數據中的運動人體。融入運動信息可有效降低巡檢后臺工作人員對部分可視化檢測結果的歧義和誤解，增加機場的安全性。在檢測效率方面，本文提出的動態熱成像攝像頭下的運動目標檢測方法在擁有GPU 的實驗環境下以一幀幀圖像輸入的方式進行檢測，依舊能夠達到實時檢測速度。因此，本文所提出的融入運動信息的顯著人體檢測方法能夠滿足實際機場航站樓巡檢任務的實時性要求。

4 結語

針對被遮擋、多種姿態、出入攝像機邊緣等情形下的可疑目標人體，本文提出一種動態熱成像攝像頭下的運動目標檢測方法（DTMD）。實驗結果證明，該方法能夠在熱成像環境下有效排除攝像機移動帶來的影響，并檢測出運動目標。但該方法在熱成像環境下存在對細微運動的檢測精度不高，以及檢測出非人體運動目標等問題，并且無法檢測出未發生移動的顯著人體目標。本文通過融合模塊降低未發生移動的顯著人體目標和非人體運動目標檢測結果給融合結果帶來的負面影響，所提出的輕量級檢測方法能夠滿足機場航站樓巡檢任務的實時性要求。在未來的研究中，將在保證檢測方法運行效率的前提下，著重提升針對非人體運動目標和人體細微運動的檢測效果，以提高從連續幀中提取的運動信息對融合結果的增益。