基于改進ResNet-18的紅外圖像人體行為識別方法研究

周嘯輝,余 磊,何 茜,陳 涵,聶 宏,歐巧鳳,熊邦書

(1.南昌航空大學 圖像處理與模式識別江西省重點實驗室,江西 南昌 330063；2.北愛荷華大學技術系,美國 愛荷華州 50614-0178)

1 引 言

人體行為識別是計算機視覺和模式識別領域的核心課題之一,目標在于識別圖像或視頻中人的行為[1]。對人體行為進行有效且精準地識別是許多智能服務的基礎,在智能監控、智能家居、虛擬現實等諸多領域中具有重要的研究意義和廣泛的應用價值,備受國內外學者的關注[2]。

近年來,紅外成像系統以其受光照影響小、保護隱私的獨特優勢受到越來越廣泛的關注,眾多優秀學者對紅外行為識別領域展開深入研究。Zhu等人[3]提出了一種隨機采樣結構,并建立統計特征空間；Hilsenbeck等人[4]利用霍夫森林提取時空域的整體通道特征；Tan等人[5]提出一種基于運動偏差圖象的相位特征描述符,在受試者個體差異較大的情況下仍具有較高的識別精度；Liang等人[6]提出一種分段架構,利用子動作間關系,并結合異構信息融合和類隱私保護協同表示,在多個數據集上取得了不錯的表現。上述方法主要通過手動提取特征,并制定相應的判決標準進行人體行為識別。然而,這些方法提取的特征往往不能準確表征人體實際行為,從而導致識別準確率較低。深度學習方法能自動提取有效特征,成為解決該問題的一種有效途徑。

深度學習[7]是機器學習的一個分支,在視覺識別和自然語言處理等領域取得了突破性進展,也給紅外行為識別帶來了前所未有的發展。目前,紅外行為識別領域的深度學習方法主要分為兩類:基于視頻或基于圖像。

基于紅外視頻,Gao等人[8]構建了一個紅外行為識別數據集InfAR,并提出一種雙流卷積神經網絡,平均識別率為76.66 %；Liu等人[9]提出基于全局時間表示的三流卷積神經網絡,整合局部、全局時間信息和時空信息,在數據集InfAR和NTU RGB+D上取得79.25 %和66.29 %的平均識別率；Yang等人提出3D卷積神經網絡結合SVM分類器的方法,識別精度達到96.5 %。

基于紅外視頻的方法雖然取得了較高的識別精度,但它們的模型復雜,處理時間長,效率較低。相較而言,基于紅外圖像的人體行為識別方法模型簡單,處理速度較快,逐漸受到研究者關注。Akula等人[10]提出將2D CNN網絡用于識別行走、站立、靜坐、在桌子前靜坐、跌倒和倒在桌子上6種行為,其對跌倒的識別精度較低；Gochoo等人[11]利用三個傳感器,從x、y和z軸捕獲人體瑜伽姿態,其總體識別率較高。然而,基于紅外圖像的方法僅對靜止行為有較好的識別效果；對于跌倒等包含一系列連續動作的行為,由于難以依據單幀圖像進行識別,這些方法往往不能達到令人滿意的效果。

針對上述問題,本文提出紅外圖像拼接方法:通過將連續多幀圖像拼為一張大圖,實現從三維視頻到二維圖像的轉變。這樣既保留了數據的時空聯系,有利于后續識別工作；又可簡化識別模型,減少處理時間。殘差網絡[12]便于訓練,易于收斂,泛化能力強,性能優異,在圖像識別方面得到了廣泛應用。ResNet-18作為一種典型代表,識別精確率較高且模型參數較少；其在可見光圖像識別上一直表現良好,但在紅外圖像識別中效果欠佳。本文在ResNet-18網絡的基礎上,根據紅外圖像的特性對其進行改進:首先,構建多分支同構結構,替換7×7卷積；然后,結合最大池化和平均池化對池化層進行優化；最后,引入非對稱卷積塊構成多重殘差結構,并將改進ECA模塊與CBAM的空間注意力模塊結合,加入殘差塊中。此外,考慮到跌倒常對人,尤其對老年人造成較為嚴重的傷害[13],因此本文選擇跌倒和易與跌倒相混淆的站到坐、坐到躺等行為,以及站立、靜坐、平躺、行走等常見行為作為研究對象,構建紅外人體行為識別系統,并對這7種行為進行識別,取得了良好的效果。

2 人體行為識別系統

本文所設計的人體行為識別系統如圖1所示。首先,選擇德國海曼器件公司制造的HTPA80x64dR1L5.0/1.0熱成像陣列傳感器采集紅外信息,其分辨率為80×64像素。其次,為了盡可能減少視場盲區,將傳感器安裝于距離地面1.8 m的墻角處,與水平方向的夾角為88°,與垂直方向的夾角為70°。從圖1可以看出,在1.8 m以下的區域中,除了陰影部分外,其余均在視場范圍內。再次,將傳感器采集的溫度分布信息,通過I2C接口發送至樹莓派,并進一步通過內置通信模塊將其發送至PC端,從而獲取紅外圖像。最后,對紅外圖像進行拼接,再經過改進ResNet-18卷積神經網絡算法進行分類,完成人體行為識別。

圖1 系統結構示意圖Fig.1 System structure diagram

3 紅外圖像拼接

對于采集到的紅外圖像,考慮到幀與幀之間的關聯性,基于視頻流的深度學習方法是一個很好的選擇。然而,傳統基于視頻的深度學習方法存在模型復雜,處理時間長等缺陷。基于圖像的深度學習方法雖然具有模型相對簡潔,運算處理快等優勢；但人體行為往往包括一系列連續動作,難以僅依據單幀圖像進行識別。為了充分利用數據的時空聯系,方便后續識別,同時簡化識別模型,提高處理效率,本文提出紅外圖像拼接方法:將連續多幀圖像組合為一張大圖,實現從三維視頻到二維圖像的轉變。

由于跌倒,從站到坐,從坐到躺等人體姿態變化過程的持續時間不超過4秒,且HTPA80x64dR1L5.0/1.0熱成像陣列傳感器幀率約為5 f/s,因此為了在一張大圖中包含完整的行為過程,本文選取25幀連續圖像進行拼接,圖2為拼接后的跌倒狀態示意圖。

圖2 拼接圖像示意圖Fig.2 Schematic diagram of mosaic image

4 改進ResNet-18網絡

近年來,由于在圖像和語音識別方面的良好表現,卷積神經網絡逐漸成為研究熱點。殘差網絡是一種表現優異的卷積神經網絡,在圖像識別方面有著廣泛的應用。ResNet-18網絡作為一種典型代表,其性能優異且模型參數較少,在保持較高準確率的同時僅占用較少的內存空間[14]。

ResNet-18網絡在可見光圖像識別上一直表現良好,但在紅外圖像識別中表現欠佳。本文在ResNet-18網絡結構的基礎上,針對人體行為識別任務,并根據紅外圖像自身的特性,提出一種改進ResNet-18網絡結構,該結構如圖3所示。首先,構建多分支同構結構Conv_x,替換7×7卷積；然后,結合最大池化和平均池化,對池化層pool1、pool2進行改進；最后,引入非對稱卷積塊構成多重殘差結構,并將改進ECA模塊與CBAM的空間注意力模塊結合,加入殘差塊Conv1_x、Conv2_x、Conv3_x和Conv4_x中。

對于Conv_x中的每個卷積層,圖3中依次給出了輸入通道數、卷積核大小及輸出通道數。網絡的輸出將會給出圖像的類別,即圖像是跌倒,站立,靜坐,平躺,行走,站到坐以及坐到躺中的哪一類。表1給出了該網絡的相關參數,包括各層的名稱,結構參數和輸出大小,及相應卷積層的核大小、輸出通道數,池化層的核大小、步長。

圖3 改進ResNet-18網絡結構Fig.3 Improve ResNet-18 network structure

表1 改進ResNet-18網絡相關參數Tab.1 Improve ResNet-18 network related parameters

4.1 多分支同構結構

傳統殘差網絡中第一層卷積為7×7的大卷積,目的是在不增加通道數的情況下,盡量保留原始圖像的信息。然而紅外圖像對比度低、圖像模糊[15],單一7×7卷積非線性表達能力不強,特征提取效果不佳,為了增強網絡的表達能力,提升網絡模型對紅外圖像的分類性能,本文設計了如圖3所示的多分支同構結構。該結構由16組卷積構成,即16條獨立路徑的同構結構。每組第一層卷積的步長為2,填充為1,其余層卷積步長為1,無填充。

4.2 池化層改進

最大池化能夠提取圖像的主要特征,平均池化則能很好地保留圖像的背景信息。傳統殘差網絡使用單一的最大池化或平均池化,這樣不可避免地丟失了部分有用信息。為了盡量避免有用信息的丟失,本文設計了如圖3中pool1和pool2所示的池化結構,將最大池化和平均池化提取的特征進行融合,這樣得到的特征將更豐富多元,其表達能力也更強。

4.3 殘差塊改進

4.3.1 多重殘差結構

傳統殘差塊由2個堆疊的3×3卷積及恒等映射連接構成,卷積結構單一,提取特征方式固定。為增加網絡的多樣性,使網絡能夠提取不同尺度的圖像特征,本文設計了多重殘差結構。如圖4所示。

圖4 改進殘差塊示意圖Fig.4 Improved residual block diagram

多重殘差結構，在原結構基礎上增加兩條并行的特征提取通路:一條通路由3×3卷積構成,另一條通路由3×3卷積和1×3卷積、3×1卷積構成的非對稱卷積塊堆疊而成。這種非對稱卷積塊抑制了模型的過擬合,增強了模型的非線性擴展性,不但能夠提取更多空間特征,而且使提取的特征更加穩定與多元。

4.3.2 改進CBAM

在數據采集的過程中,不可避免會受到噪聲的干擾,而且不同情況下,人體在紅外圖像中所處位置以及呈現的形態是不一樣的。這就要求識別方法能夠更多地關注人體形態特征信息,而忽略其他無價值的信息；注意力機制很好地解決了這個問題。

Wang等人[16]提出ECA模塊,給定通過全局平均池化(GAP)獲得的聚合特征,經過大小為k的快速1D卷積實現跨通道信息交互,接著使用Sigmoid函數生成通道注意力權重,再將該權重與輸入特征相乘得到通道注意力特征。但是該模塊忽略了目標特征的另一種重要表征形式——經過全局最大池化(GMP)獲得的聚合特征。因此,本文同時使用GAP和GMP提取的特征對ECA模塊進行改進,使網絡能夠更有效地增強有意義的特征通道。改進ECA模塊如圖5所示,其中1D卷積核大小k=3,σ表示Sigmoid函數。

圖5 改進ECA模塊示意圖Fig.5 Improved ECA module diagram

ECA模塊使網絡能更有效地選擇有意義的特征通道,CBAM[17]中的空間注意力模塊則使網絡能更多的關注有價值的區域信息。將改進ECA模塊與空間注意力模塊結合,形成改進CBAM模塊,該模塊如圖6所示,并將其加入多重殘差結構中,對殘差塊完成進一步的改進,示意圖如圖4所示。

圖6 改進CBAM模塊Fig.6 Improve CBAM module

5 實驗結果與分析

5.1 實驗數據

實驗環境為室內普通辦公房間,實驗數據來自三位不同身高、體態的實驗人員(兩男一女)；考慮季節對實驗結果的影響,我們選擇最具代表性的夏季與冬季進行數據采集；跌倒、站立、靜坐、平躺、行走、站到坐以及坐到躺等7種行為的示意圖如圖7所示。

圖7 各種人體行為示意圖Fig.7 Diagrams of various human behaviors

本文將拼接后得到的6930張紅外圖像按2:1的比例分成訓練集與測試集,得到包含4620張圖像的訓練集和包含2310張圖像的測試集。為了增加訓練集的數量,減少模型的過擬合,采用水平翻轉的方法將訓練集擴充一倍,最終得到包含9240張圖像的訓練集和包含2310張圖像的測試集。各個行為的實驗次數、拼接后圖像數、水平翻轉前和水平翻轉后訓練集圖像數、測試集圖像數如表2所示。

表2 各行為相關圖像數

5.2 環境與設置

實驗運行環境:Debian操作系統,Intel Xeon E5-2640 v4處理器,16G內存,NVIDIA GTX1080Ti GPU。使用Pytorch深度學習框架搭建網絡,網絡的損失代價函數選擇交叉熵損失函數；采用Adam優化方法,學習率設置為0.001。

5.3 實驗結果與對比分析

為了使實驗結果更加可靠,將改進ResNet-18網絡訓練三次,每次訓練300輪,取最優參數進行測試,結果如表3所示。

表3 混淆矩陣Tab.3 Confusion matrix

從表3可以看出,在2310個行為中,正確識別2309次,錯誤識別1次,準確率高達99.96 %,且異常行為——跌倒——均能準確識別,表明本文所提改進ResNet-18網絡的識別效果良好。此外,誤判的圖像如圖8所示。

圖8 誤判圖像Fig.8 Image of misjudgment

從圖8可以看出,人體特征不明顯,使得行走圖像易與站立圖像相混淆。當人體距離傳感器較遠,且環境溫度較高時,可能出現圖像中噪聲過大導致網絡未能準確提取人體特征的情況。然而,行走與站立均為正常行為,誤判不會造成嚴重后果。

在基于紅外圖像的人體行為識別領域,文獻[10]識別的人體行為與本文相近,且其構建的CNN網絡取得了比傳統LBP-KNN、HOG-KNN、LBP-SVM等方法更優的識別精度；文獻[11]構建的CNN網絡是目前人體行為識別效果最好的深度學習方法之一。為了進一步驗證本文所提改進ResNet-18網絡的性能,在本文構建的數據集下,與文獻[10]、文獻[11]構建的CNN網絡以及ResNet-18網絡進行對比,結果如表4所示。

表4 各網絡實驗結果對比Tab.4 Comparison of network experiment results

從表4可以看出,與原始ResNet-18網絡相比,改進ResNet-18網絡的識別率有所提升,這證明了本文所提方法的有效性；此外,改進ResNet-18網絡的識別率明顯優于文獻[10]和[11]中構建的CNN網絡,這證明了本文所提方法具有明顯的優勢。

6 結 論

本文提出了一種基于改進ResNet-18網絡的紅外圖像人體行為識別方法。首先,通過熱成像陣列傳感器采集跌倒、站立、靜坐、平躺、行走、站到坐及坐到躺7種行為的紅外圖像,并對圖像進行拼接處理。接著,通過對ResNet-18網絡進行相應改進,增強了網絡的表達能力,降低了有用信息的丟失率,增加了網絡的多樣性,提升了網路的特征提取能力。經實驗表明,改進ResNet-18網絡識別率達到99.96 %,不但高于傳統的ResNet-18網絡,而且明顯優于基于紅外圖像的其他網絡,取得了理想的識別效果。