基于多流卷積神經(jīng)網(wǎng)絡(luò)的跌倒檢測(cè)算法

張 陶，鄔春學(xué)

（上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

0 引言

第七次全國(guó)人口普查顯示，我國(guó)60 歲及以上人口為26 402 萬(wàn)人，占總?cè)丝诘?8.70%（其中，65 歲及以上人口為19 064 萬(wàn)人，占13.50%）。可見(jiàn)我國(guó)人口老齡化進(jìn)一步加深，如何妥善地照顧老年人已成為社會(huì)各界關(guān)注的焦點(diǎn)問(wèn)題。據(jù)調(diào)查，每年大約有30 多萬(wàn)人死于意外跌倒，其中60歲以上的老年人占一半以上，可見(jiàn)意外跌倒已成為老年人意外死亡的頭號(hào)殺手，同時(shí)一半以上的老年人跌倒是發(fā)生在家里，而且大部分較為嚴(yán)重的后果并不是在跌倒的第一時(shí)間造成，而是由于跌倒后沒(méi)有得到及時(shí)幫助和救護(hù)。通常，子女和其他看護(hù)人員無(wú)法對(duì)老年人進(jìn)行全天候照看，因此開(kāi)發(fā)一套高效實(shí)用的老年人跌倒檢測(cè)系統(tǒng)尤為重要。系統(tǒng)能夠準(zhǔn)確地檢測(cè)到老年人的跌倒行為，并發(fā)送報(bào)警信息以及時(shí)呼叫救援，從而避免情況進(jìn)一步惡化。

1 相關(guān)研究

目前，針對(duì)跌倒檢測(cè)的研究主要有3 個(gè)方向，分別是基于可穿戴設(shè)備的檢測(cè)方法、基于分布式環(huán)境參數(shù)采集的檢測(cè)方法以及基于機(jī)器視覺(jué)的跌倒檢測(cè)方法。

基于可穿戴設(shè)備的跌倒檢測(cè)［1-3］主要是人體佩戴集成了各類傳感器設(shè)備，通過(guò)集成的傳感器檢測(cè)人體運(yùn)動(dòng)數(shù)據(jù)變化，如加速度、方位角等信息，以進(jìn)行跌倒檢測(cè)。Nho等［4］使用心率傳感器和0 加速度計(jì)融合的基于聚類分析的用戶自適應(yīng)跌倒檢測(cè)方法，通過(guò)特征選擇提出最好的13維特征子集進(jìn)行跌倒檢測(cè)。但是可穿戴設(shè)備要求使用者實(shí)時(shí)佩戴設(shè)備，一定程度上會(huì)影響日常生活，并且設(shè)備還會(huì)受限于電量等因素干擾，有時(shí)老人也容易忘記佩戴，因而實(shí)際用戶體驗(yàn)不佳。

基于分布式環(huán)境參數(shù)采集的跌倒檢測(cè)技術(shù)［5-7］是通過(guò)在家居環(huán)境中安裝傳感器，主要采集地面振動(dòng)［7］或壓力數(shù)據(jù)、環(huán)境聲音［8］以及雷達(dá)信號(hào)等之類的信息，分析人體在采集區(qū)域內(nèi)的環(huán)境信息進(jìn)行跌倒檢測(cè)。該類方法對(duì)用戶影響較小，無(wú)需實(shí)時(shí)佩戴設(shè)備，但是檢測(cè)區(qū)域大小受限，若所有場(chǎng)景全覆蓋則會(huì)造成成本增加，并且往往無(wú)法有效地區(qū)分振動(dòng)源，容易受到環(huán)境干擾，從而導(dǎo)致誤報(bào)，降低系統(tǒng)檢測(cè)準(zhǔn)確率。

基于機(jī)器視覺(jué)的跌倒檢測(cè)技術(shù)［9-15］主要通過(guò)攝像頭采集人體日常生活的影像，并對(duì)視頻序列進(jìn)行相應(yīng)分析，提取出人體的一些特征信息，進(jìn)而判斷人體跌倒行為和非跌倒行為。Ge 等［9］以YOLOv3-tiny 目標(biāo)檢測(cè)算法為基礎(chǔ)融合通道注意力機(jī)制和空間注意力機(jī)制，增加了檢測(cè)準(zhǔn)確性。Chhetri 等［14］使用增強(qiáng)型動(dòng)態(tài)光流技術(shù)對(duì)光流視頻的時(shí)間數(shù)據(jù)進(jìn)行等級(jí)池化編碼，從而提高跌倒檢測(cè)處理時(shí)間并提高動(dòng)態(tài)光照條件下的分類精度。基于機(jī)器視覺(jué)的跌倒檢測(cè)是非侵入式的，不需要用戶實(shí)時(shí)佩戴設(shè)備，因而不會(huì)影響老人的日常生活，其成本相對(duì)較小，并且檢測(cè)范圍廣，因而獲得廣泛關(guān)注。

傳統(tǒng)跌倒檢測(cè)算法一般通過(guò)人工設(shè)計(jì)相關(guān)特征參數(shù)以表征運(yùn)動(dòng)目標(biāo)，例如寬高比、質(zhì)心高度等，再通過(guò)閾值分析法完成判斷，但是人工選取的特征參數(shù)往往無(wú)法全面地表征目標(biāo)。近年來(lái)，隨著智能家居的不斷發(fā)展，家居環(huán)境中視頻監(jiān)控的逐漸普及為家居場(chǎng)景中老年人的跌倒行為檢測(cè)提供了新的解決方案。并且，隨著機(jī)器視覺(jué)的發(fā)展，已經(jīng)可以從監(jiān)控視頻中提取到人體輪廓和運(yùn)動(dòng)特征，再經(jīng)卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)地通過(guò)卷積核提取目標(biāo)特征［16］，這樣做既可避免佩戴相關(guān)設(shè)備，還克服了人工設(shè)計(jì)特征的片面性，進(jìn)而達(dá)到對(duì)目標(biāo)的智能化檢測(cè)、監(jiān)控和管理。

鑒于此，本文基于機(jī)器視覺(jué)的跌倒檢測(cè)方法提出一種添加了融合流的多流卷積神經(jīng)網(wǎng)絡(luò)模型，以視頻序列中提取出的人體輪廓圖為空間流卷積神經(jīng)網(wǎng)絡(luò)輸入，以運(yùn)動(dòng)歷史圖作為時(shí)間流神經(jīng)網(wǎng)絡(luò)輸入，并新增融合流用于融合時(shí)間流和空間流特征提取網(wǎng)絡(luò)中的時(shí)空信息，更全面地利用時(shí)空特征對(duì)跌倒行為進(jìn)行檢測(cè)。實(shí)驗(yàn)證明，該模型對(duì)跌倒行為檢測(cè)具有良好的實(shí)時(shí)性和可靠性。

2 多流卷積神經(jīng)網(wǎng)絡(luò)

雙流卷積神經(jīng)網(wǎng)絡(luò)的融合階段是在單流網(wǎng)絡(luò)的全連接層和分類函數(shù)之后的一種晚融合，這種融合方式在一定程度上忽略了時(shí)空信息之間的交互，無(wú)法充分利用網(wǎng)絡(luò)中的所有有效信息［17］。鑒于此，本文在雙流卷積網(wǎng)絡(luò)模型的基礎(chǔ)上，加入一個(gè)融合流網(wǎng)絡(luò)，與時(shí)間流和空間流一起組成一個(gè)三支流的多流卷積神經(jīng)網(wǎng)絡(luò)模型，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。融合流單獨(dú)于時(shí)間流和空間流作為一個(gè)全新的融合流網(wǎng)絡(luò)，分別對(duì)時(shí)間流和空間流的最后兩層卷積層進(jìn)行時(shí)空特征融合，并將得到的兩個(gè)時(shí)空融合特征進(jìn)行融合得到多級(jí)時(shí)空融合特征，最后將這3 支流的輸出進(jìn)行晚融合從而得到最終跌倒檢測(cè)結(jié)果。

從圖1 可以看出，相較于傳統(tǒng)的雙流卷積模型，本文提出的多流卷積神經(jīng)網(wǎng)絡(luò)模型在特征提取階段就進(jìn)行了對(duì)應(yīng)層級(jí)的特征融合。傳統(tǒng)雙分支結(jié)構(gòu)的晚融合對(duì)特征提取網(wǎng)絡(luò)中的時(shí)間信息和空間信息間利用不充分，致使丟失了網(wǎng)絡(luò)淺層中的局部信息和網(wǎng)絡(luò)深層中的全局信息。本文提出的方法對(duì)特征提取階段對(duì)應(yīng)層進(jìn)行了一定程度上的早融合，即使用了全局信息，同時(shí)也保留了一部分局部信息，極大程度上結(jié)合了特征提取網(wǎng)絡(luò)中的時(shí)間信息和空間信息間，彌補(bǔ)了傳統(tǒng)雙分支結(jié)構(gòu)全連接層和分類函數(shù)之后晚融合特征的缺點(diǎn)。

Fig.1 Architecture of fall detection network based on multi-stream convolutional neural network圖1 基于多流卷積神經(jīng)網(wǎng)絡(luò)的跌倒檢測(cè)網(wǎng)絡(luò)架構(gòu)

2.1 空間流卷積神經(jīng)網(wǎng)絡(luò)

空間流的主要目的是從圖片中提取出有效的空間信息，其輸入的是從視頻序列中提取的人體輪廓單幀，大小為224×224，經(jīng)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練后提取出圖像序列中人體在空間上的表征。空間流卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（見(jiàn)圖2）主要由5 個(gè)卷積層、3 個(gè)池化層、2 個(gè)全連接層以及2 次歸一化處理組成，采用自適應(yīng)矩估計(jì)優(yōu)化算法對(duì)網(wǎng)絡(luò)參數(shù)作優(yōu)化處理，并利用交叉熵?fù)p失函數(shù)計(jì)算損失值。網(wǎng)絡(luò)中第一個(gè)卷積層使用7 × 7 的卷積核，第二個(gè)卷積層使用5 × 5 的卷積核，其余卷積層均使用3 × 3 的卷積核，通過(guò)多個(gè)卷積核對(duì)上一層的輸出進(jìn)行卷積運(yùn)算，并通過(guò)Zero Padding 控制輸出維度的一致性。激活層選用ReLU 函數(shù)進(jìn)行稀疏化處理，以提高訓(xùn)練速度。池化層窗口均為2 × 2，并且都采取最大池化法。全連接層整合卷積層和池化層中的信息，解決了非線性問(wèn)題，并添加了失活層用來(lái)防止過(guò)擬合，最后通過(guò)Softmax 輸出空間流網(wǎng)絡(luò)訓(xùn)練結(jié)果。

Fig.2 Spatial flow convolutional neural network structure圖2 空間流卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)識(shí)別圖像的理論依據(jù)是卷積可以識(shí)別邊緣、紋理，然后通過(guò)不斷的卷積提取抽象的特征，最終實(shí)現(xiàn)圖像識(shí)別。但是圖像中的陰影背景之類，由于其邊緣模糊，沒(méi)有明顯輪廓，一定程度上會(huì)影響檢測(cè)結(jié)果。因此，本文以背景差分法為基礎(chǔ)，提出基于高斯混合模型的人體輪廓檢測(cè)方法，具體流程如圖3 所示。先對(duì)圖像進(jìn)行處理，輸出人物輪廓圖，并將其作為空間流的輸入，可在一定程度上消除背景對(duì)檢測(cè)的干擾［18］，提高最終檢測(cè)結(jié)果的準(zhǔn)確性。高斯混合模型建模的主要步驟分為模型建立、參數(shù)更新、前景提取這3個(gè)步驟。

2.1.1 模型建立

Fig.3 Overall block diagram of the human body contour extraction algorithm圖3 人體輪廓提取算法總體框圖

背景差分法主要將圖像序列中的視頻幀和背景模型進(jìn)行差分處理，進(jìn)而檢測(cè)出前景圖像。在整個(gè)運(yùn)動(dòng)目標(biāo)檢測(cè)中最重要的一步是背景圖像建模，背景建模的精準(zhǔn)度直接決定了檢測(cè)準(zhǔn)確度。同時(shí)，考慮到現(xiàn)實(shí)生活中背景圖像是動(dòng)態(tài)變化的，因此要對(duì)已經(jīng)建成的背景模型進(jìn)行適當(dāng)?shù)谋尘案隆?/p>

本文選用高斯混合模型（Gaussian Mixture Model，GMM）進(jìn)行背景建模，高斯混合模型是用高斯分布精確地量化事物，將一個(gè)事物分解成若干個(gè)基于高斯分布形成的模型［19］，在該模型中假設(shè)像素點(diǎn)之間相互獨(dú)立，將視頻序列中的每個(gè)像素點(diǎn)按多個(gè)高斯分布的疊加進(jìn)行建模，每種高斯分布可以表示一種場(chǎng)景，多個(gè)高斯模型混合就可以模擬出多模態(tài)情形。因此，對(duì)每個(gè)像素點(diǎn)建立K 個(gè)高斯模型，概率密度函數(shù)可由K 個(gè)高斯模型的概率密度函數(shù)的加權(quán)和決定，具體如式（1）所示。

其中，Xj，t表示t時(shí)刻像素j的取值；K 表示高斯分布個(gè)數(shù)，一般設(shè)置為3～5；ωi，t表示t時(shí)刻第i個(gè)高斯分布的權(quán)重；μi，t為第i個(gè)高斯分布的均值；為協(xié)方差矩陣；η代表高斯分布概率密度函數(shù)。

2.1.2 參數(shù)更新

為了適應(yīng)背景動(dòng)態(tài)變化，更好地描述圖像的像素分布，模型匹配之后需進(jìn)行參數(shù)更新，以保證算法準(zhǔn)確性。首先將當(dāng)前圖像序列中每個(gè)視頻幀的像素值和所建立的K個(gè)高斯模型進(jìn)行比較，如果視頻序列中某幀的K個(gè)高斯模型滿足式（2），則稱像素Xj，t和第i個(gè)高斯模型匹配。

若不匹配，則新增一個(gè)高斯分布，并用其將權(quán)值系數(shù)最小的分布替代，其余分布的均值和方差保持不變，并按式（3）進(jìn)行參數(shù)更新。

其中，α為學(xué)習(xí)速率，代表背景更新速度；ρ為參數(shù)學(xué)習(xí)速率；M為狀態(tài)值，取決于匹配狀態(tài)，匹配成功與失敗分別對(duì)應(yīng)1和0。

2.1.3 前景提取

訓(xùn)練完成后進(jìn)行前景圖像提取，針對(duì)圖像序列中的每個(gè)視頻幀，將其對(duì)應(yīng)的K個(gè)高斯模型按照ω/σ的大小進(jìn)行排序，并選中其中前B個(gè)模型對(duì)背景模型進(jìn)行重構(gòu)。

其中，T 為閾值，通常為0.5～1，本文設(shè)置為0.75，即判斷前B個(gè)模型的權(quán)值之和是否大于閾值。

若這前B個(gè)高斯分布可以匹配上當(dāng)前視頻幀的任意高斯分布，則為背景，否則該幀為前景。圖4 為不同場(chǎng)景下的人體輪廓檢測(cè)圖及其對(duì)應(yīng)的前景圖，可見(jiàn)能夠?qū)崿F(xiàn)對(duì)人體目標(biāo)的準(zhǔn)確檢測(cè)。

Fig.4 Human contour detection map and foreground image圖4 人體輪廓檢測(cè)圖及前景圖像

2.2 時(shí)間流卷積神經(jīng)網(wǎng)絡(luò)

時(shí)間流和空間流類似，采用不同尺寸的卷積核對(duì)輸入進(jìn)行卷積操作，并經(jīng)過(guò)池化、激活等操作處理，最后通過(guò)Softmax 函數(shù)得到時(shí)間流的訓(xùn)練結(jié)果。相比于空間流輸入RGB 圖片，時(shí)間流輸入運(yùn)動(dòng)歷史圖（Motion History Image，MHI）以提取時(shí)間特征。MHI 是一種基于視覺(jué)的模板方法，通過(guò)計(jì)算時(shí)間段內(nèi)同一位置像素值的變化，進(jìn)而以圖像亮度的形式表示時(shí)間段內(nèi)目標(biāo)的運(yùn)動(dòng)情況。與RGB 圖片能夠直接從視頻中逐幀分隔得到不同，MHI 是從連續(xù)的RGB 圖片或者視頻中估算得到。圖像中每個(gè)像素點(diǎn)的灰度值代表了在一組視頻序列中該像素點(diǎn)的最近運(yùn)動(dòng)狀況，運(yùn)動(dòng)發(fā)生的時(shí)間越近，則該點(diǎn)的灰度值越高。因此，MHI可以用來(lái)表征在一段時(shí)間內(nèi)人體的運(yùn)動(dòng)情況，這使得其非常適合作為時(shí)間流網(wǎng)絡(luò)的輸入。

設(shè)H 為MHI每個(gè)像素的灰度值，則有：

其中，(x，y)表示像素點(diǎn)的位置，t表示時(shí)間，τ為持續(xù)時(shí)間，即運(yùn)動(dòng)時(shí)間的范圍。δ是衰退參數(shù)，Ψ(x，y，t)為更新參數(shù)，由背景差分法定義：

其中，I(x，y，t)為視頻序列第t幀中坐標(biāo)(x，y)的像素點(diǎn)的強(qiáng)度值，Δ 為幀間距離，ξ為差異閾值，一般通過(guò)實(shí)驗(yàn)獲取，不同的視頻場(chǎng)景對(duì)應(yīng)不同的閾值。

時(shí)間流的輸入是連續(xù)3 幀的運(yùn)動(dòng)歷史圖，大小為224×224×3。本文將持續(xù)時(shí)間τ設(shè)為15，差異閾值ξ設(shè)為32。具體運(yùn)動(dòng)歷史圖的實(shí)現(xiàn)效果如圖5所示。

Fig.5 Motion history image extraction effect圖5 運(yùn)動(dòng)歷史圖提取效果

2.3 融合流卷積神經(jīng)網(wǎng)絡(luò)

融合流網(wǎng)絡(luò)主要對(duì)時(shí)間流和空間流的最后兩層卷積層進(jìn)行特征融合，選取最后兩層是為了彌補(bǔ)單層融合造成的信息缺失。由于卷積神經(jīng)網(wǎng)絡(luò)對(duì)卷積層疊加的特性，網(wǎng)絡(luò)淺層中富含局部信息但缺少全局信息，而網(wǎng)絡(luò)深層中富含全局信息，缺少局部信息，因而單層融合無(wú)法充分利用特征信息，而層數(shù)過(guò)多又會(huì)導(dǎo)致過(guò)多的無(wú)用信息，增加計(jì)算量。因此，綜合考慮后選取最后兩層進(jìn)行融合，既可使用全局信息又保留了局部信息，同時(shí)平衡了計(jì)算量和網(wǎng)絡(luò)精度。

2.3.1 多模態(tài)融合算法

傳統(tǒng)的特征融合一般使用特征拼接、按位乘、按位加等，其操作復(fù)雜度雖然弱于外積，但不足以建立模態(tài)間的復(fù)雜關(guān)系，然而外積的復(fù)雜度又過(guò)高，運(yùn)用在跌倒檢測(cè)中計(jì)算量過(guò)于龐大。鑒于此，本文采用多模態(tài)融合算法（Multimodal Compact Bilinear pooling，MCBP），該算法將外積的結(jié)果映射到低維空間中，并且不需要顯式地計(jì)算外積。

雙線性池化是對(duì)雙線性融合后的特征進(jìn)行池化處理，雙線性的實(shí)現(xiàn)就是向量的外積計(jì)算。由于雙線性的特征維度特別高，因而壓縮雙線性池化（Compact Bilinear Pooling，CBP）這一概念被提出，CBP 是對(duì)雙線性池化的一種降維近似。而MCBP 又是對(duì)CBP 的改進(jìn)，可以用來(lái)融合多模態(tài)的特征值，拓寬了CBP 輸入的特征維度。該算法包括數(shù)據(jù)降維和融合兩部分。

首先是數(shù)據(jù)降維，使用Count Sketch 映射函數(shù)對(duì)兩個(gè)模態(tài)的特征向量進(jìn)行降維處理，得到特征的Count Sketch。記輸入的特征向量v∈Rm，初始化一個(gè)零向量y，同時(shí)從{1，...，n}中隨機(jī)選取樣本參數(shù)向量h，從{-1，1}中隨機(jī)選取樣本參數(shù)向量s。經(jīng)由投影函數(shù)式（8）開(kāi)始降維處理。

數(shù)據(jù)降維完成后，在融合階段經(jīng)由快速傅里葉變換（FFT）和快速傅里葉逆變換（IFFT）處理得到融合的特征。記k個(gè)輸入特征為vj∈，降維處理后∈Rn。則可通過(guò)式（9）計(jì)算得到數(shù)據(jù)結(jié)果。

其中，F(xiàn)FT代表快速傅里葉變換，F(xiàn)FT-1代表快速傅里葉逆變換，⊙表示對(duì)應(yīng)元素乘法。

MCBP 算法整體流程如算法1所示。

算法1：多模態(tài)融合算法

2.3.2 多模態(tài)融合模塊

融合流網(wǎng)絡(luò)主要對(duì)時(shí)間流和空間流的最后兩層卷積層進(jìn)行特征融合。本文基于MCBP 算法設(shè)計(jì)了多模態(tài)特征融合模塊（Multimodal Feature Fusion Module，MFFM），用來(lái)對(duì)特征值進(jìn)行融合調(diào)整。首先，要將對(duì)應(yīng)層級(jí)的時(shí)空特征使用MFFM 進(jìn)行融合得到對(duì)應(yīng)的融合時(shí)空特征，待最后兩層卷積層都融合完成后，將得到的兩個(gè)融合時(shí)空特征再次經(jīng)由MFFM 模塊進(jìn)行融合得到最后的多級(jí)融合時(shí)空特征。MFFM 模塊具體結(jié)構(gòu)如圖6所示。

Fig.6 Multi-modal feature fusion module圖6 多模態(tài)特征融合模塊

MFFM 包括特征融合和特征調(diào)整兩個(gè)階段。特征融合階段主要使用MCBP 算法對(duì)輸入的多個(gè)特征進(jìn)行降維融合。特征調(diào)整階段主要通過(guò)特征調(diào)整網(wǎng)絡(luò)對(duì)融合得到的時(shí)空特征進(jìn)行噪聲問(wèn)題和感受野調(diào)整，特征調(diào)整網(wǎng)絡(luò)經(jīng)由2 個(gè)卷積層、2 個(gè)激活層和2 次數(shù)據(jù)歸一化處理。通過(guò)特征調(diào)整可對(duì)融合特征作進(jìn)一步優(yōu)化，以降低數(shù)據(jù)維度并抑制噪聲，提高預(yù)測(cè)精準(zhǔn)度。

2.4 模型融合

多流卷積神經(jīng)網(wǎng)絡(luò)一共有3 個(gè)分支，通過(guò)相應(yīng)處理分別提取空間特征、時(shí)間特征以及多級(jí)融合時(shí)空特征，最后將3 個(gè)分支的輸出進(jìn)行融合得到最終檢測(cè)結(jié)果。設(shè)f是神經(jīng)網(wǎng)絡(luò)提取的特征向量，其中θ為Softmax 分類器參數(shù)，則將f分類為類別j的概率p(j|f)為：

記Ps為空間流神經(jīng)網(wǎng)絡(luò)檢測(cè)的分?jǐn)?shù)結(jié)果，Pt為時(shí)間流神經(jīng)網(wǎng)絡(luò)檢測(cè)的分?jǐn)?shù)結(jié)果，Pf為融合流神經(jīng)網(wǎng)絡(luò)檢測(cè)的分?jǐn)?shù)結(jié)果。最后，整個(gè)多流網(wǎng)絡(luò)檢測(cè)為類別j的概率scorej為：

其中，α、β、χ分別是空間流、時(shí)間流和融合流對(duì)應(yīng)的權(quán)重，本文設(shè)置α=1，β=2，χ=1。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)中使用Pytorch［20］深度學(xué)習(xí)環(huán)境，損失函數(shù)使用交叉熵?fù)p失函數(shù)，動(dòng)量參數(shù)設(shè)置為0.9，初始學(xué)習(xí)率設(shè)置為0.001，批數(shù)據(jù)大小設(shè)置為48，訓(xùn)練輪數(shù)epoch 設(shè)置為100。

為驗(yàn)證實(shí)驗(yàn)檢測(cè)準(zhǔn)確性，實(shí)驗(yàn)在Le2i 和蒙特利爾兩個(gè)公開(kāi)的跌倒數(shù)據(jù)集進(jìn)行檢驗(yàn)，Le2i 跌倒檢測(cè)數(shù)據(jù)集包含家庭、辦公室、教室及咖啡廳4 種場(chǎng)景，且存在假摔視頻及無(wú)人視頻。數(shù)據(jù)集使用單攝像頭拍攝，刷新率為25Hz，分辨率為320×240。蒙特利爾數(shù)據(jù)集是由蒙特利爾大學(xué)公開(kāi)的摔倒數(shù)據(jù)集，該數(shù)據(jù)集包含24 個(gè)場(chǎng)景，利用8 個(gè)IP 視頻攝像機(jī)拍攝，視頻刷新率為120Hz，分辨率為720×480。

實(shí)驗(yàn)首先對(duì)視頻數(shù)據(jù)進(jìn)行預(yù)處理，使用OpenCV 庫(kù)將數(shù)據(jù)集的視頻數(shù)據(jù)按照幀數(shù)截取成相應(yīng)的RGB 圖片，然后采用COLOR_BGR2GRAY 對(duì)圖像作灰度化處理，并將圖像尺寸轉(zhuǎn)換為224×224 后輸出得到實(shí)驗(yàn)所需的圖像序列，再對(duì)圖像序列進(jìn)行相應(yīng)處理，提取出的人物框架和運(yùn)動(dòng)歷史圖將分別作為空間流和時(shí)間流的輸入，并利用融合流對(duì)特征提取網(wǎng)絡(luò)中的時(shí)空特征融合，最終融合得到輸出結(jié)果，按照相應(yīng)的實(shí)驗(yàn)指標(biāo)驗(yàn)證實(shí)驗(yàn)的有效性。

3.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

為了客觀評(píng)價(jià)本文模型在人體跌倒檢測(cè)中的檢測(cè)效果，規(guī)定TP 表示真陽(yáng)性，即跌倒行為成功檢測(cè)為跌倒事件；FP 表示偽陽(yáng)性，即非跌倒行為檢測(cè)為跌倒；FN 為偽陰性，即跌倒行為檢測(cè)為非跌倒。采用在ICDAR 大賽中規(guī)定的準(zhǔn)確率P、召回率R 及綜合F 值3 個(gè)指標(biāo)對(duì)模型性能進(jìn)行評(píng)估。

準(zhǔn)確率P 表示在所有檢測(cè)樣本中成功檢測(cè)為跌倒事件所占的檢測(cè)為跌倒事件的比例，可表示為：

召回率R 表示所有跌倒樣本中檢測(cè)為跌倒的部分在所有跌倒樣本中所占比例，即模型對(duì)跌倒行為的檢測(cè)能力，可表示為：

F 是準(zhǔn)確率和召回率的調(diào)和平均數(shù)，用來(lái)綜合評(píng)價(jià)模型檢測(cè)能力，可表示為：

3.3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文新增的融合流網(wǎng)絡(luò)輸入層數(shù)對(duì)跌倒檢測(cè)精確度的影響，在實(shí)驗(yàn)數(shù)據(jù)集上設(shè)置了4 組對(duì)照實(shí)驗(yàn)，分別是使用傳統(tǒng)雙流卷積網(wǎng)絡(luò)和三組分別添加了從對(duì)雙流網(wǎng)絡(luò)最后一層到最后三層的卷積層融合的多流卷積網(wǎng)絡(luò)的精確度比較，結(jié)果如表1所示。

Table 1 Comparison of accuracy of multi-level spatiotemporal feature detection表1 多級(jí)時(shí)空特征檢測(cè)精確度比較

由表1 可知，當(dāng)增加對(duì)雙流網(wǎng)絡(luò)最后一個(gè)卷積層的融合流后，整體網(wǎng)絡(luò)檢測(cè)精確度為93.2%，較傳統(tǒng)卷積網(wǎng)絡(luò)上漲1.4%，驗(yàn)證了時(shí)空融合特征的有效性。而融合最后兩層卷積層時(shí)，整體精確度又上漲0.3%，但當(dāng)選用最后三層卷積層時(shí)整體精確度卻只增加了0.1%。由此可見(jiàn)，隨著融合層度的增加，多流網(wǎng)絡(luò)的檢測(cè)精確度確實(shí)有所增加，但同時(shí)不斷增加的融合層一定程度上增加了計(jì)算量，并且隨著層數(shù)的不斷增加，檢測(cè)精確度的漲幅越來(lái)越小。因此，為了平衡計(jì)算量和檢測(cè)精度，本文選取對(duì)時(shí)間流和空間流的最后兩層進(jìn)行時(shí)空特征融合處理。

此外，還在兩個(gè)數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)與比較，為了驗(yàn)證本文多流卷積網(wǎng)絡(luò)檢測(cè)跌倒事件的有效性，將其與其他跌倒檢測(cè)方法在檢測(cè)效果上進(jìn)行比較。為了確保驗(yàn)證的有效性，訓(xùn)練和測(cè)試的所有條件保持一致，輸入尺寸均為224×224，具體性能指標(biāo)比較如表2、表3所示。

Table 2 Comparison of the detection effectiveness of each model on the Le2i dataset表2 Le2i數(shù)據(jù)集上各模型檢測(cè)準(zhǔn)確性比較

由表2 各模型的檢測(cè)結(jié)果比較可知，在Le2i 數(shù)據(jù)集上本文提出的基于多流卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)模型與現(xiàn)有網(wǎng)絡(luò)模型相比，準(zhǔn)確率方面有較大提升，為所有測(cè)試模型中精確度最高，并且其在各種指標(biāo)上的性能均優(yōu)于其他算法，可見(jiàn)添加融合流之后檢測(cè)依據(jù)的特征信息更充分，模型性能有所提高，進(jìn)一步說(shuō)明本文結(jié)合了融合流的多流神經(jīng)網(wǎng)絡(luò)的有效性。

由表3 可知，在蒙特利爾數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果與在Le2i 數(shù)據(jù)集上的結(jié)果相同，本文提出的多流卷積的跌倒檢測(cè)算法依舊擁有著最高的準(zhǔn)確率，相比雙流網(wǎng)絡(luò)精確度增加1.8%，較VGG16、GBDT 和SVM 增加3.9%、3.6%和5.8%。并且，本文方法在兩個(gè)數(shù)據(jù)集上的檢測(cè)精確度差距不大，由此也證明了本文多流卷積神經(jīng)網(wǎng)絡(luò)在跌倒檢測(cè)方面的普適性。

Table 3 Comparison of the detection accuracy of each model on the Montreal dataset表3 蒙特利爾數(shù)據(jù)集上各模型檢測(cè)準(zhǔn)確性比較

同時(shí)，由于跌倒檢測(cè)在時(shí)效性上有著較高要求，因此本文比較不同模型處理單個(gè)視頻幀圖片所耗時(shí)間，如圖7所示。其中，橫坐標(biāo)表示不同的比較算法，縱坐標(biāo)表示處理時(shí)間，單位為ms。由圖7 可知，本文多流卷積神經(jīng)算法雖然處理時(shí)間比SVM 和GBDT 算法長(zhǎng)，但是考慮到精確度提升，本文提出的基于多流卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)算法可以滿足跌倒檢測(cè)要求。

Fig.7 Comparison of the detection speed of each model圖7 各模型檢測(cè)速度比較

最后，針對(duì)數(shù)據(jù)集中的假摔及無(wú)人場(chǎng)景進(jìn)行針對(duì)性實(shí)驗(yàn)。針對(duì)無(wú)人場(chǎng)景，由于畫面中并無(wú)人物出現(xiàn)，因而會(huì)導(dǎo)致人物輪廓圖及運(yùn)動(dòng)歷史圖均為純黑色圖片，對(duì)其進(jìn)行單獨(dú)測(cè)試后發(fā)現(xiàn)，針對(duì)無(wú)人場(chǎng)景，并不會(huì)出現(xiàn)誤判情況。對(duì)于假摔場(chǎng)景，本文從兩個(gè)數(shù)據(jù)集中選取共計(jì)50 組包含假摔的場(chǎng)景進(jìn)行針對(duì)性實(shí)驗(yàn)，最終在50 次實(shí)驗(yàn)中，有2 次發(fā)生誤判，也證明了本文算法檢測(cè)的有效性。

4 結(jié)語(yǔ)

傳統(tǒng)的雙流卷積神經(jīng)網(wǎng)絡(luò)雖然結(jié)合了時(shí)空特征信息、多特征提取以及融合判斷，但是其融合發(fā)生在全連接層和分類函數(shù)之后，忽略了時(shí)間信息和空間信息間的交互。為了解決傳統(tǒng)雙流卷積網(wǎng)絡(luò)時(shí)空特征交互信息交互不足的問(wèn)題，提高人體跌倒行為檢測(cè)準(zhǔn)確率，提出一種添加了融合流的多流卷積神經(jīng)網(wǎng)絡(luò)模型。多流網(wǎng)絡(luò)利用空間流網(wǎng)絡(luò)提取幀內(nèi)外觀信息，利用時(shí)間流網(wǎng)絡(luò)捕捉幀間運(yùn)動(dòng)信息，并利用新增的融合流模塊加強(qiáng)網(wǎng)絡(luò)對(duì)細(xì)節(jié)信息的捕捉，很好地結(jié)合時(shí)空信息，更充分地利用特征提取網(wǎng)絡(luò)中的全局信息和局部信息。最終實(shí)驗(yàn)表明，相較于傳統(tǒng)檢測(cè)方法，本文提出的多流卷積神經(jīng)網(wǎng)絡(luò)在處理跌倒檢測(cè)問(wèn)題時(shí)較傳統(tǒng)方法提取特征能力更強(qiáng)，檢測(cè)更全面、更精確，證實(shí)了模型的有效性。同時(shí)，該方法也有待改進(jìn)之處，后續(xù)研究中可通過(guò)增加注意力機(jī)制等方法進(jìn)一步提升網(wǎng)絡(luò)精確度。