基于人體關節點的多人吸煙動作識別算法

劉 婧，楊 旭，劉董經典，牛 強，2

1.中國礦業大學 計算機科學與技術學院，江蘇 徐州221116

2.中國礦業大學 教育部礦山數字化工程研究中心，江蘇 徐州221116

醫學研究表明，吸煙已是造成肺癌、慢性肺病和冠心病等疾病重要因素，世界衛生組織的國際癌癥研究機構已將煙草列入致癌物清單。吸煙不僅危害自身的健康，對于吸入二手煙的人群也會造成更大的健康損害。在通風不良的公共場所，如公共汽車和商場的休息區，被迫吸二手煙的情況尤其嚴重。此外，因吸煙引起火災而造成的重大財產損失和人員傷亡的事故屢見不鮮。鑒于吸煙的諸多危害，許多國家已明令禁止在公共場所吸煙，因此出現了各種煙霧探測器。基于傳感器的煙霧檢測是目前使用最廣泛的檢測方法。但煙霧傳感器的檢測準確率受到距離限制，當房屋空間較大時，無法及時有效地檢測吸煙行為。也有研究人員提出使用Wi-Fi設備進行吸煙識別。Wi-Fi識別的有效性受設備穩定性影響，需要多個無線信號接收器一起工作以確保識別精度。在實際情況下，很難確保一定范圍內有多個無線設備。基于Wi-Fi 的動作識別還易受環境噪聲的影響，因此在多人環境中識別精度較低。現有的基于圖像的吸煙行為識別的工作中，是通過膚色檢測方法對頭部和手部進行分割的方法進行識別。因光線條件的影響，通過膚色區分人體的方法錯誤率較高。針對公共場所的吸煙檢測問題，文中提出了一種在多人環境下基于人體關節點的周期性動作檢測的吸煙動作識別方法。首先進行多人姿勢估計并提取人體關節點信息。然后，利用關節點信息跟蹤圖像中的每個人。通過大量實驗分析吸煙行為的周期性特征，并制定了吸煙行為規則。最后，通過檢測周期性行為來檢測吸煙行為。當系統識別出吸煙行為時，發出警報并標記吸煙者。在實際場景中進行了系統性能測試，結果表明文中的方法可以在多人環境中保持較高的準確性。本文的主要貢獻如下：

（1）分析吸煙動作，制定吸煙動作規范，進行周期性動作檢測，通過檢測到多次周期性動作后，判斷是否存在吸煙行為。

（2）首次在公共場景中對多人同時進行吸煙動作的識別。

（3）進行大量的實驗，研究整個吸煙的過程中關于時間和動作軌跡的規律性，通過對比實驗設定更加有效的參數，規范吸煙的動作。

1 相關工作

如今，動作識別有多種方式[1-2]（例如基于人體骨骼[3-5]）。基于深度學習的視頻動作識別，通過分別訓練時間模型與空間模型來模擬時間動態與外觀特征。時間網絡與空間網絡融合后，預測的結果通過SoftMax層輸出。早先提出的卷積神經網絡的方法專注于端到端重建[6-9]。研究人員不斷提出新的深度學習方法，Tran等人[10]提出了一種使用時空特征訓練三維卷積網絡的特征學習方法。 Hou 等人[11]提出了一種稱為Tube Convolutional Neural Network 的端對端深度網絡，用于視頻中的動作檢測。文獻[12]提出了分解式的時空卷積網絡，也有研究人員使用具有長期時間卷積的神經網絡來學習視頻表示[13]。Mahajan等人[14]提出了一項關于遷移學習的研究，該遷移學習使用大型卷積網絡進行訓練，可以預測數十億社交媒體圖像上的主題標簽。基于骨骼的動作識別方法需要準確地識別關節點信息[15]。在不斷更新的卷積神經網絡[16-17]之下，人的姿態估計精度得到了極大的提高。最近的研究工作使用遞歸神經網絡，在這些方法中，都強調了在人體[18-19]中建模的重要性。

現有的吸煙動作識別方法大多使用深度學習，由于整個吸煙動作歷時較長，在實驗中發現用時間卷積來提取特征并沒有很好的效果。現實場景中的應用也會涉及到多人、遮擋等問題。基于深度學習的圖像識別方法在多人的情況下存在計算量較大、實時性差等問題。同時還需要對大量數據進行訓練來提高識別的準確率。且現存的吸煙動作識別，多是在某個特定的場景應用，如對駕駛艙的司機進行單人正面檢測。在多人群密集的公共場所并沒有實際應用。由此，本文提出了一種在多人場景中基于人體關節點的周期性動作檢測識別吸煙動作的方法。

2 方法設計

以前多數的吸煙動作識別研究僅針對一個人，多人動作識別的實時性較差。文中主要關注多人環境中的吸煙行為識別。通過對現有的姿態估計算法[20-21]研究，實驗中使用自下而上的人體姿態估計算法[22]進行多人環境中的實時姿態估計，對多人動作進行周期性檢測實現吸煙動作識別。與之前深度學習的方法不同，文中提出的方法無需大量的訓練數據集，識別精度仍然穩定。如圖1是本文的結構流程圖。

圖1 吸煙動作識別系統

2.1 多人姿態估計

在自上而下的人體姿態估計工作中，關注整個人體骨架，對圖像中每個被檢測到的人進行單獨的姿態估計。在某些場景中遇到遮擋等問題時，因無法完全檢測到某些人導致無法估計其姿態。本文改進文獻[23-24]提出的方法，通過關節點組成肢體，肢體匹配后形成個人姿態。

首先需要在置信圖中提取關節點。在一個置信圖中，像素的值可以表示關節點的置信度。關節點的實際位置是高斯熱圖（Heatmap）關節點的峰值，通過非最大值抑制（Non-Maximum Suppression，NMS）的方法來計算關節點的像素峰值。置信圖中k人肢體j定義為Sj,k，其中P表示在圖中位置P，δ控制峰值擴散，Xj,k表示k人的肢體j的實際位置。Sj,k的具體定義如下：

找到每個關節點熱圖的所有峰值后，選取所有候選峰值中最大的峰值作為關節點信息。Sj表示最終被選取最大峰值的關節點信息：

產生的18個關節點與人體的對應關系如圖2所示。

圖2 人體18個關節點

然后對產生多個關節點進行肢體配對，匹配時存在大量的組合。為了正確進行關節點配對，使用部分親和度場（Part Affinity Fields，PAF）的方法來組合肢體。PAF 是每個身體部位的2D 矢量場，對于屬于特定肢體區域中的每個像素，2D 矢量編碼從肢體的一部分指向另一個部分的方向。因此每個類型的肢體都具有連接其兩個關節點相應的PAF，使用PAF 的方法，需要假設兩個關節點可能屬于在同一個肢體上，通過測量肢體相應的PAF上的線積分對候選的關節點進行評判，確定關節點是否屬于這個肢體。如圖3所示，黃色圓圈表示檢測到的右肩膀關節點，紫色表示要進行匹配的兩個候選右手肘關節點，藍色的箭頭表示PAF 的方向，右肩膀與右手肘1存在PAF進行匹配。

圖3 關節點之間的親和度場

最后形成人體姿勢時，可以將人的肢體看作是一棵樹，使用所有樹節點表示關節點，所有枝干都代表肢體。選擇最小數量的邊來獲得人體姿態的生成樹。使用二分匹配的方法解決匹配問題，為了解決匹配中的NP 問題，可以將一個三關節點的匹配問題轉化為兩個雙節點的匹配問題，如圖4所示。最后將共享相同關節點的候選肢體組裝成人體的全身骨架，由此就能實時獲取人體姿態信息。

圖4 肢體匹配問題

2.2 多人追蹤

由于使用自下向上的姿態估計算法，無法實時追蹤個人的運動軌跡。文中利用采集到第一幀的關節點信息，對每個人生成一個邊界框，對應每個人會儲存不同的ID。采集邊界框中的人體特征并在下一幀進行特征匹配進而實現對每個人進行追蹤。

在設計算法時未設定關于邊界框的寬、高和位置的參數，而通過關節點信息決定邊界框的位置與寬高。在進行軌跡分析時，對于每條軌跡k都有一個閾值a用于記錄軌跡從上一次成功匹配到當前時刻的時間。當該值大于提前設置的閾值Amax則認為該軌跡終止，此時匹配也就終止。在進行人體骨架與軌跡追蹤時，考慮到環境中可能存在遮擋的問題[25]使用使用余弦距離進行外觀匹配，對于遮擋后的追蹤更加有效。通過計算第i個軌跡追蹤器的最近100 個成功關聯的特征集與當前幀的第j個人的特征向量間的最小余弦距離：

d(i,j)是第j人的第i個軌跡邊界框，Ri表示第i個軌跡的100個特征集，rj表示邊界框dj特征。將邊界框中的表觀特征通過一個深度網絡得到歸一化的128 維特征。在實時目標追蹤過程中，提取目標的表觀特征進行最近鄰匹配，可以改善有遮擋情況下的目標追蹤效果，同時也減少了目標ID跳變的問題。

2.3 周期性動作識別

為了更好地進行吸煙動作識別，本研究對一次吸煙過程做了分析，具體如下：（1）點燃煙后用手指夾持準備吸煙，此時手部逐漸貼近臉部；（2）吸入煙霧，在一段時間內手指夾持煙，手部與臉部的距離基本保持不變（最近距離）；（3）吸入煙霧后，手部與臉部逐漸遠離；（4）呼出煙霧，在一段時間內手指夾持煙，手部與臉部的距離基本保持不變（最遠距離）。每次吸煙如同以上步驟。一次吸煙動作的分解如圖5所示，吸煙是一種具有節奏性和周期性的行為。雖然不同的吸煙人群的吸煙習慣不同，但在觀察分析后發現不同吸煙者的吸煙動作都符合周期性的規律。對于一部分吸煙者習慣吸“肺煙”（即將煙霧吸入到肺部后再呼出），他們的吸煙頻率相對較低，吸肺煙人群的一次吸煙的周期較長。也有部分吸煙者習慣將煙霧吸入口腔就呼出，這樣的單次吸煙周期比較短。因此，本文提出一種通過檢測一段時間內特定周期性動作發生的方法來進行吸煙動作識別。當系統識別到吸煙動作后，可以發出報警并標注吸煙者。同樣利用吸煙的規律性來減小誤報率。

圖5 吸煙過程

根據追蹤后的ID將多人實時關節點信息存儲。為了判斷檢測到的動作是否符合規定的吸煙動作，本文將動作軌跡的追蹤轉化成手部與鼻子之間距離（即手部關節點與鼻子關節點的距離，后同）軌跡的追蹤。考慮到吸煙者的慣用手不同，故并行判斷左（右）手關節點與鼻子關節點的位置關系。

通過對大量實驗數據的分析，設定手將煙遞至嘴邊時手部與鼻子最大距離的閾值M=28。本文做了坐標歸一化的處理，使M的設定不受人與攝像頭距離遠近影響。若檢測到某人手部與鼻子的距離小于等于M時，對此人進行吸煙動作識別。本文設定檢測單次吸煙的周期時長為σ=15 s，當檢測到一個周期時長大于σ將不再進行下一次的檢測。對一人的周期性動作檢測進行吸煙識別具體實現如下：用D表示手與鼻子的距離、P表示一次周期性檢測的用時，i表示第i次檢測。某時刻手與鼻子的距離D小于M，對此人進行周期性動作檢測。Pi開始計時，持續觀察距離D，當D開始增加，并且之后連續幾幀持續增加，直到不再增加時，記手部與鼻子的最遠距離di；繼續觀察，在某時刻D變小且其后連續每幀也持續減小，當D減小到閾值M范圍內則第一次周期檢測結束，Pi停止計時。Pi小于σ繼續進行下一次周期性動作檢測。周期性動作檢測的具體流程偽代碼在算法1中給出。

一次吸煙過程中，時間T和手部與鼻子的距離D變化呈現：隨時間呈先增大，再基本不變，最后減小的趨勢。變化趨勢的曲線與二次函數相似。在這個過程中選取k個點，在每個點分別記錄其Tk、Dk。用最小二乘法對其進行擬合，得到關于時間與距離的擬合二次函數：

分別是擬合后的距離與時間，μ、λ、θ均為常數。根據二次函數可以求出一個呼出煙霧后手離鼻子最大距離的區間：

考慮到在整個吸煙過程中距離的浮動幾乎保持穩定，故此后的每一個周期中最大距離都應處于距離區間公式（5）中。周期性檢測中若檢測到di處在區間內，Pi同時滿足：

就認為檢測到周期性動作一次。當檢測到有三次符合規定的周期性動作，判斷發生吸煙動作，并發出警報。因關節點的信息是按照每個人不同ID 儲存，故多人的吸煙動作識別可以同時進行。

3 實驗分析

3.1 實驗設計

實驗中使用了第七代英特爾酷睿i7-7700，GTX1050Ti獨立顯存，128 GB+1 TB 雙硬盤，8 GB 內存的筆記本電腦作為實驗設備，在教學樓的實驗室內和樓道內，使用筆記本自帶的攝像頭進行多人吸煙動作識別進行實驗。如圖6（a）是在實驗室內8人的吸煙動作識別的實景演示，圖6（b）是在樓道內4 人的吸煙動作識別的實景演示。每個被檢測到姿態的人可以顯示其ID以及其吸煙動作發生的次數。當檢測到有3次吸煙動作發出吸煙警報。

圖6 吸煙動作識別系統

算法1 檢測周期性動作

輸入：檢測次數i，手與鼻子的距離D，每次檢測耗時Pi，每次檢測到手與鼻子的最遠距離di，閾值M，吸煙時長σ；

輸出：被檢測到的動作有幾次滿足周期性動作。

1. 初始化i，Pi，di為0；

2. ifD≤Mthen

3. for檢測次數do

4.Pi開始計時；

5. if連續3幀D增大then

6. 找到第K幀的D≤第K-1 幀的D；

7. 記di等于第K-1 幀的D；

8. end if

9. if連續3幀D減小then

10. 當D≤M時Pi停止計時；

11. end if

12. ifPi＞σthen

13. 結束循環；

14. else

15. 記檢測到的動作滿足一次周期性動作；

16.i=i+1；

17. end if

18. end for

19. 輸出檢測到周期性動作的次數

3.2 數據預處理

在進行動作識別時，將視頻轉換為連續幀的圖像。進行姿勢估計之前，需要調整圖像的大小。對不同人數的圖像進行實驗分析。根據圖像中的人數進行分組，每組包含50個圖像。將參數的初始值設置為576×416，使用不同的參數分別進行對比實驗。實驗發現在人數越多的情況下，為了獲取更精確的關節點信息需要增加Resize 的值，但這樣也帶來了處理時間變長的問題，如表1所示。測試平均準確率，對不同Resize做了對比實驗，結果如圖7 所示。為均衡計算時間與平均精確度，本文設定Resize參數為432×368。

表1 不同Resize對一張圖片進行姿態預測的時間s

圖7 不同Resize值下的準確率

3.3 閾值分析

為確定吸入煙霧時手與鼻子之間的距離范圍的閾值M，實驗中模擬公共場所拍攝了500 張多人吸煙的照片。提取所有吸煙者的手關節和鼻關節的位置信息并計算每個人吸煙時手和鼻子之間的距離。實驗結果表明，雖然吸煙者具有不同的吸煙姿勢，但不同的吸煙時手和鼻子之間的距離始終保持在一定范圍內。在進行姿態估計算法中使用歸一化，人與攝像頭的距離與方向都不會影響手與鼻子之間的相對距離。如圖8所示，距離在20 mm左右的人數最多，絕大多數人在28 mm以內。實驗中將閾值M初始設置為26 mm，使用電影中300個吸煙場景作為測試數據。結果顯示，測試數據手與鼻子的距離97%可以落入M的范圍內。再將閾值設置更改為28 mm 測試中有99.5%可以落在M的范圍內。根據對實驗結果的分析，最終設定M=28 mm。當檢測到人的手和鼻子之間的距離小于M時就對該人進行周期性動作檢測。

實驗中驗證了吸煙行為可以分解為周期性動作。本文將整個吸煙過程的軌跡轉換為手和鼻距離的軌跡。在實驗中，比較了吸煙者和非吸煙者的關節點的距離軌跡信息。如圖9 所示，與非吸煙者的距離軌跡相比，吸煙者的距離軌跡表現出周期性的波動。在吸煙者的軌跡圖中，波谷表明吸入煙霧的狀態。波谷附近的距離有輕微的漂浮，是因為吸入煙霧的過程需要持續一段時間。圖中的峰值表示呼出煙霧手遠離頭部，此過程也會持續幾秒鐘，是吸煙者呼出煙霧到下一次吸入煙霧的間隔。

圖8 吸煙時手與鼻子的距離

圖9 吸煙者與非吸煙者對比

如圖10所示，圖中有3條閾值線。在波峰處的2條閾值線是為了衡量之后的運動是否符合周期，若第一次后的波峰落在Dmax與Dmin之間就認為此次滿足周期性。每周期內軌跡曲線只有在波峰和波谷均處均處于閾值范圍內，且時間也符合周期性，則被認為是一次的規律性動作，即發生了一次吸煙動作。滿足3次周期性動作，判斷發生吸煙行為。實驗中對4人吸煙動作軌跡進行提取。如圖11 所示，從識別到第一個人吸煙開始計時，多人從不同的時間段開始吸煙，當檢測到有人做出3次吸煙動作后標記吸煙者并發出警報。

圖10 單人吸煙動作周期性判斷

圖11 4人吸煙

3.4 準確率分析

表2 不同算法運算時間與準確率對比

實驗中，對使用不同的姿態估計模型[16，22]實現吸煙動作識別的算法運算時間和準確率進行分析。對于每種算法，使用相同的圖像進行姿態估計，記錄對每張圖片的多人姿態估計算法運算時間，重復1 000 次后取平均值。再使用不同姿態估計算法進行吸煙動作識別的準確率對比，實驗結果如表2所示。吸煙動作識別受到關節點采集（姿態估計）的實時性影響，文中最終選取算法1作為姿態估計算法。

通過調查相關資料，一般常人單次呼吸時間為1.3～2.2 s，每次呼吸之間存在間隔期，大約為1～2 s，故單次呼吸周期時間為2～5 s。吸煙的歷時與呼吸時長相關，一次吸煙動作的周期包括吸入煙霧的時間與間隔期，見圖12。不同吸煙習慣的吸煙周期時長不同，部分吸煙者習慣將煙霧吸入到口腔就呼出，此時一次吸煙周期時長大致為3～6 s；部分吸煙者習慣吸肺煙（即將煙霧吸入到肺部在呼出），吸肺煙的一次過程相當于進行了一次深呼吸，一次深呼吸的時間大致在9 s左右，吸肺煙的一次吸煙周期時長大致為6～12 s。為驗證吸煙周期時長，實驗通過觀測100組有吸煙動作的視頻，計算每次吸煙的時間，時間大致分布在3～12 s之間。之后進行了其他類似的周期性行為（如吃零食）單次動作間隔時間的實驗，實驗發現每次吃東西時咀嚼的時間比吸入煙霧歷時更長。因此為區別于其他周期性行為，在進行關于吸煙周期時間σ的準確率的實驗后，如圖13，將單次吸煙周期時間σ設置為15 s。當單次周期性行為大于15 s 時，不會再進行吸煙動作的檢測。

圖12 吸煙周期

圖13 σ 取值對準確率的影響

經過坐標歸一化處理，對攝像頭面向人的不同角度，進行了多組不同人數的正面和側面吸煙運動檢測實驗。實驗結果證明相機的放置不會影響動作識別的準確性,如圖14所示。

圖14 正面與側面的多人識別精確度

本文進行了大量的實驗，測試系統識別的準確率。實驗中分別選取500 段電影中的吸煙片段，拍攝500 組實際場景吸煙視頻作為測試數據。對拍攝500 組實際吸煙場景的實驗結果分為4 種情況做吸煙動作識別精確度的判定：（1）TP，吸煙者吸煙，正確的檢測到吸煙者；（2）FP，沒有吸煙者吸煙，檢測到吸煙者；（3）FN，有吸煙者，沒有檢測到吸煙者；（4）TN，沒有吸煙者，沒有檢測到吸煙者。按照吸煙者的人數進行分組，分為2人、4 人、5 人、多人（大于5 人），分別實驗室內與走廊不同環境下進行吸煙動作識別。準確率如圖15 所示，圖15（a）是在實驗室內進行吸煙動作識別的準確率，圖15（b）是在走廊中進行吸煙動作識別的準確率。實驗證明在不同環境中，本文提出的吸煙動作識別方法的準確率都可以達到91%。

使用Hmdb51[26]數據集對深度學習模型[27]進行訓練，訓練的參數設置如下：最小批處理大小為32，學習率為0.001，迭代次數為2 500。測試數據集選取了100 個吸煙的視頻片段與100 個不吸煙的視頻片段進行對比實驗，分別測試了本文研究的方法與深度學習模型的準確率。本文提出的方法突破了之前只能對單人的吸煙動作識別實現了多個人實時吸煙行為識別。表3 是本文方法與深度學習方法準確率的比較。

圖15 多人吸煙動作識別準確率

表3 不同方法準確率對比%

4 結論

與以往特定場景的單人吸煙動作識別不同，本文提出了一種在多人場景中基于人體關節點檢測周期性動作的吸煙動作識別方法。通過實驗數據制定吸煙動作規范，進行周期性動作檢測后實現了吸煙動作識別，檢測到吸煙行為后標記吸煙者。相比深度學習方法，本文的方法無需大量數據集進行訓練，在不同環境下對于多個人的吸煙動作識別仍能保持良好的準確率。