基于人體關鍵點的吸煙行為識別方法研究

邸昱卿，張云偉

（昆明理工大學 信息工程與自動化學院，云南 昆明 650000）

0 引 言

眾所周知，吸煙對人的健康有害。根據專家學者的相關研究，抽煙產生的煙霧中含有將近70 種致癌物[1]。煙草中的尼古丁極易導致人上癮，而尼古丁使心血管系統疾病的危險性大大增加，中風、心臟病等疾病的發作幾率也會增加[2]。普通人群吸二手煙的危害同樣不可小視，專家指出，普通人和抽煙者在一起吸二手煙超過15 min，其受到的對健康的傷害即等于吸一手煙的傷害[3]，孕婦吸二手煙還會增加胎兒畸形、早產等風險。吸煙不僅對人的健康有害，也是造成火災、爆炸等事故發生的安全隱患之一，對于森林、倉庫、廠房等環境，吸煙引發的火災會造成不可挽回的生命和財產損失。

鑒于吸煙的危害，世界各地都在采取禁煙措施。我國有關衛生部門發布了《公共場所控制吸煙條例》，明確規定，在所有公共場所嚴禁吸煙[4]?；谟嬎銠C視覺的吸煙行為識別算法可以充分利用現有的監控設備資源實現吸煙行為識別，對禁煙控煙政策的推行具有重要意義。

1 相關研究

目前，吸煙行為識別的方法可以分為兩大類，一類是非視覺的方式，另一類是利用計算機視覺進行檢測的方式。其中，非視覺方式包括煙霧探測器、基于WiFi 信號的吸煙識別和基于穿戴設備的吸煙行為識別；視覺方式包括基于吸煙煙霧的識別和基于煙支目標檢測的識別。

煙霧探測器通過檢測吸煙所產生的煙霧來達到吸煙識別的目的。但使用煙霧探測器檢測吸煙有以下缺點：對于空曠場景，煙霧易飄散稀釋，難以被煙霧探測器檢測到，并且空氣中有許多其他粒子，容易引起煙霧探測器的誤判?；诖┐髟O備上的傳感器的吸煙識別的原理一般為通過個人佩戴的手環等設備采集人手部的活動數據，對人手部的活動數據如加速度、移動方向、距離等進行分析，判斷人物是否存在抽煙行為，但這種方法難以適用于一般場景下的大眾吸煙行為識別，因為該方法需要人佩戴設備才能檢測，所以該方法只適用于實驗室環境進行吸煙行為識別?；赪iFi 信號的吸煙行為識別由于WiFi 信號的不穩定性和檢測的不精確性，同樣難以對抽煙行為進行有效識別。

隨著計算機視覺的發展，傳統的煙霧傳感器檢測逐漸被基于視頻監控系統的圖像檢測方法代替，解決煙霧探測器在空曠環境下檢測煙霧困難的問題。

基于吸煙煙霧特征識別吸煙行為的方法將香煙煙霧視為前景目標，利用前景分割算法將前景與背景分離，再依據煙霧的形狀、顏色、紋理等特征進行識別。胡春海等使用多特征融合方法，將煙霧的動態特征和顏色特征組成特征向量，擺脫了單一特征不穩定的局限[5]。汪祖云等為了識別出租車司機的吸煙行為，先基于顏色特征提取煙霧，再采用煙霧質心相對角度正弦變化和煙霧變化速率作為特征進行識別[6]。劉遠丁提取吸煙煙霧的紋理特征和HOG 特征進行分析，基于特征融合方法識別吸煙時產生的煙霧[7]。對香煙煙霧進行檢測的方法存在香煙煙霧易擴散、濃度低、邊緣不明顯等問題，而且室內的背景大多是白色，與吸煙產生的煙霧顏色相近，不容易區分，而室外的背景一般比較復雜，存在較多干擾因素。

2 吸煙行為識別模型

本文提出的吸煙識別方法主要由三個模塊組成，分別是人體關鍵點檢測模塊、吸煙姿態特征提取模塊以及吸煙行為判別模塊。人體關鍵點檢測模塊負責檢測圖像中的人體關鍵點，吸煙姿態特征提取模塊負責提取用于判別是否存在吸煙姿態的有效特征，吸煙行為識別模塊根據提取到的特征對是否存在吸煙行為進行判斷。

2.1 人體關鍵點檢測

OpenPose 關節點檢測算法可以實現人體姿態、手部動作以及面部特征點等的估計，對單目標和多目標人物均具有較高的實用性和穩定性[11]。

OpenPose 采用自下而上的方法進行關鍵點檢測，該檢測算法由置信度算法以及局部親和算法構成，即兩個并行的卷積神經網絡。這兩個網絡分別負責估計人體關鍵節點位置和檢測肢體的親和度。OpenPose 識別人體關鍵點的核心為部分親和場，它可以描述骨架中像素點的走向。圖像經過卷積產生人體骨架熱圖，部分親和場可以通過人體骨架熱圖進行識別，檢測出人體各個關鍵點。然后根據檢測到的人體關鍵點，使用部分親和場對人體關鍵點之間的連接進行檢測。最后，經過多次的迭代，可以得到最終檢測的人體骨架。

OpenPose 首先通過VGG 模型提取圖像的基礎特征，提取輸入圖像的特征得到特征圖集F。接著對L(p)與S(p)進行回歸分析，L(p)表示部分親和場，用來標注特征點在軀體中的方向；S(p)表示關節點響應，即特征點在軀體中的坐標。初始化時，使用貪婪算法對關節點的置信度與親和度進行計算，然后進行多次迭代分析，將L、S及原始輸入組合，計算損失并進行下一階段訓練。在之后的每個階段都融合上一階段的預測和原始圖像特征圖集F并且進行一次損失計算，預測下階段的置信度與親和度，式（1）展示了迭代流程。

式中：ρ，φ均為模型內部參數，可根據需要進行修改，用于調整親和度迭代效果和置信度。進行多階段擬合和修正后，生成多個關鍵點置信度與親和度，最終骨架關鍵點提取結果選取其中親和度最高的點。最后使用匈牙利算法將兩個并行的卷積神經網絡匯總，生成人體關鍵點和姿態，如圖1 所示為人體骨骼關鍵點標注。

圖1 OpenPose 人體關鍵點檢測

2.2 吸煙姿態特征提取

吸煙作為一個典型人體行為，其姿態具有代表性，身體各部位會呈現相對有規律的姿勢。因此，準確定義吸煙姿態，對于吸煙行為識別具有重要作用。本文定義吸煙者正在抽吸時的姿態為吸煙姿態，即抽煙者手中拿著煙并把煙送到嘴部的姿態。

檢測吸煙數據集圖片的人體骨架，分析這些坐標發現，當抽煙者由香煙拿在手中的未抽吸狀態轉換到抽吸姿態時，抽煙者的手腕與鼻子之間的距離會明顯減小，同時大臂與小臂的夾角也會明顯減小?？紤]抽煙者的手腕關節點與鼻子關節點像素點距離和手臂彎曲角度小于一定閾值時，有可能是吸煙姿態。但是由于視頻中人物尺度不確定，所以手腕關節點與鼻子關節點像素點之間的距離閾值難以確定。因此本文根據人體的比例，采用比值的方法，使閾值難以確定的問題得以解決。

現階段，事業單位的財務管理已經從以往的記賬核算不斷拓展延伸，更加強調對事業單位各項活動尤其是經濟活動的全過程和全方位監督管理，這就要求應該按照事業單位財務管理職能轉變的實際需要，進一步調整優化財務管理工作流程，促進提升事業單位財務管理工作的效能水平。

如圖1 所示，假設由OpenPose 算法檢測到的人左右胯部關鍵點坐標分別為(x1,y1)和(x2,y2)，左手腕和右手腕關鍵點的坐標分別為(x3,y3)和(x4,y4)，鼻子關鍵點的坐標為(x5,y5)，記左側肘部關鍵點坐標為(x6,y6)，左側肩部關鍵點坐標為(x7,y7)，右側肘部關鍵點坐標為(x8,y8)，右側肩部關鍵點坐標為(x9,y9)，脖子關鍵點的坐標為(x10,y10)。如圖2 所示，定義左胯到脖子關鍵點的距離l1和右胯到脖子關鍵點的距離l2，其計算如式（2）和式（3）所示，定義左手腕到鼻子關鍵點的距離l3和右手腕到鼻子關鍵點的距離l4，其計算如式（4）和式（5）。l1與l2的平均值l5計算如式（6）所示，如果由于關鍵點檢測不準等原因導致左胯或右胯關鍵點沒有檢測到，則只取檢測到的單邊胯部關鍵點來計算l5，即l5=l1或l5=l2。定義r1和r2分別表示判斷人左邊和右邊是否存在吸煙姿態的比例指標，其計算如式（7）和式（8）所示。如果由于關鍵點檢測不準確等原因導致分母l5的值為0，則令l5為1。

圖2 吸煙姿態特征定義

如圖2 所示，記從左側肘部到左側肩部的方向向量為d1=(x7-x6,y7-y6)，從左側肘部到左側手腕部的方向向量為d2=(x3-x6,y3-y6)，從右側肘部到右側肩部的方向向量為d3=(x9-x8,y9-y8)，從右側肘部到右側手腕部的方向向量為d4=(x4-x8,y4-y8)。因此可以通過如下式（9）、式（10）計算出左側大臂與小臂的夾角α1與右側大臂與小臂的夾角α2：

當一名抽煙者由香煙拿在手中的未抽吸狀態轉換到抽吸姿態時，分析r和α特征變化情況。當抽煙者的狀態發生變化時，這兩種特征均會發生明顯的變化。由未抽吸轉化為抽吸狀態時，由于手距離嘴部更近，所以r會明顯減小，同時大臂與小臂的夾角也會明顯減小，α會明顯減小。因此，在抽煙過程中，通過抽煙者這兩種特征的變化情況，可以較準確地判斷吸煙者是否處于正在抽吸姿態。

2.3 吸煙行為判別

根據大量觀察并結合對人體關鍵點的檢測結果可得，未抽煙姿態在正常狀態時大臂與小臂的夾角一般大于一定角度或r大于一定值，吸煙姿態小臂與大臂的夾角小于一定角度且r小于一定值，因此本文定義吸煙姿態的判別準則如下：

（1）當姿態檢測器計算出人的小臂與大臂的夾角小于α0度且r小于r0，認為處于吸煙姿態；

（2）當姿態檢測器計算出人的小臂與大臂的夾角大于α0度或r大于r0，認為處于未吸煙姿態。

3 實 驗

3.1 數據集及評價指標

由于目前缺乏吸煙公共數據集，因此本文自建吸煙數據集，錄制了人物抽煙視頻共32 段，視頻幀率為30 f·s-1，視頻總時長為38′24″。對視頻進行篩選并隨機選取其中的吸煙圖像共100 張，作為本文的驗證數據集，對吸煙識別準確率進行驗證。100張圖像中，每張圖像都包含一個人物，人物雙手都打上了標簽。其中一只手和嘴重合為抽吸姿態，標記為正樣本，另一只手不是抽煙姿態的樣本或者手中拿煙但并沒有抽吸的樣本標記為負樣本。最終標簽共200 個，其中正樣本85 個，負樣本115 個。

使用查準率P和查全率R評估提取視頻中吸煙姿態幀的準確率和召回率，如式（11）和式（12）所示：

式中：TP表示吸煙行為檢測正確的樣本數量，FP表示不是吸煙行為但被檢測為吸煙行為的樣本數量，FN表示存在吸煙行為但被檢測為不是吸煙行為的樣本數量。

3.2 實驗結果及分析

在Windows10 系統上搭建實驗環境，CPU 為Intel（R） Core（TM） i5-10400F，GPU 為NVIDIA GeForce RTX 2060，深度學習框架為Pytorch。使用MSCOCO 2017 公共數據集對OpenPose 人體姿態檢測模型進行訓練。

對單人吸煙視頻進行分析，每隔10 幀選擇一幀圖片進行分析。如圖3 所示的各幀圖像對應圖4和圖5 曲線中的橫坐標對應幀。以x軸表示視頻當前幀數，y軸為r值，畫出實時曲線圖，如圖4 所示，左手的r1和右手的r2用不同曲線表示。此視頻為完整的吸煙過程視頻，其中r1表示左手離嘴部的距離，r2表示右手離嘴部的距離。視頻中，人物左手自然下垂，顯示在圖中即為r1值較大且一直沒有太大變化，右手拿煙并不斷抽吸。當抽吸時，r2值比較小，說明右手離嘴部較近，正在把煙支放到嘴部。當手拿著煙不吸煙時，右手也是自然下垂的，因此r1和r2接近，且都較大。從實驗過程可以發現，吸煙者共有7 次抽煙動作，與實際情況一致，曲線尾部左右手的r1和r2基本一致，并且處于居中的大小，是因為此時吸煙行為已結束，左右手重疊，正在準備扔掉煙支。實驗結果表明，本文的吸煙姿態判別算法可以較好地區分吸煙和非吸煙動作。

圖3 吸煙視頻幀示例

圖4 r 值隨幀數變化曲線

對以上相同視頻進行處理，計算大臂與小臂的夾角α值隨幀數的變化，得到如圖5 所示的結果。圖5 中，x軸表示視頻的幀數，y軸表示角度。曲線α1表示左手大臂與小臂的夾角，曲線α2表示右手大臂與小臂的夾角?？梢钥吹剑捎诔闊熣咦笫治茨脽煟幱谧匀幌麓範顟B，因此，從α1曲線可以得出左手大臂與小臂的夾角很大，穩定在160°左右。吸煙者是右手拿煙并進行抽吸，因此α2曲線所顯示的右手的大臂與小臂的夾角有很起伏明顯的變化，當抽煙者處于拿煙狀態，并且手臂自然下垂并未抽吸時，大臂與小臂的夾角很大；當抽煙者往嘴里遞煙時，大臂與小臂的夾角會明顯減??；當處于正在抽吸狀態時，大臂與小臂幾乎重疊。因此，正在抽吸時，大臂與小臂的夾角接近0°。由此可見，利用角度判斷吸煙姿態的方法同樣具有很高的可靠性，可以明顯區分正在抽吸的姿態與未抽吸的姿態。

圖5 α 值隨幀數變化曲線

通過驗證數據集測試r0和α0的范圍的最佳取值，得到表1 的測試結果。實驗中所設定的r0的范圍和α0的范圍用標準編號1 ～9 表示。當r0或α0增加時，由于對于抽煙行為檢測的標準放寬，使得查準率下降，查全率上升。其中標準9 的查全率最高，適合應用于非常嚴格把控吸煙的場所，但相應地其對應的查準率較低；標準1 的查準率最高，達93.0%，但其查全率為77.6%，容易漏掉很多吸煙行為。相比之下，用標準5 來判定吸煙行為的效果最為折中，查準率為83.0%，查全率為85.9%。現實應用中，可以根據實際需求來確定使用哪個標準來檢測吸煙行為。

表1 參數對模型的影響

4 結 語

本文提出了一種基于人體關鍵點的吸煙行為識別方法。通過OpenPose 模型提取人物關鍵點坐標，設定大臂與小臂的夾角和手腕到鼻子的相對距離比值作為特征，并建立了人物吸煙姿態判別準則。實驗表明，本文提出的方法可以有效分辨視頻中的吸煙姿態與未吸煙姿態，所提出的吸煙行為識別方法準確率可達83.0%，召回率可達85.9%。