基于計算機視覺的吸煙行為分析方法及系統

胡國昌，王詩太，鄧俊芳，龍濤，李軒，趙俊偉，華辰鳳，杜文，劉金云

1 湖南中煙工業有限責任公司技術中心，長沙市雨花區勞動中路386 號 410007；

2 深圳愛莫科技有限公司，深圳市南山區國際創新谷1 期2 棟A 座 518000；

3 中國煙草總公司鄭州煙草研究院，鄭州市高新技術產業開發區楓楊街2 號 450001

隨著科學技術的快速進步、人們消費觀念的轉變以及卷煙品類創新的不斷加快，卷煙消費者的需求和關注點也在不斷變化。對消費者吸煙行為特征進行研究分析和持續跟蹤，了解消費者吸煙習慣及其演變規律，有助于產品研發人員更加精準地進行卷煙產品設計，使新產品開發更加貼近市場需求。吸煙行為特征是吸煙者多個抽吸參數的綜合描述，主要包括抽吸口數、抽吸持續時間、抽吸間隔等[1]。

目前國內外研究吸煙行為特征常用的方法主要有兩種：第一種是人眼觀察法，研究者通過觀察吸煙現場或者吸煙視頻，用人眼來判斷吸煙者的卷煙抽吸情況，借助秒表記錄抽吸起始和結束時刻，進而計算吸煙者的抽吸口數、抽吸持續時間和抽吸間隔等抽吸參數[2-5]；第二種是記錄儀測試法，研究者使用便攜式吸煙行為CReSS 記錄儀來自動記錄抽吸參數，并比較了不同人群的抽吸行為差異[6-8]。人眼觀察法是一種非侵入式的研究方法，不會干擾研究對象的吸煙行為，但存在記錄數據不精確、投入人力成本高、難以大規模推廣等問題；記錄儀測試法盡管記錄數據較為精確且可靠性高，但是一種侵入式測試，容易改變吸煙者真實抽吸行為，而且設備較為昂貴，收集數據效率較低。

近年來，基于深度學習的計算機視覺方法[9-10]在各行各業都得到了廣泛應用，這些方法僅需要低成本的攝像頭和智能計算設備，可替代人眼實現對物體或動作的識別、跟蹤與測量。在吸煙行為檢測技術領域，研究者開發了基于深度學習技術和人臉分析算法的公共場所吸煙行為檢測系統，可以快速判斷出攝像頭拍攝范圍內的吸煙行為[11-13]。這些研究雖然能夠檢測出特定環境內的吸煙行為，但是無法準確地記錄吸煙者的抽吸參數。

本研究基于計算機視覺提出了一種無感式吸煙行為分析方法，并設計了一套吸煙行為分析系統，不僅可以對視頻圖像范圍內多個吸煙行為自動識別，還可以準確記錄每一位吸煙者的抽吸口數、抽吸持續時間和抽吸間隔等吸煙行為參數，可便捷地部署在公共吸煙區域，進行無感式、低成本、高效率、大規模的吸煙行為數據采集。基于獲取吸煙人群大數據信息，分析吸煙者的消費模式的關鍵影響因素，并建立各種類型人群的卷煙消費模式和偏好預測模型，為企業卷煙產品設計和品牌營銷提供數據支撐，同時也可為進一步推進文明吸煙環境建設提供參考依據。

1 系統設計

1.1 系統組成

基于計算機視覺的吸煙行為分析系統主要由成像系統和處理系統兩大部分組成，見圖1。成像系統是由可見光攝像頭和紅外攝像頭組成的雙目攝像頭，分別用于采集吸煙場景中人體姿態的可見光圖像和吸煙場景中煙支煙頭（燃燒錐）的紅外圖像，可見光圖像和紅外圖像同步傳輸至處理系統。處理系統為一臺服務器主機，是由高性能CPU、GPU、VPU 以及存儲和通信模塊搭建而成的計算平臺，用于視頻圖像處理、吸煙行為分析算法運行、數據存儲以及系統控制。吸煙行為分析系統主要硬件配置參數見表1。

表1 系統主要硬件及參數Tab.1 Main hardware and parameters of the system

圖1 系統組成示意圖Fig.1 System composition diagram

1.2 工作流程

系統使用可見光和紅外雙目攝像頭作為成像設備，首先對雙目攝像頭進行內外參數標定，使其能正確反映空間與圖像之間對應關系，然后對所獲得的紅外圖像進行立體矯正，使其與可見光圖像對齊。雙目攝像頭采集的可見光圖像和紅外圖像傳輸至處理系統，人臉檢測算法對可見光圖像中的人臉進行跟蹤識別，創建虛擬ID，以便與后續抽吸參數綁定；人體姿態檢測算法對人體姿態進行跟蹤識別，通過手部與臉部的位置關系變化預判吸煙行為；紅外圖像經過預處理后，提取煙頭光斑區域，煙頭狀態檢測算法分析煙頭光斑的位置區域，結合上述人臉檢測和人體姿態檢測，當光斑出現在人臉區域范圍內并存在抽吸動作時，可判定為吸煙行為；煙頭狀態檢測算法同時檢測煙頭光斑面積實時變化，根據煙頭光斑面積變化判定抽吸起止時間，計算抽吸口數、抽吸持續時間和抽吸間隔時間等抽吸參數。系統工作流程見圖2。

圖2 系統工作流程圖Fig.2 System processing flow chart

1.3 關鍵技術

1.3.1 人臉檢測與ID 綁定

為了確定吸煙者與其吸煙行為的對應關系，首先需要對吸煙者特征進行準確識別。系統利用采集到的可見光圖像，借助基于深度學習的人臉檢測方法，自動為每個吸煙者創建一個獨有的虛擬身份ID，并與其抽吸參數綁定。具體的實現步驟見圖3，主要過程為：

圖3 人臉檢測流程Fig.3 The process of face detection

（1）人臉框選：采用基于級聯卷積神經網絡的人臉檢測器（Cascade CNN[14]），從系統采集的可見光圖像中定位人臉圖像位置，形成人臉位置的矩形框；

（2）人臉關鍵點定位：采用級聯回歸森林算法（Cascade Regression Random Forests）從人臉矩形框中檢測人臉輪廓、雙眼、鼻尖、嘴角、眉毛等關鍵點，記錄關鍵點位置；

（3）人臉特征提取：根據提取的人臉關鍵點對可見光圖像進行標準化變換，采用深度學習模型提取人臉特征值，得到單個人臉的特征表達式，算法模型建立步驟及理論公式如下：

根據公式（1）確定檢測到的人臉圖像中的每一幅圖像所對應的質量評價系數q :

式中：f 為每個圖像中的人臉特征，μ是同一個人的人臉所對應的圖片。

根據公式（2）可以得到人臉特征中的每一個對應的權重系數α ：

式中：Constant 是常數，T 為矩陣轉置；

根據公式（3）計算經融合的人臉特征μ′。

同時，公式（2）可以通過將公式（4）和公式（5）聯立得到：

式中：i為自然數，α 為權重系數，α 滿足約束∑α =1 且 α ≥0。

式中：i 和k 為自然數。

通過采用QP 求解器的求解方式來求解目標E(α)，以獲得權重系數α ，即可得到人臉識別網絡的深度卷積網絡。

（4）虛擬ID 綁定：根據提取的人臉特征表達式，對攝像頭可見光圖像中檢測到的所有人臉創建虛擬ID，確定哪些人臉屬于同一個人的虛擬ID，從而將這個人臉對應的抽吸行為與虛擬ID 進行綁定，實現對所有圖像視頻中出現的吸煙者個體抽吸行為的記錄。

1.3.2 吸煙行為檢測

吸煙行為檢測主要由人體關鍵點檢測、吸煙行為判定兩部分組成。其中，人體關鍵點檢測用于從可見光圖像中檢測人體各部分的關鍵點，如膝蓋、手腕、鼻子等；吸煙行為判定是在人體關鍵點檢測結果的基礎上，通過手腕與鼻子的相對位置判定人物是否處于吸煙狀態。當人體的手腕和鼻子部分存在重合且重合的比例達到設定閾值時，初步判定為吸煙行為。

圖4 展示了人體姿態檢測流程，其核心是基于深度神經網絡的檢測模型。模型使用VGG-19 網絡[15]的前十層作為主干網絡，對可見光圖像提取特征圖。特征圖在經過Initial stage 和Refinement stage 1 處理后得到關鍵點的存在性概率圖（Keypoint heatmaps）和部分親和域（Part Affinity Fields，PAFs），部分親和域用于記錄人體各部位的關聯程度。通過貪心推理來對存在性概率圖和PAFs 進行分析，最終得到人體的關鍵點。其中，Initial stage 和 Refinement stage1 均由兩個分支網絡組成，分別用于從上一階段的特征圖中預測關鍵點的存在性概率圖和PAFs。借助于深度神經網絡的魯棒性，該檢測模型可實現在多個體、復雜角度、相互遮擋、復雜姿態等極端條件下對人體多關節的細節進行實時自動提取。

圖4 人體關鍵點檢測模型整體檢測流程Fig.4 The detection process of human body key points detection model

為了訓練該檢測模型，訓練集采用Coco 人體關鍵點標注數據集。模型的檢測效果如圖5 所示。

圖5 使用模型檢測人體姿態及姿勢判斷Fig.5 Human body posture detection and judgment by the model

在通過人體關鍵點檢測模型從可見光圖像中得到人體各關鍵點的位置后，系統利用關鍵點的相對位置對抽吸動作進行識別。當檢測到手腕標注點與鼻子標注點有覆蓋重合且達到設定閾值時，可初步判定為吸煙行為。同時，通過紅外圖像可提取煙頭光斑區域，對煙頭進行精準定位，對區域形狀分析以進行置信決策，如果光斑區域出現在人臉區域范圍內，則可以判定為吸煙行為。

1.3.3 煙頭狀態檢測

紅外攝像頭利用煙頭燃燒溫度較高、產生的紅外線輻射顯著高于拍攝環境的原理，能較好捕捉煙頭光斑信息，精確定位煙頭位置，識別煙頭狀態變化。由于紅外攝像頭對太陽光中的紅外光較為敏感，圖像易受其干擾，本研究在紅外攝像頭上增加一層濾光膜來降低太陽光對紅外圖像的影響。經測試，選取波長為940nm 濾光片作為阻隔膜可有效削減太陽光對紅外成像的影響。

針對非理想測試環境下存在漏檢、誤檢的情況，本研究通過在采集到的真實數據上進行動態閾值分割和聯通域膨脹操作的方法，對紅外圖像進行預處理，使得背景部分與煙頭的對比更明顯，如圖6 所示，突出煙頭部分的存在及變化情況，以減少漏檢、誤檢。

圖6 紅外圖像預處理效果Fig.6 Infrared image pre-processing effect

在進行深入分析之前，需要基于人臉3D 角度信息，消除煙頭紅外光斑中的無關信息對吸煙行為分析的影響。本研究利用人臉角度的信息以及香煙角度的信息，模擬三維空間情況，對煙頭的光斑大小進行旋轉。當旋轉至正面時，計算出對應的煙頭光斑大小。此處光斑的面積可以用光斑所在區域的外接矩形的面積來代替。具體計算時，可以計算光斑的外接框，通過計算外接框的長heightold、寬widthold旋轉之后所對應的長heightnew、寬widthnew，來計算得到旋轉之后的外接矩形的面積areanew。具體的計算公式如下：

式中：α 為偏橫角，β 為俯仰角。

在去除無關信息或尺度歸一化之后，可以通過對比煙頭紅外光斑的大小變化與對應的經驗閾值之間的關系，確定吸煙者的抽吸開始時刻和結束時刻。

1.3.4 抽吸參數提取

圖7（a）展示了吸煙者抽吸前后和抽吸時的紅外圖像和可見光圖像，可以看到，抽煙開始時煙頭光斑面積隨之增大，抽煙結束時煙頭光斑面積會逐漸減小，抽吸時煙頭光斑的大小顯著高于抽吸前后。圖7（b）展示了抽吸動作發生前后一段時間內，不同紅外圖像幀中的煙頭光斑面積統計圖。其中，橫軸代表不同幀，縱軸為紅外圖像采集的煙頭光斑面積，標紅的兩柱條分別代表吸煙記錄儀記錄吸煙的開始時刻和結束時刻。

然而光斑的增大與減小，容易受到煙頭晃動、煙頭靠近或離開攝像頭等情況的影響。通過實驗發現，經過高次多項式擬合出來的曲線，能夠對吸煙的開始與結束時間，進行很好的輔助定位，曲線公式可以表示為：

式中：a、b、c 為常數，x為幀數，y為煙頭光斑像素面積。

曲線擬合效果見圖8。在抽吸不同階段，其煙頭光斑大小有明顯差異，通過分析光斑尺寸變化情況可分析單口抽吸的始末節點，從而更準確地記錄抽吸持續時間。

圖8 對光斑面積變化的多項式擬合Fig.8 Polynomial-curve fitting of the smoking spot area change

在擬合出的高次多項式中，根據波峰與波谷附近的曲線積分面積，計算其變化趨勢與間隔時間，從而初步判斷吸煙的開始與結束時間。需要注意的是，在抽吸結束的后幾幀中，會出現光斑面積變大的情況。這種情況實際上是“拖尾”現象導致的，即吸煙者抽吸結束時手放下的過程中，手的快速移動會導致煙頭光斑產生較多殘影，成像上變成帶狀，從而使得光斑面積異常增大。而進行正常抽吸動作時，煙頭位置不會發生大幅度位移。基于上述分析，本研究增加如下邏輯來過濾因手快速移動導致煙頭光斑變大這種情況：當檢測到煙頭光斑在視野范圍內位置有較大位移且伴隨煙頭面積增大時，此時煙頭面積增大的原因為快速移動造成，不作為判定吸煙特征的依據。

在抽吸過程中，吸煙者以及煙頭位置也會存在一定的移動變化。本研究通過對光斑的中心位置坐標進行記錄并觀察發現，相鄰幀間光斑中心位置變化和抽煙的起止時間存在較強的相關性。圖9 展示了相鄰幀間煙頭光斑橫縱坐標變化隨時間變化的曲線。圖9（a）縱坐標為煙頭光斑面積大小，圖9（b）縱坐標為相鄰幀中光斑中心點的橫坐標變化大小，圖9（c）縱坐標為相鄰幀中光斑中心點的縱坐標變化大小。可以看出，當處于抽吸過程中時，相鄰幀間煙頭光斑的位置差異較小；而當處于抽吸前或抽吸后的一段時間內，相鄰幀間煙頭光斑的位置差異顯著變大。通過相鄰幀間煙頭坐標變化可有助于更準確判斷抽吸狀態，更精確地定位抽吸開始及結束時刻。

圖9 相鄰幀中煙頭光斑橫縱尺寸變化曲線Fig.9 Transverse and longitudinal dimension change curve of cigarette end spot in adjacent frame

最后，借助CReSS 吸煙行為記錄儀標定抽吸開始時刻與結束時刻，并用攝像頭記錄煙頭光斑面積變化，通過反復試驗獲取了大量抽吸時煙頭光斑面積及其變化數據。取多次試驗煙頭光斑變化面積與總面積比值的平均值作為變化閾值，當光斑面積變化超過閾值設定的變化幅度，且其在擬合曲線的波谷及光斑中心點呈現變化趨勢的時間點附近，系統可判定為吸煙的開始或結束時刻，從而可計算得到抽吸口數、單口抽吸持續時間、單口抽吸間隔時間等抽吸參數。

2 應用效果

2.1 試驗設計

材料：市售常規卷煙（芙蓉王（硬），長度84 mm，圓周24.2 mm）和細支卷煙（芙蓉王（硬細支），長度97 mm，圓周16.9 mm）（由湖南中煙工業有限責任公司技術中心提供）。

儀器：基于計算機視覺的吸煙行為分析系統（本研究項目組設計，以下簡稱“吸煙行為分析系統”）、CReSS 吸煙行為記錄儀（德國Borgwaldt KC 公司）。

方法：于湖南中煙工業有限責任公司技術中心招募30 名吸煙志愿者，告知測試目的，簽署知情同意書，進行吸煙行為測試；在模擬公共吸煙室環境的實驗室中，志愿者于吸煙行為分析系統攝像頭水平距離3 m左右位置，手持CReSS 吸煙行為記錄儀按照日常吸煙習慣先后抽吸常規卷煙和細支卷煙各1 支，編號并記為常規卷煙組和細支卷煙組，每組共抽吸30 支；吸煙行為分析系統和CReSS 吸煙行為記錄儀同步記錄志愿者抽吸參數（抽吸起止時間、抽吸口數、抽吸持續時間和抽吸間隔時間）；根據卷煙規格和抽吸起止時間獲取的抽吸支數與口數，對吸煙行為分析系統和CReSS 吸煙行為記錄儀記錄的吸煙行為參數（抽吸口數、抽吸持續時間和抽吸間隔時間）進行配對；以CReSS 吸煙行為記錄儀獲取的抽吸參數為標準對照，計算吸煙行為分析系統識別誤差率，誤差率=|吸煙行為分析系統數據—吸煙行為記錄儀數據|/吸煙行為記錄儀數據×100%。

2.2 數據分析

2.2.1 抽吸口數

由吸煙行為分析系統和CReSS 吸煙行為記錄儀抽吸起止時間及卷煙規格可知，吸煙行為分析系統和CReSS 吸煙行為記錄儀均記錄到志愿者抽吸常規卷煙30 支、細支卷煙30 支，這與實際執行方案一致。其中吸煙行為分析系統和CReSS 吸煙行為記錄儀記錄到常規卷煙組總抽吸口數分別為317 口和323 口，細支卷煙組總抽吸口數分別為262 口和268 口。吸煙行為分析系統對每組單支抽吸口數的識別誤差統計結果見表2。可見，吸煙行為分析系統對常規卷煙組和細支卷煙組的單支抽吸口數的識別誤差都在2 口以下，識別平均誤差率分別為1.79%和2.06%，識別準確性較高。

表2 抽吸口數識別誤差Tab.2 Error of puff number

2.2.2 抽吸持續時間

由于每支煙的第一口抽吸為點煙動作，吸煙行為分析系統識別的抽吸數據參考性不強，因此本研究在數據分析時均去除第一口的抽吸參數（下同）。選擇吸煙行為分析系統與CReSS 吸煙行為記錄儀記錄的每支卷煙抽吸口數一致的組內單口抽吸持續時間數據進行比對分析，結果見圖10、圖11。可見，吸煙行為分析系統記錄的常規卷煙單口抽吸持續時間范圍為893～5953 ms，平均值為2690 ms；細支卷煙單口抽吸持續時間范圍為759～5233 ms，平均值為2786 ms。吸煙行為記錄儀記錄的常規卷煙單口持續時間范圍為581～5703 ms，平均值為2531 ms；細支卷煙單口抽吸持續時間范圍為660～4998 ms，平均值為2590 ms。

圖10 常規卷煙兩種方法抽吸持續時間比較Fig.10 Comparison of smoking duratioon of the conventional cigarettes using two puffing methods

圖11 細支卷煙兩種方法抽吸持續時間比較Fig.11 Comparison of smoking during of small cigarettes under two puffing methods

分別計算吸煙行為分析系統對兩種卷煙單口抽吸持續時間識別的平均誤差和平均誤差率，結果見表3。可見，吸煙行為分析系統對常規卷煙和細支卷煙單口抽吸持續時間的識別誤差率分別為9.73%、9.96%，識別準確性較高。

表3 抽吸持續時間識別誤差Tab.3 Time error of smoking duration

2.2.3 抽吸間隔時間

選擇吸煙行為分析系統與CReSS 吸煙行為記錄儀記錄的每支煙抽吸口數一致的組內抽吸間隔時間數據進行比對分析，結果見圖12、圖13。可見，吸煙行為分析系統記錄的常規卷煙單口抽吸間隔時間范圍為1066～60997 ms，平均值為17816 ms；細支卷煙單口抽吸間隔時間范圍為1881～57403 ms，平均值為18198 ms。吸煙行為記錄儀記錄的常規卷煙單口間隔時間范圍為1477～62799 ms，平均值為18158 ms；細支卷煙單口抽吸間隔時間范圍為2402～58344 ms，平均值為18188 ms。

圖12 常規卷煙兩種方法抽吸間隔時間比較Fig.12 Comparison of smoking interval time of the conventional cigarettes under two puffing methods

圖13 細支卷煙兩種方法抽吸間隔時間比較Fig.13 Comparison of smoking interval time of small cigarettes under two puffing methods

分別計算吸煙行為分析系統對兩種卷煙單口抽吸間隔時間識別的平均誤差和平均誤差率，結果見表4。可見，吸煙行為分析系統對常規卷煙和細支卷煙抽吸間隔時間的識別誤差率分別為6.59%、6.91%，識別準確性較高。

表4 抽吸間隔時間識別誤差Tab.4 Smoking interval time error

3 結論

（1）本研究運用計算機視覺技術設計了一種無感式吸煙行為分析系統，通過雙目攝像頭采集吸煙場景視頻圖像，結合人臉檢測算法、人體姿態檢測算法和煙頭狀態檢測算法同時識別多個吸煙行為并記錄抽吸參數，為吸煙行為參數的智能化、高效率、準確性采集提供了一種新的方法。

（2）在湖南中煙工業有限責任公司技術中心招募30 名志愿者對系統應用效果進行了測試，結果表明：以相同條件下的CReSS 吸煙行為記錄儀記錄的數據為參照，吸煙行為分析系統對常規卷煙和細支卷煙抽吸口數識別的平均誤差率分別為1.79%、2.06%，抽吸持續時間識別的平均誤差率分別為9.73%、9.96%，抽吸間隔時間識別的平均誤差率分別為6.59%、6.91%，表明系統具有較高的準確性，能夠滿足吸煙行為數據采集需要。

（3）該系統設計了數據脫敏功能，采集的圖像和數據均經過匿名化處理，不涉及吸煙者個人信息和隱私；在實際應用時可通過設置提示標識，告知吸煙者可能被記錄抽吸參數；系統設計符合《中華人民共和國個人信息保護法》的要求，在吸煙行為研究方面具有廣闊的應用前景。