基于固態面陣激光雷達的人體行為識別研究

摘" 要：計算機視覺技術的發展，涌現出很多目標檢測和行為識別研究的方法，使得人體行為識別研究的相關成果應用于智慧教育環境、虛擬現實和人機交互等方面成為常態。該文針對復雜多變的環境下基于固態面陣激光雷達的基礎且在深度學習算法模型優化下的人體行為進行識別研究。具有2個顯著特點，一方面，數據經處理后重構能反映目標幾何外形的三維圖形，獲取目標表面反射特性、運動速度等豐富的特征信息，為目標探測、識別和跟蹤等數據處理提供信息支持、降低算法難度；另一方面，固態面陣激光雷達的應用，使得其具有測量分辨率高、抗干擾能力強等特征。解決傳統算法依賴人工提取特征，復雜耗時且泛化性差等不易操作的問題，使得人體行為識別更加信息化與智能化。

關鍵詞：人體行為；固態面陣激光雷達；深度學習；識別研究；視覺技術

中圖分類號：TN958.98" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2023）11-0030-04

Abstract： With the development of computer vision technology， many research methods of target detection and behavior recognition have emerged， which makes the relevant results of human behavior recognition applied to intelligent education environment， virtual reality， human-computer interaction and so on. This paper aims at the research of human behavior recognition based on solid-state area array LiDAR and under the optimization of depth learning algorithm model in complex and changeable environment. It has two remarkable characteristics： on the one hand， the data reconstruction after processing can reflect the three-dimensional graphics of the geometric shape of the target， and obtain rich characteristic information such as target surface reflection characteristics， motion speed and so on， so as to provide information support for target detection， recognition， tracking and other data processing， reduce the difficulty of the algorithm; on the other hand， the application of solid-state array LiDAR has the characteristics of high measurement resolution and strong anti-jamming ability， thereby solves the problems of traditional algorithms， such as manual feature extraction， complexity， time-consuming and poor generalization， and makes human behavior recognition more information and intelligent.

Keywords： human behavior; solid-state array LiDAR; deep learning; recognition research; visual technique

人體行為識別研究面臨著諸多挑戰，不僅要從時間和空間等提取豐富的特征信息，還要解決多樣化的人體行為區分，以及人在復雜場景下，動作與背景分離的問題。在此階段，深度學習已經開始逐漸成為人體行為識別的研究重點，且獲得了眾多中外研究者的重視與研究。例如，Sang等根據有軌跡冗余度高、計算量大問題的密集軌跡行為識別方法，提出了基于前景軌跡和運動差分描述符的人體行為識別方法。

雖然近年來人體行為識別研究取得了很多重要的進展，但在實際應用中還面臨著以下尚待解決的關鍵問題。

第一，保護隱私問題，即在不接觸被檢測人體和不采用傳統機器視覺條件下，如何實現人體的行為識別？

第二，現有的針對動作識別的研究都只關注簡單的單個動作的識別，而非連續的動作序列的識別，但在實際場景中人的動作都是自然連續的，很難對信號進行分割，而且在訓練階段對連續的動作序列進行標注也是一個很棘手的問題。

第三，如何在多人場景中，實現不同人的行為識別？

第四，在復雜背景下進行人體行為識別是否能正常進行？

因此，探尋真實場景下更為普適的人體行為識別具有重要的理論研究意義和應用研究價值。

本數據集通過基于固態面陣激光雷達的人體行為采集裝置在復雜背景下收集了人體常見的幾種動作：走、跑、跳和站等的原始圖像數據，其中包括紅外線圖、深度圖和RGB圖3種圖像，并且通過數據預處理等一系列步驟將分辨率低、清晰度差和尺寸不同的圖像進行篩選，最終得到能用作圖像識別技術的圖像共996張。并提供其中顯著度高的深度圖像，可用作進一步的基于卷積神經網絡和深度圖的人體身份識別研究。本數據集為在復雜背景下進行人體行為等相關研究提供了數據基礎。

1" 數據采集與處理方法

1.1" 數據采集方案

實驗采用Azure Kinect DK攝像機來對人體行為進行在線信息數據采集。采集對應的人體動作例如走、跑、跳和站等。實驗數據采集方案包括下面2個部分。

單人實驗數據采集由4名同學（男生）共同完成。每個實驗參與者都需要在攝像機鏡頭前做走、跑、跳和站4個動作，每個動作不少于10次。參與者根據自己的習慣動作和方式來進行每一個動作，每次每個動作的執行時間都不少于2 s。通過錄屏軟件將數據存入數據庫。

多人實驗數據采集由3名同學（男生）共同完成。在4個不同的場景下，3名同學都需要同時出現在鏡頭，每名參與者輪流做不同的動作，每個場景3名同學需要做10次不同的動作。每次每個動作的執行時間都超過10 s。通過錄屏軟件將數據存入數據庫。

1.2" 數據采集硬件介紹

為了滿足本實驗跑、跳等運動場景的需求，本文實驗采用的數據采集設備是Microsoft公司2019發布的的Azure Kinect DK身體跟蹤周邊外設，如圖1所示。Azure Kinect DK主要包括深度攝像頭、彩色相機、RGB相機、運動傳感器、麥克風陣列和方向傳感器等。該設備應用范圍廣泛，可以用于計算機視覺、語音識別、面部識別、聲音捕獲和空間跟蹤等各方面的研究。

Azure Kinect DK 的尺寸103 mm×39 mm×126 mm，重量為440 g，其深度傳感器集成了Microsoft設計的1 M像素時差測距深度相機，在控制訪問可以選擇寬窄2種FOV視野，這樣可以根據不同場景的要求優化功能，從而獲取的深度數據會更加精確。Azure Kinect DK通過自身的方向傳感器精確地計算三軸信息加速度來確定物體的空間坐標位置。

1.3" 數據采集軟件介紹

本次實驗中使用了Microsoft公司的一個空間計算開發人員工具包Azure Kinect Viewer v1.4.0。官方推薦的開發環境是Windows10，CPU為Intel第7代處理器，顯卡為GTX 1070或更佳。Azure Kinect Viewer可以在來自傳感器的實時數據或者來自記錄的數據這2種模式下運行。在使用Azure Kinect Viewer前，需更新設備固件，安裝傳感器SDK。本次研究查看器采用的模式是來自傳感器的實時數據模式，通過傳感器可以實時觀察并記錄身體動作的深度圖像、RGB圖像和紅外線圖等原始數據，并將這些數據進行校準與同步。

2" 數據樣本描述

2.1" 人體行為圖像數據采集

本數據集的測試對象為不同性別、身高和體重的人員，通過在本小組所住區域附近街道、小區等的志愿服務、宣傳和在網上投放有獎招募志愿者實驗的廣告等途徑，獲取了人體行為的2類數據集，即單人實驗數據集和多人實驗數據集。對于所收集的不同種圖像，其所對應的適用度有所不同。收集到的人體行為圖像樣本數據量見表1和表2。

2.2" 單人實驗數據集描述

2.2.1" 采集方案

選取不同性別、身高和體重的人員，且數量不少于5人，每人不少于4個動作（動作包括走、跑、跳和站等）、每個動作不少于10次、每次每個動作的測試時間不少于2 s。在同一地點，對設備多次接線檢查，保證線路正常，并且檢查無誤以后進行圖像數據采集，并將每次動作的紅外圖、深度圖和RGB圖進行記錄。

2.2.2" 采集數據的內容

單人實驗數據集為記錄不同個體的不同動作的紅外圖、深度圖和RGB圖等數據，即不同性別、身高和體重的人員，且數量不少于5人，每人不少于4個動作（動作包括走、跑、跳和站等），例示如圖2所示；以及包括每個動作不少于10次的紅外圖、深度圖、RGB圖數據集。具體描述見表3。

2.3" 多人實驗數據集描述

2.3.1" 采集方案

選取3個人編號為A、B、C，分別在4個不同場景、每人輪流做不同的動作，每次每個動作的測試時間不少于2 s。對設備多次接線檢查，保證線路正常情況，并且檢查無誤以后進行圖像數據采集，并將每次動作的紅外圖、深度圖和RGB圖進行記錄。

2.3.2" 采集數據的內容

多人實驗數據集為記錄3個人在不同場景進行不同動作組合的紅外圖、深度圖和RGB圖等數據，即3個人編號為A、B、C，分別在4個不同場景、每人輪流做不同的動作，例示如圖3所示；以及包括每個場景不少于10次的紅外圖、深度圖和RGB圖數據集。具體描述見表4。

2.4" 數據質量控制與驗證

在圖像數據的收集和整理的過程中，本數據集將原始圖像尺寸控制在300～450 px，并且對原始圖像樣本數據進行識別，對其提取特征后進行篩選，從而得到效果好且具有穩定特征的樣本，再將其分辨率控制到300 dpi，最終得到數據集顯著圖分辨率高且一致、均具備有效特征的數據集。以上篩選出的數據集可以支持后續本小組進行基于卷積神經網絡和深度圖的人體身份識別研究，以及基于LSTM網絡的人體動作序列識別研究。

此外，本數據集拍攝圖片的背景屬于復雜背景環境，但在這樣的條件下，本設備的深度圖像及紅外圖像的設別失真率依舊很低，每張RGB圖幾乎均能完整地還原對應的深度圖和紅外圖。本研究采集的人體行為圖像背景復雜，可為更復雜的圖像識別技術及圖像提取特征提供素材支持。

3" 數據價值與使用建議

本數據集是經過大量真人實地拍攝并通過數據預處理將圖像數據提純后得到的高質量圖像數據集，除了原始圖像數據集，對于擁有清晰人體行為特征的圖像數據，提供機器識別后的顯著度高的深度圖像，可用作進一步的基于卷積神經網絡和深度圖的人體身份識別研究?？芍苯佑米飨嚓P的研究，如研究建立人體行為識別模型、基于LSTM網絡的人體動作序列識別研究等。人體行為識別面臨諸多難點，人是復雜的，其行為往往難以定義且缺少相關數據集作為算法訓練支撐；又因為光線及復雜背景等因素導致檢測難度加大，傳統算法需要耗費大量人力物力去做篩選，已不滿足當下信息化、科技化社會的迫切需求。本數據集針對上述痛點做出基于固態面陣激光類的數據集，使得人體行為識別準確率和效率都得到了大幅度的提升。

利用上述圖像數據，在進行特征的提取后，可借助支持向量機（SVM分類器）等進行人體行為種類的智能識別。

參考文獻：

[1] 陳玲.基于深度學習的人體行為識別方法研究[D].成都：電子科技大學，2018.

[2] 陸增.基于深度視覺的生產過程人體行為識別方法研究[D].南京：南京理工大學，2019.

[3] 汪先遠.基于深度學習的人體行為識別研究[D].北京：北京交通大學，2019.

[4] 李壯壯.基于深度學習的吸煙行為識別[D].銀川：寧夏大學，2021.

[5] 譚金鴻.基于深度學習的人體異常行為識別[D].成都：電子科技大學，2022.

[6] 黃敏，尚瑞欣，錢惠敏.面向視頻中人體行為識別的復合型深度神經網絡[J].模式識別與人工智能，2022，35（6）：562-570.

[7] 席文海，裴曉飛，過學迅，等.基于固態激光雷達的智能汽車目標檢測算法[J].武漢理工大學學報，2022，44（2）：90-95.

[8] 南通大學.一種基于Azure Kinect的目標跟蹤定位方法：CN202110970228.3[P].2021-11-23.

[9] 張嘯天，瞿暢，劉蘇蘇，等.一種基于Azure Kinect的目標跟蹤定位方法[J].傳感技術學報，2021，34（11）：1502-1508.

[10] 謝秀齊，何演權，奉彥文，等.Azure Kinect DK深度傳感器誤差分析和修正方法的研究[J].中國設備工程，2020（16）：24-25.

[11] 鄭亦冰.基于Azure Kinect的智能化居家養老監視系統設計[D].濟南：山東大學，2021.

[12] 黃姣蕊.借助于深度相機的三維點云重建與對應點的毫米波行人運動參數估計[D].西安：西安電子科技大學，2020.

[13] 劉德兒，朱磊，冀煒臻，等.基于RGB-D相機的臍橙實時識別定位與分級方法[J].農業工程學報，2022，38（14）：154-165.