其他数据论文 II 区论文(已发表) 版本 ZH2 Vol 8 (4) 2023
下载
基于超宽带冲激雷达的人体动作识别和心率估计数据集
A dataset of human action recognition and heart rate estimation based on Impulse-Radio Ultra-Wideband radar
 >>
: 2023 - 06 - 14
: 2023 - 09 - 28
: 2023 - 06 - 25
: 2023 - 10 - 13
Baidu
map
5598 39 0
摘要&关键词
摘要:室内人体目标的动作识别和心率估计在智慧家庭、健康监护、运动分析等诸多领域有重要应用,近年越来越受到关注。而超宽带冲激(Impulse-Radio Ultra-Wideband, IR-UWB)雷达凭借其在隐私保护、环境要求和工作性能等方面的优势而被广泛应用于室内人体目标监测领域。本研究针对IR-UWB雷达进行室内人体感知相关研究的数据需求,以及目前相关公开数据匮乏、仿真数据真实性不足等问题,通过室内典型场景真实测试和数据加工标注,提供了基于IR-UWB雷达的人体动作识别和心率估计数据集。本数据集共采集了10个人体目标的1629组动作识别数据,包括无人场景数据和走动、挥手、深蹲等10种常见动作,以及4670组心率估计数据,数据格式规范、信息标注准确,可以为相关研究提供较好的数据支撑。
关键词:超宽带冲激雷达;室内场景;人体动作识别;心率估计;智慧健康;数据集
Abstract & Keywords
Abstract: Human action recognition and heart rate estimation for indoor human targets carry significant applications in many fields such as smart homes, health care, sports analysis, etc., and have attracted increasing attention in recent years. Impulse-Radio Ultra-Wideband (IR-UWB) radar, with its advantages in privacy protection, environmental requirements and performance, has found extensive applications in indoor human target monitoring. In view of the data demand for indoor human perception related research based on IR-UWB radar, and the issues with a lack of relevant public data and inadequacy in the authenticity of simulation data, this paper presents a dataset of human action recognition and heart rate estimation based on IR-UWB radar through typical indoor scene measurement experiments and data processing and annotation. The dataset collects 1,629 groups of action recognition data (i.e. unmanned scene data and 10 common actions such as walking, waving, squatting, etc.) from 10 human targets as well as 4,670 groups of heart rate estimation data. All data are presented in a standardized format with precise labeling, making it a valuable resource for research in relevant fields.
Keywords: IR-UWB radar; indoor scene; human action recognition; heart rate estimation; smart health; dataset
数据库(集)基本信息简介
数据库(集)名称基于超宽带冲激雷达的人体动作识别和心率估计数据集
数据通信作者饶彬(raob@mail.sysu.edu.cn)
数据作者郑铭凯、饶彬、王伟
数据时间范围2021–2023年
数据量780 MB
数据格式.mat
数据服务系统网址https://doi.org/10.57760/sciencedb.j00001.00827
基金项目国家自然科学基金项目(61971429;61871385);深圳市科技计划项目(KQTD20190929172704911);广东省科技计划项目(2019B121203006)
数据库(集)组成数据集共包括2个数据文件,其中:(1) RawDataset_HumanAction.mat 是人体动作识别数据,数据量131 MB;(2) RawDataset_HeartRate.mat 是心率估计数据,数据量649 MB。
Dataset Profile
TitleA dataset of human action recognition and heart rate estimation based on Impulse-Radio Ultra-Wideband radar
Data corresponding authorRAO Bin (raob@mail.sysu.edu.cn)
Data author(s)ZHENG Mingkai, RAO Bin, WANG Wei
Time range2021–2023
Data volume780 MB
Data format.mat
Data service systemhttps://doi.org/10.57760/sciencedb.j00001.00827
Source(s) of fundingNational Natural Science Foundation of China (Grant No. 61971429 and Grant No. 61871385); Shenzhen Science and Technology Program (Grant No. KQTD20190929172704911); Science and Technology Program of Guangdong Province (Grant No. 2019B121203006)
Dataset compositionThe dataset consists of 2 data files, as follows:
(1) RawDataset_HumanAction.mat contains the data for human action recognition, with a file size of 131 MB; (2) RawDataset_HeartRate.mat contains the data for heart rate estimation, with a file size of 649 MB.
Baidu
引 言
非接触式医疗健康监测,通常指不直接接触人体,隔着衣服、空气和障碍物等实现人体监测。相较于传统的接触式系统,它解决了用户依从性问题,避免了佩戴电极、传感设备进行监测带来的不舒适感,更有助于将健康监测融入日常生活[1]。除此之外,非接触式的医疗健康监测系统还可以对不适用于传统医疗监测手段的人员如烧伤、化学感染和受到核污染的病人进行医学诊断和监测,是对传统医学诊疗手段的有益补充[2]
超宽带冲激(Impulse-Radio Ultra-Wideband, IR-UWB)雷达技术是非接触式医疗健康监测系统中使用广泛且极具潜力的一项技术[3],能发射极窄(纳秒级)的电磁脉冲信号,并通过记录分析人体目标所反射的电磁波信号得到被测人体生命特征相关的参数,从而实现对人体生理活动的监测。相较基于气味[4]、声学[5-6]、光学[7-8]的非接触式医疗健康监测系统,基于IR-UWB雷达的系统在保护用户隐私的同时具备强抗干扰能力、较高精度等优点;而相较基于其他类型射频信号如毫米波、Wi-Fi等的系统,其分辨力更高,穿透能力强,且能对多个人体目标进行有效区分筛选[9],在非接触医疗和智慧健康等领域内有着极大的应用价值和广阔的前景。
然而,目前缺乏健康监测相关的公开数据集,很多研究缺乏实测数据支撑和验证,这严重限制了IR-UWB雷达技术的实用化进程。而人体动作数据和心跳数据分别作为非接触式医疗健康监测领域中典型的多点散射叠加运动数据和典型的近距离、低速度、小尺寸目标数据,更是需要重点研究的内容。为了促进其研究和发展,本研究使用单个IR-UWB雷达设备,构建了超宽带冲激雷达人体动作识别和心率估计数据集,记录多组人体动作以及心跳信息,可为相关研究提供基础数据。
1   数据采集和处理方法
1.1   数据采集方法
1.1.1   数据采集设备
本研究的数据采集过程所使用的主要设备有IR-UWB雷达设备和心率带,分别负责记录人体目标的雷达回波数据和心率参考数据。
(1) IR-UWB雷达
本研究使用的IR-UWB雷达基于Novelda公司的XeThru X4超宽带冲激雷达芯片设计封装而成,其外观和内部结构如图1所示。该设备由外部电源供电,使用TCP协议实现与控制终端之间的通信。实验时,控制终端发送启动指令开始信号发射、采集和处理,并通过TCP协议实时回传雷达回波数据到终端进行记录保存。

(a)


(b)

图1   IR-UWB雷达实物图 (a) 雷达外观 (b) 雷达内部构造
Figure 1 Physical image of IR-UWB radar
该雷达所发射的信号是高斯频移脉冲信号,在时域上的持续时间为ns级,而频带极宽,理论上有极高的距离分辨力,能有效捕捉人体目标的变化,从而实现动作识别和心率估计。其归一化时域波形和功率谱示意图如图2所示。

(a)


(b)

图2   IR-UWB雷达发射信号时域波形和功率谱 (a) 时域波形 (b) 功率谱
Figure 2 Time domain waveform and power spectrum of IR-UWB radar transmission signal
发射信号经雷达天线发射后,经过人体目标和背景的反射,最终被雷达接收机接收。为尽可能完整地保留回波信息,便于后端从数据中挖掘出所需人体目标信息,通常使用高速采样接收机设计,该设计在对连续信号进行接收和处理后做离散采样,形成一系列的采样点。将采样点按照时间顺序排列成数组,称为一个雷达帧,在不考虑单次采样过程中目标运动的前提下,可以认为该雷达帧反映了当前时刻雷达探测范围内人和物的分布情况。将多个雷达帧也按照时间顺序排列在一起,如图3所示,即可构成时间-距离二维雷达数据矩阵,图中每个雷达帧之间的间隔为1/FPS,其中FPS为雷达帧采集帧率。由于人体目标在做动作时,其四肢、躯干、头颈等部位都会相对于雷达发生位移,而呼吸心跳所引起的胸腔起伏也会导致雷达回波信号发生变化,反映在数据中即为雷达帧随时间不断变化,因此可以通过分析不同雷达帧之间的变化情况,实现人体目标的动作识别和心率估计。


图3   IR-UWB雷达回波数据样式
Figure 3 Echo data format of IR-UWB radar
为方便数据使用者对本数据集进行进一步分析,深入挖掘隐藏在回波信号中的人体目标信息,本研究所用雷达设备主要指标总结在表1中。
表1   IR-UWB雷达主要系统参数
指标参数单位
信号中心频率7.29GHz
发射信号-10 dB带宽1.4GHz
峰值输出功率-0.7dBm
脉冲重复频率20Hz
最大雷达帧长度1536
9.87
65.8
bins
m
ns
采样率23.328GS/s
(2) 心率带
本研究所使用的心率带由Chileaf公司生产,型号为CL806,支持蓝牙5.0协议和ANT +协议,可通过这两种方式将心率数据进行传输和记录,其实物图如图4所示。心率带的心率测试范围为40-220 bpm,覆盖正常心率范围,在开放环境下最大传输距离为80 m,心率测试精度为±1 bpm,可满足基本的评估和测试精度要求。


图4   心率带实物图
Figure 4 Physical image of the heart rate band
1.1.2   数据采集过程
本研究所面向的应用场景是室内的人体目标动作识别和心率估计,将雷达放置在室内桌面上,朝向目标活动区域,通过雷达回波数据分析人体动作和生命体征,从而实现长时间的目标监测。为贴合应用场景,本研究选择在室内的一些典型场景中完成采集数据,包括客厅、卧室、饭厅等;同时为了增加数据的多样性,本数据集囊括了来自多位不同性别、体型和年龄的测试目标的实验数据,参与实验采集的测试目标相关信息如表2所示。
表2   人体目标基本信息
目标编号性别年龄身高(cm)体重(kg)
H12317066
H22515855
H35716262
H42317165
H52616056
H62816560
H73016357
H82318278
H92317475
H102517058
(1) 人体动作识别数据采集
人体活动识别可以用于对目标当前的状态做出基本的判断,在智能家居领域用户也可以借助特定的动作向监测设备传递控制信息。本研究选取了几种具有典型特征的肢体动作和手势动作进行数据采集,同时采集了部分无人场景的数据。有人场景下几个人体动作的示意图如图5所示。

(a)


(b)


(c)


(d)


(e)


(f)


(g)


(h)


(i)


(j)

图5   人体动作示意图 (a) 静止站立 (b) 向后走 (c) 向前走 (d) 深蹲 (e) 弯腰拾物 (f) 原地踏步 (g) 顺时针转臂 (h) 逆时针转臂 (i) 挥手 (j) 作揖
Figure 5 Schematic diagram of human action
确定实验所需采集的动作数据后,搭建数据采集实验场景并开始数据采集。首先将雷达水平放置在桌面上,实验场景中包含家庭中常见的家具包括餐桌、沙发和茶几等,场景中留有足够大的空间供测试目标完成上述动作。实验采集的基本信息如表3所示,对于单次数据采集实验,一位测试目标顺次完成上述动作,每个动作重复多次,动作之间留有3 s以上的时间间隔以方便后续数据裁剪,并保证每一段数据中仅包含一个动作,实验过程中同步使用摄像头录制实验过程,方便数据标注。每一位测试目标都进行了2–3次数据采集实验。
表3   动作数据采集实验基本信息
指标数值单位
雷达天线离地高度0.8m
脉冲重复频率20FPS
雷达测量距离范围0.5-3.5m
单次数据采集实验时长400s
行走动作与雷达距离1-3m
原地动作与雷达距离1.8m
(2) 心率估计数据采集
进行心率数据采集时,为了减小身体随机运动带来的干扰,选择使用坐姿进行心率数据的采集。实验场景及雷达设置与动作数据采集实验保持一致。测试过程中,测试目标静坐在椅子上,胸部与雷达天线中心平齐,天线正对目标胸腔。雷达测量距离范围设置为0.5–2 m,单次数据采集实验时长为500 s,心率带在实验过程中同步记录目标心率信息。每名测试目标重复完成2次数据采集实验。
1.2   数据处理与标注
为了尽可能多地保留数据信息,避免不合适的数据预处理对数据使用者后续的处理造成影响,本数据集提供雷达原始回波数据,仅经过简单的裁剪与标注,下面将分别介绍动作识别数据和心率估计数据的处理与标注。
1.2.1   动作识别数据处理与标注
本研究经过多次数据采集实验,确定所需采集的动作完成时间均在2–3 s内,因此将动作数据统一裁剪成时间长度为3 s的数据片段,裁剪过程结合实验过程中录制的视频进行。首先利用标志动作完成雷达数据和视频数据的时间同步,本研究选择目标向前走并在雷达前停住那一刻作为同步时间点,同步精度在一个脉冲重复周期内,即0.05 s;之后依次标记出每一段雷达数据对应的动作类型,确保目标动作完整地保留在所裁剪的数据内,并处在数据的中间,目标动作完成前后目标处于静止站立状态;最后根据表4所示的数据序号进行标注。
表4   动作识别数据集基本信息
数据样式数量(组)数据标签数据描述
无人场景3840在无目标场景下获得的雷达回波数据
静止站立1461面向雷达静止站立
向后走882背离雷达慢步走
向前走813朝向雷达慢步走
深蹲1174弯曲膝盖下蹲
弯腰拾物1195弯腰拾取地上物品
原地踏步1366面朝雷达原地摆臂踏步
顺时针转臂1447面朝雷达顺时针转臂
逆时针转臂1378面朝雷达逆时针转臂
挥手1389面朝雷达左右挥动手臂
作揖13910面朝雷达双手作揖后放下
1.2.2   心率估计数据处理与标注
对于心率数据,考虑到心率估计需要结合长时间的雷达回波数据进行判断,本研究将心率估计数据统一裁剪为时间长度10 s的数据片段,包括当前这1 s和此前的9 s雷达回波数据,并将当前时刻对应的心率带数据记录下来作为数据标签,其处理与标注过程如图6所示。


图6   心率估计数据处理与标注示意图
Figure 6 Schematic diagram for the processing and labeling of heart rate estimation data
2   数据样本描述
本数据集共包含2个数据文件,数据格式为.mat文件。其中人体动作识别数据集Dataset_HumanAction.mat包含原始回波数据Data、数据标签Label和数据描述Description共三个变量;心率估计数据集Dataset_HeartRate.mat包含原始回波数据Data和心率参考值HeartRate_Ref共两个变量。下面将分别介绍:
2.1   动作识别数据样本描述
动作识别原始回波数据Data变量是一个大小为1629×1的cell类型变量,其中每一行都是一个大小为463(距离单元)×60(雷达帧)的二维矩阵样本数据。为清晰展示数据样式,选择了向后走、弯腰拾物和挥手3个典型动作的雷达回波数据进行展示,如图7所示。向后走的动作数据显示目标回波与雷达之间的距离随时间增大;弯腰拾物的动作数据中存在明显的回波峰值靠近雷达又远离的特征,对应于该动作中目标上半身靠近雷达又远离的过程;挥手的动作数据则有明显的周期峰值。雷达回波数据能较好地反映人体目标运动信息。

(a)


(b)


(c)


(d)


(e)


(f)

图7   动作识别数据示例 (a) 向后走(立体图) (b) 向后走(平面图) (c) 弯腰拾物(立体图) (d) 弯腰拾物(平面图) (e) 挥手(立体图) (f) 挥手(平面图)
Figure 7 Data example of action recognition
动作数据标签Label变量是一个大小为1629×1的列向量,每一行是一个动作标签,对应于相同行的动作数据。数据描述Description变量是一个动作数据标签和动作类型的对应表,供使用者随时查阅。
2.2   心率估计数据样本描述
心率估计原始回波数据Data变量是一个大小为4670×1的cell,其中每一行都是一个大小为234(距离单元)×200(雷达帧)的二维矩阵样本数据。与上一节类似,图8中是一个数据样本示例。

(a)


(b)

图8   心率估计数据示例 (a) 静坐胸腔回波(立体图) (b) 静坐胸腔回波(平面图)
Figure 8 Data example of heart rate estimation
心率参考数据HeartRate_ref变量是一个大小为4670×1的列向量,每一行是一个由心率带采集得到的心率参考数据,对应于同一行的心率估计原始回波数据,范围为50108 bpm。
3   数据质量控制和评估
本数据集中的所有雷达回波数据都是通过超宽带冲激雷达在专门设计的实验中实测采集得到,通过合理设置实验条件、场景和动作类型,保证雷达回波数据真实可靠实用。每个数据对应的数据标签都由人工结合视频文字信息进行标注,并经过人工核验审查,确保数据标注无误。
4   数据价值
本研究针对IR-UWB雷达在室内人体感知领域公开数据集匮乏、仿真数据难以充分体现实际数据特征的问题,设计了10种典型动作,包括全身运动动作和上肢单独运动动作,还设计了较为纯净的心跳数据采集环境,构建了人体动作识别数据集和心率估计数据集,为IR-UWB雷达人体感知研究提供了单独的、具有针对性的大幅度动作数据和微动数据。相较于目前公开的类似数据集[10-11],本数据集提供了更加丰富的人体动作数据,还提供了首个心率估计公开数据集,为IR-UWB雷达室内人体感知领域相关数据做了有益补充。
本数据集涵盖了室内人体典型运动,可用于分析人体目标动作和微动在IR-UWB雷达回波信号中产生影响的规律,研究真实回波数据中的人体目标特征提取算法,评估室内人体感知方案效果,并最终实现对目标用户的心率监测、睡眠分析、跌倒检测、慢性病监测和情绪感知等,从而推动IR-UWB雷达在健康监护、运动分析、智能家居、场景监控等领域的应用。
5   数据使用方法和建议
本数据集是基于数学软件MATLAB生成的.mat格式文件,主要包含原始回波数据和标注文件。在使用本数据集时有两种推荐使用方法:
① 首先基于原始数据进行分析,分析不同动作数据和心率数据在时域、频域、时频域或其他特征空间中的特点,设计合理的数据分析方法进行动作识别和心率估计,最后再用本数据集验证算法性能;
② 对本数据集经过合理的预处理后,按照6:2:2的比例划分成训练集、验证集和测试集,把训练集数据作为单通道的灰度图像输入到神经网络中进行训练,用验证集进一步调整超参数,最后用测试集验证网络性能。
[1]
方震, 简璞, 张浩, 等. 基于FMCW雷达的非接触式医疗健康监测技术综述[J]. 雷达学报, 2022, 11(3): 499–516. DOI: 10.12000/JR22019. [FANG Z, JIAN P, ZHANG H, et al. Review of noncontact medical and health monitoring technologies based on FMCW radar[J]. Journal of Radars, 2022, 11(3): 499–516. DOI: 10.12000/JR22019.]
[2]
PISA S, PITTELLA E, PIUZZI E. A survey of radar systems for medical applications[J]. IEEE Aerospace and Electronic Systems Magazine, 2016, 31(11): 64–81. DOI: 10.1109/MAES.2016.140167.
[3]
BIAN S Z, LIU M X, ZHOU B, et al. The state-of-the-art sensing techniques in human activity recognition: a survey[J]. Sensors, 2022, 22(12): 4596. DOI: 10.3390/s22124596.
[4]
EAMSA-ARD T, SEESAARD T, KERDCHAROEN T. Human odor sensing for health status detection and tracking by using electronic nose[C/OL]//2019 IEEE International Conference on Consumer Electronics - Taiwan(ICCE-TW). Taiwan, China. IEEE, 2020: 1–2. DOI: 10.1109/ICCE-TW46550.2019.8991859.
[5]
WANG T B, ZHANG D Q, WANG L Y, et al. Contactless respiration monitoring using ultrasound signal with off-the-shelf audio devices[J]. IEEE Internet of Things Journal, 2019, 6(2): 2959–2973. DOI: 10.1109/JIOT.2018.2877607.
[6]
ROMANOV S A, KHARKOVCHUK N A, SINELNIKOV M R, et al. Development of an non-speech audio event detection system[C]//2020 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). St. Petersburg and Moscow, Russia. IEEE, 2020: 1421–1423. DOI: 10.1109/EIConRus49466.2020.9039115.
[7]
SUN G, NAKAYAMA Y, DAGDANPUREV S, et al. Remote sensing of multiple vital signs using a CMOS camera-equipped infrared thermography system and its clinical application in rapidly screening patients with suspected infectious diseases[J]. International Journal of Infectious Diseases, 2017, 55: 113–117. DOI: 10.1016/j.ijid.2017.01.007.
[8]
NAGARKOTI A, TEOTIA R, MAHALE A K, et al. Realtime indoor workout analysis using machine learning & computer vision[C]//2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Berlin, Germany. IEEE, 2019: 1440–1443. DOI: 10.1109/EMBC.2019.8856547.
[9]
梁步阁, 杨德贵, 袁雪林. 超宽带冲激雷达技术与应用[M]. 北京: **工业出版社, 2019. [LIANG B G, YANG D G, YUAN X L. Ultra-wideband impulse radar technology and application[M]. Beijing: National Defense Industry Press, 2019.]
[10]
BOCUS M J, PIECHOCKI R. A comprehensive ultra-wideband dataset for non-cooperative contextual sensing[J]. Scientific Data, 2022, 9: 650. DOI: 10.1038/s41597-022-01776-7.
[11]
AHMED S, WANG D Y, PARK J, et al. UWB-gestures, a public dataset of dynamic hand gestures acquired using impulse radar sensors[J]. Scientific Data, 2021, 8: 102. DOI: 10.1038/s41597-021-00876-0.
数据引用格式
郑铭凯, 饶彬, 王伟. 基于超宽带冲激雷达的人体动作识别和心率估计数据集[DS/OL]. Science Data Bank, 2023. (2023-09-14). DOI: 10.57760/sciencedb.j00001.00827.
Baidu
稿件与作者信息
论文引用格式
郑铭凯, 饶彬, 王伟. 基于超宽带冲激雷达的人体动作识别和心率估计数据集[J/OL]. 中国科学数据, 2023, 8(4). (2023-10-13). DOI: 10.11922/11-6035.csd.2023.0119.zh.
郑铭凯
ZHENG Mingkai
数据采集方案制定,数据采集,数据加工与标注,数据集制作。
(1999—),男,广东省汕头市人,硕士研究生,研究方向为组网融合和信号处理。
饶彬
RAO Bin
数据采集方案制定,数据集制作。
raob@mail.sysu.edu.cn
1980—),男,四川省成都市人,博士,副教授,研究方向为目标跟踪与数据融合、认知电子战、电子信息系统建模与仿真。
王伟
WANG Wei
数据采集方案制定,数据集制作。
(1970—),男,安徽省巢湖市人,博士,教授,研究方向为信号处理、电磁环境效应、电子信息系统建模与仿真。
国家自然科学基金项目(61971429;61871385);深圳市科技计划项目(KQTD20190929172704911);广东省科技计划项目(2019B121203006)
National Natural Science Foundation of China (Grant No. 61971429 and Grant No. 61871385); Shenzhen Science and Technology Program (Grant No. KQTD20190929172704911); Science and Technology Program of Guangdong Province (Grant No. 2019B121203006)
Baidu
出版历史
I区发布时间:2023年6月25日 ( 版本ZH1
II区出版时间:2023年10月13日 ( 版本ZH2
参考文献列表中查看
中国科学数据
csdata
Baidu
map