利用IEEE 802.15.4z-IR UWB系统进行手势检测

article/2025/7/30 3:04:09

本文介绍了一种符合 IEEE 802.15.4z 标准的脉冲无线电超宽带 (IR-UWB) 手势检测雷达系统。该系统可检测车辆乘客座椅上的人员是否执行了 12 个预定义手势中的某一个。这些预定义手势包括各种手部动作,例如左右滑动或顺时针旋转手掌。为了进行手势检测,我们采用了基于神经网络 (NN) 的分类器。设计的 NN 仅需不到 20 KB 的内存即可存储参数,因此非常适合汽车行业座舱传感应用的嵌入式实现。设计的 NN 对测量数据的平均准确率超过 99%,展现出其在增强乘客与车辆控制系统之间交互方面的潜力。

引言

近年来,人们对汽车行业传感技术的开发兴趣日益浓厚 。在众多传感技术中,脉冲无线电超宽带 (IR-UWB) 雷达因其无处不在的低功耗无线电特性,能够同时支持通信、安全测距和传感,已成为一种极具前景的解决方案。监测乘客行为和生命体征的能力可以提升乘客的安全性、舒适度和整体驾驶体验。

对于手势检测,人们使用了不同的分类方法,例如神经网络 (NN)、随机森林、支持向量机和 K 最近邻算法,文献中使用不同的 NN 架构实现了超过 94% 的平均准确率。在这些研究中,IR-UWB 雷达通常使用 500 MHz 以上的带宽。采用更高的带宽可以提高雷达距离分辨率和整体手势检测精度。

此前,文献提出了一种单站 IR-UWB 雷达系统,用于座位占用率监测、生命体征估计和单个手势检测。文献中的 IR-UWB 系统采用了由其设计的符合 IEEE 802.15.4z 标准的 UWB 集成电路 (IC)。该 IC 支持 499.2 MHz 的带宽,理论雷达距离分辨率为 c/2B = 30cm,其中 c 为光速,B 为雷达带宽。

本文旨在验证基于 IMEC 设计的符合 IEEE 802.15.4z 标准的收发器的 IR-UWB 雷达系统在车内手势检测中的有效性,该系统支持联合通信和传感。本研究中的手势检测系统可以检测坐在汽车乘客座椅上的人员执行的 12 个预定义手势。通过采用基于神经网络的分类器,所有 12 个手势的平均准确率超过 99%。所提出的基于神经网络的分类器仅需不到 20 KB 的内存(4.956 K 个参数),因此嵌入式实现是可行的。

本文的其余部分组织如下:第二部分提供系统模型。第三部分介绍用于手势检测的信号处理链。第四部分解释了测量设置、手势检测的数据准备,并展示了测量结果。最后,第五部分得出结论。

系统模型

考虑一个如图1所示的全双工单输入单输出 (SISO) 单静态 IR-UWB 雷达。该雷达使用 IEEE 802.15.4z 数据包照射目标,雷达接收器 (RX) 测量反射信号。假设采用纯视距 (LOS) 信道,则双向信道脉冲响应 (CIR) 的模型如下:

其中,a0 为复标量,表示传播损耗和相移,取决于目标的雷达散射截面;fc 为载波频率;τ0 = 2d0/c 为从雷达到目标再返回雷达的双向传播延迟;δ(τ −τ0) 为延迟狄拉克函数。采用 IMEC 的 UWB 芯片作为单基地雷达,可以估算出 h(τ) 的离散形式:h(τ = nTf),其中 n 为整数,Tf 为采样时间,为纳秒级。由于手势是在几秒的时间窗口内完成的,为了辨别手势的运动,雷达需要在运动周期内捕获 h(τ) 的多个观测值。我们用 h(t, τ) 表示 CIR 的多个时域观测值,其中 t 是通过目标探测估计给定 CIR 的时间。CIR 估计的等距离散时间表示为 H[m, n] = h(t = mTs, τ = nTf),其中 Ts 是两个连续 CIR 估计之间的采样周期。通常在雷达系统术语中,t(使用 Ts 采样)称为慢时间,τ(使用 Tf 采样)称为快时间,其中 Ts ≫ Tf;

手势检测

手势检测的目标是检测受试者是否执行了预定义手势之一。本文定义了12种不同的手势,包括一个空手势,如图2所示。定义的手势包括各种手部动作、4个滑动手势(G1-G4)、5个特殊手势(G5-G9)、2个旋转手势(G10、G11)和1个空手势(G12)。需要注意的是,对于G12,受试者没有执行任何手势,因此被视为空手势。作为一个用例,这些手势可以被解释为用于改进人机界面的不同命令。

手势检测的处理模块如图 3 所示,其中 H[m, n] 是在几秒内捕获的一组 CIR。首先,去除背景杂波的影响,得到去除杂波后的估计 CIR,记为 H∼[m, n]。本文采用基于奇异值分解 (SVD) 的杂波去除技术,其中通过将原始矩阵 H[m, n] 的最强奇异值设为零来重构原始矩阵。去除杂波后,H∼[m, n] 被输入到一个可选的 FFT 模块中。最后,FFT 的输出被输入到设计的分类器中,以检测所执行的手势。关于神经网络设计和测量的更多细节将在第四部分介绍。

实验

本节描述了测量设置、数据准备以及所设计的神经网络架构的信息。最后,给出了测量结果。

测量准备

IR-UWB 雷达系统测量装置如图 4 所示,模拟了车内场景。为了获得更高的信噪比,TX 和 RX 天线放置在侧面,天线向座椅倾斜。乘客座椅和驾驶员座椅之间相距 45 厘米(边对边),天线到乘客座椅中心的距离为 1.17 米。TX 和 RX 天线通过 100 厘米长的电缆连接到 IR-UWB 平台 。UWB 平台使用符合 IEEE 802.15.4z 标准的 SP0 数据包,每 Ts = 10 毫秒生成一次 CIR。需要注意的是,这些数据包可用于联合通信和感知。CIR 的估算快速时间分辨率为 Tf = 1ns。 UWB 平台通过以太网电缆将 CIR 估计值发送到连接的笔记本电脑,然后手势分类算法会处理捕获的 CIR。

数据收集、准备、分类

接下来,我们将解释数据收集过程。对于每个手势,参与者被要求坐在乘客座位上,并以类似的方式重复相同的手势多次,持续120秒(见图4和图5)。此过程将产生12000个CIR,H[m, n] = h(t = mTs, τ = nTf)。假设每个手势在3秒的时间范围内(慢时间)执行,这相当于300个CIR观测值

此外,为了进一步简化捕获数据的标记,在两个连续手势之间引入了一个保护间隔,即要求参与者在重复手势之前等待5秒。定义5秒的保护间隔是为了确保在执行任何手势之前和之后,都有一个5秒的窗口期,在此期间手部不会移动

此外,手势信息可在与乘客座位对应的距离箱之前的多个距离箱(快速时间)中获得。具体来说,我们总共使用了7个距离箱。因此,标记数据变为一个300×7的复值矩阵或一个300×14的实值矩阵。捕获的CIR随后用于训练、验证和测试我们设计的基于神经网络的分类器。在将标记数据输入分类器之前,会根据需要在慢时间轴上进行FFT,以生成距离-多普勒图。所设计的手势检测神经网络架构如图 6 所示。

基于神经网络的分类器仅包含4.956 K 个参数(所需内存空间小于 20 KB)。在所设计的神经网络中,卷积神经网络 (CNN) 层用于提取特征,随后使用全连接层进行多类分类。CNN 层采用的滤波器尺寸为 3×3。学习率、训练次数和批次大小分别设置为0.01、30 和 30。由 5 位参与者的测量数据生成的数据集被分为两部分。第一部分用于训练和验证神经网络 (NN),其包含 23688 个 H[m, n] 矩阵,大小为 300 × 14。

第二部分用于测试基于神经网络的分类器,其包含 240 个 H[m, n] 矩阵。使用设计的神经网络 (NN) 对测试数据集(数据准备未进行 FFT)进行训练,平均准确率为 99.6%,其混淆矩阵如图 7 所示。列和行分别为预测标签和真实标签。对角线值越高,模型性能越好。图 7 中的结果表明,设计的模型能够以较高的置信度将正确手势与其他手势区分开来。对于所设计的基于神经网络的分类器的混淆矩阵(见图7),只有G1(左右滑动)被误判为G10(顺时针旋转)一次,而G3(上下滑动)被误判为G2(左右滑动)三次。

此外,通过使用FFT(慢时间)作为数据准备,对所设计的基于神经网络的分类器进行了重新训练,并在测试数据集上实现了99%的平均准确率。结果表明,无论是否使用FFT,采用所提出的基于神经网络的分类器都能实现99%以上的平均准确率。为了进一步改进所设计的分类器,未来的工作包括收集更多数据并使用更多IR-UWB雷达(增加分集)来检测更复杂的动作。

结论

本文介绍了一款符合 IEEE 802.15.4z 标准的IR-UWB雷达,用于检测坐在雷达前方人员的 12 种不同手势。这 12 种手势包含用户的各种手部动作,旨在增强人车交互体验。该系统采用神经网络作为分类器,平均准确率超过 99%。设计的基于神经网络的分类器参数仅为 4.956 K。未来的工作包括收集更多数据以优化设计的神经网络,并使用多个 IR-UWB 传感器来检测车内应用中更复杂的手势。


http://www.hkcw.cn/article/uPxRxHGomh.shtml

相关文章

STM标准库-GPIO输入

文章目录 一、GPIO输入按键简介传感器模块简介硬件电路 二、C语言C语言数据类型C语言宏定义C语言typedefC语言结构体C语言枚举 三、练习3.1按键控制LED3.1.1接线图3.1.2代码效果: 3.2光敏电阻控制蜂鸣器3.2.1接线图3.2.2代码效果: 一、GPIO输入 STM32 的…

HackMyVM-Jabita

信息搜集 主机发现 ┌──(kali㉿kali)-[~] └─$ nmap -sn 192.168.43.0/24 Starting Nmap 7.95 ( https://nmap.org ) at 2025-06-01 05:20 EDT Nmap scan report for 192.168.43.1 Host is up (0.020s latency). MAC Address: C6:45:66:05:91:88 (Unknown) Nmap scan repo…

桑托斯0-1博塔弗戈 内马尔染红 阿图尔制胜球

北京时间6月2日,巴西足球甲级联赛第11轮,桑托斯主场对阵博塔弗戈。比赛中,桑托斯的内马尔因累计两张黄牌被罚出场。博塔弗戈凭借雅伊尔-库尼亚的助攻,由阿图尔打入制胜一球,最终以1-0战胜桑托斯。比赛开始前,双方队长进行了挑边仪式。第5分钟,内马尔在禁区内投诉被对手拉…

英国军事战略转向全面“备战”

△英国首相府(资料图)当地时间6月1日,总台记者从英国首相府获得信息,英国政府将在2日发布新一轮《战略国防评估报告》的同时,宣布大幅扩建其核动力攻击型潜艇舰队,并加速推进军工产业现代化。此举被外界普遍解读为英国在地缘安全压力加剧背景下,全面进入“备战状态”。新…

Java虚拟机内存区域划分

Java虚拟机内存区域划分 Java虚拟机(JVM)的内存区域划分主要分为五个部分: 程序计数器:程序计数寄存器,给CPU使用本地方法栈:为JVM使用到的Native方法服务方法区:存储的是编译后的.class文件堆…

cursor升级至0.505,运行统计视频中的人数

帮助--检查更新,升级。 升级后,新建文本,另存选python格式保存后,右下角提示选择编译器,选择python后,自动安装ms python 3.11.9 一.查看pthon安装在哪, winr,输入cmd后, ctrlshiftenter三个…

《Pytorch深度学习实践》ch2-梯度下降算法

------B站《刘二大人》 1.Gradient Decent 局部最优,全局最优,非凸函数: 梯度下降算法公式: 2.Implementation import matplotlib.pyplot as plt# 数据集 x_data [1.0, 2.0, 3.0] y_data [2.0, 4.0, 6.0]# 权重 w 1.0# 模型…

LabVIEW多按键自动化检测系统

LabVIEW开发一套高精度按键力与行程自动化检测系统,针对传统检测设备自动化程度低、定位误差大等痛点,实现多按键产品的全流程自动化测试。系统集成 6 轴工业机器人、高精度传感器及实时数据处理模块,满足汽车电子、消费电子等领域对按键手感…

Chorme如何对于youtube视频进行画中画背景播放?

画中画可以让你小窗播放,然后浏览器放后台还可以做点别的事情。 B站直接可以选择小窗播放,游览器最小化就可以,但是youtube的小窗播放游览器一切换就不显示了。 其实是因为youtube的小窗播放不是真的小窗播放。要想真的实现需要在youtube视…

JDBC连不上mysql:Unable to load authentication plugin ‘caching_sha2_password‘.

最近为一个spring-boot项目下了mysql-9.3.0,结果因为mysql版本太新一直报错连不上。 错误如下: 2025-06-01 16:19:43.516 ERROR 22088 --- [http-nio-8080-exec-2] o.a.c.c.C.[.[.[/].[dispatcherServlet] : Servlet.service() for servlet [dispat…

C/C++ 面试复习笔记(3)

一.valgrind工具 参考: 内存检查工具valgrind介绍、安装与使用-CSDN博客https://blog.csdn.net/mijichui2153/article/details/85240349 二.C语言中如何实现一个线程池? 答案: 线程池是通过预先创建固定数量的线程来处理多个任务&#xf…

Spring框架核心知识深度解析

Spring框架核心知识深度解析 最近正在复习Java八股,所以会将一些热门的八股问题,结合ai与自身理解写成博客便于记忆 今天将对spring常见问题做出解析 一、IOC与AOP核心原理 1. IOC(控制反转)详解 核心思想:将对象…

【第四十七周】HippoRAG 2 复现与分析(一):环境部署与代码分析

目录 摘要Abstract安装依赖试运行HippoRAG 初始化文档索引QA运行脚本 总结 摘要 本周对HippoRAG 2系统进行核心功能测试,通过构建小型结构化文档库(如人物职业、童话事件、地理关系),验证其索引构建、动态增删、多轮检索问答及评…

【js逆向_AES】全国二手房指数数据爬取

目标:请求参数signcode,请求结果data。 网址:aHR0cDovL3d3dy5jY2hpbmRleC5jb20vSG9tZS9pbmRleA 查看载荷 查看响应数据 点击xhr,发现所有请求参数都是一个signCode,还是加密后的结果,对应结果中数据data也…

郑钦文社媒:人都应该有梦 刷新赛会最佳战绩

北京时间6月1日晚,在法网女单1/8决赛中,郑钦文战胜俄罗斯选手萨姆索诺娃,职业生涯首次跻身法网女单八强,刷新个人赛会最佳战绩。这也是中国选手时隔14年再次闯进法网八强。赛后,郑钦文在社交媒体上写道:“人都应该有梦,有梦就别怕痛,是一颗宝石就该闪烁。”她还祝所有的…

【第16届蓝桥杯 | 软件赛】CB组省赛第二场

个人主页:Guiat 归属专栏:算法竞赛 文章目录 A. 密密摆放(5分填空题)B. 脉冲强度之和(5分填空题)C. 25 之和D. 旗帜E. 数列差分F. 树上寻宝G. 翻转硬币H. 破解信息 正文 总共8道题。 A. 密密摆放&#xff0…

在线音乐服务器测试报告

1.项目背景 此项目主要用于模拟市面上主流的音乐软件的主要功能,提高自己的开发和测试能力。此项目采用的技术栈是SpringBoot MyBatis SpringMVC Mysql实现的,为了实现简单,方便测试,此项目没有注册功能,数据提前存…

球展世界,筑梦中原,2025郑州台球展会,年中招商即将开启

-壹肆柒2025中国(郑州)国际台球产业博览会暨全国台球产业链发展大会,将于2025年08月15-17日,在郑州中原国际会展中心盛大举办。本届博览会主题:同聚中原共赢未来,四个展馆,42000㎡的展览面积&am…

58、辣椒种植学习

辣椒(学名:Capsicum annuum)属于茄科辣椒属,是一种重要的蔬菜兼调味作物,具有较高的经济价值和营养价值。其果实富含维生素C、辣椒素等成分,既可鲜食,也可加工成干辣椒、辣椒粉、辣椒酱等产品&a…

SCSAI平台面向对象建模技术的设计与实现

一、核心设计思想 SCSAI平台的核心目标是通过元建模(Meta-Modeling)技术实现面向对象建模的零编码化。其核心思想为: 自反性设计:定义ObjectClassInfo (OCI)为元类(Meta-Class),所有对象类均为…