WiSPER框架:用WiFi CSI实现更精准的多人三维姿态估计
arXiv近日提出WiSPER框架,专注于基于WiFi信道状态信息的多人三维姿态估计。该方法采用两阶段设计:先通过姿态感知掩码嵌入学习进行预训练,再借助基于Transformer的残差流模块对粗略坐标进行迭代精化。在PiW3D数据集上,其平均关节点位置误差降至63.72毫米,较此前方法WiFi-JEPA降低约40%。
利用WiFi信道状态信息(CSI)进行多人三维姿态估计,是当前无线感知领域的热点方向之一。由于不同人体的反射信号在空间中相互叠加,CSI数据本身缺少直接对应每个关节点的标识信息,这给多人姿态的精细化重建带来了困难。已有研究尝试借助掩码嵌入的自监督方式捕捉信号中的关联特征,但缺少对姿态的显式监督;同时部分结构化解码方案在关节点坐标的精度上也存在提升空间。
WiSPER提出了一种两阶段的处理框架。第一阶段称为姿态感知掩码嵌入学习(PAMEL),在同一段CSI上下文上同时进行掩码潜变量预测与辅助姿态集合监督,引导编码器从部分观测中推断关节点位置。第二阶段是基于Transformer的残差流精化模块(ReFT),先生成一组姿态候选以适配场景中人数的变化,再以粗略坐标与各关节点解码特征为条件,通过条件流对每个候选进行残差修正。训练阶段使用成对的CSI与姿态标注,推理时仅需CSI输入。
研究团队在公开数据集PiW3D上对WiSPER进行了系统评估。结果显示,该方法在整体多人场景下的平均关节点位置误差为63.72毫米,较此前的代表性方法WiFi-JEPA降低约40.0%;在两人与三人场景下,误差降幅分别达到42.1%与38.1%。此外,姿态监督预训练配置的误差低于纯CSI的自监督基线,启用训练后的残差精化器可在各配置上将整体MPJPE进一步降低13.8%至15.6%。
【空音视角】 从非接触式无线感知从业者的角度看,WiSPER将显式姿态监督引入到无线信号预训练阶段,呼应了视觉领域从纯自监督向任务导向预训练迁移的整体趋势。其针对变人数、多人场景设计的候选生成与残差流精化机制,也与智慧养老、智慧病房中对跌倒检测和多人姿态监测的实际需求方向契合。需要指出的是,该方法目前仅在单一公开数据集PiW3D上完成验证,跨环境、跨硬件平台的泛化能力,以及与生命体征监测任务的协同应用,仍有待后续研究进一步检验。
—— 本文基于公开报道由空音编辑部 AI 辅助改写 来源:arXiv 计算机视觉 原文链接:https://arxiv.org/abs/2610.07025
来源:arXiv 计算机视觉(查看原文)