42digest首页
RadHARSimulator V2: 视频到多普勒生成器

RadHARSimulator V2: Video to Doppler Generator

Weicheng Gao

arXiv
2025年11月12日

基于雷达的人类活动识别(HAR)仍然缺乏全面的模拟方法。 现有软件基于模型或动作捕获数据开发,因此灵活性有限。 为了解决这个问题,本文介绍了从录制的视频片段(RadHARSimulator V2)中直接生成多普勒光谱的模拟器。 计算机视觉和雷达模块都包含在模拟器中。 在计算机视觉模块中,与全局近邻进行对象检测的实时模型首先用于检测和跟踪视频中的人类目标。 然后,高分辨率网络用于估计检测到的人类目标的二维姿势。 接下来,检测到的人类目标的三维姿势是通过最近的匹配方法获得的。 最后,通过卡尔曼过滤实现平滑的时间三维姿势估计。 在雷达模块中,姿势插值和平滑首先通过Savizky-Golay方法实现。 其次,延迟模型和镜像方法用于模拟自由空间和穿墙场景中的回声。 然后,使用脉冲压缩、移动目标指示和 DnCNN 生成范围时间地图。 接下来,使用短时间傅里叶变换和DnCNN再次生成多普勒时间地图(DTM)。 最后,DTM上的脊特征使用最大的局部能量方法提取。 此外,还提出了基于雷达的HAR的混合并行神经网络架构。 进行和分析数值实验,以证明设计的模拟器和拟议的网络模型的有效性。 这项工作的开源代码可以在:https://github.com/JoeyBGOfficial/RadHARSimulatorV2-Video-to-Doppler-Generator中找到。

Radar-based human activity recognition (HAR) still lacks a comprehensive simulation method. Existing software is developed based on models or motion-captured data, resulting in limited flexibility. To address this issue, a simulator that directly generates Doppler spectra from recorded video footage (RadHARSimulator V2) is presented in this paper. Both computer vision and radar modules are included in the simulator. In computer vision module, the real-time model for object detection with global ...