TouchWalker: Real-Time Avatar Locomotion from Touchscreen Finger Walking
Geuntae Park, Jiwon Yi, Taehyun Rhee, Kwanguk Kim, Yoonsang Lee
我们介绍了TouchWalker,一个实时系统,用于使用触摸屏上的手指行走手势控制全身头像运动。 该系统包括两个主要组件:TouchWalker-MotionNet,一种神经运动发生器,从时间稀疏的两指输入中按帧合成全身头像运动,以及TouchWalker-UI,这是一种紧凑的触摸界面,将用户触摸输入解释为头像相对的脚位置。 与以前依赖符号手势触发或预定义运动序列的系统不同,TouchWalker使用其神经组件在每帧的基础上生成连续的,上下文感知的全体运动 - 包括运行等空降阶段,即使在半空中台阶期间没有输入 - 可实现更具表现力和即时的交互。 为了确保手指触点和头像运动之间的精确对齐,它采用具有专用脚对齐损耗的MoE-GRU架构。 我们在一项用户研究中评估了TouchWalker,将其与虚拟操纵杆基线与跨各种运动任务的预定义运动进行比较。 结果表明,TouchWalker提高了用户的体现、享受和沉浸感。
We present TouchWalker, a real-time system for controlling full-body avatar locomotion using finger-walking gestures on a touchscreen. The system comprises two main components: TouchWalker-MotionNet, a neural motion generator that synthesizes full-body avatar motion on a per-frame basis from temporally sparse two-finger input, and TouchWalker-UI, a compact touch interface that interprets user touch input to avatar-relative foot positions. Unlike prior systems that rely on symbolic gesture trigge...