Spatial Audio Rendering for Real-Time Speech Translation in Virtual Meetings
Margarita Geleta and Hong Sodoma and Hannes Gamper
虚拟会议的语言障碍仍然是全球合作的一个持续挑战。 实时翻译提供了希望,但目前的集成往往忽略了感知线索。 这项研究调查了翻译语音的空间音频渲染如何影响多语言会议的理解,认知负荷和用户体验。 我们进行了一个主题内部实验,有8个双语联盟和47名参与者模拟全球团队会议,使用希腊语,卡纳达语,普通话汉语和乌克兰语的英语翻译 - 因其在语法,脚本和资源可用性方面的多样性而被选中。 参与者经历了四种音频条件:有和没有背景混响的空间音频,以及两种非空间配置(二极管,单声道)。 我们测量了听众理解的准确性、工作负载评分、满意度得分和定性反馈。 与非空间音频相比,空间渲染翻译的理解加倍。 参与者报告说,当存在空间线索和声音音色差异时,更清晰和参与。 我们讨论将实时翻译集成到会议平台的设计影响,在远程呈现系统中推进包容性跨语言通信。
Language barriers in virtual meetings remain a persistent challenge to global collaboration. Real-time translation offers promise, yet current integrations often neglect perceptual cues. This study investigates how spatial audio rendering of translated speech influences comprehension, cognitive load, and user experience in multilingual meetings. We conducted a within-subjects experiment with 8 bilingual confederates and 47 participants simulating global team meetings with English translations of...
