Enabling Automatic Self-Talk Detection via Earables
Euihyeok Lee, Seonghyeon Kim, SangHun Im, Heung-Seon Oh, and Seungwoo Kang
自我对话 - 一种可以无声地发生或大声说话的内部对话 - 在情绪调节,认知处理和动机中起着至关重要的作用,但在日常生活中基本上仍然是无形的和不可估量的。 在本文中,我们介绍了MutterMeter,这是一种移动系统,可以自动检测来自现实世界环境中可耳麦克风捕获的音频的自言自语。 检测自言自语在技术上具有挑战性,因为它具有不同的声学形式,语义和语法不完整以及不规则的发生模式,这与传统语音理解模型背后的假设存在根本性差异。 为了应对这些挑战,MutterMeter采用分层分类架构,通过顺序处理管道逐步集成声学,语言和上下文信息,自适应地平衡准确性和计算效率。 我们使用首个数据集构建和评估MutterMeter,该数据集包括从25名参与者收集的31.1小时的音频。 实验结果表明,MutterMeter以0.84的宏观平均F1分数实现了稳健的性能,优于传统方法,包括基于LLM和语音情感识别模型。
Self-talk-an internal dialogue that can occur silently or be spoken aloud-plays a crucial role in emotional regulation, cognitive processing, and motivation, yet has remained largely invisible and unmeasurable in everyday life. In this paper, we present MutterMeter, a mobile system that automatically detects vocalized self-talk from audio captured by earable microphones in real-world settings. Detecting self-talk is technically challenging due to its diverse acoustic forms, semantic and grammati...
