Bilingual Dual-Head Deep Model for Parkinson's Disease Detection from Speech
Moreno La Quatra, Juan Rafael Orozco-Arroyave, Marco Sabato Siniscalchi
这项工作旨在通过为基于类型的二进制分类提出特设双头深度神经架构来解决双语环境中的语音信号中的帕金森病(PD)检测问题。 一个头是专门用于二恶体模式。 另一个头部寻找在连续口语中存在的自然语音模式。 根据投入的性质,两个头中只有一个人可以相应操作。 语音表示是从自监督学习(SSL)模型和小波变换中提取的。 适应层,卷积瓶颈和对比学习被利用来减少语言的变化。 我们的解决方案针对两个不同的数据集进行评估,EWA-DB和PC-GITA,分别涵盖斯洛伐克语和西班牙语。 结果表明,在单一语言数据集上训练的传统模型与跨语言泛化相抗衡,而幼稚的数据集组合是次优的。 相比之下,我们的模型同时提高了两种语言的概括。
This work aims to tackle the Parkinson's disease (PD) detection problem from the speech signal in a bilingual setting by proposing an ad-hoc dual-head deep neural architecture for type-based binary classification. One head is specialized for diadochokinetic patterns. The other head looks for natural speech patterns present in continuous spoken utterances. Only one of the two heads is operative accordingly to the nature of the input. Speech representations are extracted from self-supervised learn...