Quantitative and Qualitative Comparison of Generative Models for Subject-Specific Gaze Synthesis: Diffusion vs GAN
Kamrul Hasan, Dmytro Katrychuk, Mehedi Hasan Raju, Oleg V. Komogortsev
深度学习的最新进展证明了生成合成凝视数据的能力。 然而,大多数方法主要集中在从随机噪声分布或全局预定义的潜在嵌入中生成数据,而个性化凝视序列的生成则较少被探索。 为了解决这一差距,我们重新审视了最近基于扩散和生成对抗网络(GAN)的两种方法,并引入了使两种模型明确主体意识的修改,同时提高准确性和有效性。 对于基于扩散的方法,我们使用强调每个主题特征的紧凑用户嵌入。 此外,对于基于GAN的方法,我们提出了一个特定主题的合成模块,该模块使生成器保留更好的特殊凝视信息。 最后,我们使用标准的眼睛跟踪信号质量指标(包括空间精度和精度)对这些修改方法进行全面评估。 这项工作有助于定义合成信号质量,现实主义和主题特异性,从而有助于基于凝视的应用程序的潜在开发。
Recent advances in deep learning demonstrate the ability to generate synthetic gaze data. However, most approaches have primarily focused on generating data from random noise distributions or global, predefined latent embeddings, whereas individualized gaze sequence generation has been less explored. To address this gap, we revisit two recent approaches based on diffusion and generative adversarial networks (GANs) and introduce modifications that make both models explicitly subject-aware while i...
