LiteraryTaste: A Preference Dataset for Creative Writing Personalization
John Joon Young Chung, Vishakh Padmakumar, Melissa Roemmele, Yi Wang, Yuqian Sun, Tiffany Wang, Shm Garanganao Almeda, Brett A. Halperin, Yuwen Lu, Max Kreminski
人们有不同的创意写作偏好,这些任务的大型语言模型(LLM)可以从适应每个用户的偏好中受益。 然而,这些模型通常是在一个数据集上进行训练的,该数据集将不同的个人口味视为整体。 为了便于开发个性化的创意写作LLM,我们介绍了来自60人的阅读偏好数据集LiruterTaste,其中每个人:1)自我报告他们的阅读习惯和品味(陈述偏好),2)注释他们的偏好超过100对简短的创意写作文本(揭示偏好)。 通过我们的数据集,我们发现:1)人们在创造性写作偏好上存在分歧,2)在对个人和集体揭示的偏好进行建模时,微调变压器编码器可以达到75.8%和67.7%的准确率,3)所述偏好在建模显示偏好方面效用有限。 通过LLM驱动的可解释性管道,我们分析了人们的偏好如何变化。 我们希望我们的工作成为个性化创意写作技术的基石。
People have different creative writing preferences, and large language models (LLMs) for these tasks can benefit from adapting to each user's preferences. However, these models are often trained over a dataset that considers varying personal tastes as a monolith. To facilitate developing personalized creative writing LLMs, we introduce LiteraryTaste, a dataset of reading preferences from 60 people, where each person: 1) self-reported their reading habits and tastes (stated preference), and 2) an...
