Measuring Value Expressions in Social Media Posts
Ziv Epstein, Farnaz Jahanbakhsh, Tiziano Piccardi, Isabel Gallegos, Dora Zhao, Johan Ugander, Michael Bernstein
社会技术系统的价值调整已成为一个中心辩论,但在这方面的进展需要衡量价值的表现。 虽然大语言模型的兴起为衡量社交媒体数据中人类价值(例如谦卑或平等)的表达提供了新的可能机会,但在社交媒体帖子中操作价值表达方面仍然存在概念和实践挑战:什么价值体系和操作性最适用,以及我们如何实际衡量它们? 在本文中,我们借鉴了Schwartz价值体系,作为一套广泛且基于理论的基本人类价值,并引入了一个框架,用于大规模地衡量Schwartz在社交媒体帖子中的价值表达。 我们从N=1,079人收集32,370个地面真值表达注释,在5,211个社交媒体帖子中代表真实用户提要。 我们观察到人与人之间的评级协议水平低,人类评分器与基于LLM的方法之间的低协议。 借鉴解释主义理论 - 不同的人会对同一情况有不同的主观体验 - 我们认为价值表达(部分)在旁观者的眼中。 作为响应,我们构建了一个用于分类值表达式的个性化架构。 我们发现,一个明确模型这些差异的系统产生了预测的价值表达,人们同意的比他们同意其他人的更多。 这些结果为测量社交媒体数据中人类价值提供了新的方法和理解。
The value alignment of sociotechnical systems has become a central debate but progress in this direction requires the measurement of the expressions of values. While the rise of large-language models offer new possible opportunities for measuring expressions of human values (e.g., humility or equality) in social media data, there remain both conceptual and practical challenges in operationalizing value expression in social media posts: what value system and operationalization is most applicable,...