Scalable and consistent few-shot classification of survey responses using text embeddings
Jonas Timmann Mjaaland, Markus Fleten Kreutzer, Halvor Tyseng, Rebeckah K. Fussell, Gina Passante, N.G. Holmes, Anders Malthe-Sørenssen, and Tor Ole B. Odden
对开放式调查回复进行定性分析是社会科学中常用的研究方法,但传统的编码方法往往耗时且容易不一致。 自然语言处理的现有解决方案,如监督分类器,主题建模技术和生成式大型语言模型在定性分析中的适用性有限,因为它们需要广泛的标记数据,破坏既定的定性工作流程和/或产生可变结果。 在本文中,我们引入了一个基于文本嵌入的分类框架,每个类别只需要几个示例,并且与标准定性工作流程相适应。 当以人类分析由2899个开放式响应组成的概念物理调查为基准时,我们的框架实现了Cohen的Kappa范围从0.74到0.83,而专家人类编码器在一个详尽的编码方案中。 我们进一步展示了该框架的性能如何通过微调文本嵌入模型而得到改善,以及该方法如何用于审计先前分析的数据集。 这些发现表明,文本嵌入辅助编码可以在不牺牲可解释性的情况下灵活扩展到数千个响应,为大规模演绎定性分析开辟了途径。
Qualitative analysis of open-ended survey responses is a commonly-used research method in the social sciences, but traditional coding approaches are often time-consuming and prone to inconsistency. Existing solutions from Natural Language Processing such as supervised classifiers, topic modeling techniques, and generative large language models have limited applicability in qualitative analysis, since they demand extensive labeled data, disrupt established qualitative workflows, and/or yield vari...
