Relation Extraction or Pattern Matching? Unravelling the Generalisation Limits of Language Models for Biographical RE
Varvara Arzt, Allan Hanbury, Michael Wiegand, Gábor Recski, Terra Blevins
分析关系抽取 (RE) 模型的一般化能力对于评估它们是学习了稳健的关系模式还是依赖于虚假相关性至关重要。我们的跨数据集实验发现，即使在相似领域内，RE 模型也难以处理未见过的数据。值得注意的是，更高的数据集内性能并不意味着更好的迁移能力，反而常常预示着过拟合到数据集特定的伪影。我们的结果还表明，数据质量而非词汇相似性是稳健迁移的关键，最佳的适应策略选择取决于可用数据的质量：虽然使用高质量数据进行微调可以获得最佳的跨数据集性能，但对于噪声数据，少样本上下文学习 (ICL) 效果更好。然而，即使在这些情况下，零样本基线有时也能优于所有跨数据集结果。RE 基准测试中的结构性问题，例如每样本单关系约束和非标准化负类定义，进一步阻碍了模型的可迁移性。
Analysing the generalisation capabilities of relation extraction (RE) models is crucial for assessing whether they learn robust relational patterns or rely on spurious correlations. Our cross-dataset experiments find that RE models struggle with unseen data, even within similar domains. Notably, higher intra-dataset performance does not indicate better transferability, instead often signaling overfitting to dataset-specific artefacts. Our results also show that data quality, rather than lexical ...