Examining Linguistic Shifts in Academic Writing Before and After the Launch of ChatGPT: A Study on Preprint Papers
Tong Bao, Yi Zhao, Jin Mao, Chengzhi Zhang
大型语言模型(LLMs),如ChatGPT,促使学术界担心它们对学术写作的影响。 现有的研究主要通过定量方法,如单词频率统计和基于概率的分析,研究了LLM在学术写作中的用法。 然而,很少有人系统地研究LLM对学术写作的语言特征的潜在影响。 为了解决这一差距,我们对过去十年从arXiv数据集发表的823,798个摘要进行了大规模分析。 通过对LLM首选词的频率,词汇复杂性,句法复杂性,凝聚力,可读性和情感等特征的语言分析,结果表明LLM首选单词在摘要中的比例显着增加,揭示了LLM对学术写作的广泛影响。 此外,我们观察到抽象中的词汇复杂性和情绪增加,但语法复杂性的减少,这表明LLM引入了更多的新词汇并简化了句子结构。 然而,凝聚力和可读性的显著下降表明,摘要的连接词较少,越来越难以阅读。 此外,我们的分析表明,英语水平较弱的学者更有可能使用LLM进行学术写作,并专注于提高摘要的整体逻辑和流畅性。 最后,在学科层面,我们发现计算机科学的学者在写作风格上表现出更明显的变化,而数学的变化是最小的。
Large Language Models (LLMs), such as ChatGPT, have prompted academic concerns about their impact on academic writing. Existing studies have primarily examined LLM usage in academic writing through quantitative approaches, such as word frequency statistics and probability-based analyses. However, few have systematically examined the potential impact of LLMs on the linguistic characteristics of academic writing. To address this gap, we conducted a large-scale analysis across 823,798 abstracts pub...