Leveraging LLM-based agents for social science research: insights from citation network simulations
Jiarui Ji, Runlin Lei, Xuchen Pan, Zhewei Wei, Hao Sun, Yankai Lin, Xu Chen, Yongzheng Yang, Yaliang Li, Bolin Ding, Ji-Rong Wen
大型语言模型(LLM)的出现证明了它们通过利用广泛的Web数据预训练来封装人类行为模拟中固有的逻辑和模式的潜力。 然而,LLM能力在社会模拟中的界限仍然不清楚。 为了进一步探索LLM的社会属性,我们引入了CiteAgent框架,该框架旨在使用基于LLM的代理进行人行为模拟生成引用网络。 CiteAgent成功地捕获了现实世界引用网络中的主要现象,包括功率法分布,引文失真和收缩直径。 在这个现实的模拟基础上,我们在社会科学中建立了两种基于LLM的研究范式:LLM-SE(基于LLM的Survey实验)和LLM-LE(基于LLM的实验室实验)。 这些范式促进了对引文网络现象的严格分析,使我们能够验证和挑战现有的理论。 此外,我们通过理想化的社会实验扩展了传统科学研究的研究范围,模拟实验结果为现实世界的学术环境提供了宝贵的见解。 我们的工作展示了LLM在社会科学中推进科学研究科学的潜力。
The emergence of Large Language Models (LLMs) demonstrates their potential to encapsulate the logic and patterns inherent in human behavior simulation by leveraging extensive web data pre-training. However, the boundaries of LLM capabilities in social simulation remain unclear. To further explore the social attributes of LLMs, we introduce the CiteAgent framework, designed to generate citation networks based on human-behavior simulation with LLM-based agents. CiteAgent successfully captures pred...