CityVerse: A Unified Data Platform for Multi-Task Urban Computing with Large Language Models
Yaqiao Zhu and Hongkai Wen and Mark Birkin and Man Luo
大型语言模型(LLM)在从空间推理到预测分析的城市计算中显示出显着的潜力。 然而,评估跨不同城市任务的LLM面临两个关键挑战:缺乏一致的多源数据访问的统一平台和阻碍公平比较的碎片化任务定义。 为了应对这些挑战,我们介绍了CityVerse,这是第一个整合多源城市数据,基于能力的任务分类和动态模拟的统一平台,用于城市环境中的系统LLM评估。 CityVerse提供:1)基于坐标的数据API将十类城市数据(包括空间特征,时间动力学,人口统计和多模态图像)与超过3800万条策划记录统一在一起;2)任务API将43个城市计算任务组织成四级认知层次结构:感知,空间理解,推理和预测以及决策和交互,实现跨能力水平的标准化评估;3)支持实时数据检索和多层测试的交互式可视化前端。 我们通过跨代表性任务的主流LLM评估验证平台的有效性,证明其支持可重复性和系统评估的能力。 CityVerse为在城市计算领域推进LLM和多任务方法提供了可重复使用的基础。
Large Language Models (LLMs) show remarkable potential for urban computing, from spatial reasoning to predictive analytics. However, evaluating LLMs across diverse urban tasks faces two critical challenges: lack of unified platforms for consistent multi-source data access and fragmented task definitions that hinder fair comparison. To address these challenges, we present CityVerse, the first unified platform integrating multi-source urban data, capability-based task taxonomy, and dynamic simulat...