Pricing Online LLM Services with Data-Calibrated Stackelberg Routing Game
Zhendong Guo, Wenchao Bai, Jiahui Jin
大型语言模型(LLM)的激增已经建立了LLM路由作为标准服务交付机制,用户根据成本,服务质量(QoS)等选择模型。 然而,LLM路由平台的最佳定价需要动态服务市场的精确建模,并且大规模实时解决这个问题在计算上是难以计算的。 本文提出了一种新的实用和可扩展的解决方案,用于竞争LLM路由的实时动态定价。 将服务市场建模为Stackelberg游戏,提供商设置价格,用户根据多个标准选择服务。 为了捕捉现实世界的市场动态,我们将客观因素(成本,QoS)和主观用户偏好纳入模型。 对于可扩展性,我们使用深度聚合网络来学习提供商抽象,以维护用户端均衡行为。 此外,通过解释其定价决策提供可解释性。 对真实世界数据的实证评估表明,实现超过95%的最佳利润,而只需要不到最佳解决方案计算时间的5%。
The proliferation of Large Language Models (LLMs) has established LLM routing as a standard service delivery mechanism, where users select models based on cost, Quality of Service (QoS), among other things. However, optimal pricing in LLM routing platforms requires precise modeling for dynamic service markets, and solving this problem in real time at scale is computationally intractable. In this paper, we propose , a novel practical and scalable solution for real-time dynamic pricing in competit...
