The LLM Pro Finance Suite: Multilingual Large Language Models for Financial Applications
Gaëtan Caillaut, Raheel Qader, Jingshu Liu, Mariam Nakhlé, Arezki Sadoune, Massinissa Ahmim, Jean-Gabriel Barthelemy
金融业对高级自然语言处理(NLP)能力的需求不断增长,突显了通用大型语言模型(LLM)在处理特定领域财务任务方面的局限性。 为了解决这一差距,我们推出了LLM Pro Finance Suite,这是专门为金融应用设计的5个指令调谐的LLM(从8B到70B参数)。 我们的方法侧重于增强通才指导调整模型,利用其在教学遵循,推理和毒性控制方面的现有优势,同时在策划的高质量金融语料库上微调,包括超过50%的英语,法语和德语金融相关数据。 我们评估LLM Pro金融套件的综合财务基准套件,在面向金融的任务和金融翻译方面显示出对最先进的基线的一致改进。 值得注意的是,我们的模型保持了其基础模型的强大通用域功能,确保了非专业任务的可靠性能。 这种双重熟练程度,增强的财务专业知识,而不会在一般能力上妥协,使LLM Pro Finance Suite成为财务工作流程中现有LLM的理想替代品,提供改进的特定领域性能,同时保持整体多功能性。 我们公开发布两个8B参数模型,以促进金融NLP应用的未来研究和开发:https://huggingface.co/collections/DragonLLM/llm-open-finance。
The financial industry's growing demand for advanced natural language processing (NLP) capabilities has highlighted the limitations of generalist large language models (LLMs) in handling domain-specific financial tasks. To address this gap, we introduce the LLM Pro Finance Suite, a collection of five instruction-tuned LLMs (ranging from 8B to 70B parameters) specifically designed for financial applications. Our approach focuses on enhancing generalist instruction-tuned models, leveraging their e...