LLM Context Conditioning and PWP Prompting for Multimodal Validation of Chemical Formulas
Evgeny Markhasin
识别复杂科学和技术文件中的微妙技术错误,特别是那些需要多模态解释(例如图像中的公式)的微妙技术错误,对于大型语言模型(LLM)来说,这是一个重大障碍,其固有的错误纠正倾向可以掩盖不准确性。 这项探索性概念验证(PoC)研究调查了结构化的LLM上下文条件,以持续工作流提示(PWP)原则为指导,作为在推理时间调节这种LLM行为的方法策略。 该方法旨在提高易于获得的通用LLM(特别是Gemini 2.5 Pro和ChatGPT Plus o3)的可靠性,用于精确的验证任务,关键是仅依赖于其标准聊天界面而无需API访问或模型修改。 为了探索这种方法,我们专注于在一个单一的复杂试卷中验证化学公式,这些试卷具有已知的文本和基于图像的错误。 评估了几种提示策略:虽然基本提示被证明是不可靠的,但使PWP结构适应LLM的分析思维模式的方法似乎改善了两种模型的文本错误识别。 值得注意的是,这种方法还指导Gemini 2.5 Pro反复识别之前在手动审查中忽略的微妙的基于图像的公式错误,ChatGPT Plus o3在我们的测试中失败了。 这些初步发现强调了阻碍细节验证的特定LLM操作模式,并表明PWP知情的上下文调节提供了一种有前途的且易于访问的技术,用于开发更强大的LLM驱动的分析工作流程,特别是对于需要在科学和技术文档中仔细检测错误的任务。 超出此有限PoC的广泛验证是必要的,以确定更广泛的适用性。
Identifying subtle technical errors within complex scientific and technical documents, especially those requiring multimodal interpretation (e.g., formulas in images), presents a significant hurdle for Large Language Models (LLMs) whose inherent error-correction tendencies can mask inaccuracies. This exploratory proof-of-concept (PoC) study investigates structured LLM context conditioning, informed by Persistent Workflow Prompting (PWP) principles, as a methodological strategy to modulate this L...