多向量模型,如ColBERT,是神经信息检索(IR)的重大进步,通过多个上下文化的令牌级嵌入表示查询和文档,提供最先进的性能。 然而,这种增加的表示大小引入了大量的存储和计算开销,阻碍了在实践中的广泛采用。 减轻这种开销的一种常见方法是将模型的冻结向量聚类,但这种策略的有效性从根本上受到这些嵌入的内在聚类性的限制。 在这项工作中,我们介绍了CRISP(具有内在结构修剪的集群表示),这是一种新颖的多向量训练方法,可直接在端到端训练过程中学习固有的可聚性表示。 通过将聚类集成到训练阶段,而不是将其强加在临时阶段,CRISP在所有表示大小以及其他令牌修剪方法方面明显优于后集群。 在BEIR检索基准测试中,CRISP实现了矢量数量减少3倍的显著速度,同时优于原始未修剪模型。 这表明,学习聚类通过过滤不相关的信息有效地使模型脱色,从而产生更强大的多向量表示。 通过更具侵略性的聚类,CRISP实现了11倍的向量减少,质量损失仅为3.6%。
行业规模的推荐系统面临着一个核心挑战:代表具有高基本性的实体,如用户或项目,使用密集的嵌入,这些嵌入必须在培训和推理期间访问。 然而,随着嵌入尺寸的增长,内存限制使存储和访问变得越来越困难。 我们描述了一种轻量级的,可学习的嵌入压缩技术,将密集的嵌入投射到高维,稀疏激活的空间中。 我们的方法专为检索任务而设计,可降低内存需求,同时保持检索性能,可在严格的资源限制下实现可扩展的部署。 我们的结果表明,利用稀疏性是提高大规模推荐者效率的有希望的方法。 我们在https : / /github.com/recombee/CompresSAE上发布代码。
发现有趣的现象是科学发现的核心,但它是一本手册,定义不清的概念。 我们提出了一个集成管道,用于在结构化生物医学数据中发现有趣的简单假设(具有效应方向的特征和目标关系和潜在潜在机制)。 该管道结合了机器学习、知识图谱、文献搜索和大型语言模型。 我们将“有趣性”正式化为新颖性,实用性和合理性的结合。 在英国生物银行的8种主要疾病中,我们的管道在文献中出现之前,一直在恢复风险因素。 40-53名候选人被验证为有趣,而基线为0-7。 总的来说,28管道解决了“有趣性”和任何目标的挑战。 我们发布数据和代码:https://github.com/LinialLab/InterFeat
协同过滤(CF)通过将历史用户-物品交互的信息编码到密集的ID嵌入表,从而实现大规模的推荐系统。 然而,随着嵌入表的增长,封闭式解决方案变得不切实际,通常需要使用迷你批次梯度下降进行训练。 尽管在设计用于训练CF模型的损耗函数方面进行了广泛的工作,但我们认为这些管道的一个核心组成部分被严重忽视:重量衰减。 获得高性能模型通常需要仔细调整重量衰减,无论损失如何,但其必要性尚不清楚。 在这项工作中,我们质疑为什么重量衰减在CF管道中至关重要,以及它如何影响训练。 通过理论和实证分析,我们惊奇地发现,重量衰减的主要功能是将流行信息编码到嵌入向量的大小。 此外,我们发现调整重量衰减是一种粗糙的非线性旋钮,可以影响对流行或不受欢迎的项目的偏好。 基于这些发现,我们提出了用于嵌入Magnitudes的Pularity-awaRe初始化策略,这是一种简单而有效的解决方案,以简化高性能CF模型的训练。 PRISM预先编码通常通过重量衰减学到的流行信息,消除了其必要性。 我们的实验表明,PRISM将性能提高了高达4.77次的训练时间,达到38.48,此外,我们将PRISM参数化,以调节初始化强度,提供具有成本效益和有意义的策略,以减轻流行偏差。
随着人工智能(AI)法规的发展和监管格局的发展和变得更加复杂,确保遵守道德准则和法律框架仍然是人工智能开发人员面临的挑战。 本文介绍了一个人工智能驱动的自我评估聊天机器人,旨在帮助用户浏览欧盟人工智能法案和相关标准。 利用检索增强的一代(RAG)框架,聊天机器人通过检索相关监管文本和提供量身定制的指导,实现实时、具有上下文感知的合规性验证。 通过整合公共和专有标准,它简化了监管的遵守,降低了复杂性,并促进了负责任的人工智能开发。 本文探讨了聊天机器人的架构,比较了天真和基于图形的RAG模型,并讨论了其对AI治理的潜在影响。
行业规模的推荐系统面临着一个核心挑战:代表具有高基本性的实体,如用户或项目,使用密集的嵌入,这些嵌入必须在培训和推理期间访问。 然而,随着嵌入尺寸的增长,内存限制使存储和访问变得越来越困难。 我们描述了一种轻量级的,可学习的嵌入压缩技术,将密集的嵌入投射到高维,稀疏激活的空间中。 我们的方法专为检索任务而设计,可降低内存需求,同时保持检索性能,可在严格的资源限制下实现可扩展的部署。 我们的结果表明,利用稀疏性是提高大规模推荐者效率的有希望的方法。 我们在https : / /github.com/recombee/CompresSAE上发布代码。
协同过滤(CF)通过将历史用户-物品交互的信息编码到密集的ID嵌入表,从而实现大规模的推荐系统。 然而,随着嵌入表的增长,封闭式解决方案变得不切实际,通常需要使用迷你批次梯度下降进行训练。 尽管在设计用于训练CF模型的损耗函数方面进行了广泛的工作,但我们认为这些管道的一个核心组成部分被严重忽视:重量衰减。 获得高性能模型通常需要仔细调整重量衰减,无论损失如何,但其必要性尚不清楚。 在这项工作中,我们质疑为什么重量衰减在CF管道中至关重要,以及它如何影响训练。 通过理论和实证分析,我们惊奇地发现,重量衰减的主要功能是将流行信息编码到嵌入向量的大小。 此外,我们发现调整重量衰减是一种粗糙的非线性旋钮,可以影响对流行或不受欢迎的项目的偏好。 基于这些发现,我们提出了用于嵌入Magnitudes的Pularity-awaRe初始化策略,这是一种简单而有效的解决方案,以简化高性能CF模型的训练。 PRISM预先编码通常通过重量衰减学到的流行信息,消除了其必要性。 我们的实验表明,PRISM将性能提高了高达4.77次的训练时间,达到38.48,此外,我们将PRISM参数化,以调节初始化强度,提供具有成本效益和有意义的策略,以减轻流行偏差。
在线虚假信息的快速传播带来了全球挑战,机器学习作为一种潜在的解决方案被广泛探索。 然而,多语言设置和低资源语言在这一领域往往被忽视。 为了解决这一差距,我们在SemEval 2025上进行了一项多语言索赔检索的共享任务,旨在识别事实核查的索赔,这些索赔与不同语言的社交媒体帖子中表达的新索赔相匹配。 任务包括两个子轨道:(1)单语轨道,其中社交帖子和索赔是同一种语言的,(2)一个跨语言轨道,其中社交帖子和索赔可能不同语言。 共有179名参与者报名参加这项任务,为52份测试提交材料。 31个团队中有23个提交了系统文件。 在本文中,我们报告了两个子轨道中性能最好的系统以及最常见和最有效的方法。 这项共享任务及其数据集和参与系统为多语言索赔检索和自动事实检查提供了宝贵的见解,支持该领域未来的研究。
下一个兴趣点(POI)推荐任务旨在根据其历史移动数据预测用户的下一个目的地,并在基于位置的服务和个性化应用中发挥关键作用。 准确的下一个POI建议取决于对地理信息和POI过渡关系进行有效建模,这对捕获空间依赖和用户移动模式至关重要。 虽然大型语言模型(LLM)在语义理解和上下文推理方面表现出强大的能力,但将它们应用于空间任务,如下一个POI推荐仍然具有挑战性。 首先,特定GPS坐标的不常见性使得LLM难以对精确的空间环境进行建模。 其次,缺乏关于POI过渡的知识限制了他们捕捉潜在POI-POI关系的能力。 为了解决这些问题,我们提出了GA-LLM(Geography-Aware Large Language Model),这是一个新颖的框架,增强了LLM有两个专门组件。 地理坐标注入模块(GCIM)使用分层和傅里叶基于位置编码将GPS坐标转换为空间表示,使模型能够从多个角度理解地理特征。 POI对齐模块(PAM)将POI过渡关系整合到LLM的语义空间中,使其能够推断全局POI关系并推广到看不见的POI。 三个真实世界数据集的实验证明了GA-LLM的最先进的性能。
从包含布局功能和文本的 Visually Rich Documents (VRDs) 中的信息提取 (IE) 是一项关键且经过充分研究的任务。 专门的非LLM NLP解决方案通常涉及使用文本和几何信息的训练模型,将序列/令牌标记为命名实体或特定问题的答案。 然而,这些方法缺乏推理,无法推断文档中没有明确存在的值,并且不能很好地推广到新的格式。 最近提出的基于LLM的生成方法能够推理,但很难理解文档布局中的线索,特别是在以前看不见的文档格式中,并且在异构VRD基准数据集中不显示竞争表现。 在本文中,我们提出了基于LLM的新方法BLOCKIE,它将VRD组织为称为语义块的本地化,可重用语义文本段,这些片段是独立处理的。 通过重点突出,更具推广性的推理,我们的方法在以前未遇到过的1-3个公共VRD基准测试中的表现优于最先进的方法,并显示出正确提取文件中未明确存在的信息的能力。
人工智能将成为下一代移动网络(6G)的关键支柱之一,因为它有望提供新颖的增值服务并提高网络性能。 在这种情况下,大型语言模型有可能通过意图理解、智能知识检索、编码熟练度和跨域编排功能彻底改变电信领域。 本文介绍了 telecom-oRAG,这是一个开源的检索增强生成 (RAG) 框架,该框架针对电信领域的技术问题进行了优化,特别关注 3GPP 标准。 Telco-oRAG引入了一种混合检索策略,将3GPP特定域检索与网络搜索相结合,由词汇库增强的查询改进和用于内存效率检索的神经路由器提供支持。 我们的结果表明,与基线RAG相比,Telco-oRAG将回答3GPP相关问题的准确性提高了17.6 10.6 Telco-oRAG,使开源LLM在电信基准测试中达到GPT-4级精度。
在分布式量子应用中,例如纠缠分布、精确的时间同步和高效的时间标记数据处理至关重要。 传统系统经常受到溢出、同步漂移和存储效率低下的影响。 我们提出了一个模块化的时间标记(TT)代理,它使用来自白兔(WR)设备的每秒1脉冲(PPS)信号来实现网络范围的同步,同时应用实时校准,溢出缓解和压缩。 一个实时的双实验室纠缠分布实验验证了系统的性能,实现了25,000计数/秒的同步巧合检测。
教科书问题回答(TQA)是一项复杂的任务,需要解释复杂的多模态上下文。 虽然最近的进步提高了整体性能,但他们经常在教育环境中遇到困难,其中准确的语义对齐和特定任务的文档检索是必不可少的。 在本文中,我们提出了一种新颖的多模态教科书问题回答方法,引入了一种通过多目标联合训练增强语义表示的机制。 我们的模型,与教科书问题回答排名监督(JETRTQA)的联合嵌入培训,是一个基于检索器生成器架构的多模态学习框架,该架构使用检索增强的生成设置,其中多模态大语言模型生成答案。 JETRTQA旨在提高检索文档在复杂教育环境中的相关性。 与传统的直接评分方法不同,JETRTQA通过将配对排名和来自答案的隐式监督相结合的监督信号来改进问题和文档的语义表示。 我们在CK12-QA数据集上评估我们的方法,并证明它显着改善了信息化和非相关文档之间的歧视,即使它们很长,复杂且多模态。 JETRTQA优于以前的技术状态,在验证集上实现了2.4%的精度,在测试集上实现了11.1%的增益。
在 Retrieval-Augmented Generation (RAG) 系统中准确识别搜索意图仍然是一个具有挑战性的目标,特别是在资源约束下,对于具有嵌套结构和依赖关系的复杂查询。 本文介绍了QCompiler,一个受语言语法规则和编译器设计启发的神经符号框架,以弥合这一差距。 从理论上讲,它设计了一个最小但足够的Backus-Naur形式(BNF)语法 G[q] 来正式化复杂的查询。 与以前的方法不同,这种语法保持完整性,同时最小化冗余。 基于此,QCompiler 包括一个查询表达式翻译器、一个 Lexical Syntax 解析器和一个递归下降处理器,用于将查询编译成抽象语法树 (ASTs) 来执行。 叶子节点中子查询的原子性确保了更精确的文档检索和响应生成,显著提高了RAG系统处理复杂查询的能力。
基于会话的建议越来越受到关注,因为它在基于有限行为预测匿名用户意图方面的实用价值。 新兴努力将各种侧面信息纳入其中,以缓解这项任务中固有的数据稀缺问题,从而带来令人印象深刻的性能改进。 侧信息驱动的基于会话的建议的核心是发现和利用各种数据。 在这项调查中,我们从以数据为中心的角度对这项任务进行了全面审查。 具体而言,这项调查从明确制定任务开始。 随后,详细探讨了各种基准,这些基准富含对推进该领域的研究至关重要。 之后,我们深入研究不同类型的侧信息如何增强任务,强调数据特性和实用性。 此外,我们讨论各种侧面信息的使用情况,包括数据编码、数据注入和涉及的技术。 然后对研究进展进行系统审查,并按侧信息的类型进行分类。 最后,我们总结了当前的局限性,并介绍了这一充满活力的主题的未来前景。
检索增强生成(RAG)系统广泛应用于问答(QA)任务,但目前的基准缺乏元数据集成,阻碍了在需要文本数据和外部信息的情况下进行评估。 为了解决这个问题,我们介绍了AMAQA,这是一个新的开放获取QA数据集,旨在评估结合文本和元数据的任务。 元数据的集成在需要快速分析大量数据的领域尤其重要,例如网络安全和情报,其中及时访问相关信息至关重要。 AMAQA包括从26个公共电报组收集的约110万条英语信息,这些消息富含时间戳,主题,情绪音调和毒性指标等元数据,通过根据特定标准过滤文档来实现精确和上下文化的查询。 它还包括450个高质量的QA对,使其成为推进元数据驱动QA和RAG系统研究的宝贵资源。 据我们所知,AMAQA是第一个采用元数据和标签(如消息中的主题)的单跳QA基准。 我们对基准进行了广泛的测试,为未来的研究建立了一个新的标准。 我们表明,利用元数据将准确性从0.12提高到0.61,突出了结构化上下文的价值。 在此基础上,我们探索了几种策略,通过迭代提供的背景并丰富其嘈杂文档来改进LLM输入,在最佳基线上实现进一步的3点增益,并在简单的元数据过滤上改进14点。 数据集可在https://anonymous.4open.science/r/AMAQA-5D0D/上查阅。
在本文中,我们介绍了波斯(波斯语)文本嵌入的综合基准,建立在大规模文本嵌入基准(MTEB)上。 我们的基准包括63个数据集,涵盖七个不同的任务:分类,聚类,配对分类,重新排名,检索,摘要检索和语义文本相似性。 数据集是现有、翻译和新生成的数据组合而成的,为波斯语模型提供了多样化的评估框架。 鉴于在聊天机器人中越来越多地使用文本嵌入模型,评估数据集正在成为聊天机器人挑战和检索增强生成系统中不可分割的组成部分。 作为贡献,我们首次在MTEB基准中包括聊天机器人评估数据集。 此外,在本文中,我们介绍了摘要检索的新任务,该任务不是标准MTEB中包含的任务的一部分。 本文的另一个贡献是引入了大量适合训练和评估的新波斯语NLP数据集,其中一些在波斯语中没有以前的对应物。 我们评估几个波斯语和多语言嵌入模型在一系列任务中的性能。 这项工作引入了一个开源基准,其中包含数据集、代码和公共排行榜。
很少拍摄的跨模态检索侧重于学习具有有限训练样本的跨模态表示,使模型能够在推理过程中处理看不见的类。 与传统的跨模态检索任务不同,后者假设训练和测试数据共享相同的类分布,很少的检索涉及跨模式的稀疏表示的数据。 现有方法通常无法充分建模少数射数跨模态数据的多峰分布,导致潜在语义空间中的两个主要偏差:内模态偏差,其中稀疏样本无法捕获类内多样性,以及多模态偏差,其中图像和文本分布之间的错位加剧了语义差距。 这些偏见阻碍了检索的准确性。 为了解决这些问题,我们提出了一种新的方法,GCRDP,用于很少拍摄的交叉模态检索。 该方法使用高斯混合模型(GMM)有效地捕获了复杂的多峰数据分布,并集成了用于综合特征建模的多正样本对比学习机制。 此外,我们引入了跨模态语义对齐的新策略,该策略限制了图像和文本特征分布之间的相对距离,从而提高了跨模态表示的准确性。 我们通过在四个基准数据集上进行广泛的实验来验证我们的方法,展示了超过六种先进方法的卓越性能。
检索增强生成(RAG)系统增强了具有外部知识的大型语言模型(LLM),但在扩展到大型知识图谱时,却难以实现效率精度的权衡。 现有方法通常依赖于单片图形检索,为简单的查询带来不必要的延迟,并为复杂的多跳问题进行分散推理。 为了应对这些挑战,本文提出了SPLIT-RAG,这是一个多代理RAG框架,通过问题驱动的语义图分区和协作子图检索来解决这些限制。 创新框架首先创建链接信息的语义分区,然后使用类型专业化的知识库来实现多代理RAG。 属性感知图分割管理将知识图分为语义连贯的子图,确保子图与不同的查询类型保持一致,而轻量级的LLM代理则分配给分区子图,只有在检索过程中激活相关的分区,从而在提高效率的同时减少搜索空间。 最后,分层合并模块通过逻辑验证解决子图派生答案的不一致。 与现有方法相比,广泛的实验验证显示出相当大的改进。
大型语言模型(LLM)越来越多地应用于各种科学领域,但其更广泛的采用仍然受到一个重大挑战的限制:缺乏可信赖的可验证的输出。 目前的LLM通常在没有可靠的来源归属的情况下产生答案,或者更糟糕的是,不正确的归因,在科学和高风险环境中使用,这是无法谈判的可追溯性和问责制。 为了可靠,归因系统需要高精度,并检索长度短的数据,即归因于文档中的句子而不是整个文档。 我们为Retrieve-Augmented Generation(RAG)系统提出了一个句子级别的预归因步骤,将句子分为三类:不归因,可归因于单个引号,并归因于多个引号。 通过在归因之前分离句子,可以为句子的类型选择适当的归因方法,或者可以完全跳过归因。 我们的结果表明分类器非常适合此任务。 在这项工作中,我们提出了一个预归因步骤,以减少归因的计算复杂性,提供HAGRID数据集的干净版本,并提供一个开箱即用的端到端归因系统。
大语言模型(LLM)由于其紧急能力,在复杂的对话理解,推理和编码等任务中取得了极大的成功。 这些紧急功能已经通过多模式扩展,包括图像,音频和视频功能。 另一方面,推荐系统对于信息寻求和物品发现需求至关重要。 最近,有人试图应用LLM提出建议。 当前尝试的一个困难是底层LLM通常不在推荐系统数据上训练,这些数据主要包含用户交互信号,并且通常不公开。 另一个困难是用户交互信号通常与自然语言文本的模式不同,目前不清楚LLM训练设置是否可以与传统推荐系统方法相比,从交互信号中学习更多的非平凡知识。 最后,很难针对不同的用例训练多个LLM,并且在从推荐系统数据学习时保留原始语言和推理能力。 为了解决这三个限制,我们提出了一个项目语言模型(ILM),该模型由物品编码器组成,用于生成编码用户交互信号的文本对齐项表示,以及一个冷冻的LLM,该模型可以用保存的预训练知识理解这些物品表示。 我们进行广泛的实验,证明语言对齐和物品编码器中用户交互知识的重要性。
对象约束语言(OCL)对于定义基于模型的系统工程(MBSE)中的精确约束至关重要。 但是,手动编写 OCL 规则是复杂且耗时的。 本研究探讨了检索增强生成(RAG)的优化,用于自动化OCL规则生成,重点关注不同检索策略的影响。 我们评估了三种检索方法x2013 BM25(基于词汇),基于BERT(语义检索)和SPLADE(散射回流)x2013,分析了它们为大型语言模型提供相关上下文的有效性。 为了进一步评估我们的方法,我们将我们的检索优化生成结果与PathOCL进行比较和基准测试,PathOCL是一种最先进的基于图形的方法。 我们直接将 BM25、BERT 和 SPLADE 检索方法与 PathOCL 进行比较,以了解不同的检索方法如何为统一的评估框架执行。 我们的实验结果,侧重于检索增强生成,表明虽然检索可以提高生成精度,但其有效性取决于检索方法和检索块(k)的数量。 BM25低于基线,而语义方法(BERT和SPLADE)取得了更好的结果,SPLADE在较低的k值下表现最好。 然而,使用高k参数进行过度检索会导致检索不相关的块,从而降低模型性能。 我们的研究结果强调了优化检索配置以平衡上下文相关性和输出一致性的重要性。 这项研究提供了使用RAG改进OCL规则生成的见解,并强调了定制检索的必要性。
点击率(CTR)预测是现代推荐系统中的一项基本任务。 近年来,大型语言模型(LLM)的集成被证明可以有效提升传统CTR方法的性能。 然而,现有的LLM增强方法通常需要为大规模实例或用户/项目实体广泛处理详细的文本描述,从而导致大量的计算开销。 为了应对这一挑战,这项工作引入了LLaCTR,这是一种新颖而轻量级的LLM增强CTR方法,采用现场级增强范式。 具体来说,LLaCTR首先利用LLM从小规模的特征领域提炼出关键和轻量级的语义知识,通过自我监督的现场功能微调。 随后,它利用这种现场级别的语义知识来增强特征表示和特征交互。 在我们的实验中,我们将LLaCTR与四个数据集的六个代表性CTR模型集成在一起,与现有的LLM增强方法相比,它在有效性和效率方面表现出卓越的性能。 我们的代码可在https://anonymous.4open.science/r/LLaCTR-EC46上找到。
大型语言模型(LLM)已成为一种新的推荐范式,通过将交互项目历史转换为语言建模。 然而,受LLM有限上下文长度的限制,现有方法必须在提示中截断项目历史,只关注最近的相互作用并牺牲长期历史建模的能力。 为了使 LLM 能够对悠久的历史进行建模,我们追求对项目和会话的简洁嵌入表示。 在 LLM 嵌入空间中,我们通过聚合其文本令牌嵌入来构建一个项的嵌入;同样,我们通过聚合其项目嵌入来构建会话的嵌入。 虽然效率很高,但这种方式带来了两个挑战,因为它忽略了用户交互的时间意义,LLM并不原生地解释我们的自定义嵌入。 为了克服这些,我们提出了PatchRec,一种多粒度的补丁训练方法,由两个阶段组成:(1)补丁预训练,它熟悉LLM与聚合嵌入 - 补丁和(2)补丁微调,使LLM能够在交互历史中捕获时间感知的意义。 广泛的实验表明,PatchRec有效地建模了更长的行为历史,提高了效率。 这项工作有助于LLM的实际使用,用于建模长期行为历史。 代码可在https://github.com/ljy0ustc/PatchRec查阅。
个性化产品搜索旨在检索和排名与用户偏好和搜索意图相符的项目。 尽管它们是有效的,但现有方法通常假设用户的查询完全抓住了他们真正的动机。 然而,我们对现实世界电子商务平台的分析表明,用户经常在搜索之前进行相关咨询,表明他们根据动机和需求通过咨询来完善意图。 咨询中隐含的动机是个性化搜索的关键增强因素。 这个未探索的领域带来了新的挑战,包括将上下文动机与简洁的查询保持一致,弥合类别文本差距,以及在序列历史中过滤噪声。 为了解决这些问题,我们提出了一个动机感知个性化搜索(MAPS)方法。 它通过LLM将查询和咨询嵌入到统一的语义空间中,利用注意力专家(MoAE)的混合来优先考虑关键语义,并引入双重对齐:(1)对比学习对齐咨询,评论和产品功能;(2)双向注意力将动机感知嵌入与用户偏好相结合。 对真实和合成数据的广泛实验表明,MAPS在检索和排名任务方面优于现有方法。