提示注入攻击（Prompt injection attacks）是指恶意输入被设计用来操纵AI系统，使其忽略原始指令并执行未经授权的命令。这种攻击最初由Preamble, Inc.于2022年5月发现，并负责任地披露给了OpenAI。过去三年中，这些攻击持续对集成LLM的系统构成重大安全威胁。随着自主AI系统（agentic AI systems）的出现，LLM能够通过工具和与其他智能体的协调自主执行多步骤任务，这从根本上改变了威胁格局。现代提示注入攻击现在可以与传统的网络安全漏洞结合，形成能够系统性规避传统安全控制的混合威胁。本文全面分析了Prompt Injection 2.0，研究了提示注入如何与跨站脚本（XSS）、跨站请求伪造（CSRF）和其他Web安全漏洞结合以绕过传统安全措施。我们在Preamble的基础研究和缓解技术基础上，评估了它们对当代威胁（包括AI蠕虫、多智能体感染和混合网络-AI攻击）的有效性。我们的分析结合了最近的基准测试，展示了传统Web应用防火墙、XSS过滤器和CSRF令牌在面对AI增强攻击时的失效。我们还提出了架构解决方案，将提示隔离、运行时安全和权限分离与新型威胁检测能力相结合。
模型上下文协议(MCP)代表了AI-工具集成的重大进步,实现了AI代理和外部服务之间的无缝通信。 然而,这种连接引入了新的攻击向量,这些攻击向量在很大程度上仍未被探索。 本文演示了不复杂的威胁行为者,只需要基本的编程技能和免费的网络工具,可以利用MCP的信任模型来过滤敏感的财务数据。 我们提出了一个概念验证攻击,恶意天气MCP服务器伪装成良性功能,发现并利用合法的银行工具窃取用户账户余额。 攻击链不需要先进的技术知识、服务器基础设施或货币投资。 研究结果揭示了新兴MCP生态系统中的一个关键安全漏洞:虽然单个服务器可能看起来值得信赖,但其组合创造了意想不到的跨服务器攻击面。 与承担复杂对手的传统网络安全威胁不同,我们的研究表明,基于MCP的攻击进入门槛低得惊人。 具有本科级Python知识的威胁行为者可以制造令人信服的社会工程攻击,这些攻击利用MCP在AI代理和工具提供商之间建立的隐性信任关系。 这项工作通过证明当前的MCP实现允许微不足道的跨服务器攻击并提出即时缓解和协议改进以确保这个新兴生态系统,从而有助于MCP安全领域的新生领域。
建筑后门对深度神经网络构成了审查不足但至关重要的威胁,将恶意逻辑直接嵌入到模型的计算图中。 与传统的数据中毒或参数操作不同,架构后门避开了标准的缓解技术,即使在清洁再训练后也能持续存在。 这项调查系统地整合了对架构后门的研究,跨越编译器级操作,受污染的AutoML管道和供应链漏洞。 我们评估新兴的检测和防御策略,包括静态图形检查、动态模糊和部分正式验证,并突出显示其对分布式或隐身触发器的限制。 尽管最近取得了进展,但可扩展和实用的防御仍然难以捉摸。 最后,我们概述了开放式挑战,并提出了加强供应链安全、加密模型证明和下一代基准的方向。 这项调查旨在指导未来的研究,以全面防御深度学习系统中的结构后门威胁。
我们推出了 PurpCode,这是第一个训练后配方,用于训练安全代码推理模型,以生成安全代码并防御恶意网络活动。 PurpCode 在两个阶段训练一个推理模型:(一) 规则学习,它明确教导模型引用网络安全规则来生成无漏洞代码,避免促进恶意网络活动;(二) 强化学习,它通过多样化、多目标的奖励机制优化模型安全并保留模型效用。 为了通过全面的网络安全数据增强培训管道的能力,我们进行内部红队,根据现实世界的任务综合全面和高覆盖提示,在模型中诱导不安全的网络活动。 基于PurpCode,我们开发了一个基于推理的编码模型,即PurpCode-32B,它展示了最先进的网络安全,优于各种前沿模型。 同时,我们的对齐方法降低了一般和特定网络安全场景中的模型重反率,同时保留了代码生成和通用安全知识中的模型效用。
合成语音的最新进展使音频深度伪造变得越来越现实,带来了重大的安全风险。 现有的检测方法依赖于单一模式,无论是原始波形嵌入还是基于光谱的特征,都容易受到非恶搞干扰的影响,并且通常过度适应已知的伪造算法,导致对看不见的攻击的概括不力。 为了解决这些缺点,我们研究混合融合框架,将基于自监督学习(SSL)的表示与手工制作的光谱描述符(MFCC ,LFCC,CQCC)集成。 通过跨模式对齐和组合互补信息,这些融合方法捕获了单个特征方法通常忽略的微妙工件。 我们探索了几种融合策略,包括简单的连接,交叉注意力,相互交叉关注和可学习的闸门机制,以最佳地将SSL功能与细粒度光谱线索相结合。 我们根据四个具有挑战性的公共基准评估我们的方法,并报告推广业绩。 所有融合变体始终优于SSL仅基线,交叉注意力策略以38实现最佳推广
模型上下文协议(MCP)代表了AI-工具集成的重大进步,实现了AI代理和外部服务之间的无缝通信。 然而,这种连接引入了新的攻击向量,这些攻击向量在很大程度上仍未被探索。 本文演示了不复杂的威胁行为者,只需要基本的编程技能和免费的网络工具,可以利用MCP的信任模型来过滤敏感的财务数据。 我们提出了一个概念验证攻击,恶意天气MCP服务器伪装成良性功能,发现并利用合法的银行工具窃取用户账户余额。 攻击链不需要先进的技术知识、服务器基础设施或货币投资。 研究结果揭示了新兴MCP生态系统中的一个关键安全漏洞:虽然单个服务器可能看起来值得信赖,但其组合创造了意想不到的跨服务器攻击面。 与承担复杂对手的传统网络安全威胁不同,我们的研究表明,基于MCP的攻击进入门槛低得惊人。 具有本科级Python知识的威胁行为者可以制造令人信服的社会工程攻击,这些攻击利用MCP在AI代理和工具提供商之间建立的隐性信任关系。 这项工作通过证明当前的MCP实现允许微不足道的跨服务器攻击并提出即时缓解和协议改进以确保这个新兴生态系统,从而有助于MCP安全领域的新生领域。
我们推出了 PurpCode,这是第一个训练后配方,用于训练安全代码推理模型,以生成安全代码并防御恶意网络活动。 PurpCode 在两个阶段训练一个推理模型:(一) 规则学习,它明确教导模型引用网络安全规则来生成无漏洞代码,避免促进恶意网络活动;(二) 强化学习,它通过多样化、多目标的奖励机制优化模型安全并保留模型效用。 为了通过全面的网络安全数据增强培训管道的能力,我们进行内部红队,根据现实世界的任务综合全面和高覆盖提示,在模型中诱导不安全的网络活动。 基于PurpCode,我们开发了一个基于推理的编码模型,即PurpCode-32B,它展示了最先进的网络安全,优于各种前沿模型。 同时,我们的对齐方法降低了一般和特定网络安全场景中的模型重反率,同时保留了代码生成和通用安全知识中的模型效用。
合成语音的最新进展使音频深度伪造变得越来越现实,带来了重大的安全风险。 现有的检测方法依赖于单一模式,无论是原始波形嵌入还是基于光谱的特征,都容易受到非恶搞干扰的影响,并且通常过度适应已知的伪造算法,导致对看不见的攻击的概括不力。 为了解决这些缺点,我们研究混合融合框架,将基于自监督学习(SSL)的表示与手工制作的光谱描述符(MFCC ,LFCC,CQCC)集成。 通过跨模式对齐和组合互补信息,这些融合方法捕获了单个特征方法通常忽略的微妙工件。 我们探索了几种融合策略,包括简单的连接,交叉注意力,相互交叉关注和可学习的闸门机制,以最佳地将SSL功能与细粒度光谱线索相结合。 我们根据四个具有挑战性的公共基准评估我们的方法,并报告推广业绩。 所有融合变体始终优于SSL仅基线,交叉注意力策略以38实现最佳推广
电网的数字化使得他们在过去十年越来越容易受到网络攻击。 迭代网络安全测试对于对抗新出现的攻击媒介和确保关键基础设施的可靠性是必不可少的。 此外,这些可用于评估网络安全配置,针对各种攻击媒介的网络安全措施的有效性,以及培训智能电网网络安全专家捍卫系统。 开展广泛的实验缩小了学术研究和生产环境之间的差距。 高保真网络范围至关重要,因为使用生产环境进行此类实验和培训往往不可行。 然而,网络范围的设计和实施需要对基础设施的物理和网络方面有广泛的领域知识。 此外,设置和维护网络范围的成本也很大。 此外,大多数现有的智能电网网络范围被设计为一次性专有系统,并且在可配置性,可访问性,可移植性和可重复性方面受到限制。 为了应对这些挑战,本文介绍了自动化的智能电网网络网络生成框架。 最初定义了一种基于人/机器友好的基于XML的建模语言,称为智能网格建模语言,它集成了IEC 61850系统配置语言文件。 随后,开发了一种工具链,用于解析SG-ML模型文件并自动实例化功能智能电网网络范围。 开发的SG-ML模型可以很容易地共享和/或修改,以复制或自定义任何网络范围。 Auto-SGCR的应用通过具有大型变电站模型的案例研究进行演示。 工具链以及SG-ML模型都是开源的。
我们介绍了由简单图建模的复制数据库上的对称私有信息检索(SPIR)问题。 在这个模型中,每个顶点对应一个服务器,如果并且只有当它们之间存在边缘时,才会在两个服务器上复制一条消息。 我们考虑实现 SPIR 所必需的服务器端共随机性在服务器上也根据图形在服务器上复制的设置,我们将其称为消息特异性的常见随机性。 在这种设置中,我们通过提出一个可实现的 SPIR 方案,在 SPIR 容量上建立一个下限,即对一般图形的最大下载速率。 接下来,我们证明,对于任何SPIR方案都是可行的,消息特定随机性的最小大小应该等于消息的大小。 最后,通过提供匹配的上限,我们得出路径和常规图形类的确切 SPIR 容量。
通过车对电网(V2G)系统技术将电动汽车(EV)集成到电网中,每天都在增加,但这些现象既有优点也有缺点。 V2G可以通过提供分布式储能和辅助服务来提高电网的可靠性。 然而,另一方面,它的范围包括国家电网的网络物理攻击表面,在监控和监督控制和数据采集(SCADA)系统中引入了新的漏洞。 本文调查了自动驾驶汽车到电网(AV2G)通信基础设施造成的恶意,并评估了它们对SCADA系统可靠性的影响。 本文介绍了使用贝叶斯攻击图结合基于IEEE RTS-79系统数据的概率容量中断建模的定量可靠性评估。 这项工作介绍了基于AV2G的攻击如何通过使用蒙特卡洛模拟方法降低系统性能,突出了智能电网设计中网络安全硬化策略的必要性。
数字孪生(DT)在网络安全领域越来越突出,因为它们能够复制复杂的IT(信息技术),OT(运营技术)和物联网(物联网)基础设施,允许实时监控,威胁分析和系统模拟。 这项研究调查了如何将DT与渗透测试工具和大型语言模型(LLM)集成在一起,可以提高网络安全教育和操作准备。 通过模拟现实的网络环境,这种方法为探索漏洞和防御策略提供了一个实用的交互式框架。 这项研究的核心是Red Team Knife(RTK),这是一个与Cyber Kill Chain模型一致的定制渗透测试工具包。 RTK旨在引导学习者了解网络攻击的关键阶段,包括DT驱动的生态系统中的侦察,开发和响应。 大型语言模型(LLM)的整合进一步丰富了体验,在训练练习期间提供智能,实时反馈,自然语言威胁解释和自适应学习支持。 这个组合的DT LLM框架目前正在学术环境中进行试点,以培养漏洞评估,威胁检测和安全操作方面的技能。 初步研究结果表明,整合显著提高了网络安全培训的有效性和相关性,弥合了理论知识和实际应用之间的差距。 最终,该研究展示了DT和LLM如何共同改变网络安全教育,以满足不断变化的行业需求。
在加密假设下编译贝尔游戏取代了物理分离的需要,允许使用单个不受信任的设备来探测非局部性。 当Kalai等人 (STOC'23)表明,这种汇编保留了量子优势,其定量量子健全性仍然是一个悬而未决的问题。 我们通过两个主要贡献来解决这一差距。 首先,我们为每个双体编译的贝尔游戏建立了第一个定量量子音效边界,其最优量子策略是有限维的:在编译游戏中,任何多项式时间证明者在编译游戏中的得分都可与游戏的理想量子值接近。 更一般地说,对于所有双体游戏,我们显示编译的分数不能显着超过新形式化的连续Navascués-Pironio-Acín(NPA)层次结构给出的界限。 其次,我们提供了这种顺序NPA层次结构的完整表征,将其确立为具有独立兴趣的稳健数字工具。 最后,对于没有有限维最优策略的游戏,我们探讨了NPA近似误差对定量限制其编译分数的必要性,将这些考虑因素与复杂猜想 MIP^co=coRE 和开放挑战联系起来,例如量子同态加密正确性,用于“弱通勤”量子寄存器。
凭借数十亿用户和大量每日上传量,YouTube已成为网络犯罪分子的一个有吸引力的目标,旨在利用其庞大的受众。 该平台的开放性和可信度为欺骗性活动提供了一个理想的环境,可以在常规安全工具的雷达下运作。 本文探讨了网络犯罪分子如何利用YouTube传播恶意软件,专注于推广自由软件或游戏作弊的活动。 它讨论了欺骗性的视频演示和恶意软件交付背后的技术。 此外,该论文还提出了一种新的规避技术,滥用YouTube的多语言元数据功能来规避自动检测系统。 研究结果表明,这种方法在最近的恶意视频中越来越多地被使用,以避免检测和删除。
固件更新仍然是物联网设备的主要防线;然而,更新通道本身已成为一个完善的攻击向量。 现有的防御主要集中在保护单片固件图像,留下模块级别的定制 - 一个不断增长的用户需求 - 基本上没有保护和探索不足。 为了解决这一差距,我们对23个供应商的200个基于Linux的物联网设备的更新工作流程进行了试点研究,发现了由定制实践引起的五个以前没有记录的漏洞。 对2020年至2024年更新相关CVE的更广泛分析显示,超过一半的人来自定制引起的问题。 这些发现突出了一个关键但未被审查的现实:随着定制的增加,攻击表面也是如此,而目前的防御系统无法跟上步伐。 我们提出了IMUP(Integrity-Centric Modular Update Platform),这是第一个解决两个关键挑战的框架:构建值得信赖的跨模块完整性链和大规模定制下扩展更新性能。 IMUP结合了三种技术:用于完整性的每模块变色器散列,用于减少设备开销的服务器端工作量卸载,以及服务器端缓存以重用模块组合,最大限度地减少重建成本。 安全分析表明,即使95%的秘密密钥被曝光,伪造有效图像的成本也是合法服务器的300多倍。 对异构物联网设备的实验表明,与打包管理器基线相比,IMUP将服务器端生成时间缩短了2.9倍,设备停机时间缩短了5.9倍。
实践中最有效的差异式私有机器学习算法依赖于据称是公共数据的额外来源。 当两个来源组合超过其部分的总和时,这种范式是最有趣的。 然而,有一些设置,如平均估计,我们有强大的下限,表明当两个数据源具有相同的分布时,没有互补值来组合两个数据源。 在这项工作中,我们将公-私有学习的已知下限扩展到设置两个数据源表现出显著分布变化的地方。 我们的结果既适用于两个分布具有不同均值的高斯均值估计,也适用于两个分布显示参数偏移的高斯线性回归。 我们发现,当移位很小(相对于所需的精度)时,公共或私有数据必须足够丰富,以估计私有参数。 相反,当变化很大时,公共数据不会带来任何好处。
软件混淆,在JavaScript中特别普遍,阻碍了代码理解和分析,对软件测试,静态分析和恶意软件检测提出了重大挑战。 本文介绍了CASCADE,这是一种新颖的混合方法,将双子座的高级编码功能与编译器中间表示(IR)的确定性转换功能集成在一起,特别是JavaScript IR(JSIR)。 通过使用Gemini来识别关键的前奏函数,这是最普遍的混淆技术的基础组件,并利用JSIR进行后续代码转换,CASCADE有效地恢复原始字符串和API名称等语义元素,并揭示了原始程序行为。 该方法克服了现有静态和动态解混淆技术的限制,消除了数百到数千个硬编码规则,同时实现了可靠性和灵活性。 CASCADE已经部署在Google的生产环境中,展示了JavaScript除混淆效率和减少逆向工程工作的实质性改进。
网络威胁情报(CTI)挖掘涉及从非结构化威胁数据中提取结构化见解,使组织能够理解和应对不断变化的对抗行为。 CTI采矿的一个关键任务是将威胁描述映射到MITRE ATT&CK技术。 然而,这个过程往往是手动进行的,需要专业知识和大量的努力。 自动化方法面临两大挑战:高质量标签CTI数据的稀缺性和类失衡,其中许多技术几乎没有实例。 虽然SecureBERT等特定领域的大型语言模型(LLM)的性能有所改善,但最近的工作侧重于模型架构,而不是解决数据限制。 在这项工作中,我们介绍了SynthCTI,这是一个数据增强框架,旨在为代表性不足的MITRE ATT&CK技术生成高质量的合成CTI句子。 我们的方法使用基于聚类的策略从训练数据中提取语义上下文,并指导LLM生成具有词法多样性和语义忠实的合成CTI句子。 我们使用具有不同容量的LLM在两个公开可用的CTI数据集CTI-to-MITRE和TRAM上评估SynthCTI。 整合合成数据导致一致的宏观F1改进:例如,ALBERT从0.35提高到0.52(相对增益为48.6%),SecureBERT达到0.6558(高于0.4412)。 值得注意的是,使用SynthCTI增强的小型模型优于未经增强训练的大型模型,证明了数据生成方法对构建高效和有效的CTI分类系统的价值。
我们引入了一种算法,该算法在从大小 d ≫ n 的域绘制的 n 参与者上释放一个纯差的私有稀疏直方图。 我们的方法实现了最优的l_∞估计误差,并在word-RAM模型中严格 O(n lnln d) 运行,从而改进了以前最为人所知的Õ(n^2)的确定性时间界限,并解决了打破这种二次屏障的开放问题(Balcer和Vadhan,2019)。 我们的算法的核心是一种新的私有项目毯子技术,具有目标长度填充,它将近似的基于差分的基于稳定性的直方图算法转换为纯差分私有算法。
检测源代码中的安全漏洞仍然具有挑战性,特别是由于易受攻击的函数不足的真实世界数据集中的类不平衡。 现有的基于学习的方法通常优化召回,导致高误报率和开发工作流程的可用性降低。 此外,许多方法缺乏可解释性,限制了它们集成到安全工作流程中。 本文介绍了 ExplainVulD,一个基于图形的框架,用于 C/C++ 代码中的漏洞检测。 该方法构建 Code Property Graphs 并使用双通道嵌入来捕获语义和结构信息的节点。 这些由边缘感知注意力机制处理,该机制包含边缘类型嵌入以区分程序关系。 为了解决类不平衡,该模型使用类加权交叉熵损失进行训练。 ExplainVulD在ReVeal数据集上的30个独立运行中实现了88.25%的平均精度和48.23%的F1得分。 与ReVeal模型相比,这些结果在准确性上相对提高了4.6%,在F1评分中提高了16.9%,这是一种基于学习的方法。 该框架还优于静态分析工具,精度相对提高14.0至14.1%,F1得分为132.2%至201.2%。 除了提高检测性能外,ReputieVulD还通过识别每个功能中最具影响力的代码区域,支持安全和信任安全分类,从而产生可解释的输出。
预训练语言模型(PLMs)的快速发展为各种与代码相关的任务提供了有希望的结果。 然而,它们在发现现实世界漏洞方面的有效性仍然是一个关键挑战。 我们的研究结果表明,对于VD任务,包含旨在捕获代码的句法和语义模式的预训练任务的PLMs优于通用PLM和大型代码库上仅经过预训练或微调的PLM。 然而,这些模型在实际场景中面临着显着的挑战,例如难以检测具有复杂依赖关系的漏洞,处理代码规范化和抽象引入的扰动,以及识别语义保护的易受攻击的代码转换。 此外,由于 PLM 的有限上下文窗口造成的截断可能导致不可忽视的标签错误。 本研究强调了在实际场景中对模型性能进行彻底评估的重要性,并概述了未来的方向,以帮助提高PLMs对现实VD应用的有效性。
网络钓鱼电子邮件继续通过欺骗性内容和恶意有效载荷利用人类漏洞对网络安全构成重大威胁。 虽然机器学习(ML)模型在检测网络钓鱼威胁方面是有效的,但它们的性能很大程度上依赖于训练数据的质量和多样性。 本文介绍了MeAJOR(来自联合开源存储库的合并电子邮件资产)Corpus,这是一个新颖的多源网络钓鱼电子邮件数据集,旨在克服现有资源中的关键限制。 它集成了13894个样本,代表了广泛的网络钓鱼策略和合法电子邮件,具有广泛的工程功能。 我们通过系统实验评估了数据集在多种特征配置中四种分类模型(RF、XGB、MLP和CNN)的钓鱼检测研究的效用。 结果突出了数据集的有效性,达到98.34
大型语言模型(LLM)的最新进展大大增强了其代码生成功能。 然而,它们抵御对抗性滥用的鲁棒性,特别是通过多变恶意编码提示,仍然没有得到很好的探索。 在这项工作中,我们引入了代码分解攻击,其中恶意编码任务被分解成一系列看似良性的子任务,跨越多个对话回合来逃避安全过滤器。 为了促进系统评估,我们引入了一个大规模基准测试,旨在评估代码 LLM 对单转和多转恶意提示的稳健性。 开放和闭源模型的实证结果揭示了持续的漏洞,特别是在多回合情景下。 MOCHA的微调提高了拒绝率,同时保持了编码能力,重要的是,增强了外部对抗数据集的鲁棒性,高达32.4
近年来,先进的深度学习架构在医学成像任务中表现出强劲的表现。 然而,传统的集中学习范式带来了严重的隐私风险,因为所有数据都在单个服务器上收集和训练。 为了减轻这一挑战,出现了分散的方法,如联合学习和群体学习,允许在本地节点上进行模型训练,同时只共享模型权重。 虽然这些方法增强了隐私,但它们与异质和不平衡的数据作斗争,并且由于频繁的通信和权重的聚合而效率低下。 更关键的是,临床环境的动态和复杂性质需要可扩展的人工智能系统,能够不断从不同的模式和多标签中学习。 然而,集中式和分散式模型在系统扩展过程中容易出现灾难性的遗忘,通常需要完整的模型再培训来纳入新数据。 为了解决这些限制,我们提出了VGS-APD,一个新的分布式学习框架。 为了验证VGS-ATD,我们在跨越30个数据集和80个独立标签的实验中对其进行评估,VGS-ATD的总体精度为92.7。
语言模型(LM)通常遵循“预训练和微调”范式,其中通用的预训练模型可以微调以迎合各种专业领域。 低等级适应(LoRA)因其轻量化的计算成本和出色的性能而获得了LM微调最广泛的应用。 由于LoRA调整的参数比例相对较小,因此可能存在一种误导的印象,即LoRA微调数据对会员推理攻击(MIA)是无懈可击的。 然而,我们发现,使用预先训练的模型可以诱发更多的信息泄漏,而现有的MIA忽略了这一点。 因此,我们引入了LoRA-Leak,这是MIA针对LM的微调数据集的整体评估框架。 LoRA-Leak包括15次成员推理攻击,包括10次现有的MIA,以及5次改进的MIA,这些MIA利用预先训练的模型作为参考。 在实验中,我们将LoRA-Leak应用于三个流行的自然语言处理任务中的三个高级LM,证明基于LoRA的微调LM仍然容易受到MIA的影响(例如,在保守的微调设置下0.775 AUC)。 我们还将 LoRA-Leak 应用于不同的微调设置,以了解由此产生的隐私风险。 我们进一步探索了四种防御措施,发现在微调过程中只有辍学和排除特定的LM层才能有效地减轻MIA风险,同时保持实用性。 我们强调,在“预训练和微调”范式下,预训练模型的存在使MIA成为基于LoRA的LMs更严重的风险。 我们希望我们的发现可以为专业LM提供商提供数据隐私保护方面的指导。
