活 水 快 报
用 AI 跟踪日新月异的 AI 领域进展

在AI荒野中寻路:映射X(原Twitter)上ChatGPT提示写作的修辞以促进批判性AI素养
在本文中,我们展示了研究社交媒体上ChatGPT提示写作的修辞如何能够促进批判性AI素养。提示写作是为生成式AI工具(如ChatGPT)编写指令以引发期望输出的过程,社交媒体上关于此话题的讨论激增。为了研究这一修辞活动,我们基于计算机与写作领域中数字写作研究的四个重叠传统:我们如何构建素养框架、如何研究社交媒体修辞、如何迭代和反思性地参与方法和技术、以及如何将计算方法与定性方法相结合。借鉴这四个传统,我们的论文展示了迭代研究过程,通过该过程我们收集并分析了2022年11月至2023年5月期间在X(原Twitter)上发布的32,000条关于提示写作的帖子(原推文)。我们提出了关于这些新兴AI素养实践的五个主题:(1)受提示写作影响的沟通领域,(2)为提示写作共享的微观素养资源,(3)塑造提示写作的市场修辞,(4)提示的修辞特征,以及(5)提示写作的定义。在讨论这些主题和方法时,我们为正在教授和分析批判性AI素养的数字写作教师和研究人员强调了重要启示。

一种高效的扩散类模型概率性硬件架构
概率性AI的普及推动了专用随机计算机的提案。尽管这些提案在效率提升方面前景广阔,但由于它们依赖于本质上受限的建模技术和异质、不可扩展的硬件,因此未能获得广泛关注。在这项工作中,我们通过提出一种全晶体管概率性计算机来解决这些缺陷,该计算机在硬件层面实现了强大的去噪模型。系统级分析表明,基于我们架构的设备在一个简单的图像基准测试中,能够使用大约少10,000倍的能量实现与GPU相当的性能。

迈向稳健的数学推理
为基础模型提升数学推理能力,找到正确的北极星指标至关重要,特别是考虑到现有的评估要么过于简单,要么只关注获得正确的简短答案。为了解决这些问题,我们提出了IMO-Bench,一套经过顶级专家小组审查的高级推理基准测试套件,专门针对国际数学奥林匹克(IMO)的水平,这是年轻数学家最负盛名的平台。IMO-AnswerBench首先在400个多样化的奥林匹克问题上测试模型,这些问题具有可验证的简短答案。IMO-Proof Bench是下一级的证明写作能力评估,包括基础和高级IMO级别的问题以及详细的评分指南,以促进自动评分。这些基准测试在我们于IMO 2025中实现金牌级别表现的历史性成就中发挥了关键作用,使用的是Gemini Deep Think(Luong and Lockhart, 2025)。我们的模型在IMO-AnswerBench上达到了80.0%,在高级IMO-Proof Bench上达到了65.7%,分别比最佳非Gemini模型大幅领先6.9%和42.4%。我们还展示了使用Gemini推理构建的自动评分器与人类评估有良好的相关性,并构建了IMO-GradingBench,包含1000个人类对证明的评分,以促进长答案自动评估的进一步发展。我们希望IMO-Bench将帮助社区推进稳健的数学推理,并在https://imobench.github.io/发布。

Breaking Agent Backbones: Evaluating the Security of Backbone LLMs in AI Agents
基于大型语言模型(LLM)的AI智能体正在大规模部署,然而我们对于骨干LLM选择如何影响智能体安全性缺乏系统性理解。AI智能体的非确定性序列特性使得安全建模变得复杂,而传统软件与AI组件的集成将新颖的LLM漏洞与传统安全风险交织在一起。现有框架仅部分解决这些挑战,因为它们要么仅捕获特定漏洞,要么需要对完整智能体进行建模。为应对这些限制,我们引入了威胁快照:一个在智能体执行流程中隔离LLM漏洞显现的特定状态的框架,能够系统性地识别和分类从LLM传播到智能体层级的安全风险。我们应用此框架构建了b^3基准,这是一个基于194331个独特众包对抗攻击的安全性基准。随后我们用它评估了31个流行的LLM,揭示了增强推理能力可提升安全性,而模型大小与安全性无关等重要发现。我们发布了我们的基准、数据集和评估代码,以促进LLM提供商和实践者的广泛采用,为智能体开发者提供指导,并激励模型开发者优先考虑骨干安全性的改进。

传递性强化学习:基于分治策略的价值学习
在这项工作中,我们提出了传递性强化学习(TRL),一种基于分治范式的新型价值学习算法。TRL专为离线目标条件强化学习(GCRL)问题设计,其目标是找到一种策略,能够在最少的步数内从任意状态到达其他任意状态。TRL将GCRL中存在的三角不等式结构转化为实用的分治价值更新规则。与替代的价值学习范式相比,这具有若干优势。与时序差分(TD)方法相比,TRL受偏差累积的影响较小,因为原则上它只需要O(log T)次递归(而TD学习需要O(T)次)来处理长度为T的轨迹。与蒙特卡洛方法不同,TRL由于执行动态规划而受高方差的影响较小。实验表明,与先前的离线GCRL算法相比,TRL在极具挑战性的长视野基准任务中实现了最佳性能。
热门分类
最新研究
继续滚动加载更多