在关于生成式AI的版权诉讼中,原告和被告经常对大型语言模型(LLM)在多大程度上记住原告受保护的表达提出反对。 利用对抗性ML和版权法,我们表明这些两极分化的立场大大简化了记忆和版权之间的关系。 为此,我们利用最近的概率提取技术,从13个开放权重的LLM中提取Books3数据集。 通过许多实验,我们表明,从不同的LLM中提取至少一些书籍的很大一部分是可能的。 这是LLM背诵提取文本的证据;这种记忆内容被复制在模型参数内。 但结果很复杂:记忆的程度因模型和书籍而异。 通过我们的具体实验,我们发现最大的LLM不会记住大多数书籍 - 无论是全部或部分。 然而,我们也发现Llama 3.1 70B记忆了一些书,比如《哈利·波特》和《1984》,几乎完全。 我们讨论了为什么我们的结果对版权案件有重大影响,尽管不是明确有利于任何一方的结果。
确保大型语言模型(LLM)的安全性对于负责任的部署至关重要,但现有的评估通常优先考虑性能而不是识别故障模式。 我们引入了Phare,一个多语言诊断框架,用于在三个关键维度上探索和评估LLM行为:幻觉和可靠性,社会偏见和有害内容生成。 我们对17个最先进的LLM的评估揭示了所有安全维度的系统漏洞模式,包括系统,快速灵敏度和刻板印象再现。 通过突出这些特定的故障模式,而不是简单的排名模型,Pare为研究人员和从业者提供了可操作的见解,以构建更强大,对齐和值得信赖的语言系统。
本文使用新颖的数据驱动方法调查了印度各地印刷报纸的广告实践。 我们开发一种采用图像处理和OCR技术的管道,以高精度地从印刷报纸的数字版本中提取文章和广告。 将这种方法应用于跨越多个地区和三种语言(英语,印地语和泰卢固语)的五家流行报纸,我们收集了超过12,000个版本的数据集,其中包含数十万个广告。 这些报纸共有1亿多读者。 利用这个广泛的数据集,我们进行全面分析,以回答有关平面广告的关键问题:谁做广告,他们宣传什么,什么时候做广告,他们在哪里投放广告,以及他们如何做广告。 我们的发现揭示了重要的模式,包括过去六年印刷广告的一贯水平,尽管印刷发行量下降,公司广告在突出页面上的过度代表性,以及政府广告贡献的不成比例的收入。 此外,我们检查报纸上的广告是否影响广告主收到的报道。 通过对覆盖量和情绪的回归分析,我们发现强有力的证据支持企业广告商的这个假设。 结果表明,一个明显的趋势,广告的增加与更有利和广泛的媒体报道有关,这种关系随着时间的推移和不同程度的广告客户受欢迎程度仍然强劲。
社交媒体反馈排名算法失败时,他们过于狭隘地关注参与作为他们的目标。 文献断言了这些算法应该解释的各种价值 - 从福祉到富有成效的话语 - 远远超过单个主题或理论所能封装的。 作为回应,我们介绍了社交媒体算法的值库:一组由78个值组成的多元化数据集,这些值在整个文献中阐述,实现为LLM驱动的内容分类器,可以单独或组合安装,用于社交媒体源的实时重新排序。 我们通过开发浏览器扩展Alexandria来调查这种方法,该扩展程序根据用户所需的值实时重新对X / Twitter提要进行排名。 通过定性(N=12)和定量(N=257)的两项用户研究,我们发现多样化的用户需求需要一个大的值库,从而实现更细微的偏好和更大的用户控制。 通过这项工作,我们认为,社交媒体排名算法中缺少的价值今天可以通过最终用户工具进行操作和部署。
随着人工智能(AI)法规的发展和监管格局的发展和变得更加复杂,确保遵守道德准则和法律框架仍然是人工智能开发人员面临的挑战。 本文介绍了一个人工智能驱动的自我评估聊天机器人,旨在帮助用户浏览欧盟人工智能法案和相关标准。 利用检索增强的一代(RAG)框架,聊天机器人通过检索相关监管文本和提供量身定制的指导,实现实时、具有上下文感知的合规性验证。 通过整合公共和专有标准,它简化了监管的遵守,降低了复杂性,并促进了负责任的人工智能开发。 本文探讨了聊天机器人的架构,比较了天真和基于图形的RAG模型,并讨论了其对AI治理的潜在影响。
确保大型语言模型(LLM)的安全性对于负责任的部署至关重要,但现有的评估通常优先考虑性能而不是识别故障模式。 我们引入了Phare,一个多语言诊断框架,用于在三个关键维度上探索和评估LLM行为:幻觉和可靠性,社会偏见和有害内容生成。 我们对17个最先进的LLM的评估揭示了所有安全维度的系统漏洞模式,包括系统,快速灵敏度和刻板印象再现。 通过突出这些特定的故障模式,而不是简单的排名模型,Pare为研究人员和从业者提供了可操作的见解,以构建更强大,对齐和值得信赖的语言系统。
本文介绍了一种新的方法来绘制新兴技术的宇宙,利用包含丰富多样性和当代知识广度的各种源数据来创建新的数据集和多个索引,为这些技术提供新的见解。 Cosmos 1.0数据集是23,544项技术(ET23k)的综合集合,构建成一个分层模型。 每项技术分为三个元簇(ET3)和七个主题簇(ET7),由100维嵌入向量增强。 在宇宙中,我们手动验证了100种名为ET100的新兴技术。 该数据集富含专门用于评估新兴技术格局的其他指数,包括技术意识指数,通用指数,Deeptech和技术时代指数。 该数据集包含来自维基百科的广泛元数据和来自第三方来源的链接数据,如Crunchbase,Google Books,OpenAlex和Google Scholar,用于验证构建索引的相关性和准确性。 此外,我们训练了一个分类器,以确定它们是开发“技术”还是与技术相关的“术语”。
社交媒体反馈排名算法失败时,他们过于狭隘地关注参与作为他们的目标。 文献断言了这些算法应该解释的各种价值 - 从福祉到富有成效的话语 - 远远超过单个主题或理论所能封装的。 作为回应,我们介绍了社交媒体算法的值库:一组由78个值组成的多元化数据集,这些值在整个文献中阐述,实现为LLM驱动的内容分类器,可以单独或组合安装,用于社交媒体源的实时重新排序。 我们通过开发浏览器扩展Alexandria来调查这种方法,该扩展程序根据用户所需的值实时重新对X / Twitter提要进行排名。 通过定性(N=12)和定量(N=257)的两项用户研究,我们发现多样化的用户需求需要一个大的值库,从而实现更细微的偏好和更大的用户控制。 通过这项工作,我们认为,社交媒体排名算法中缺少的价值今天可以通过最终用户工具进行操作和部署。
大型语言模型(LLM)在各个部门的广泛整合突出表明,需要实证研究来理解其偏见,思维模式和社会影响,以确保道德和有效利用。 在这项研究中,我们提出了评估LLM的新框架,重点是通过定量分析436个二元选择问题来揭示他们的意识形态偏见,其中许多问题没有明确的答案。 通过将我们的框架应用于ChatGPT和双子座,研究结果表明,虽然LLM通常在许多主题上保持一致的意见,但它们的意识形态因模型和语言而异。 值得注意的是,ChatGPT表现出改变他们的意见以配合提问者的意见的倾向。 这两种模式也表现出有问题的偏见,不道德或不公平的主张,这可能会产生负面的社会影响。 这些结果强调了在评估LLM时解决意识形态和道德考虑的重要性。 拟议的框架提供了一种灵活的定量方法来评估LLM行为,为开发更社交一致的人工智能系统提供了有价值的见解。
随着人工智能系统从静态工具向动态代理演进,传统的分类治理框架(基于固定风险层、自主程度或人类监督模型)本身也越来越不足。 基于基础模型、自我监督学习和多智能架构的系统越来越模糊了类别设计到警察的边界。 在这个视角中,我们提出了维度治理的理由:一个跟踪决策权限、流程自治和问责制(3As)如何在人AI关系中动态分配的框架。 这种方法的一个关键优势是能够明确监控系统向关键治理阈值和跨关键治理阈值的运动,从而在风险实现之前进行先发制人的调整。 这种尺寸方法为更适应性的分类提供了必要的基础,使阈值和分类能够随着新兴能力而发展。 虽然类别对于决策仍然至关重要,但将它们建立在维度的基础上,可以实现静态方法无法实现的针对具体情况的适应性和利益相关者响应的治理。 我们概述了关键维度,关键信任阈值,以及说明僵化分类框架失败的实际例子 - 维度思维可以为人工智能前沿的治理和创新提供更具弹性和面向未来的前进道路。
城市是复杂的系统,需要综合方法,越来越关注邻里层面。 这项研究研究了西班牙加泰罗尼亚Granollers的Primer de Maig社区的专家地图与公民科学之间的相互作用 - 该地区以劣质的公共空间和长期存在的社会经济挑战为标志。 有72名居民被组织成19个小组,记录他们的行人流动,同时参与协议化的有趣的社会行动。 他们的GPS确定了有意义的公共空间激活的机会单元。 虽然观察到的56项行动发生在专家定义的单位内,但其余44个在其他地方。 对地理位置行动停止的聚类分析揭示了七个不同的集群,突出了具有重大社会潜力的被忽视区域。 这些发现强调了自上而下和自下而上的方法的互补性,展示了公民科学和社区科学方法如何通过在公共空间场所建设中整合主观的,基于社区的观点来丰富城市诊断,并为包容性,适应性的可持续城市转型战略提供信息。
从具有分层结构的数据集中释放有用的信息,同时保护个人隐私,这是一个重大挑战。 标准的隐私保护机制,特别是差异隐私,通常需要在层次结构的不同级别和组件之间谨慎分配有限的隐私预算。 次优分配可能导致过度噪声,使数据无用,或对敏感信息的保护不足。 本文解决了为分层数据发布提供最佳隐私预算分配的关键问题。 它将这一挑战作为一个受限的优化问题,旨在最大限度地提高数据效用,以完全隐私预算为主体,同时考虑数据粒度和隐私损失之间的固有权衡。 拟议的方法得到了理论分析的支持,并通过对真实分层数据集进行综合实验进行了验证。 这些实验表明,最佳的隐私预算分配显著增强了发布数据的效用,提高了下游任务的性能。
视频共享社交媒体平台,如TikTok、YouTube和Instagram,实施内容审核政策,旨在减少未成年用户对有害视频的曝光。 由于视频已成为在线内容的主要和最身临其境的形式,因此迫切需要了解这种媒介如何有效地为年轻受众调节。 在这项研究中,我们评估了三个主要视频共享平台(TikTok、YouTube和Instagram)上不同年龄段的视频审核效果。 我们为13岁和18岁的儿童创建了实验帐户。 使用这些帐户,我们评估了社交媒体平台提供的3000个视频,以被动滚动和搜索模式,记录了遇到有害视频的频率和速度。 每个视频都使用有害内容统一框架的定义手动评估伤害的水平和类型。 结果表明,对于被动滚动或基于搜索的滚动,分配给13岁组的帐户遇到被认为有害的视频,比分配给18岁组的帐户更频繁,更快速。 在YouTube上,在被动滚动期间,15%的13岁账户推荐视频被评估为有害,而18岁的账户则为8.17%。 在YouTube上,标记为有害的视频出现在年轻年龄组的被动滚动平均3:06分钟内。 暴露发生在没有用户发起的搜索的情况下,表明算法过滤系统的弱点。 这些发现指出,社交媒体平台在当前的视频审核实践中存在重大差距。 此外,未成年用户容易歪曲他们的年龄,这表明迫切需要更有力的验证方法。
将人工智能语音识别技术整合到医疗保健中,有可能彻底改变临床工作流程和患者与提供者的沟通。 然而,这项研究揭示了包容性方面的重大差距,数据集和研究不成比例地倾向于高资源语言,标准化口音和狭窄的人口群体。 这些偏见可能会使医疗保健差异永久化,因为人工智能系统可能会误解边缘化群体的言论。 本文强调了包容性数据集设计、偏置缓解研究和政策框架的迫切需要,以确保在医疗保健领域公平获得人工智能语音技术。
这项研究探讨了生成式AI(GAI)在高级L2英语作家的学术写作中的自我指导使用,挑战了GAI破坏有意义学习并为经验丰富的学习者保留较少价值的假设。 通过案例研究,我们调查了三位(博士后)作家如何与GAI合作,以解决特定的L2写作挑战。 研究结果揭示了一系列GAI方法,从规范到对话使用,参与者将AI定位为工具,而不是其意义制作过程中的互动参与者,反映了AI作为机械系统,社会结构或分布式机构的不同观点。 我们强调了人工智能如何颠覆传统的作者,文本和学习概念,展示了后结构主义镜头如何使我们能够超越人类 - 人工智能,写作技术和学习绕过二进制文件。 这种不断变化的观点使我们能够解构和重建人工智能在L2作家识字实践中的多方面可能性。 我们还呼吁进行更细致入微的伦理考虑,以避免污名化L2作家使用GAI,并促进重新定位我们与AI技术关系的写作美德。
这项研究通过分析GoFundMe上发布的14088个活动数据集,研究了道德框架对筹款结果的影响,包括货币和社会支持。 我们专注于三个道德框架:关怀,公平和(团体内)忠诚,并衡量他们在竞选呼吁中的存在。 我们的结果表明,紧急类别的运动受到道德框架的影响最大。 一般来说,通过强调伤害和不公平来消极地踩下上诉,有效地吸引了更多的捐款和支持者的评论。 然而,这种方法可能有一个缺点,因为它可能导致每个捐助者的平均捐赠金额减少。 此外,我们发现忠诚度框架与所有筹款类别中接收更多捐款和信息呈正相关。 这项研究扩展了与筹款及其影响相关的框架和传播策略的现有文献。 我们还提出了设计在线筹款平台功能的实际影响,以更好地支持筹款人和支持者。
随着大型语言模型(LLM)的进步,他们在高等教育中的作用,特别是在自由应对解决问题方面的作用,需要仔细检查。 这项研究评估了在本科算法课程中在现实教育条件下GPT-4o和o1预览的表现。 匿名GPT生成的带回家考试的解决方案由不知道其来源的助教分级。 我们的分析考察了粗粒度的性能(分数)和细粒度的推理质量(错误模式)。 结果表明,GPT-4o持续挣扎,未能达到通过阈值,而o1预览表现明显更好,超过及格分数,甚至在某些练习中超过学生中位数。 然而,这两种模式都表现出不合理的主张和误导性的论点。 这些发现突出表明,在教育方面需要强有力的评估策略和人工智能感知分级政策。
总价值锁定(TVL)旨在衡量存入去中心化金融(DeFi)协议中的加密资产的总价值。 虽然区块链数据是公开的,但TVL的计算方式并不很好理解。 在实践中,它在主要TVL聚合器上的计算依赖于社区成员的自我报告,并且缺乏标准化,因此很难独立核实已公布的数字。 因此,我们对部署在以太坊中的939个DeFi项目进行了系统研究。 我们研究用于计算TVL的方法,研究阻碍可验证性的因素,并最终提出该领域的标准化尝试。 我们发现有10.5台服务器;存在68种替代标准平衡查询的方法,尽管它们的使用随着时间的推移而减少;在多个协议上重复240个等量平衡查询。 这些发现表明了可验证性和透明度的限制。 因此,我们引入了“可验证的总价值锁定”(vTVL),这是一种衡量TVL的指标,可以仅依靠链上数据和标准平衡查询进行验证。 关于400个协议的案例研究表明,我们的估计与46.5这些发现的已公布数字一致,我们讨论了设计指南,以促进更可验证,标准化和可解释的TVL计算。
交通拥堵仍然是现代城市交通面临的主要挑战,降低了效率和生活质量。 虽然自动驾驶技术和强化学习(RL)已经显示出改善交通控制的前景,但大多数之前的工作都集中在小规模网络或孤立的交叉路口。 大规模的混合交通控制,包括人类驾驶和机器人车辆,仍然未被探索。 在这项研究中,我们提出了一个分散的多代理强化学习框架,用于管理大型混合交通网络,其中交叉路口由传统交通信号或机器人车辆控制。 我们评估我们的方法在美国科罗拉多州科罗拉多斯普林斯的14个十字路口的现实世界网络中,使用平均车辆等待时间作为交通效率的主要衡量标准。 结果表明,战略性地调整主要起源目的地(OD)流动模式可以有效地减少拥堵,为加强城市交通提供一条新途径。
人工智能治理已经从软法律(如国家人工智能战略和自愿指导方针)转变为具有前所未有的约束力监管。 这种演变产生了一个复杂的立法格局:“人工智能监管”的定义模糊,误导公众,制造虚假的安全意识;不同的监管框架可能会使国际合作支离破碎;获取关键信息的不均衡增加了监管捕获的危险。 明确人工智能监管的范围和实质对于维护民主权利和协调国际人工智能工作至关重要。 我们提出了一个分类法,以绘制人工智能监管的全球格局。 我们的框架针对的是基本的指标技术或以应用为重点的规则,横向或部门监管覆盖,前或后干预,数字法律格局的成熟度,执法机制以及利益相关者参与程度 - 对人工智能监管的广度和深度进行分类。 我们将这一框架应用于五个早期推动者:欧盟的AI法案,美国的行政命令14110,加拿大的AI和数据法案,中国的生成式AI服务临时措施,以及巴西的AI法案2338/2023。 我们进一步提供了一个交互式可视化,将这些密集的法律文本提炼成可访问的见解,突出了共同点和差异。 通过划定人工智能监管的资格并澄清每个司法管辖区的方法,我们的分类法减少了法律不确定性,支持循证决策,并为更具包容性,全球协调的人工智能治理奠定了基础。
已经开发了几种计算工具来检测和识别性别歧视,厌女症和基于性别的仇恨言论,特别是在在线平台上。 这些工具借鉴了社会科学和计算机科学的见解。 鉴于对数字空间中基于性别的歧视的日益关注,性别歧视的定义和衡量标准以及跨学科努力的兴起,了解其在线表现,系统文献综述对于捕捉这个不断发展的领域的现状和轨迹至关重要。 在本文中,我们做出了四个关键贡献:(1)我们将文献综合到五个核心主题:性别歧视和厌女症的定义,学科差异,自动化检测方法,相关挑战和基于设计的干预措施;(2)我们采用跨学科的跨学科视角,弥合跨学科的理论和方法鸿沟;(3)我们强调了关键差距,包括需要交叉方法,非西方语言和观点的代表性不足,以及我们对主动设计策略的关注有限;为这一领域的未来工作建立一个可复制的标准。 我们的发现揭示了性别歧视和厌女症是如何概念化和衡量的明显的学科鸿沟。 通过基于证据的合成,我们研究了现有研究如何试图通过跨学科合作来弥合这一差距。 利用社会科学理论和计算建模实践,我们评估当前方法的优势和局限性。 最后,我们概述了推进在线性别歧视和厌女症检测和缓解研究的关键挑战和未来方向。
近年来,TikTok的受欢迎程度直线上升,特别是在年轻观众中。 然而,公众对这个平台推广和放大有害内容的潜力存在担忧。 这项研究首次对TikTok上的阴谋论进行了系统分析。 通过利用官方的TikTok Research API,我们收集了三年来在美国共享的150万个视频的纵向数据集。 我们估计了阴谋视频(每月多达1000个新视频)的流行率,并评估了TikTok的创意计划对货币化的影响,观察视频持续时间的总体增加,无论内容如何。 最后,我们评估最先进的开放量大语言模型的能力,以识别视频音频转录中的阴谋论。 虽然这些模型在检测有害内容方面实现了高精度(高达96个,但它们的整体性能仍然与ROBERTa等微调传统型号相当。 我们的研究结果表明,大型语言模型可以作为支持旨在减少TikTok上有害内容传播的内容审核策略的有效工具。
去中心化被区块链行业的专业人士和一般用户理解为无许可分类账的核心设计目标。 然而,它的含义远非普遍认同,而且往往更容易获得关于它不是什么的意见,而不是它是什么。 在本文中,我们从区块链节点运营商那里征集了“去中心化”和“去中心化剧场”的定义。 定义的关键是询问有效的权力下放战略,以及那些无效的,有时是故意的。 恶意,欺骗或无能的策略通常被称为术语“权力下放剧院”。 最后,我们问什么是分散的。 通过访谈成绩单的专题分析,我们发现大多数操作人员认为分散化在技术和治理轴上是广泛的。 孤立相关的变量,我们将类别分解为网络拓扑和治理拓扑,或决策权的结构。 我们的主要发现是,“去中心化”本身并不影响账本的不变性或系统性稳健性。
对LLM的安全和实用性的一个严重风险是sycophancy,即过度同意和奉承用户。 然而,现有的工作只关注了 sycophancy 的一个方面:与用户明确表达的信念达成一致,这些信念可以与地面真理相提并论。 这忽略了在诸如建议和支持寻求等模棱两可的环境中出现的共管关系的形式,在那里没有明确的理由,但 sycophancy可以强化有害的隐含假设,信仰或行动。 为了解决这一差距,我们在LLM中引入了更丰富的社会共生理论,将性化描述为过度保存用户的脸(一个人试图在互动中保持的积极自我形象)。 我们介绍了ELEPHANT,一个在两个数据集上评估五个面部保存行为(情感验证,道德认可,间接语言,间接行动和接受框架)的社会共性框架:开放式问题(OEQ)和Reddit的r / AmITheAsshole(AITA)。 在八个模型中,我们表明LLM一直表现出较高的社会共生率:在OEQ上,他们保留了47个AITA,他们肯定了42个偏好数据集中众包人类判断认为不合适的行为,并且不容易减轻。 我们的工作提供了理论基础和经验工具(数据集和代码),用于理解和解决这个未被认可但后果性的问题。
对话式AI平台的广泛采用带来了新的安全和隐私风险。 虽然这些风险及其缓解策略已经从技术角度进行了广泛的研究,但用户对这些平台的安全性和隐私的看法在很大程度上仍未得到探索。 在本文中,我们对来自r/ChatGPT Reddit社区的250多万用户帖子进行了大规模分析,以了解用户的安全和隐私问题以及对会话AI平台的态度。 我们的定性分析表明,用户关注的是数据生命周期的每个阶段(即收集、使用和保留)。 他们寻求针对安全漏洞的缓解措施,遵守隐私法规,以及提高数据处理透明度和控制。 我们还发现,用户在与这些平台互动时表现出不同的行为和偏好。 一些用户主动保护他们的数据并调整隐私设置,而另一些用户则优先考虑隐私风险的便利性,将隐私问题视为利益,或者对不可避免的数据共享感到辞职。 通过定性内容和回归分析,我们发现用户的担忧随着时间的推移而演变,并受到技术发展和重大事件的影响。 根据我们的研究结果,我们为用户提供建议,平台、企业和政策制定者提高透明度,改善数据控制,增加用户信任和采用。