A Survey on the Safety and Security Threats of Computer-Using Agents: JARVIS or Ultron?
Ada Chen, Yongjiang Wu, Junyuan Zhang, Shu Yang, Jen-tse Huang, Kun Wang, Wenxuan Wang, Shuai Wang
最近,人工智能驱动的与计算设备的交互已经从基本的原型工具发展到复杂的基于LLM的系统,这些系统可以在图形用户界面中模拟类似人类的操作。 我们现在目睹了计算机使用代理(CUA)的出现,能够自主执行诸如导航桌面应用程序,网页和移动应用程序等任务。 然而,随着这些代理商的能力增长,他们也引入了新的安全和安保风险。 LLM驱动的推理中的漏洞,加上集成多个软件组件和多模态输入的复杂性,使安全环境进一步复杂化。 在本文中,我们提出了关于CUA安全和安全威胁的知识的系统化。 我们进行全面的文献综述,并沿着四个研究目标提炼我们的研究结果:(i)定义适合安全分析的CUA;(ii)对CUA中的当前安全威胁进行分类;(iii)提出现有防御策略的综合分类;(iv)总结用于评估CUA的安全性和性能的现行基准,数据集和评估指标。 在这些见解的基础上,我们的工作为未来的研究人员提供了一个结构化的基础,用于探索未开发的漏洞,并为从业者在设计和部署安全的计算机使用代理方面提供了可操作的指导。
Recently, AI-driven interactions with computing devices have advanced from basic prototype tools to sophisticated, LLM-based systems that emulate human-like operations in graphical user interfaces. We are now witnessing the emergence of Computer-Using Agents (CUAs), capable of autonomously performing tasks such as navigating desktop applications, web pages, and mobile apps. However, as these agents grow in capability, they also introduce novel safety and security risks. Vulnerabilities in LLM-dr...