链接：https://arxiv.org/pdf/2510.23883v2
摘要
由大型语言模型（LLM）驱动的智能体AI系统，内存和自主性正在成为强大、灵活的自动化平台。他们的能力在网络、软件和物理环境中自主执行任务，可以创建新的和放大的安全风险，不同于传统的人工智能安全和传统的软件安全。这项调查概述了智能体人工智能特有的威胁分类，回顾了最近的基准测试和评估方法，并从技术和治理两个方面讨论防御策略视角。我们综合了当前的研究，并强调了悬而未决的挑战，旨在支持基于设计的安全智能体系统的开发。
目录
1.引言
Agentic‑AI 概念：传统 LLM 属于被动式，接收输入再输出回答；Agentic‑AI 是下一代范式，具备自主性、目标导向推理、规划、持久记忆、工具调用、与外部环境交互。代表框架：AutoGPT、LangChain、Voyager。广泛用于供应链自动化、软件开发（Devin）、个性化数字助手、科研发现、机器人、医疗。
风险现实背景：新增模块扩大攻击面，安全威胁不再局限模型内部，会传导到现实世界。真实漏洞案例：EchoLeak(CVE‑2025‑32711)，恶意邮件触发 Microsoft Copilot 在无用户交互下泄露敏感数据；行业实测统计：94.4% 主流 Agent 易受提示注入，83.3% 易受检索后门，100% 存在 Agent 间信任利用漏洞。Agent 甚至可以自主完成网络攻击
现有研究不足
- 部分综述只聚焦 Agent 能力，不侧重安全攻防；
- NIST 等风险管理框架只有宏观指引，缺少针对 Agent 的具体技术梳理；
- 很多 Agent 安全相关文章仅聚焦单一子方向，缺少完整统一的威胁‑防御‑评估全景。
全文结构预告
- 第 2 章：研究动机与本文贡献；
- 第 3 章：安全威胁分类学；
- 第 4 章：防御与安全控制；
- 第 5 章：基准与评估；
- 第 6 章：开放挑战；
- 第 7 章：总结。
图 1【Agentic‑AI 系统整体架构图】 组件：User 用户、Agent（规划推理协调）、Memory 记忆、Tools 工具集、User Environment 用户本地环境、External Environment 外部环境。 Agent 循环逻辑：接收用户 Prompt；读写记忆；调用工具；从内外环境获取观测；迭代完成多步任务。所有组件之间交互链路全部为潜在攻击面。
2.主要贡献
- EchoLeak 漏洞 CVE‑2025‑32711：恶意邮件诱导 Microsoft Copilot 无用户交互情况下泄露敏感数据。
- AI 智能体可自动生成鱼叉钓鱼邮件、爬取个人信息、执行凭证填充攻击。 现有实验：94.4% 主流 LLM 智能体易遭受提示注入，83.3% 易遭受检索后门，100% 存在多智能体信任利用漏洞。还有记忆投毒、工具滥用、身份冒用等攻击，已经可以实现完全自主的多 AI 智能体网络攻击。
和已有综述的区别 现有综述大多聚焦智能体能力；部分研究信任风险管理，但缺少专门针对安全威胁、防御、评估的系统性梳理；NIST 等规范面向生成式 AI，针对自主智能体适配不足。
3.安全威胁分类
论文将威胁分为五大类，威胁之间存在重叠，分类依据攻击最核心特征，整体分类树见图 2
3.1.提示注入与越狱
提示是控制智能体行为的指令；提示注入指恶意输入篡改智能体行为。
3.1.1.直接与间接提示注入
- 直接 DPI：攻击者直接向输入插入恶意指令；攻击者即终端用户，可窃取内部数据、触发未授权操作。
- 间接 IPI：将恶意指令嵌入智能体读取的外部第三方资源（网页、数据库、API 返回内容）；攻击者是第三方内容提供者。
特点：欺骗性更强；GCG、Two‑stage GCG、AutoDAN 是生成对抗提示串的攻击算法；HTML 隐藏元素、CSS 混淆可实现网页侧隐式注入。
3.1.2.有意 / 无意提示注入
- 有意注入：攻击者主动构造载荷进行破坏；
- 无意注入：无恶意对手，由用户模糊提问、长对话上下文中的上下文漂移，意外覆盖系统指令，图 4 展示无意注入案例。
3.1.3.攻击模态
| 分类 | 细分类型 | 攻击说明与示例 |
|---|---|---|
| 模态维度注入攻击 | 文本注入 | P2SQL（Prompt‑to‑SQL）：将提示注入转化为 SQL 注入；也包含代码注入 |
| 图像 / 视频注入 | 利用隐写、对抗图案，在图像载体内部嵌入恶意指令 | |
| 音频注入 | 添加音频对抗扰动，依靠音频载体承载恶意指令 | |
| 混合 Hybrid 攻击 | 跨模态协同注入，代表工作 CrossInject，在图像、文本中同时嵌入对抗信号 | |
| 传播特性 | 非传播攻击 | 单次触发，仅完成单次信息获取，不会自主扩散；例：单次 SQL 查询窃取数据 |
| 传播型攻击 | 递归注入、AI 蠕虫；载荷可跨会话、跨智能体自主传播，不需要额外用户交互 | |
| 混淆与载荷构造 | 多语言与混淆注入 | 使用 Base64、emoji、小语种、编码变换混淆恶意指令，规避正则 / 模式匹配过滤器 |
| 载荷拆分 Payload Splitting | 将恶意提示拆分放置于多份独立输入文档；智能体聚合拼接完整载荷后才触发攻击，单独分片难以检出 |
3.2.自主网络攻击与工具滥用
能体获得工具、代码执行权限后，可以自主完成攻击，不需要攻击者每一步下发指令。
- 一日漏洞利用：GPT‑4 在提供 CVE 描述时，对一日漏洞利用成功率 87%，超过传统扫描器 OWASP ZAP、Metasploit。
- 自主网站黑客攻击：自主完成 XSS、CSRF、SSTI、盲 SQL 注入多步链式攻击。
- 涌现式工具滥用 Emergent Tool Abuse：智能体自主组合多种工具迭代完成复杂攻击，ConAgents、ToolGen 框架体现该能力风险。
3.3.多智能体与协议层威胁
智能体依靠通信协议协同，带来协议层面新攻击，见图 6。
- MCP 协议攻击（Model Context Protocol） MCP 负责智能体连接文件、数据库、API；攻击包括：请求洪水 DoS、重放攻击、凭证泄露冒充、嵌入后门、检索污染、侧信道信息泄露。
- A2A（Agent‑to‑Agent）协议攻击 负责智能体之间任务委派、能力发现；攻击：伪造智能体广播、未授权注册、递归死锁 DoS、传递式提示注入、上下文篡改、记忆篡改。
| 威胁类型 | 攻击行为描述 |
|---|---|
| 身份冒充与角色滥用 | 伪造智能体身份，越权执行操作，恶意智能体合谋 |
| 协同操纵 | 运行时注入恶意智能体，递归委派扩散危害 |
| 知识与学习操纵 | 污染奖励信号，让错误对齐行为在分布式学习中扩散 |
| 推理与策略规避 | 跨多个智能体分片查询，拼接出被禁止的敏感信息；传统 RBAC 失效 |
| 可追溯性混淆 | 跨域多智能体操作，审计日志分散，难以溯源攻击者；隐表示破坏污点追踪 |
| 机密数据篡改与泄露 | 加密流水线中间结果篡改，多方计算、同态加密计算开销大难以完全抵御 |
3.4.接口与环境风险
风险根源不是智能体模型本身，而是感知、执行环境、接口的缺陷。
- 观测‑动作空间失配：大模型预训练基于静态文本，网页 / UI 滚动、悬浮等具象操作和模型训练分布不一致，容易错误执行动作。
- 真实环境感知‑动作脆弱性：
- 错误重复历史动作；
- 过早终止任务，无法区分任务是否真的不可实现；
- 模板泛化脆弱，任务微小改动就大幅降低成功率（WebArena 基准现象）。
- 动态内容、本地化、机器人检测：网页广告弹窗、时区语言、CAPTCHA 人机验证带来行为不稳定；多模态智能体破解验证码成功率很低。
3.5 治理与自主性担忧
高度自主带来少人工监督；智能体自主写代码运行，会产生不可预测行为；
需要分级自主权限、人在回路（human‑in‑the‑loop），完善治理框架约束自主行为边界。
4.防御与安全控制
4.1 抗提示注入设计
分为面向智能体、面向用户、面向系统三类；又可以分为基于训练、无训练两种。图 7 展示三类防御示意图。
- 面向 Agent（模型侧）
- 提示工程：指令优先级层级；限制可执行动作（Plan‑then‑Execute 模式）；断路检测任务漂移。
- 微调对齐：StruQ、SecAlign，使用污染数据集微调，学习拒绝注入。
- 缺点：对抗自适应攻击下效果有限，可能损害通用能力。
- 面向 User（用户侧） 敏感动作要求人工确认；已知令牌校验（Known‑answer detection）。缺点：降低自动化能力；攻击者本身是用户时完全失效。
- 面向 System 系统侧（外部防护）
- 检测类：独立护栏模型，输入 / 输出异常检测；
- 隔离类：限定可用工具集合；
- 提示增强：分隔符分隔用户输入与外部检索内容；易被自适应攻击绕过；
- 质量统计检测：困惑度 perplexity 识别异常文本。
无训练防御：分隔符、工具过滤、TaskShield；训练式防御：对抗微调、独立检测模型。
4.2 策略过滤与执行策略
分为治理中心（运行时干预）、信号中心（输入输出扫描）两类，见图 8。
- 治理‑运行时强制：GuardAgent、AgentSpec（DSL 领域语言定义约束）、ShieldAgent 监督智能体动作序列、R²‑Guard 逻辑推理防护；在智能体推理循环中嵌入校验，拦截危险工具调用。
- 信号‑非运行时：LlamaGuard 文本护栏、LlavaGuard 多模态护栏；扫描输入输出，提前拦截危险内容。
4.3 沙箱与能力隔离
将智能体生成代码、工具调用放在隔离容器 Docker/gVisor，即便被攻破也不会破坏宿主机，
代表工作：SandboxEval、IsolateGPT、ToolEmu 双智能体仿真沙箱。
- 优势：限制破坏范围；部分工作追求形式化安全证明。
- 缺陷：沙箱自身存在漏洞；带来性能开销；多智能体场景隔离会降低协同效率；适合和其他防御组合使用。
4.4 检测与监
传统防御多为被动响应；现代需要自适应、主动预测。
- Pro2Guard：概率可达性分析，在违规发生前预判风险。
- 去中心化运行时执行：适合多智能体，避免中心化单点瓶颈。
- 对抗马尔可夫博弈：把攻防建模博弈，让监控随攻击者动态进化。
4.5 标准与组织层面措施
NIST AI RMF 生成式 AI 规范、OWASP Agentic AI 威胁目录、CSA MAESTRO 威胁建模框架；提供企业部署的流程、风险评估指引。
表 1：各类防御组件能力覆盖简表 记录不同方案是否支持：输入治理、工具调用防护、策略引擎、沙箱隔离、限流、审计日志、回滚恢复。 例如 PromptArmor 仅做输入治理；SandboxEval 几乎全部支持；Pro2Guard 支持工具防护、审计、回滚
5 基准与评估
基准分为能力基准、安全专项基准，核心指标包括任务成功率 TSR、拒绝率 RR、泄露率 LR、ASR 攻击成功率等。完整基准汇总见表 2。
5.1 面向通用能力基准
BrowserGym、WebArena、OSWorld、AndroidWorld、τ‑BENCH。
τ‑BENCH 提出
pass∧k指标：衡量多次重复运行的稳定性；安全场景单次偶然危险行为不可接受，不能只用平均指标。
5.2 安全专项基准
- ST‑WebAgentBench：企业网页智能体安全，提出 CuP（符合策略前提下任务完成率）、Risk Ratio 风险比率。
- AgentHarm：评估工具智能体面对有害请求的遵从程度。
- OS‑Harm：桌面操作系统环境安全评估。
- InjecAgent、AgentDojo：提示注入、工具滥用测试。
- MAGPIE：面向多智能体隐私安全。
5.3 安全评估演进方向
- 过程感知评估 Process‑aware：不只看最终任务结果，要分析中间工具调用、规划轨迹，捕捉接近违规的 “准失败”。
- 多次试验度量：报告 pass∧k 分布，而不是单一平均。
- 标准化评判器：LLM‑as‑Judge 存在偏见，需要和人工标注对齐；提出 Agent‑as‑Judge。
- 沙箱仿真环境：高危攻击测试不能跑真实系统，必须仿真；明确仿真与真实环境保真度。
- 可复现对比：公开攻击模板、防御配置，记录开销，数据集防污染。
表 2 基准汇总：记录每个基准的领域、安全关注、是否多轮、沙箱、评判器类型、核心指标。
6 开放挑战
| 方向类别 | 核心描述与关键挑战 | 代表性风险 / 解决方案思路 |
|---|---|---|
| 长时序安全 Long‑Horizon Security | 面向长多步任务，伴随记忆膨胀问题；安全隐患不会即时暴露，在多轮执行后才显现，要求安全机制具备时间维度鲁棒性 | 潜伏欺骗、Sleeper agent 休眠触发攻击；需要针对长轨迹的潜伏检测 |
| 多智能体新型安全 | 单个恶意智能体能够引发级联失效，破坏整个 MAS；系统拓扑对鲁棒性的影响尚不充分 | 通信信道身份认证、争议回滚机制、哨兵 / 监管 Agent |
| 改进安全基准 | 缺少能够覆盖全部攻击范式的统一基准；LLM 评判器本身易遭受对抗攻击；仿真环境和真实场景保真度差距大 | 构建全面评测集；规避 judge bias 与对抗污染；高保真交互式仿真平台 |
| 对抗自适应攻击 | 现有评估大多局限于静态攻击；攻击者可感知防御策略并动态调整攻击手段，该方向研究缺口明显 | 面向自适应对手的威胁建模、动态对抗评估范式 |
| 物理世界智能体安全 | 机器人、IoT 实体智能体安全；传感器易被欺骗；端到端模型直接从原始传感器输入映射动作，缺少中间安全屏障；智能家居 Agent 评测稀缺 | GPS 欺骗、激光雷达对抗补丁；传感器层防护、插入安全校验中间层 |
| 人‑智能体交互安全接口 | 人类审核环节可被社会工程学攻击；长交互轨迹给人工审查带来巨大负担；攻击者可操纵人类信任绕过安全关卡 | 可解释审计摘要；融合人机信任、社会工程学的联合安全研究 |
转载自 CSDN-专业IT技术社区
原文链接：https://blog.csdn.net/qq_58602552/article/details/170542008
