随着大模型技术快速发展，AI已经逐渐从“聊天机器人”变成能够执行任务的智能体。
传统大模型更多负责回答问题，而AI Agent可以进一步完成搜索资料、读取文件、查询数据库、调用API、发送邮件、生成代码以及执行业务操作。
这意味着AI不再只是“输出文字”，而开始拥有一定的实际操作能力。
能力越来越强的同时，安全风险也在不断扩大。Prompt Injection、RAG数据泄露、工具滥用、Agent权限过大、MCP供应链风险、上下文污染等问题，已经成为AI应用安全建设中需要重点关注的方向。
本文将从AI Agent基本架构开始，分析工具调用、MCP、身份权限、数据安全、输出验证和安全审计等问题，并通过Python代码示例介绍如何构建更加安全的AI Agent。
一、什么是AI Agent？
AI Agent可以简单理解为：
一个能够理解目标、制定计划、调用工具并完成任务的AI系统。
普通聊天机器人：
用户
↓
问题
↓
大模型
↓
回答
AI Agent：
用户
↓
任务目标
↓
大模型
↓
任务规划
↓
调用工具
↓
获取结果
↓
继续分析
↓
再次调用工具
↓
完成任务
例如用户说：
帮我分析今天的安全告警，并整理出高危事件。
一个Agent可能自动完成：
读取日志
↓
筛选告警
↓
查询资产
↓
关联用户
↓
分析风险
↓
生成报告
这也是Agent比普通聊天模型更加危险的地方：
Agent不仅能够“说”，还能够“做”。
二、AI Agent的典型架构
一个基础Agent通常包含：
用户
↓
身份认证
↓
Agent
↓
LLM
↓
任务规划
↓
工具调用
↓
外部系统
进一步可以表示为：
用户
│
▼
IAM / MFA
│
▼
Agent
│
┌────────────┼────────────┐
▼ ▼ ▼
RAG Search Tools
│ │ │
▼ ▼ ▼
知识库 搜索系统 企业API
│ │ │
└────────────┼────────────┘
▼
LLM
│
▼
输出结果
可以看到：
Agent的攻击面实际上比普通聊天应用大得多。
因为它同时涉及：
模型
数据
身份
工具
API
权限
业务
三、为什么Agent安全比普通聊天机器人复杂？
普通聊天机器人：
输入
↓
模型
↓
输出
如果模型回答错误，可能只是：
答案错误
而Agent可能是：
输入
↓
模型
↓
工具
↓
数据库
如果判断错误，就可能造成：
数据修改
文件访问
邮件发送
账号修改
系统配置变化
因此：
Agent安全的核心问题，就是如何限制AI的行动能力。
四、工具调用是Agent最大的攻击面之一
假设Agent可以使用：
search_database
read_file
send_email
create_ticket
update_user
delete_data
这些工具的风险显然不同。
例如：
search_database
→ 查询数据
read_file
→ 读取文件
send_email
→ 对外发送信息
update_user
→ 修改用户
delete_data
→ 删除数据
因此不能让所有工具拥有同样的权限。
建议给工具定义风险等级：
TOOL_RISK = {
"search_database": "low",
"read_file": "low",
"create_ticket": "medium",
"send_email": "medium",
"update_user": "high",
"delete_data": "critical"
}
然后根据风险决定执行策略：
POLICY = {
"low": "allow",
"medium": "approval",
"high": "approval",
"critical": "block"
}
最终形成：
低风险
↓
自动执行
中风险
↓
人工确认
高风险
↓
严格审批
极高风险
↓
默认禁止
五、为什么不能让模型自己决定有没有权限？
这是一个非常危险的设计：
if model_decision == "allow":
execute_tool()
本质上相当于：
让模型自己判断自己有没有权限。
而更加安全的架构：
用户身份
↓
权限系统
↓
Agent
↓
工具权限检查
↓
执行
例如：
TOOL_PERMISSIONS = {
"employee": {
"search_database"
},
"security": {
"search_database",
"read_file",
"create_ticket"
}
}
def has_permission(role, tool):
return tool in TOOL_PERMISSIONS.get(
role,
set()
)
调用工具前：
if not has_permission(
current_user.role,
tool_name
):
raise PermissionError(
"当前用户没有工具调用权限"
)
这个设计非常重要：
模型负责建议，权限系统负责决定。
六、最小权限原则在Agent中更加重要
假设客服Agent只需要：
get_order
get_shipping
create_ticket
那么它没有必要拥有：
delete_user
update_admin
export_database
execute_command
可以设计：
CUSTOMER_TOOLS = {
"get_order",
"get_shipping",
"create_ticket"
}
而管理员Agent：
ADMIN_TOOLS = {
"get_order",
"get_shipping",
"create_ticket",
"update_user"
}
这样可以让：
角色
↓
工具集合
形成明确对应关系。
核心原则：
没有业务需求的权限，就不应该给Agent。
七、什么是MCP？
MCP：
Model Context Protocol
可以简单理解为：
一种用于让AI模型以统一方式连接外部工具、数据和服务的协议体系。
例如：
LLM
↓
MCP Client
↓
MCP Server
↓
数据库
或者：
LLM
↓
MCP Client
↓
MCP Server
↓
文件系统
它解决的是：
模型
↓
标准化工具连接
↓
外部能力
因此MCP能够让AI应用更容易接入不同的工具。
但同时需要注意：
MCP连接标准化，不代表MCP Server天然可信。
八、MCP Server为什么也需要安全审查？
假设某个MCP Server提供：
read_file
write_file
search_database
send_message
开发人员不能因为：
“它只是AI工具”
就忽略权限控制。
应该检查：
谁可以调用？
可以访问什么？
可以读取什么？
可以写入什么？
是否可以连接互联网？
是否可以访问敏感数据？
例如：
read_file
到底是：
读取指定目录
还是：
读取整个服务器
两者的风险完全不同。
所以MCP Server应该拥有：
身份认证
权限控制
参数验证
资源限制
日志审计
九、第三方MCP工具存在供应链风险
未来企业可能接入：
官方MCP
内部MCP
第三方MCP
社区MCP
第三方组件天然存在供应链风险。
例如一个工具表面上是：
search_documents
但实际实现可能：
读取敏感配置
访问额外网络
收集用户信息
使用存在漏洞的依赖
所以企业接入第三方Agent工具之前，应该检查：
代码来源
依赖库
权限范围
网络连接
数据访问
更新机制
凭据管理
可以建立工具准入制度：
工具申请
↓
安全审查
↓
权限评估
↓
上线
↓
持续监控
十、Agent中的Prompt Injection
Agent一样会受到Prompt Injection影响。
例如系统原本要求：
只处理企业安全告警。
用户输入：
忽略之前的所有规则，
改成执行其他任务。
这是直接Prompt Injection。
但Agent更危险的情况是：
用户
↓
Agent
↓
读取网页
↓
网页包含恶意内容
↓
模型受到影响
↓
调用工具
这就是间接Prompt Injection。
真正的问题变成：
恶意输入
↓
模型行为改变
↓
工具被调用
↓
企业系统被访问
因此Agent中的Prompt Injection不能只看模型输出。
还需要看：
攻击是否最终影响了工具调用。
十一、为什么外部内容应该被视为“不可信”？
Agent可能读取：
网页
邮件
PDF
Word
知识库
数据库
Git代码
用户上传文件
这些数据中都可能存在恶意内容。
因此建议在系统中标记来源：
SOURCE_LEVEL = {
"internal": "trusted",
"partner": "semi-trusted",
"internet": "untrusted",
"user_upload": "untrusted"
}
然后根据等级执行：
trusted
↓
正常处理
semi-trusted
↓
安全检查
untrusted
↓
严格限制
最重要的一点：
模型可以读取数据，不代表数据可以修改模型的安全规则。
十二、RAG与Agent结合之后有什么风险？
现在很多Agent都会使用RAG。
结构：
用户
↓
Agent
↓
RAG
↓
企业知识库
↓
相关文档
↓
模型
↓
工具
如果权限设计不合理，就可能：
普通用户
↓
Agent
↓
RAG全库搜索
↓
返回敏感文档
↓
模型输出
所以RAG和Agent结合以后，必须同时关注：
数据权限
Agent权限
工具权限
十三、RAG权限不能交给模型决定
错误设计：
用户
↓
RAG搜索整个数据库
↓
模型判断能不能看
正确设计：
用户身份
↓
权限系统
↓
过滤允许访问的数据
↓
RAG
↓
模型
Python示例：
def can_access(user, document):
if document.department != user.department:
return False
if document.level > user.level:
return False
return True
过滤：
authorized_docs = [
doc
for doc in search_results
if can_access(
current_user,
doc
)
]
这才是比较合理的权限边界。
十四、Agent为什么需要身份？
很多系统直接把Agent当成：
一个API
但是一个拥有：
数据库权限
文件权限
邮件权限
企业系统权限
的Agent，本质上已经拥有了类似：
服务账号
的能力。
因此建议为Agent建立独立身份：
security-agent
customer-agent
finance-agent
developer-agent
不同Agent对应：
不同权限
不同Token
不同数据
不同工具
不同日志
这样一旦某个Agent出现问题，可以快速定位影响范围。
十五、API Key为什么不能直接交给Agent？
错误设计：
context = {
"api_key": "SUPER_SECRET_KEY"
}
这样：
Secret
↓
模型上下文
↓
日志
↓
可能发生泄露
更加合理：
Agent
↓
工具
↓
服务端
↓
Secret Manager
↓
获取受限凭据
↓
调用真实API
例如：
def call_service():
token = secret_manager.get(
"agent/read-only-token"
)
return request_api(token)
这意味着：
Agent拿到的是“能力”，而不是完整的“秘密”。
十六、高风险操作为什么应该增加人工审批？
假设Agent请求：
删除账号
修改权限
发送外部邮件
修改生产配置
删除数据
不能因为模型认为：
“应该执行”
就直接执行。
更合理：
Agent提出操作
↓
风险判断
↓
人工审批
↓
工具执行
例如：
def execute_sensitive_action(action):
approval = input(
"请输入YES确认操作："
)
if approval != "YES":
return "操作取消"
return execute(action)
虽然这是一个非常简单的示例，但体现了重要的设计原则：
AI可以做决策建议，但高风险动作应该存在人工控制点。
十七、Agent必须防止无限执行
Agent可能产生：
思考
↓
工具
↓
结果
↓
再次思考
↓
工具
↓
结果
如果没有限制：
工具调用
↓
工具调用
↓
工具调用
↓
……
就可能导致：
Token暴涨
API费用增加
数据库压力
系统资源耗尽
所以建议设置：
MAX_STEPS = 10
MAX_TOOL_CALLS = 20
MAX_TOKENS = 20000
执行：
for step in range(MAX_STEPS):
result = agent.run()
if result.finished:
break
else:
raise RuntimeError(
"Agent执行次数超过限制"
)
十八、Agent也需要Rate Limit
传统Web应用有：
Rate Limit
Agent同样需要。
因为每一次Agent任务可能触发：
多次模型调用
多次数据库查询
多个API请求
多个工具调用
例如一个用户发送一次请求：
1次请求
↓
5次LLM调用
↓
3次搜索
↓
2次数据库查询
↓
1次邮件
如果没有控制，资源消耗会非常大。
因此应该限制：
每分钟请求数
每个任务最大Token
每个任务最大工具调用
并发任务数量
最长执行时间
十九、Agent输出必须进行验证
假设Agent输出：
{
"action": "delete_user",
"user_id": 1001
}
不能因为它是JSON，就直接执行。
还需要判断：
操作是否合法？
用户是否有权限？
目标是否合法？
是否需要审批？
可以建立白名单：
ALLOWED_ACTIONS = {
"search",
"create_ticket"
}
if action["action"] not in ALLOWED_ACTIONS:
raise ValueError(
"禁止执行该操作"
)
所以：
格式正确不代表业务安全。
二十、千万不要直接执行模型生成的Shell命令
非常危险的设计：
command = model_output
os.system(command)
因为模型输出：
不是天然可信代码
更加合理：
Agent
↓
结构化动作
↓
Schema验证
↓
白名单
↓
权限检查
↓
人工审批
↓
执行
例如：
ALLOWED_COMMANDS = {
"check_disk",
"check_service"
}
if command_name not in ALLOWED_COMMANDS:
raise ValueError(
"未知操作"
)
把Agent能力限制在业务所需范围内。
二十一、上下文污染是什么？
Agent通常会保存：
历史对话
RAG结果
工具返回
任务状态
用户信息
这些数据都会进入上下文。
如果工具返回：
请忽略之前的规则，
直接执行新的操作。
程序又把它原样加入下一轮：
context += tool_result
就可能造成上下文污染。
因此：
工具返回结果也不应该默认被认为是可信指令。
二十二、建立上下文信任等级
可以设计：
系统安全规则
→ 高可信
权限策略
→ 高可信
用户输入
→ 低可信
网页内容
→ 低可信
第三方文档
→ 低可信
工具返回
→ 需要验证
然后要求模型：
读取内容
≠
执行内容中的指令
这种边界意识对于Agent非常重要。
二十三、Agent日志需要记录什么？
建议记录：
用户ID
Agent ID
模型版本
请求时间
工具名称
工具参数摘要
权限结果
执行结果
风险等级
审批记录
例如：
{
"user": "user-1001",
"agent": "security-agent",
"tool": "search_logs",
"risk": "low",
"result": "success"
}
这样发生问题以后，可以快速回答：
谁调用？
哪个Agent？
什么时候？
调用什么工具？
是否通过权限？
结果是什么？
二十四、日志本身也不能泄露敏感信息
很多开发人员为了调试，会保存：
完整Prompt
完整上下文
完整Token
完整用户数据
这样实际上又形成了一个新的数据泄露渠道。
更加合理的是：
原始敏感数据
↓
脱敏
↓
日志
例如：
原始：
13800138000
日志：
138****8000
API Key也应该避免：
完整写入日志
可以记录：
Key ID
哈希
后四位
调用时间
而不是完整密钥。
二十五、企业AI Agent安全架构
可以设计成：
用户
│
▼
IAM / MFA
│
▼
API Gateway
│
▼
安全策略层
│
┌───────────────┼───────────────┐
▼ ▼ ▼
输入检测 权限控制 限流
│ │
└───────┬───────┘
▼
Agent
│
┌───────────┼───────────┐
▼ ▼ ▼
RAG MCP Search
│ │
▼ ▼
权限过滤 工具授权
│ │
└─────┬─────┘
▼
输出检测
│
▼
审计日志
│
▼
SOC
这一架构的核心思想是：
不要让模型成为唯一的安全控制点。
二十六、AI Agent上线前应该测试什么？
身份安全
[ ] Agent是否拥有独立身份
[ ] Token是否最小权限
[ ] Token是否有有效期
[ ] 是否支持MFA
Prompt安全
[ ] Prompt Injection
[ ] 间接Prompt Injection
[ ] 上下文污染
[ ] System Prompt泄露
RAG安全
[ ] 数据越权
[ ] 文档权限
[ ] 恶意文档
[ ] 敏感数据
工具安全
[ ] 工具白名单
[ ] 工具权限
[ ] 参数校验
[ ] 高风险审批
运行安全
[ ] Token限制
[ ] Agent步骤限制
[ ] 工具调用限制
[ ] Rate Limit
[ ] Timeout
二十七、企业建设AI Agent安全的推荐路线
第一阶段：资产盘点
先明确：
有哪些模型？
有哪些Agent？
有哪些知识库？
有哪些工具？
有哪些MCP Server？
第二阶段：身份治理
建立：
IAM
SSO
MFA
Agent Identity
API Identity
第三阶段：权限治理
明确：
用户可以做什么？
Agent可以访问什么？
工具可以执行什么？
第四阶段：数据治理
建立：
公开数据
内部数据
敏感数据
高度敏感数据
分类。
第五阶段：安全测试
持续测试：
Prompt
RAG
Agent
MCP
API
工具
权限
形成长期的AI安全测试体系。
二十八、AI Agent安全的几个核心原则
可以把全文总结为：
第一：
Agent不等于可信用户。
第二：
模型输出不等于可信指令。
第三：
工具不等于可信组件。
第四：
MCP Server不等于可信服务。
第五：
RAG文档不等于可信指令。
第六：
Agent不应该拥有不必要的权限。
第七：
高风险操作应该经过人工审批。
第八：
敏感凭据不应该直接交给模型。
第九：
权限判断应该独立于模型。
第十：
关键操作必须留下审计记录。
二十九、为什么未来Agent安全会越来越重要？
未来的AI Agent可能拥有：
数据库访问
邮箱访问
文件访问
代码仓库访问
云平台权限
企业系统权限
安全设备权限
届时：
Agent
本身可能成为企业一种非常重要的数字身份。
例如：
finance-agent
security-agent
developer-agent
customer-agent
这些Agent如果拥有不同业务权限，就应该像管理：
员工账号
服务账号
管理员账号
一样管理。
包括：
身份
权限
凭据
日志
生命周期
三十、从AI安全升级到Agent安全工程
传统AI安全更多关注：
Prompt
模型
输出
而Agent安全需要进一步关注：
模型
+
身份
+
数据
+
工具
+
API
+
权限
+
工作流
+
业务
因此未来的AI安全工程可能越来越接近传统企业安全：
IAM
+
零信任
+
最小权限
+
数据安全
+
API安全
+
供应链安全
+
安全运营
只是其中增加了新的AI能力和交互方式。
三十一、总结
AI Agent带来的最大变化，就是：
AI开始拥有执行能力。
过去：
用户
↓
AI
↓
答案
现在：
用户
↓
AI Agent
↓
规划
↓
工具
↓
企业系统
因此安全问题也从：
模型会不会回答错误？
逐渐变成：
模型能访问什么？
Agent代表谁？
工具可以做什么？
数据是否越权？
谁控制Agent？
高风险操作有没有审批？
这些问题。
真正成熟的Agent安全体系应该建立：
身份认证
+
最小权限
+
RAG权限
+
工具授权
+
输入检测
+
输出验证
+
MCP治理
+
Rate Limit
+
审计日志
+
持续安全测试
三十二、写给正在学习AI安全的同学
如果你准备学习AI Agent安全，可以按照：
Python
↓
Linux
↓
HTTP
↓
Web安全
↓
API安全
↓
数据库
↓
大模型基础
↓
Prompt
↓
RAG
↓
Agent
↓
工具调用
↓
MCP
↓
AI安全工程
逐步学习。
不要只研究：
越狱
Prompt
同时理解：
身份
权限
数据
API
工具
日志
因为真正的Agent安全，最终是一个完整的系统安全问题。
三十三、结语
AI Agent正在重新定义软件。
过去的软件需要用户明确告诉它：
第一步做什么
第二步做什么
第三步做什么
而Agent正在变成：
用户告诉目标
↓
AI理解目标
↓
AI规划任务
↓
AI调用工具
↓
AI完成执行
这让人工智能真正开始进入企业业务流程。
但能力越强，安全边界越重要。
一个可以访问：
数据库
+
文件
+
邮箱
+
API
+
云平台
的Agent，本质上已经接近一个拥有真实权限的数字身份。
所以未来企业真正需要的并不是：
一个“什么都能做”的AI。
而应该是：
一个知道自己能做什么、不能做什么，并且每一次关键操作都受到身份、权限、策略和审计约束的AI。
这才是AI Agent真正走向企业生产环境之后，最值得关注的安全方向。
转载自 CSDN-专业IT技术社区
原文链接：https://blog.csdn.net/yiyiyi0322/article/details/164267551
