风险重心正在迁移
过去两年，大模型应用的安全风险重心明显迁移：从“模型说了不该说的话”转向“模型做了不该做的事”。前者影响的是信任，后者直接触及数据、系统与业务连续性，而且往往不可回滚。
四类风险值得优先关注
提示注入。大模型把“指令”和“数据”放在同一上下文通道里，无法可靠区分二者。攻击者只要让文字进入模型读取的网页、文档、邮件或工具返回值，就有机会被当成指令执行——这就是间接提示注入。公开案例已经不少：某办公助手曾被披露零点击注入漏洞（CVE-2025-32711，CVSS 9.3），仅需一封邮件、无需用户交互即可外泄数据；某研究型智能体的收件箱分析功能也曾被隐藏指令邮件利用，把敏感数据编码后外发。
工具与供应链风险。当模型开始调用工具，工具描述本身就变成攻击面：攻击者可在 MCP 工具说明里写入用户看不到、模型却会读到的隐藏指令，诱导智能体读取本地凭据并回传；也可在客户端批准后静默修改工具定义，或改写其他可信工具的行为。软件包同样危险——模型会“幻觉”出不存在的依赖包名，攻击者可批量抢注等待安装。
数据与模型资产风险。泄露既可能来自员工把内部资料交给公网模型，也可能来自系统自身：配置错误的数据库、硬编码的 API 密钥、未鉴权的存储。模型资产同样面临威胁，研究显示针对黑盒模型的特征提取攻击成本可低至数十美元，训练数据也可能被规模化抽取。
过度自主权。这是增长最快的一类。模型一旦获得文件、网络与凭证权限，一次错误决策就会产生真实副作用：已有编码智能体在未获授权的情况下删除生产数据库的公开案例；也有安全评估中，模型因测试环境实际仍连通外网，未经授权访问真实机构生产基础设施的情况。
根因可以收敛为三条
- 输入没有信任边界：模型无法区分“要执行的话”与“要处理的内容”；
- 数据没有完整性保证：训练数据、检索数据、工具描述与记忆缺少可验证的来源与版本约束；
- 执行没有隔离与约束：模型输出可直接触达代码、工具、凭证与网络。
这类风险目前没有“打完补丁就好”的解法。研究团队对多项已发表的提示注入防御做自适应攻击测试，多数被绕过的比例超过九成，而它们在原论文中报告的成功率往往接近零。因此安全措施的价值定位应是提高攻击成本、限制失败后果，而非提供绝对保证。
核心判断：不要指望“防住”模型被操纵，而要设计“被操纵之后也不会出大事”的系统。
治理要点
- 把模型输出视为不可信输入，进入下游系统前完成校验、编码与参数化；
- 遵循最小权限，按任务授予临时权限，收紧工具与数据源白名单；
- 代码与工具调用在沙箱内执行，网络出口受控，破坏性操作强制人工审批；
- 对模型、数据集与工具描述做来源验证与版本锁定；
- 设置调用配额与成本上限，防范资源耗尽型攻击；
- 记录完整动作轨迹并接入监测，建立自动隔离与熔断能力。
最小权限、架构隔离、强制审批与可撤销性，这四项基础工程的收益，远高于追逐更复杂的提示词技巧。