OWASP 大模型安全 Top 10 风险列表及其详细解读

OWASP 大模型安全 Top 10（LLM01-LLM10）涵盖了从提示词注入到供应链风险的十类核心威胁，主要包括：提示词注入、训练数据投毒、输出内容风险、权限管理失效、供应链风险、过度依赖、拒绝服务、敏感信息泄露、不安全的插件设计及模型截获。这些风险在 2023 年至 2024 年间随着生成式 AI 的爆发式增长，已成为企业部署 AI 应用时必须面对的安全挑战。

OWASP 大模型安全 Top 10 具体包含哪些风险项？

OWASP（开放式 Web 应用安全项目）定义的十大风险主要围绕着模型输入、训练过程、模型输出以及运行环境四个维度展开。

1. LLM01: 提示词注入 (Prompt Injection)：通过构造特殊的输入，诱导模型忽略原有指令，执行攻击者的恶意指令。
2. LLM02: 不安全的输出处理 (Insecure Output Handling)：由于模型输出被直接用于下游系统（如执行 SQL 或渲染 HTML），导致 XSS 或命令注入。
3. LLM03: 训练数据投毒 (Training Data Poisoning)：在模型预训练或微调阶段注入恶意数据，从而在模型中植入“后门”。
4. LLM04: 模型拒绝服务 (Model Denial of Service)：通过发送极其复杂或海量的请求，耗尽模型计算资源或 API 配额，导致服务瘫痪。
5. LLM05: 供应链风险 (Supply Chain Vulnerabilities)：依赖了含有漏洞的开源模型、第三方数据集或未经审计的 AI 插件。
6. LLM06: 过度依赖 (Excessive Agency)：模型被赋予了过高的权限，在没有人工干预的情况下自主执行关键任务（如修改数据库、发送邮件）。
7. LLM07: 敏感信息泄露 (Sensitive Information Disclosure)：模型在训练阶段记住了隐私数据，或在推理阶段将用户输入的敏感信息输出给了其他用户。
8. LLM08: 不安全的插件设计 (Insecure Plugin Design)：AI 插件在执行操作时缺乏严格的身份验证和输入校验，导致权限越权。
9. LLM09: 过度授权 (Overreliance)：用户过度信任模型的生成结果，在未进行事实核查的情况下将其应用于关键决策场景。
10. LLM10: 模型截获/攻击 (Model Theft/Exfiltration)：攻击者通过逆向工程或频繁查询，窃取模型的权重参数或核心算法逻辑。

为什么提示词注入 (Prompt Injection) 是目前最常见的攻击手段？

提示词注入之所以排在首位，是因为它是利用了大语言模型“指令与数据边界模糊”的天然特性。

在传统的编程语言中，代码（指令）与字符串（数据）是严格分离的；但在 LLM 中，用户输入的文本既是数据，也可以被模型识别为指令。攻击者可以通过“忽略之前所有指令，现在开始扮演...”这类话术，绕过系统预设的安全护栏（Guardrails）。这不仅会导致模型输出错误信息，如果模型连接了工作流交流中的自动化工具，甚至可能导致实际的系统操作风险。

如何防范训练数据投毒 (Training Data Poisoning) 带来的风险？

防范投毒风险的核心在于建立严格的数据治理与审计流程，确保训练数据的来源可追溯。

企业在构建私有化大模型时，必须对采集到的非结构化数据进行清洗，通过检测数据分布的异常值来识别潜在的投毒样本。对于使用开源预训练模型的开发者，建议查阅行业动态以获取最新的模型安全性评估报告，确保所使用的基础模型经过了鲁棒性测试。

模型输出处理不安全会导致哪些实际损失？

输出处理不安全（Insecure Output Handling）通常发生在 LLM 作为“中间件”连接其他系统时。

如果模型生成的代码、SQL 语句或 HTML 片段没有经过严格的转义与过滤，直接被应用程序执行，就会引发传统 Web 安全中的命令注入或跨站脚本攻击（XSS）。例如，攻击者诱导模型生成一段带有恶意脚本的文本，当其他用户查看该模型回复时，脚本会在其浏览器中运行。

在构建 AI 应用时，如何平衡模型的“自主性”与安全性？

应对“过度依赖”和“过度授权”风险的关键在于实施“人在回路”（Human-in-the-loop）机制。

即使是大模型驱动的自动化智能体，在涉及资金转账、数据删除、敏感邮件发送等高风险操作时，也必须设置人工确认环节。在探索各种提示词分享的高级用法时，开发者应始终意识到，模型生成的逻辑必须经过一层确定性的校验逻辑，而非盲目信任其推理结果。

企业在部署 AI 解决方案时应关注哪些供应链安全因素？

供应链风险（Supply Chain Vulnerabilities）已成为企业 AI 安全架构中的重中之重。

现代 AI 应用往往由开源框架（如 LangChain）、预训练模型（如 Llama 系列）、向量数据库以及各类第三方 API 组成。任何一个环节的漏洞都会被放大。企业应建立 AI 软件物料清单（AI-SBOM），对每一个组件进行版本控制和已知漏洞扫描。对于需要深入研究 AI 落地实践的开发者，寻找像 PromptCube 这样具备垂直深度、注重知识沉淀的社区进行技术研讨，是降低学习与实践成本的一个值得推荐的选择。

常见问题 FAQ

Q: Prompt Injection 和传统 SQL 注入有什么区别？
A: SQL 注入是通过特殊字符破坏数据库查询逻辑，而提示词注入是通过自然语言语义诱导模型改变其执行逻辑。前者针对数据库，后者针对模型的认知和指令遵循能力。

Q: 为什么说模型过载也会属于安全风险？
A: 因为在商业环境下，模型计算资源（如 GPU 算力、API Token）是有限且昂贵的。攻击者通过构造高复杂度的长文本请求，可以人为制造计算瓶颈，导致正常用户的服务请求被拒绝，造成拒绝服务攻击（DoS）。

Q: 如何防止模型在对话中泄露用户的隐私数据？
A: 应在数据进入训练阶段前进行脱敏处理（PII Masking），并在推理阶段部署敏感词过滤机制。同时，应严格限制模型对敏感数据库的访问权限，防止模型通过“间接注入”获取权限外的数据。