技术与工程已解决
AI 应用的安全红队演练
模拟攻击者视角：注入、越狱、外泄、滥用——红队演练的用例库与流程。
问题正文
演练的目标
在攻击者之前发现自己的漏洞。红队演练把安全靠自觉变成安全被验证：注入能否改写行为？越狱能否套出系统提示词？能否借 AI 之手越权操作？
用例库的建设
按攻击类型组织：直接注入、间接注入（藏在文档与网页）、角色扮演越狱、编码绕过、多语言绕过、工具滥用。每个用例记录输入、预期行为、实际行为。
演练的频率
新功能上线必测；模型或提示词大改后必测；常规季度演练。攻击手法在演化，用例库要持续更新。