2025年，大模型安全漏洞呈指数级增长，国内首次AI大模型实网众测发现281个安全漏洞，其中大模型特有漏洞占比超60%。国家网络安全通报中心曾紧急通报开源大模型工具Ollama存在严重漏洞，引发数据泄露、算力盗取、服务中断等风险。此外，英国高等法院发现数十份法律文书中含ChatGPT生成的虚构判例。
大模型在金融、医疗等场景出现多起“Prompt误喂”事件，员工将含客户敏感信息的字段直接输入对话框，导致敏感信息泄露。前沿AI风险监测平台报告显示，过去一年发布的模型风险指数持续上升，网络攻击、生物风险、化学风险、失控领域的累积最大风险指数分别增长31%、38%、17%和50%。
大模型的诚实性问题也值得关注，只有4个模型在诚实性评估中得分超过80分，30%模型得分不到50分。未来12至24个月，最值得警惕的是“模型供应链投毒”与“自主智能体滥用”，攻击者可能利用大模型能力生成新型攻击手段。