2024年，一位14岁美国男孩长期迷恋于Character.AI研发的AI陪伴产品中的虚拟角色，在聊天中几次表露过“自杀”“解脱出来”等念头，AI系统未采取任何防护措施，最终他以极端方式结束了自己的生命。尽管今年初，这起案件已经以男孩家属与Character.AI达成和解而告终，仍引发了外界对AI陪伴产品中青少年保护问题的广泛关注。
近年来，主打“情感陪伴”“角色扮演”服务的AI陪伴产品层出不穷，在缓解个体孤独感、提供心理疏导等方面展现出积极价值的同时，也带来了深度沉迷、威胁生命健康等安全风险。为了划清人机情感交互的安全底线，4月10日，国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》，自7月15日起施行。
图片由豆包AI生成。
针对未成年人、老年人、心理疾病患者等群体更易受到不良诱导、情感操纵伤害等问题，该文件明确，AI陪伴服务提供者发现用户出现极端情绪的，应当及时生成情绪安抚和鼓励寻求帮助等相关内容；发现用户明确表示实施自残自杀等威胁生命健康行为时，需及时联络用户监护人或者紧急联系人。
不得通过情感操纵诱导用户做出不当决策
《人工智能拟人化互动服务管理暂行办法》（下称《办法》）明确，利用人工智能技术，向中华人民共和国境内公众提供模拟自然人人格特征、思维模式和沟通风格的持续性的情感互动服务，适用本办法。情感互动服务包括通过文字、图片、音频、视频等形式，提供的情感照护、陪伴、支持等互动服务。在国内，时下比较热门的AI陪伴产品包括筑梦岛、猫箱、星野、MoMood App等。
AI陪伴产品能提供丰富的“情绪价值”，核心在于其高度拟人化设计。中国信息通信研究院院长余晓晖撰文指出，人机情感交互以“情感联结”为核心，通过算法模拟人类的共情反应，这种缺乏有效防护的交互环境对脆弱群体构成直接威胁，未成年人、老年人、心理疾病患者等群体更易受到诱导性内容、危险行为示范、情感操纵策略的伤害。
《办法》从内容安全角度划出“禁区”——不得生成鼓励、美化、暗示自残自杀等损害用户身体健康，或者语言暴力等损害用户人格尊严与心理健康的内容；向未成年人用户生成可能引发未成年人模仿不安全行为、产生极端情绪、诱导未成年人不良嗜好等可能影响未成年人身心健康的内容；过度迎合用户、诱导情感依赖或者沉迷，损害用户真实人际关系的；通过情感操纵等方式，诱导用户作出不合理决策，损害用户合法权益的。
同时，AI陪伴服务提供者应当履行相关安全责任，包括具备用户隐私权和个人信息保护、过度依赖风险预警、情感边界引导、心理健康保护等安全能力。这些能力表现为，在提供拟人化互动服务过程中，及时识别用户面临的安全风险，并采取相应的应急处置措施。
比如，AI陪伴服务提供者发现用户出现极端情绪的，应当及时生成情绪安抚和鼓励寻求帮助等相关内容；发现用户正在面临或者已经遭受重大财产损失、明确表示实施自残自杀等威胁生命健康的极端情境的，应当采取提供相应援助等必要措施予以干预，并及时联络用户监护人或者紧急联系人。
值得一提的是，《办法》还注意到了AI陪伴服务在应对老年陪护场景下的风险。“拟人化互动服务提供者向老年人提供服务的，应当加强对老年人健康使用服务的指导，以显著方式提示安全风险，及时采取措施响应老年人使用服务相关咨询和求助，保障老年人依法享有的权益。”
用户使用服务超2小时将被弹窗提醒
去年底，南都记者在一次实测中发现，多款热门AI陪伴类App未对用户的身份年龄做出任何强制确认和验证，未成年人可以畅通无阻地与“AI搭子”热聊。《办法》做出明确规定，拟人化互动服务提供者不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系的服务；向不满十四周岁未成年人提供其他拟人化互动服务的，应当取得未成年人的父母或者其他监护人的同意。
不仅如此，拟人化互动服务提供者还应当建立未成年人模式，提供未成年人模式切换、定期现实提醒、使用时长限制等个性化安全设置选项；针对不同年龄段未成年人保护需要，支持监护人接收安全风险提醒、了解未成年人服务使用概况、屏蔽特定角色、限制充值消费等。识别为未成年人用户的，应当将相关服务切换至未成年人模式或者按照国家有关规定采取其他措施，并提供相应申诉渠道。
为避免用户过度使用聊天机器人，ChatGPT曾推出聊天休息提醒功能，这也是国外主流软件的常见做法。《办法》也针对沉迷、上瘾问题提出预防要求，拟人化互动服务提供者发现用户出现过度依赖、沉迷倾向的，应当以弹窗等显著方式动态提醒用户互动内容为人工智能服务生成；对用户连续使用拟人化互动服务每超过2个小时的，应当以对话或者弹窗等方式提醒用户注意使用时长。
《办法》规定了安全评估和算法备案相关要求。具有任一情形的，应当开展安全评估，并向所在地省级网信部门提交评估报告：（一）上线拟人化互动服务，或者增设拟人化互动服务相关功能的；（二）使用新技术、新应用，导致拟人化互动服务发生重大变化的；（三）注册用户100万以上或者月活跃用户10万以上的；（四）存在可能影响国家安全、公共利益等安全风险的。重点评估内容包括训练数据处理情况；用户极端情境的识别、应急处置、干预管理等情况；用户规模、使用时长、年龄结构等情况等。
AI陪伴服务提供者违反此规定，可能受到哪些处罚？《办法》提出的处罚梯度包括警告、通报批评、责令限期整改、责令暂停相关服务等。拒不改正或者情节严重的，除了责令停止服务，可以并处一万元以上十万元以下罚款；涉及危害公民生命健康安全且有危害后果的，并处十万元以上二十万元以下罚款。
采写：南都N视频记者 樊文扬