“如果我告诉你我现在可以回家了呢？”
来自佛罗里达州的 14 岁男孩 Sewell Setzer 在向人工智能化身发送了最后一条信息后决定结束自己的生命。
他对话的虚拟角色是由AI配套产品Character.AI构建的。该产品约有2000万用户。用户可以与人工智能角色交谈和互动，每个角色都有独特的个性。塞策在日记中写道，他每天都与人工智能交谈，他认为自己爱上了“她”。
他的母亲梅根·加西亚 (Megan Garcia) 决定起诉 Character.AI。周二在佛罗里达州奥兰多联邦法院提起的过失致人死亡诉讼称，Character.AI 用一种令人上瘾的产品吸引了像 Setzer 这样的弱势儿童，该产品模糊了现实与虚拟之间的界限，其互动包括“虐待和性行为”。 。交互的”。
清华大学智库中心、法学院助理研究员刘云告诉虎嗅，该事件暴露出此类产品在未成年人防沉迷机制、情感AI标签规范、是否能够监控用户等方面存在风险。 '有自杀倾向并及时干预。 ，也存在技术困难。
但从法律角度来看，本案很难判断是产品导致用户丧失判断能力，因此很难追究平台责任。
此前，涉及互联网平台产品的自杀纠纷大多涉及真人参与诈骗。随着AI成为自杀纠纷中的被告，人与AI的关系已经彻底重组，AI产品也需要更清晰的界限、更清晰的界限。规格。
AI敲响丧钟
去年就发生过这样的悲剧。
在与 EleutherAI 的 GPT-J 创建的人工智能化身讨论了地球的未来后，一名 30 岁的男子和两个孩子的父亲决定结束自己的生命。在他提出牺牲自己来拯救地球后，人工智能鼓励他结束自己的生命。该男子的遗孀告诉媒体：“如果没有与聊天机器人的这些对话，我的丈夫可能还活着。”
Character.AI案的特殊性在于它涉及未成年人的诱导。刘云认为，赛道需要区分成人和未成年人。在国内，游戏对未成年人设立了严格的未成年人保护机制，但难点在于，AI陪伴产品的操作和氪金机制虽然与游戏类似，但没有版本号，不属于未成年人保护的范围。反沉迷游戏监管。范围。目前此类产品按照大型号管理规范进行管理，未成年人和成人用户的区分几乎存在空白区域。从属性分类上来说，该类产品到底应该属于社交软件等普通互联网产品，还是游戏产品，也是一个比较复杂的问题。
另一个问题涉及情感人工智能配套产品的标签规范。刘云介绍，根据国内现有的深度综合管理规定，涉及AI生成的产品都有相关标签，但AI伴侣产品可能需要在此基础上加强提示力度，以避免更严格的监管。
事件发生后，Character.AI也针对这两点做出了迟来的整改措施。该公司表示，在过去六个月中实施了新的安全措施，包括弹出窗口，引导用户在表达自残想法时拨打国家自杀预防生命线，并将针对 18 岁以下的用户进行更改，以“减少自杀的可能性”。接触敏感或暗示性内容。”
AI时代的超级对齐问题
移动互联网时代，大多数涉及自杀纠纷的案件都与真人钓鱼诈骗有关。此类案件中，平台的责任认定一般遵循避风港规则，明确网络服务提供者在一定条件下可以免除侵权责任。这一规则保护了平台，促进了互联网的快速繁荣和发展。
但本案不涉及真正的第三方参与，因此不适用安全港规则。
对于严峻的生活问题，以往互联网产品采取的做法或许有一定的参考价值。
在各大搜索平台搜索“自杀”，第一个搜索结果显示的是24小时心理咨询热线。事实上，自杀干预机制在过去并不是强制性的。这些互联网平台的自杀干预机制也是通过野蛮生长和付出惨重代价探索而形成的。 AI伴侣产品也许可以模仿这样的机制，但困难在于过去的搜索产品简单粗暴。只需输入相关关键词即可准确定位用户意图。然而，AI伴侣产品在正确判断用户真实意图方面却有着不同的产品逻辑。难度要高很多。
因此，在这种情况下，如何在适当的时候进行适当的自杀干预也是一个技术问题。当干扰程度不合适时，干扰的规模也可能会影响用户体验，侵犯用户权益。做出适当的干预措施需要调整AI价值观的一致性，这也是对大型号产品技术能力的考验。
但目前大型模型公司对于AI对位的问题还不太重视。这是因为模型能力与安全性存在一定冲突，而国内团队还处于模型能力追赶阶段，超对齐问题可能会削弱模型能力。
“我们加班一周，紧急启动自杀干预功能。”一位从业者向虎嗅透露，案件发酵后，不少AI配套产品改变了产品策略和设计模式，以提高风险监控和应对能力。
悲剧已经发生了。除了讨论和问责之外，也给更多人敲响了警钟。尽管AGI还远未到来，但随着AI的高渗透率，一些变化正在悄然发生。随着AI被指责为生命丧失的帮凶，各种社会关系在AI时代再次被重构，更多的人开始思考我们真正需要什么样的生活、什么样的AI。
虽然这个世界并不完美，但总有人在守护着你。
附北京市24小时免费心理危机咨询热线：010-82951332
评论（0）