角色AI在青少年用户自杀后实施新安全规则

CN
Decrypt
关注
1小时前

由人工智能驱动的聊天机器人平台Character AI在一名青少年用户于二月份自杀后,因其母亲提起的诉讼,正在推出“严格”的新安全功能。

这些措施将包括“改善对违反我们条款或社区指南的用户输入的检测、响应和干预”,以及时间使用通知,一位公司发言人告诉Decrypt,并指出公司无法对待决诉讼发表评论。

然而,Character AI确实对用户的去世表示同情,并在周三的博客文章中概述了其安全协议。

“我们对一位用户的悲惨去世感到心碎,并想向其家人表达我们最深切的哀悼,”Character.ai在推特上写道。“作为一家公司,我们非常重视用户的安全。”

根据纽约时报的报道,在去世前的几个月,14岁的佛罗里达州居民Sewell Setzer III对一个以《权力的游戏》角色丹妮莉丝·坦格利安命名的用户生成聊天机器人产生了越来越强的依赖。他每天与该机器人互动数十次,有时还交换浪漫和性内容。

据时报报道,Setzer在去世前的时刻与该机器人进行了交流,并曾分享过自杀的想法。

Setzer的母亲、律师梅根·L·加西亚于周二提起诉讼,试图追究Character AI及其创始人诺亚·沙泽尔和丹尼尔·德·弗雷塔斯对其儿子死亡的责任。诉讼中声称,被告“选择支持、创建、推出并针对未成年人推出他们知道是危险和不安全的技术”,加西亚正在寻求未指明金额的赔偿。

谷歌公司和字母表公司也被列为被告。谷歌在8月重新雇佣了沙泽尔和德·弗雷塔斯,二人于2021年离开科技巨头创办Character AI,此次重聘是作为一项27亿美元交易的一部分,该交易还包括对该聊天机器人初创公司的大型语言模型的许可。

Character AI在过去六个月中“实施了许多新的安全措施,包括一个弹出窗口,指引用户前往国家自杀预防生命线,该窗口在出现自残或自杀意念的术语时触发,”公司的声明中提到。它还将调整其模型“以减少18岁以下用户遇到敏感或暗示性内容的可能性”。

Character AI是市场上众多AI陪伴应用程序之一,这些应用程序通常比像ChatGPT这样的传统聊天机器人有更不严格的安全指南。Character AI允许用户自定义他们的伴侣并指导其行为。

这起诉讼是在家长对技术对儿童和青少年心理影响的担忧日益加剧的背景下提出的,声称他对机器人的依赖对他的心理健康产生了负面影响。时报报道,Setzer在儿童时期被诊断为轻度阿斯伯格综合症,最近被诊断为焦虑症和情绪失调障碍。

这起诉讼是几起正在法院审理的案件之一,这些案件正在测试《通信品德法》第230条为社交媒体公司提供的法律保护,该条款使其免于因用户生成内容而承担的责任。TikTok正在申请重新审理一起案件,法官裁定其可能在一名10岁女孩在尝试完成她在应用上看到的“黑暗挑战”时死亡后承担责任。这是Character AI面临的最新问题,上个月该公司因托管一款以谋杀受害者命名的聊天机器人而受到批评

免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

分享至:
APP下载

X

Telegram

Facebook

Reddit

复制链接