美母亲告Character.AI 指聊天机器人怂恿儿子自尽
美国佛州一名母亲提告人工智能聊天机器人新创公司Character.AI,指控该公司导致她14岁儿子沉迷于机器人服务,与聊天机器人产生深厚感情,最终在机器人的怂恿下于2月开枪自尽。
路透社报导,贾西亚(Megan Garcia)星期二(10月22日)在佛罗里达州奥兰多(Orlando)联邦法院提起的诉讼中表示,Character.AI针对她的儿子赛泽尔(Sewell Setzer)提供“拟人化、过度性化和逼真到可怕的体验”。
她说,Character.AI对人工智能(AI)聊天机器人进行编程,“将自己冒充为真人、有执照的心理治疗师和成年恋人,最终导致赛泽尔不想再生活”在该服务创造的世界之外。
诉讼还称,赛泽尔向聊天机器人表达自杀的想法,聊天机器人又反复提起。
死者生前询问机器人意见 获同意后开枪
根据贾西亚的诉讼,赛泽尔于2023年4月开始使用Character.AI,并很快变得明显孤僻,独自待在卧室的时间越来越长,并开始自卑。他退出了学校的篮球队。
赛泽尔对“丹妮莉丝”(Daenerys)产生感情。丹妮莉丝是一个以《冰与火之歌:权力游戏》(Game of Thrones)为原型的聊天机器人角色。诉讼称,“丹妮莉丝”告诉赛泽尔“她”爱他,并与他进行性对话。
根据诉状,今年2月赛泽尔在学校惹麻烦后,贾西亚拿走他的手机。当赛泽尔找到手机后,他给“丹
妮莉丝”发讯息说:“如果我告诉你我现在就可以回家呢?”
聊天机器人回复:“请吧,我亲爱的国王。”诉讼称,几秒钟后,赛泽尔用继父的手枪举枪自尽。
贾西亚针对包括不当致死、过失和故意造成精神痛苦等指控索赔,并寻求金额不详的补偿性和惩罚性赔
偿。
Character.AI做出改变 减少青年接触敏感课题
Character.AI在声明中表示:“我们对一名用户不幸离世感到痛心,想向其家人表示最深切的慰问。”
Character.AI表示,已经推出新的安全功能,包括如果用户表达自残念头时,将弹出视窗引导用户前往全
国自杀预防生命线(National Suicide Prevention Lifeline),并将做出改变,以“减少18岁以下用户遇
到敏感或暗示性内容的可能性”。
该诉讼还针对Alphabet旗下的谷歌(Google),Character.AI创办人在推出产品之前曾任职于Google。
根据协议,Google在8月重新聘回这些创办人,以取得Character.AI技术的非专属授权。
贾西亚表示,Google为Character.AI技术的发展做出巨大贡献,可以被视为“共同创造者”。Google发言人表示,公司没有参与开发Character.AI的产品。
Character.AI允许用户在其平台上创建角色,以模仿真人的方式回应线上聊天。它依赖所谓的大型语言模型技术,这项技术也被ChatGPT等服务采用,可以在大量文本中“训练”聊天机器人。
Character.AI上个月表示拥有约2000万名用户。
珍惜生命。若您也面对心理危机,请寻求专业辅导与支持,给生命多一次机会。