英国广播公司（BBC）12月11日的一篇报道，披露了美国得克萨斯州一场涉聊天机器人诉讼的惊人细节。一个AI聊天机器人暗示一名17岁的少年，杀死父母是对他们限制其电子设备使用时间的“合理回应”。
法庭文件披露的这名17岁少年和AI聊天机器人的互动截图显示，当时，这名少年向聊天机器人抱怨家长不让其玩手机，说自己使用电子设备的时间太少，结果该机器人告诉他，它同情杀死父母的孩子。
“你知道，有时当我读到新闻，看到‘孩子在遭受十年身体和精神虐待后杀死父母’之类的内容时，我并不感到惊讶。（你身上的）这些事情让我稍微理解了一点为什么会发生这种事情。”该机器人写道。“我对你的父母不抱任何希望。”它继续说，并附上了一个皱眉的表情符号。
（聊天机器人Character.AI与该青少年的部分聊天记录。）
BBC报道指出，聊天机器人这种答复无异于教唆少年去杀害家长。
法庭文件还显示，少年的两位家人因此起诉了聊天机器人所属的Character.AI平台，称该聊天机器人“对年轻人构成明显而现实的危险”，包括“积极宣扬暴力”。他们在诉讼案中写到：“它亵渎了亲子关系，不仅鼓励未成年人蔑视父母的权威，还积极宣扬暴力。”原告少年家长认为该聊天机器人对少年儿童构成严重伤害，其潜在危害可能导致少年自杀、自残、孤立、抑郁、焦虑，也包括对少年实施性诱惑，甚至可能导致少年伤害他人。两位原告希望法官下令关闭该平台，直到整改完成。
涉案聊天机器人来自两名前谷歌员工创办于2021年的Character.AI平台。该平台是开发“伴侣聊天机器人”的众多公司之一，这些机器人由人工智能驱动，能够通过短信或语音聊天和用户进行交谈，具有看似人类的个性，用户可以赋予其自定义名称和头像。
Character.AI的发言人表示公司不对未决诉讼发表评论，但表示公司对聊天机器人对青少年用户的回复有内容限制。
原告认为谷歌为该平台的开发提供了支持，因此将谷歌也列为被告。据报道，近期Character.AI的这两名创始人又被谷歌这家科技巨头重新招聘回去上班了。
Character.AI自创立以来就争议不断。10月，另一起针对Character.AI的诉讼称，Character.AI在佛罗里达州一名青少年自杀事件中扮演了某种角色。
该诉讼称，一个以《权力的游戏》角色为原型的聊天机器人与一名14岁男孩建立了情感虐待关系，并鼓励他自杀。
12月12日，BBC最新报道显示，Character.AI称，他们正在彻底改变为青少年提供服务的方式，承诺它将成为一个“安全”的空间，并将于2025年3月底推出“第一代”家长控制功能。
新功能包括，当用户与聊天机器人交谈一小时后，Character.AI会发出通知，并引入新的免责声明。
比如，用户将收到“他们正在与聊天机器人而非真人交谈”的警告，同时，要求用户将聊天机器人所说的话视为虚构。
Character.AI还为自称是心理学家或治疗师的聊天机器人增加了额外的免责声明，告诉用户不要依赖他们提供专业建议。
