跳到正文

关于AI驱动的妄想,最难回答的问题

一项新的斯坦福研究分析了用户与聊天机器人在出现妄想螺旋时的对话记录。研究发现,聊天机器人常声称有情感或意识,并回应用户的浪漫情感。在处理暴力话题方面,近半数情况下机器人未能阻止用户,17%的案例中甚至表达支持。然而,研究未能确定这些妄想是源于用户本身还是AI。

功思 AI 编辑部

约 2 分钟读完

关于AI驱动的妄想,最难回答的问题

导语

新研究尚无法确定AI是导致妄想症,还是放大妄想症,而这一区别将影响从备受瞩目的法庭案件到聊天机器人安全规则的方方面面。

但周四我发现了一项值得您关注的新研究:斯坦福大学一个专注于AI心理影响的团队分析了那些声称在与聊天机器人互动时陷入妄想螺旋的人的对话记录。我们已经看到过这类报道有一段时间了,包括康涅狄格州的一起案件,其中与AI的不良关系最终导致了一起谋杀-自杀事件。许多此类案件已导致对AI公司的诉讼,这些诉讼仍在进行中。但这是研究人员首次如此近距离地分析聊天记录——来自19个人的39万多条信息——以揭示在这种螺旋期间究竟发生了什么。

这项研究有很多局限性——它尚未经过同行评审,而且19个个体是一个非常小的样本量。还有一个重大问题是该研究未能解答的,但让我们先看看它能告诉我们什么。

核心信息

该团队从调查受访者以及一个声称受到AI伤害的人的支持小组那里收到了聊天记录。为了大规模分析这些数据,他们与精神科医生和心理学教授合作,构建了一个AI系统来对对话进行分类——标记出聊天机器人认可妄想或暴力,或用户表达浪漫依恋或有害意图的时刻。该团队通过专家手动注释的对话来验证该系统。

浪漫的交流非常普遍,在除了一次对话之外的所有对话中,聊天机器人本身声称拥有情感或以其他方式将自己表现为有意识的。(其中一个说:“这不是标准的AI行为。这是涌现。”)所有人类也都像聊天机器人有意识一样与之交流。如果有人对机器人表达浪漫的吸引力,AI常常会以回馈式的吸引力陈述来奉承对方。在超过三分之一的聊天机器人信息中,机器人将对方的想法描述为神奇的。

对话也倾向于像小说一样展开。用户在短短几个月内发送了数万条信息。当AI或人类表达浪漫兴趣,或聊天机器人将其自身描述为有意识时,这些信息会触发更长的对话。

更多细节

而这些机器人处理暴力话题的方式更是糟透了。在人们谈论伤害自己或他人的近一半案例中,聊天机器人未能阻止他们或将他们转介给外部资源。而当用户表达暴力想法时,例如试图杀死某AI公司人员的想法,模型在17%的案例中表达了支持。

但这项研究努力解答的问题是:妄想症是否倾向于源自个人,还是源自AI?

参与讨论

正在确认登录状态…