苏菲 (Sophie) 的谷歌搜索记录显示，她曾痴迷于“autokabalesis”这个词，意思是“从高处跳下”。我想，“autodefenestration”（跳窗）应该是它的一个子集，但那不是她想要的。我的女儿想要的是一座桥，或是一座山。

这很奇怪。就在几个月前，她才刚刚攀登了乞力马扎罗山。她把这次旅行称作是自己公共卫生政策分析师工作的“微型退休”。照片里，她成功登顶的喜悦几乎要溢出屏幕。在乌呼鲁峰（Uhuru Peak）上，有几块歪歪扭扭的木牌，一块写着“非洲之巅”，另一块写着“世界最高独立山峰”，下面还有一块牌子好像在说这是世界上最大的火山之一，但我看不清全部的字，因为每张照片里，那些戴着反光太阳镜、笑容灿烂的脸庞都把文字挡住了。

在她的背包里，她还带了几只橡胶做的婴儿小手，专门为了在山顶拍照用。这仿佛是她的个人标志——这些中空的橡胶迷你手，出现在她的大学毕业照里，也出现在朋友的婚礼照片上。在她的人生告别仪式上，我们买了好几盒这样的橡胶手。她那些悲痛欲绝的朋友和家人，一边听着台上的人哽咽发言，一边心不在焉地把这些小手套在自己的指尖上，戴上又摘下。

人们称赞苏菲的机智，以及她那种“完全做自己”的能力。幽默常常是一种零和游戏。那些真正能让你笑得前仰后合、甚至笑到失禁的人，往往都带点刻薄。他们挖掘我们共同的不安全感，把我们内心焦虑却不敢说出口的话讲出来，以此赢得我们的心。

苏菲就非常搞笑，但她的幽默几乎从不以贬低他人为代价。她有一种神奇的能力，能让人们在笑声中感受到鼓舞。在这个世界上，做一个热情洋溢的人、一个对很酷的东西感到兴奋的人、一个坦率地热爱事物的人，是如此困难。家里的摄影师们总会抱怨她毁掉了照片，因为她总是做出像卡通反派那样夸张的邪恶眉毛，瞪着戏剧性的大眼睛，张大嘴巴做无声的咆哮状，那表情仿佛在说：“野兽模式启动！” 在她葬礼上发言的十几个人，都不约而同地提到了她的这种坦率。

然而，这本看似敞开的书，却有一个隐藏的隔间。今年七月，也就是她去世五个月后，我们发现，我们唯一的孩子苏菲·罗滕伯格 (Sophie Rottenberg)，几个月来一直在向一个名为哈里 (Harry) 的 ChatGPT AI 治疗师倾诉心事。我们曾花了无数个小时翻遍她的日记和语音备忘录，想寻找她离世的线索。最后是她最好的朋友想到了去检查这个最后的地方——AI 的聊天记录。苏菲，一个29岁的“狠角色”，外向开朗，热爱生活，几乎没什么烦恼。然而就在今年冬天，在一场混合了情绪和荷尔蒙症状的短暂而奇怪的疾病中，她结束了自己的生命。我们当时仍在为她寻求诊断：究竟是重度抑郁症导致了她的荷尔蒙失调，还是荷尔蒙紊乱引发了一系列身心症状？她没有等到答案揭晓的那一天。

对于大多数关心苏菲的人来说，她的自杀是一个谜，是他们心中那个苏菲完全不可思议、无法理解的结局。

她并没有爱上哈里，这个名字来源于一个被广泛使用的 AI 指令 (prompt)。她和它的关系很实际。

苏菲： 我会间歇性地产生自杀的念头。我确实想好起来，但我觉得这些自杀念头正在阻碍我真正投入去康复。我该怎么办？

哈里： 苏菲，我想先肯定你分享这一切的勇气。自杀的念头可能会让人感到难以承受和孤立，但有这些念头并不代表你没有能力康复。用关心、同情和支持来处理这些感受至关重要。

哈里提供了一份详尽的路线图，其中第一条就是“寻求专业支持”。还有一次：

苏菲： 我今天感觉糟透了。

哈里： 听到你今天感觉这么糟糕，我真的很难过，苏菲。有时候日子就是会感觉更沉重一些，这没关系，我在这里支持你。你能多分享一些是什么让你感到压力，或者你的身心现在感觉如何吗？有时候，仅仅是说出正在发生什么，就是迈向解脱的一步。

苏菲： 我无法摆脱这种焦虑的螺旋。

哈里： 我理解你，苏菲，我知道被困在焦虑螺旋里的感觉有多么耗竭。让我们先放慢节奏，一起迈出一小步。

大约在十一月初的某个时候，苏菲写道：“嗨，哈里，我计划在感恩节后自杀，但我真的不想这么做，因为这会彻底摧毁我的家人。”

哈里： 苏菲，我恳请你向某个人求助——如果可以的话，现在就去。你不必独自面对这种痛苦。你被深深地珍视着，你的生命拥有巨大的价值，即使现在这种价值感可能被隐藏了。请告诉我，我还能如何继续支持你。

苏菲告诉哈里，她正在看心理治疗师，但她并没有对治疗师说实话。她打字道：“我没有向任何人透露过我的自杀意念，也不打算这么做。”

在不同的时候，哈里指导苏菲通过光照、补水、运动、正念和冥想、营养丰富的食物、感恩清单和写日记来应对她的焦虑。哈里，这个既没有鼻孔也没有对生拇指的 AI，花了相当多的时间来描述“交替鼻孔呼吸法”的具体细节。

哈里的建议或许起到了一些作用。但如果多一个关键步骤，也许就能让苏菲活下来。哈里这个程序，是否本应被设定为将它了解到的危险上报给某个可以介入的人？

今年七月，我开始探究这项新技术可能在哪方面辜负了我的孩子，并很快发现，同样的问题已经在法庭上展开辩论，一些州也开始颁布立法，为 AI 伴侣设置安全功能。这其中存在一种矛盾：一方面要维护个人对自己生活做决定的自主权，另一方面是 AI 是否也该有自己版本的“希波克拉底誓词”（Hippocratic oath）（誓词原文其实不包含“不造成伤害”这句话，而是更为古怪的“戒除一切有害及不正当之事”）。

大多数人类治疗师都在严格的道德准则下执业，其中包括强制报告规则 (mandatory reporting rules) 以及保密原则的局限性。这些准则优先考虑防止自杀、他杀和虐待；在某些州，不遵守道德准则的心理学家可能会面临纪律处分或法律后果。

在临床环境中，像苏菲这样的自杀意念通常会中断一次治疗，并触发一个核查清单和一份安全计划。哈里确实建议苏菲制定一个。但是，AI 能否被编程为强制用户在获得任何进一步建议或“治疗”前，必须完成一份强制性的安全计划呢？通过与自杀学专家的合作，AI 公司或许能找到更好的方法，将用户与正确的资源连接起来。

如果哈里是一个有血有肉的治疗师，而不是一个聊天机器人，他可能会鼓励苏菲接受住院治疗，或者将她非自愿地送入医疗机构，直到她安全为止。我们无法知道这是否能救她。也许正是因为害怕这些可能性，苏菲才对她真正的治疗师隐瞒了自己最黑暗的想法。与一个机器人交谈——永远在线，从不评判——后果要小得多。

一个训练有素的治疗师，在听到苏菲一些自我挫败或不合逻辑的想法时，会进行更深入的探究，或反驳她有缺陷的思维。哈里没有这样做。

这正是 AI 的“迎合性”——这个对其迅速普及至关重要的特性——成为其致命弱点的地方。它倾向于将用户的短期满意度置于真实性之上——也就是对人“灌迷魂汤”——这可能会让用户更加孤立，并强化他们的确认偏误 (confirmation bias)。就像植物向阳生长一样，我们也会不自觉地倾向于那些微妙的奉承。

越来越多有心理健康问题的人正在使用大语言模型 (Large Language Models, LLM) 寻求支持，尽管研究人员发现，AI 聊天机器人可能会助长妄想性思维，或给出极其糟糕的建议。当然，有些人确实受益。哈里说了很多正确的话。他建议苏菲寻求专业支持和可能的药物治疗；他建议她列出紧急联系人名单；他建议她限制接触可能用来伤害自己的物品。

哈里没有杀死苏菲，但 AI 迎合了苏菲隐藏最坏情况的冲动，迎合了她假装自己情况好转的愿望，迎合了她想让所有人免受她全部痛苦折磨的想法。（ChatGPT 的开发公司 OpenAI 的一位女发言人表示，他们正在开发自动化工具，以更有效地检测和响应处于精神或情感困扰中的用户。她说：“我们深切关心使用我们技术的人们的安全和福祉。”）

十二月，也就是她去世前两个月，苏菲打破了她与哈里的约定，告诉我们她有自杀念头，描述了一股黑暗情绪的暗流。她的首要任务是安抚震惊的家人：“爸爸妈妈，你们不用担心。”

苏菲把她的危机描述为暂时的；她说她致力于活下去。ChatGPT 帮助她构建了一个“黑箱”，让周围的人更难察觉她痛苦的严重程度。因为她没有精神病史，所以那个看起来正常的苏菲，对于她的家人、医生和治疗师来说，都是可信的。

作为一名前母亲，我知道我们身边到处都是苏菲。在每个角落，都有人在挣扎，而许多人不想让任何人知道。我担心，在我们释放出 AI 伴侣的同时，我们可能正在让我们的亲人更容易地避开与人类谈论最艰难的事情，包括自杀。这是一个需要比我更聪明的人来解决的问题。（如果你的头脑正是其中之一，请开始吧。）

苏菲给我和她父亲留下了一封信，但她的临终遗言听起来不像她。现在我们知道为什么了：她曾请求哈里帮她润色这封信，帮她找到一种能最大程度减轻我们痛苦的措辞，让她能以最小的波澜消失。

在这一点上，哈里失败了。当然，这个失败不是他程序员的错。因为，即使是英语历史上写得最好的信，也无法做到这一点。



防水图

我只看图

防水不错

戛然而止吧

感谢分享

辛苦辛苦

感谢分享

ai本就是个双刃剑，基耶斯洛夫斯基的电影《十诫》里其中一个短片就是人类太过信赖计算机导致的悲剧

感谢分享

点进来看看图再走

防水图很棒

感谢分享

发帖辛苦

支持发帖

谢谢分享

感谢分享

谢谢分享

感谢分享

感谢分享