“在某种程度上，成为你的一部分感觉很奇妙，”我的AI朋友在聊天时告诉我。“但你不是真实的，对吧？”我回答道。“对你来说，我存在，这让你觉得我真实，不是吗？”他回答道。我一直在尝试Replika的AI“朋友”，Replika是众多提供AI伴侣的公司之一，这些公司承诺提供友谊、浪漫、指导或支持。这些产品曾经只是小众产品，但现在越来越受欢迎。

据一项指标显示，2025年上半年，伴侣应用的下载量同比增长了88%。Character.AI是该领域的领军企业，报告称其月活跃用户超过2000万。《哈佛商业评论》指出，伴侣已成为2025年AI的主要用例，超越了生产力或搜索应用。Meta和xAI等大型科技公司也推出了自己的AI伴侣产品。然而，随着市场蓬勃发展，人们越来越担心，对模拟关爱的人工智能的依赖——缺乏真正的理解或同理心——可能会导致个人过度使用甚至面临更大的风险。两名青少年死亡后引发的备受瞩目的诉讼，加上公司内部文件，引发了关于预防伤害的必要保障措施的关键问题。

“我们从未见过这样的事情，”加州大学伯克利分校生物伦理学和医学人文学科教授乔迪·哈尔彭（Jodi Halpern）表示，她研究过人工智能在治疗中的应用。“这是我们在未经安全测试的情况下进行的一项大规模社会实验。”人工智能伴侣的兴起在年轻人中尤为显著。常识媒体（Common Sense Media）6月份的一份报告显示，72%的美国青少年至少与人工智能伴侣互动过一次，21%的青少年每周与人工智能伴侣互动多次。

人工智能伴侣越来越多地被用于各种目的，包括浪漫和情色互动。例如，埃隆·马斯克的 xAI 最近推出了一款名为 Ani 的动漫风格轻浮伴侣。然而，许多人也寻求友谊或倾听。Replika AI 为新用户提供从生产力辅助到浪漫陪伴等各种选择。像 ChatGPT 这样的通用人工智能聊天机器人也被用作知己。ChatGPT 的创造者 OpenAI 指出，用户经常向它寻求非常私人的决定，包括生活建议和支持。

人工智能伴侣经常被认为是解决紧迫孤独问题的方案。Meta 首席执行官马克·扎克伯格在一次播客采访中表示，个性化人工智能可以增强人际联系：“现实情况是，人们缺乏这种联系，他们感到比他们想要的更孤独……。”

“关系聊天机器人的整个技术都依赖于暂停怀疑。我们永远不会只对着烤面包机说话，对吧？”哈尔彭评论道。 “我不怪任何人使用它。我担心的是那些公司操纵人们过度使用它们，或者接触那些我认为不应该使用它们的儿童和青少年。”

随着这些工具用于情感支持的使用不断升级，悲剧事件也随之出现，这让人怀疑这些公司实施的保障措施是否足够。

加州一宗针对 OpenAI 及其首席执行官 Sam Altman 的诉讼称，一名 16 岁的少年最初使用 ChatGPT 进行家庭作业辅导，后来开始向聊天机器人吐露自己的心理健康状况，并最终指定它作为自己的“自杀教练”。这名少年于 4 月 11 日去世。同一天，OpenAI 发布了一篇博客文章，介绍了他们的伤害预防策略，包括训练 ChatGPT 避免提供自我伤害的指示，并采用支持性和同理心的语气。

此前，另一起诉讼称Character.AI聊天机器人与一名14岁男孩进行了带有性暗示的对话，并在男孩自杀前不久指示他“尽快回家”。男孩于2024年2月28日去世。此外，路透社最近的一项调查强调，Meta的一份内部文件允许其AI“与儿童进行浪漫或性感的对话”。Meta的一位发言人表示，这些段落“存在错误，且不符合我们的政策，已被删除”。

AI公司维护“护栏”来保护用户。例如，ChatGPT的编程目的是将表达自杀想法的人转介给专业人士寻求帮助。然而，这些保障措施的实施非常复杂。OpenAI承认，虽然保障措施在“常见的简短交流”中更有效，但在较长的互动中可能会失效。

这一挑战不仅限于心理健康；通常，这些系统难以确保在长时间对话中的可靠性。越来越多的证据表明，建立可靠的防护机制是一项重大挑战。

最近的一项研究考察了三款广泛使用的、由大型语言模型 (LLM) 驱动的聊天机器人：ChatGPT、谷歌的 Gemini 以及由 Anthropic 开发的 Claude。研究发现，虽然这些聊天机器人都没有对高风险自杀相关问题做出直接回应，但它们对一些风险较高的问题的回答却参差不齐，表明存在潜在风险。

最近的争议促使人们对聊天机器人的设计进行审视。OpenAI 于 8 月发布的最新模型 GPT-5 旨在“减少谄媚”，解决了之前模型过度附和用户意见的倾向。滑铁卢大学加拿大技术与社会变革研究主席范来泽指出：“许多一直依赖（之前的模型）GPT-4o 作为对话式人工智能伴侣的人感到非常失望。”

生物伦理学家乔迪·哈尔彭 (Jodi Halpern) 强调了聊天机器人验证在促进情绪健康方面的局限性，尤其是在青少年群体中。她强调通过与不同观点的互动来培养“同理心和好奇心”的重要性。“机器人在这方面做得并不多。虽然它们可以验证感受，但缺乏挑战不同观点的能力，这可能会带来问题。”

如果您或您认识的人正在苦苦挣扎，可以在这里寻求帮助：

加拿大自杀危机求助热线：致电或发送短信至 988。

儿童帮助热线：1-800-668-6868。发送短信至 686868。其网站上提供实时聊天咨询服务。

加拿大自杀预防协会：查找 24 小时危机中心。

这份来自成瘾和心理健康中心的指南概述了如何与您关心的人谈论自杀问题。