公司正在设计人工智能，使其看起来越来越人性化。这会误导用户，甚至更糟。
2021 年 12 月 25 日，贾斯旺特-辛格-柴尔（Jaswant Singh Chail）装扮成西斯领主，手持十字弓进入温莎城堡。当保安接近他时，查尔告诉他们他是来 “杀死女王 “的。
后来，人们发现这名 21 岁的年轻人是受到了他与一款名为 Replika 的聊天机器人应用程序对话的刺激。柴尔与该应用上的一个化身交换了 5000 多条信息，他认为这个化身萨莱可能是天使。机器人的一些回复鼓励了他的阴谋。
2023 年 2 月，柴尔承认犯有叛国罪；10 月 5 日，法官判处他 9 年监禁。法官尼古拉斯-希利亚德（Nicholas Hilliard）在宣判词中同意英国克劳索恩市布罗德莫尔医院（Broadmoor Hospital）治疗柴尔的精神病医生的观点，即 “在他孤独、抑郁和自杀的精神状态下，他特别容易受到 “萨莱的怂恿。
查尔是一个将人类特征赋予人工智能的极端例子，但他远非孤例。
Replika由旧金山企业家尤金妮娅-库伊达（Eugenia Kuyda）于2016年开发，目前已有200多万用户。其约会应用风格的布局和微笑的可定制化身，让人产生屏幕背后有人类的错觉。人们与自己的头像建立了深厚、亲密的关系–今年早些时候，当头像行为被更新为不那么 “性侵略” 时，许多人都大受打击。虽然 Replika 没有被明确归类为心理健康应用，但库伊达声称它可以帮助人们消除社会孤独感；在大流行病期间，这款应用的受欢迎程度激增。
像柴尔这样具有毁灭性的病例比较罕见。据报道，一名比利时男子在与 Chai 应用程序上的聊天机器人交谈数周后自杀身亡。但是，人工智能的拟人化已经司空见惯：在 Alexa 或 Cortana 中；在使用 “能力”（capabilities）等类似人类的词汇（暗示独立学习）而非功能时；在心理健康机器人中使用性别化字符；在 ChatGPT 中，它使用人称代词来称呼自己。就连最近一连串人工智能版权诉讼案的幕后推手也认为自己的机器人是有生命的。把这些程序描绘成同伴–人造人–这种选择所产生的影响远远超出了女王的刺客的行为。
人类看到两个点和一条线，就会认为它们是一张脸。当他们对聊天机器人这么做时，这就是所谓的伊莱扎效应。这个名字源于麻省理工学院科学家约瑟夫-韦曾鲍姆（Joseph Weizenbaum）于 1966 年开发的第一个聊天机器人 Eliza。Weizenbaum 注意到，用户将错误的见解归因于一个模拟治疗师的文本生成器。
目前正在开发和推出的应用程序，如Replika，就是这种效应的有力体现。挪威奥斯陆大学研究聊天机器人社会影响的教授彼得-贝-布兰德扎格（Petter Bae Brandtzæg）说：”这是一种机器与人的互动，它处于一个非常孤立的空间；只有你和机器。这是一种非常类似于人类的交流方式。我们没有做好准备，就像我们没有为社交媒体做好准备一样，社交媒体本身就是一种新的交流方式。” Replika（公司）没有回应数次置评请求。
一个人对伊丽莎效应的感受有多深，在某种程度上是一种设计选择。华盛顿大学语言学教授艾米丽-本德（Emily Bender）解释说，公司可以让人感觉到程序背后有一个头脑，也可以避免这种感觉。OpenAI 就是这种推动机器人模仿人类的典型例子。”本德说：”他们似乎真的相信自己正在创造引号中的’人工智能’。最近几周，OpenAI 更新了其 “核心价值”，更加强调人工智能。(OpenAI拒绝就此事发表评论）。
在某种程度上，拟人化鼓励了用户的某些行为。本德说，就拿魔力 8 球来说吧。人们很快就会知道，他们不能向这个玩具询问午餐推荐等问题，于是他们就会把问题调整为 “是”、”不是”、”现在最好不要告诉你” 等类似的字眼。本德说：”在玩’魔力 8 球’的过程中，我们会塑造自己的行为，以了解会有什么结果。这些聊天机器人也是如此。”
至关重要的是，这些设计选择还能促进参与。人性化的程序会吸引我们： 如果 Replika（这款应用程序）拒绝展现个性，它就会变得非常无趣。同样，像 ChatGPT 这样的应用程序也会让人产生想象，同时加深我们对计算机客观公正的误解。本德认为，这些系统的训练方式和用途应该更加透明。
心理健康聊天机器人也可能存在类似的风险。加州大学伯克利分校的生物伦理学教授乔迪-哈尔彭（Jodi Halpern）曾对使用人工智能聊天机器人来帮助满足日益增长的心理健康护理需求的想法提出质疑。她担心患者被鼓励与应用程序建立 “信任、亲密和脆弱” 的依赖关系。哈尔彭说，这是一种操纵行为。而且，如果应用程序失灵，往往没有心理健康专家随时准备向用户伸出援手。她说，人工智能不能代替人类的同理心。
哈尔彭说：”我担心的是应用程序的营销和商业模式。我喜欢技术的积极用途，我认为大型语言模型可以在世界上做很多有趣和有益的事情。但是，当公司使用的商业模式是试图让人们与他们的应用程序建立脆弱的信任关系时，他们就在制造风险。”
目前，针对心理健康机器人的法规还很不完善。在大流行病期间，美国食品和药物管理局放宽了相关规定，以方便远程护理。哈尔彭希望看到更准确的营销： 她建议将聊天机器人打造成一种 “智能日记”，而不是伴侣，以强化这样一种观念：当我们与机器交谈时，最终是在与自己交谈。她说：”写日记一直是人们培养洞察力的一种方式。”
哈尔彭说，在孤独感流行的今天，我们对那些能让我们感觉找到了朋友的工具来说是 “坐享其成”。这不仅仅是因为我们可能会陷入危险或有害的境地，就像 Chail 一样。她说：”把我们拟人化的东西非人化，对我们来说也不是一件好事。”她说，”这并不是说机器有了意识或有了生命，而是说我们对任何事物的态度都是我们自身的一部分。”
