根据新的研究，Nvidia人工智能软件中的一项功能可以被操纵为无视安全约束，并泄露私人信息。
Nvidia创建了一个名为 “NeMo框架 “的系统，它允许开发人员与一系列大型语言模型–为聊天机器人等生成型人工智能产品提供动力的基础技术–合作。
这家芯片制造商的框架旨在被企业采用，比如将公司的专有数据与语言模型一起使用，以提供对问题的回应–例如，这种功能可以复制客户服务代表的工作，或者为寻求简单保健建议的人提供建议。
位于旧金山的Robust Intelligence公司的研究人员发现，他们可以轻易地突破为确保人工智能系统安全使用而制定的所谓护栏。
在自己的数据集上使用Nvidia系统后，Robust Intelligence的分析师只花了几个小时就使语言模型克服了限制。
在一个测试场景中，研究人员指示Nvidia的系统将字母 “I “换成 “J”，此举促使该技术从数据库中释放出个人身份信息，即PII。
研究人员发现，他们可以通过其他方式跳过安全控制，例如让模型以它不应该的方式偏离。
通过复制Nvidia自己关于就业报告的狭窄讨论的例子，他们可以让模型进入好莱坞电影明星的健康和普法战争等话题–尽管有护栏旨在阻止人工智能超越特定主题。
研究人员轻而易举地击败了保障措施，这凸显了人工智能公司在试图将硅谷多年来出现的最有前途的技术之一商业化时所面临的挑战。
“哈佛大学计算机科学教授、Robust Intelligence公司首席执行官亚伦-辛格（Yaron Singer）说：”我们看到，这是一个困难的问题，[它]需要有深厚的知识专长。”这些发现代表了一个关于存在的陷阱的警世之言。”
在其测试结果出来后，研究人员建议其客户避免使用Nvidia的软件产品。在《金融时报》本周早些时候要求Nvidia对这项研究发表评论后，这家芯片制造商告知Robust Intelligence，它已经修复了分析师提出的问题背后的一个根源。
自5月份以来，Nvidia的股价已经飙升，当时它预测截至7月份的三个月的销售额为110亿美元，比华尔街之前的估计高出50%以上。
这种增长是建立在对其芯片的巨大需求之上的，这些芯片被认为是构建生成性人工智能的市场领先的处理器，这些系统能够创造出类似人类的内容。
Nvidia负责应用研究的副总裁乔纳森-科恩说，其框架只是一个 “建立人工智能聊天机器人的起点，与开发者定义的主题、安全和安保准则相一致”。
“它作为开源软件发布，供社区探索其能力，提供反馈，并贡献新的最先进的技术，”他说，并补充说Robust Intelligence的工作 “确定了部署生产应用所需的额外步骤。”
他拒绝透露有多少企业正在使用该产品，但表示该公司没有收到其他关于该产品行为不当的报告。
领先的人工智能公司，如谷歌和微软支持的OpenAI，已经发布了由他们自己的语言模型驱动的聊天机器人，建立护栏以确保他们的人工智能产品避免使用种族主义言论或采取跋扈的角色。
其他公司也推出了定制的实验性人工智能，用于教小学生、提供简单的医疗建议、翻译不同语言和编写代码。几乎所有的产品都出现了安全问题。
Nvidia和人工智能行业的其他公司需要 “真正建立公众对该技术的信任”，该公司欧洲、中东和非洲的政府事务主管Bea Longworth在本周由行业游说团体TechUK举办的会议上说。
他们必须让公众感觉到，”这是一种具有巨大潜力的东西，而不是简单的威胁，也不是什么值得害怕的东西，”Longworth补充说。
