深入了解ChatGPT：定义、主要用例和局限性

OpenAI在2022年11月30日推出了ChatGPT。自其首次发布以来，该语言模型就在互联网上掀起了风暴（见图1）。

尽管不同行业和背景的网民都在过度探索ChatGPT，但很少有人了解这个工具背后的技术、机制和潜力。在这篇文章中，我们将从各个维度介绍ChatGPT，比如它的：

• 训练方法
• 功能方法
• 使用案例
• 局限性

图1. 与其他科技产品相比，ChatGPT的成功指标比较（Source: Chartr）

什么是ChatGPT？

ChatGPT是一个由OpenAI开发的大型语言模型（LLM）。它基于GPT-3（生成性预训练转换器）架构，经过训练可以生成类似人类的文本。LLM是一个专注于自然语言处理（NLP）的机器学习模型。

该模型在大量的文本数据集上进行预训练，然后在特定的任务上进行微调，如：

• 语言翻译
• 文本总结
• 代码调试
• 问题回答，等等。

因为它是经过预训练的，所以它可以生成比那些只在特定任务上进行微调的模型更自然、更流畅的文本。

语言模型有很高的准确度，允许它从一端看向另一端的对话，并得出看起来像人类的答案。这意味着它可以理解和回应自然语言查询，并像人类一样有效地遵循它们。

ChatGPT定价

那么，考虑到它的成功，ChatGPT是免费的吗？

OpenAI表示，在研究审查期间，它是并且将继续是免费的。你可以在chat.openai.com上试用它。

然而，OpenAI的联合创始人Greg Brockman在他的twitter上宣布，他们正在为专业人士开发ChatGPT的付费和高级版本。

ChatGPT是如何训练的？

GPT 3.5是GPT-3的一个版本，也是ChatGPT背后的语言模型，在Azure AI超级计算基础设施上进行训练。

在人类培训师的协助下，ChatGPT使用监督和强化学习方法进行了修改和改进。该学习包括3个步骤（见图2）：

• 监督学习： 首先，给模型提供对话的例子，在这些对话中，人类同时扮演用户和人工智能助手的角色。
• 强化学习： 后来，人类培训师评估了模型在以前的对话中产生的反应，并使用这种反馈来创建奖励模型。
• 近端政策优化（PPO）： 最后，使用一种叫做PPO的技术在多次迭代中对模型进行进一步微调。

图2. ChatGPT的学习过程（Source: OpenAI）

此外，语言模型GPT-3有近1700亿个参数，并在570GB的文本上进行了训练，超过了其他LLM（见图3）。如此大的语言模型之所以能够实现，要归功于AI芯片允许更高的高效计算技能的能力。

图3. 不同LLM使用的参数（Source: Towards Data Science）

ChatGPT是如何工作的？

ChatGPT的工作原理是使用一个预先训练好的转化器神经网络架构来生成文本。该模型是在一个大型的文本数据集上训练的，该数据集被称为普通爬行数据集，这使得它能够学习人类书写的文本的模式和结构。它的建立是为了预测一个句子中的下一个词，因为有了前面的词。

该模型包括一个编码器和一个解码器，前者负责接收输入文本，后者负责生成输出文本：

• 编码器： 将输入文本转换为固定长度的矢量表示，从而捕捉到输入文本的含义。
• 解码器： 使用这个向量表示来生成输出文本，一次一个字。

在生成过程中，该模型使用一种注意力机制，使其在进行预测时能够权衡输入的不同部分。这有助于它生成更连贯、更符合语境的文本。

当模型为一个特定的任务进行微调时，它将在一个较小的数据集上进一步训练，这个数据集是针对该任务的。例如，如果任务是语言翻译，该模型将在一种语言的文本和另一种语言的翻译的数据集上进行微调。这种微调过程允许模型学习特定任务的模式和结构，从而提高其在特定任务上的表现。

然而，重要的是要注意，模型理解和响应用户输入的能力受限于它所训练的数据和它从这些数据中归纳的能力。如果用户的输入与模型看到的数据有太大的不同，它可能无法产生相关或准确的反应。

ChatGPT的6大用例

聊天机器人和虚拟助手

ChatGPT用于在对话背景下产生类似人类的反应，使其非常适合于建立客户服务的聊天机器人和虚拟助理。

据《福布斯》报道，一些公司，如Meta、Canva和Shopify，已经在其客户服务聊天机器人系统中使用了支持ChatGPT的技术。

语言翻译

ChatGPT可以在特定的任务上进行微调，如语言翻译，它可以被用来将一种语言翻译成另一种语言。

文本总结

ChatGPT可以提供文本总结，它可以用来自动总结长的文件或文章。在图4中，你可以看到ChatGPT对名著《爱丽丝梦游仙境》中一个章节进行总结的例子。

图4. ChatGPT对《爱丽丝梦游仙境》一书节选的总结（Source: ChatGPT by OpenAI）

内容生成

ChatGPT可以用来根据它从训练过的数据中学习到的模式和关系来生成新的文本。这在以下应用中是很有用的：

• 内容创作，如新文章或博客文章
• 创意写作，如故事或诗歌
• 菜谱的形成
• 作业准备，等等。

代码调试

ChatGPT可以用几种不同的方式来进行代码调试：

• 产生代码建议或通过提供有关错误和预期结果的背景来修复代码错误
• 给予代码的自然语言解释，这可以帮助开发人员理解代码的工作原理并识别错误
• 创建测试用例，这可以帮助识别那些可能不是很明显的bug

搜索引擎

谷歌在搜索引擎市场上拥有强大的、几乎无可匹敌的优势（见图5）。尽管处于主导地位，但谷歌还是很担心。根据《纽约时报》最近的一次采访，据说由于ChatGPT有可能挑战其作为搜索引擎的主导地位和市场份额，谷歌的管理团队处于高度警惕之中。

图5. 2015年1月至2022年12月领先搜索引擎的全球桌面市场份额（Source: Statista）

作为一个搜索引擎，一种方法是将ChatGPT作为一个对话式搜索界面，用户可以通过自然语言输入与模型互动，模型将以最相关的信息进行回应。该模型还可以通过从用户互动中学习，随着时间的推移改进其反应，使其更加准确和个性化。

ChatGPT的局限性

有偏见的反应和有害的指示

ChatGPT是在一个大型文本数据集上训练的，其中可能包含偏见，正如人工智能的偏见一样。这可能导致模型产生有偏见的反应，特别是在敏感话题方面，如性别、种族和性行为。

尽管采取了措施，防止模型对不适当的请求作出反应，但它有时仍可能产生有害的反应。OpenAI表示，他们正在利用Moderation API来标记和防止某些类型的不安全内容。为此，他们正依靠人类的反馈来改进模型。为了收集用户反馈，它允许用户对反应进行评估。

然而，尽管对模型进行了修改，以拒绝不适当的请求，但仍有可能通过简单的技巧从ChatGPT获得目标答案。

过时的知识数据库

由于模型是在一个特定的数据集上训练的，而这个数据集只到2021年，所以它只能根据它从这个数据集学到的东西来提供信息和回应查询。如果数据集已经过期，模型的反应可能不准确，也不符合当前的时间。

此外，模型可能无法理解或回应在数据集创建后出现的新概念、技术或信息。

网络和容量错误

当人工智能生成长文本时，ChatGPT的网络错误通常会遇到，即聊天机器人需要超过60秒才能返回答案。另外，由于需求量大，偶尔会出现一些用户的容量不足的情况（见图6）。

图6. ChatGPT的容量错误（Source: ChatGPT by OpenAI）

某些短语的过度使用

众所周知，ChatGPT模型会产生过度和重复的反应，包括反复说明它是由OpenAI训练的语言模型。这是由训练数据中的偏见造成的，正如OpenAI所声明的。

偶尔的不正确答案

ChatGPT偶尔会产生听起来合理但不正确或无意义的答案。例如，对于用户提出的关于英国政府电子请愿书的问题，ChatGPT的回答是错误的（见图7）。

图7. 一个ChatGPT提供错误答案的例子（Source: New Tech Observations from the UK, WordPress）

ChatGPT不会访问互联网来寻找答案。它通过选择最可能的 “标记” 来逐字建立一个句子，这些标记应基于其训练。这意味着，ChatGPT通过一系列的假设来生成答案，这些假设可能会导致提供错误的答案，但却有十足的把握。

Stack Overflow，一个程序员和开发者经常使用的网站，由于这个问题，暂时禁止其用户分享ChatGPT生成的回答。

OpenAI认识到ChatGPT在正确回答方面的这种局限性，并表示由于聊天机器人的训练方法，要解决这个问题并不容易。

1. “What Is ChatGPT, the AI Chatbot That Everyone Is Talking About? – Tech News Briefing – WSJ Podcasts.” The Wall Street Journal, 7 December 2022, https://www.wsj.com/podcasts/tech-news-briefing/what-is-chatgpt-the-ai-chatbot-that-everyone-is-talking-about/52dc7d29-13cd-4be2-85ae-ac958004239f. Accessed 20 January 2023.
2. “ChatGPT: Optimizing Language Models for Dialogue.” OpenAI, 30 November 2022, https://openai.com/blog/chatgpt/. Accessed 20 January 2023.
3. “How Large Language Models Will Transform Science, Society, and AI.” Stanford HAI, 5 February 2021, https://hai.stanford.edu/news/how-large-language-models-will-transform-science-society-and-ai. Accessed 20 January 2023.
4. “ChatGPT Is Coming To A Customer Service Chatbot Near You.” Forbes, https://www.forbes.com/sites/rashishrivastava/2023/01/09/chatgpt-is-coming-to-a-customer-service-chatbot-near-you/?sh=1af3b08e7eca. Accessed 20 January 2023.
5. “ChatGPT and Other Chat Bots Are a ‘Code Red’ for Google Search.” The New York Times, 21 December 2022, https://www.nytimes.com/2022/12/21/technology/ai-chatgpt-google-search.html. Accessed 20 January 2023.
6. Fishenden, Jerry. “ChatGPT—inaccurate and derivative – new tech observations from the UK (ntouk).” new tech observations from the UK (ntouk), WordPress, 2022, https://ntouk.wordpress.com/2022/12/04/chatgpt-inaccurate-and-derivative/. Accessed 20 January 2023.
7. “Temporary policy: ChatGPT is banned.” Meta Stack Overflow, 5 December 2022, https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned. Accessed 20 January 2023.