大型语言模型（LLMs）是什么及应用、优势和挑战

近几个月来，大型语言模型（LLMs）引起了很多人的热议（见图1）。这种需求导致了利用语言模型的网站和解决方案的不断发展。ChatGPT在2023年1月创下了用户群增长最快的记录，证明了语言模型将继续存在。谷歌对ChatGPT的回答Bard是在2023年2月推出的，这也说明了这一点。

图1：”大型语言模型”的搜索量

语言模型也为企业带来了新的可能性，因为它们可以：

• 实现流程自动化
• 节省时间和金钱
• 推动个性化
• 提高任务的准确性

然而，大型语言模型是计算机科学的一个新发展。正因为如此，许多人可能不了解这种模型的最新情况。我们写这篇文章是为了让好奇的人们了解大型语言模型：

• 定义
• 实例
• 使用案例
• 训练
• 效益
• 挑战

什么是大型语言模型？

图2：基础模型（来源: ArXiv）

大型语言模型（LLMs）是在自然语言处理（NLP）和自然语言生成（NLG）任务中利用深度学习的基础模型。为了帮助它们学习语言的复杂性和联系，大型语言模型在大量的数据上进行了预训练。使用的技术，如：

• 微调
• 语境中学习
• 零/一/few-shot学习

这些模型可以适用于下游（特定）任务（见图2）。

LLM本质上是一个基于Transformer的神经网络，由谷歌工程师在2017年一篇题为 “Attention is All You Need “的文章中介绍。一个模型的先进性和性能可以通过它有多少个参数来判断。一个模型的参数是它在生成输出时考虑的因素数量。

大型语言模型实例

有许多开源的语言模型可以在内部或私有云中部署，这意味着快速的业务采用和强大的网络安全。这类的一些大型语言模型有：

• BLOOM
• NeMO LLM
• XLM-RoBERTa
• XLNet
• Cohere
• GLM-130B

大多数领先的语言模型开发者都是美国人，但中国和欧洲也有成功的例子，因为他们正在努力追赶生成式人工智能。

你可以查看我们关于大型语言模型实例的文章，了解更多信息。

语言模型的用例有哪些？

大型语言模型可以应用于各种用例和行业，包括医疗、零售、科技等等。以下是所有行业都存在的用例：

• 文本总结
• 文本生成
• 情感分析
• 内容创作
• 聊天机器人、虚拟助手和对话式人工智能
• 命名实体识别
• 语音识别和合成
• 图像注解
• 文本到语音的合成
• 拼写纠正
• 机器翻译
• 推荐系统
• 欺诈行为检测
• 代码生成

大型语言模型是如何训练的

大型语言模型是深度学习神经网络，是人工智能和机器学习的一个子集。大型语言模型首先被预训练，以便它们学习基本的语言任务和功能。预训练是需要大量计算能力和尖端硬件的步骤。

图2：预训练与微调

图3：预训练与微调（来源: medium.com）

一旦模型经过预训练，就可以用特定任务的新数据对其进行训练，为特定的使用案例进行微调。微调方法具有很高的计算效率，因为它需要更少的数据和功率，使其成为一种更便宜的方法（见图3）。

更多信息，请查看我们的 “大型语言模型训练 “文章。

大型语言模型的4个优势

1- 减少人工劳动和成本

语言模型可用于实现许多过程的自动化，例如：

• 情感分析
• 顾客服务
• 内容创作
• 欺诈检测
• 预测和分类

这类任务的自动化导致了人工劳动和相关成本的减少。

2- 提高可用性、个性化和客户满意度

许多客户希望企业能够全天候提供服务，这可以通过利用语言模型的聊天机器人和虚拟助理来实现。通过自动化的内容创建，语言模型可以通过处理大量的数据来了解客户的行为和偏好，从而推动个性化的发展。客户满意度和积极的品牌关系将随着可用性和个性化的服务而增加。

3- 节省时间

语言模型系统可以使营销、销售、人力资源和客户服务的许多过程自动化。例如，语言模型可以帮助进行数据输入、客户服务和文件创建，使员工腾出时间从事需要人类专业知识的更重要的工作。

语言模型可以为企业节省时间的另一个领域是对大量数据的分析。有了处理大量信息的能力，企业可以迅速从复杂的数据集中提取洞察力，并做出明智的决定。这可以提高运营效率，更快地解决问题，并做出更明智的商业决策。

提高任务的准确性

大型语言模型能够处理大量的数据，这导致预测和分类任务的准确性提高。这些模型利用这些信息来学习模式和关系，这有助于它们做出更好的预测和分组。

例如，在情感分析中，大型语言模型可以分析数以千计的客户评论，以了解每条评论背后的情感，从而提高确定客户评论是正面的、负面的还是中性的准确性。这种准确性的提高在许多商业应用中是至关重要的，因为小的错误会产生重大影响。

语言模型的挑战和限制

1- 可靠性和偏见

语言模型的能力受限于它们所训练的文本训练数据，这意味着它们对世界的认识是有限的。模型学习训练数据中的关系，而这些关系可能包括：

• 虚假信息
• 种族、性别和性的偏见
• 有毒的语言

当训练数据没有被检查和标记时，语言模型已经被证明会做出种族主义或性别歧视的评论。

也有一些情况下，模型会呈现虚假信息。

2- 语境窗口

每个大型语言模型只有一定的内存，所以它只能接受一定数量的令牌作为输入。例如，ChatGPT的限制是2048个令牌（大约1500个词），这意味着ChatGPT无法对输入进行理解，也无法为超过2048个令牌限制的输入生成输出。

3- 系统成本

开发大型语言模型需要大量投资，包括计算机系统、人力资本（工程师、研究人员、科学家等）和电力。由于是资源密集型，使得大型语言模型的开发只适用于拥有巨大资源的巨大企业。据估计，英伟达和微软的Megatron-Turing，项目总成本接近1亿美元。

4- 环境影响

Megatron-Turing是用数百台NVIDIA DGX A100多GPU服务器开发的，每台服务器的耗电量高达6.5千瓦。伴随着大量的电力来冷却这个巨大的框架，这些模型需要大量的电力，并留下了大量的碳足迹。

根据一项研究，在GPU上训练BERT（谷歌的LLM）大致相当于一次跨美国的飞行。

1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017, December 6). “Attention is All You Need“. arXiv.org. Retrieved February 10, 2023, from https://arxiv.org/abs/1706.03762
2. Simon, J. (October 26, 2021). “Large Language Models: A New Moore’s Law?“. Hugging Face – The AI community building the future. Retrieved February 10, 2023, from https://huggingface.co/blog/large-language-models
3. Strubell, E., Ganesh, A., & McCallum, A. (2019, June 5). “Energy and Policy Considerations for Deep Learning in NLP“. arXiv.org. Retrieved February 10, 2023, from https://arxiv.org/abs/1906.02243