本文由 资源共享网 – ziyuan 发布，转载请注明出处，如有问题请联系我们！大规模语言模型：从理论到实践（有课件）

2018 年 Google 的研究团队开创性地提出了预训练语言模型 BERT[1]，该模型在诸多自然语言 处理任务中展现了卓越的性能。这激发了大量以预训练语言模型为基础的自然语言处理研究，也 引领了自然语言处理领域的预训练范式的兴起。然而，尽管这一变革影响深远，但它并没有改变 每个模型只能解决特定问题的基本模式。2020 年，OpenAI 发布了 GPT-3 模型，其在文本生成任务 上的能力令人印象深刻，并在许多少标注（Few-shot）的自然语言处理任务上取得了优秀的成绩。

但是，其性能并未超越专门针对单一任务训练的有监督模型。之后，研究者们陆续提出了针对大 语言模型（Large Language Model，LLM）的提示词（Prompt）学习方法，并在各式各样的自然语 言处理任务中进行了试验，同时也提出了模型即服务范式（Model as a Service，MaaS）概念。然 而，在大部分情况下，这些方法的性能并未明显地超过基于预训练微调范式的模型。所以，这些 方法的影响主要还是局限在自然语言处理的研究人员群体中。

2022 年 11 月，ChatGPT 的问世展示了大语言模型的强大潜能，并迅速引起了广泛关注。Chat-GPT 能够有效理解用户需求，并根据上下文提供恰当的回答。它不仅可以进行日常对话，还能够 完成复杂任务，如撰写文章、回答问题等。令人惊讶的是，所有这些任务都由一个模型完成。在许 多任务上，ChatGPT 的性能甚至超过了针对单一任务进行训练的有监督算法。这对于人工智能领 域具有重大意义，并对自然语言处理研究产生了深远影响。然而，由于 OpenAI 并未公开 ChatGPT 的详细实现细节，整体训练过程包括语言模型、有监督微调、类人对齐等多个方面，这些方面之 间还存在大量的关联，这对于研究人员在自然语言处理基础理论和机器学习基础理论上要求很高。

此外，大语言模型的参数量非常庞大，与传统的自然语言处理研究范式完全不同。使用大语言模 型还需要分布式并行计算的支持，这对自然语言处理算法研究人员又进一步提高了要求。为了使 得更多的自然语言处理研究人员和对大语言模型感兴趣的读者能够快速了解大语言模型和理论基 础，并开展大语言模型实践，结合之前在自然语言处理领域研究经验，以及分布式系统和并行计 算的教学经验，我们在大语言模型实践和理论研究的过程中，历时 8 个月完成本书。希望这本书 能够帮助读者快速入门大语言模型的研究和应用，并解决相关技术挑战。

第1章  绪论

第2章 大语言模型基础

第3章 大语言模型预训练数据

第4章 分布式训练

第5章 有监督微调

第6章 强化学习

第7章 大语言模型应用

第8章 大语言模型评估