从零构建大模型
smartailearn
Friday, October 31, 2025
37
1、第一部分理解大型语言模型：介绍了 LLM 的基本概念、transformer架构以及训练大型语言模型所需的基础知识。
2、第二部分文本数据处理：详细讲解了如何准备和处理用于训练 LLM 的文本数据。
3、第三部分注意力机制编程：深入探讨了注意力机制的原理及其在 LLM 中的应用，并通过代码实现了这些机制。
4、第四部分从零实现 GPT 模型：通过一步步的指导，读者将学会如何从头开始构建一个 GPT 模型，并用于生成文本。
5、第五部分无标签数据的预训练：讨论了如何在没有标签的数据上进行预训练，使模型能够捕捉语言的复杂性和上下文关系。
6、第六部分模型微调：解释了如何在特定任务或领域的数据上微调预训练的模型，以提升其在特定应用中的表现。