diff --git a/docs/chapter5/code/requirements.txt b/docs/chapter5/code/requirements.txt index 405c07d..429cb3e 100644 --- a/docs/chapter5/code/requirements.txt +++ b/docs/chapter5/code/requirements.txt @@ -1,4 +1,4 @@ -pytorch==2.4.0 +torch==2.4.0 torchvision==0.19.0 datasets==2.16.1 jsonlines==4.0.0 diff --git a/docs/chapter5/第五章 动手搭建大模型.md b/docs/chapter5/第五章 动手搭建大模型.md index 93786a5..ed0b4e9 100644 --- a/docs/chapter5/第五章 动手搭建大模型.md +++ b/docs/chapter5/第五章 动手搭建大模型.md @@ -4,6 +4,13 @@ Meta（原Facebook）于2023年2月发布第一款基于Transformer结构的大型语言模型LLaMA，并于同年7月发布同系列模型LLaMA2。我们在第四章已经学习了解的了LLM，记忆如何训练LLM等等。那本小节我们就来学习，如何动手写一个LLaMA2模型。 +LLaMA2 模型结构如下图5.0所示： + +
+ alt text +

图 5.0 LLaMA2结构

+
+ ### 5.1.1 定义超参数 首先我们需要定义一些超参数，这些超参数包括模型的大小、层数、头数、词嵌入维度、隐藏层维度等等。这些超参数可以根据实际情况进行调整。 diff --git a/docs/images/5-images/LLama2.png b/docs/images/5-images/LLama2.png new file mode 100644 index 0000000..1302ad5 Binary files /dev/null and b/docs/images/5-images/LLama2.png differ