Update README.md
Browse files
README.md
CHANGED
|
@@ -11,6 +11,7 @@ datasets:
|
|
| 11 |
- BAAI/Infinity-Instruct
|
| 12 |
- BAAI/Infinity-Preference
|
| 13 |
---
|
|
|
|
| 14 |
# mini_qwen
|
| 15 |
|
| 16 |
## Introduction
|
|
@@ -18,7 +19,7 @@ mini_qwen是一个从头开始训练的1B参数的大型语言模型(LLM)项目
|
|
| 18 |
|
| 19 |
mini_qwen是以Qwen2.5-0.5B-Instruct模型为基础，通过扩充模型隐藏状态层数、隐藏状态维度和注意力头数，增加参数量到1B，并进行参数随机初始化。训练数据使用北京智源人工智能研究院的预训练(16B token)、微调(9M 条)和偏好数据(60K 条)，使用flash_attention_2进行加速，使用deepspeed在6张H800上训练25h(pt 1epoch)、43h(sft 3epoch)、1h(dpo 3epoch)。
|
| 20 |
|
| 21 |
-
这是一次非常有趣且有价值的尝试，在整个过程中，本项目探究了尺度定律(scaling law)
|
| 22 |
|
| 23 |
更多内容详见：https://github.com/qiufengqijun/mini_qwen
|
| 24 |
|
|
|
|
| 11 |
- BAAI/Infinity-Instruct
|
| 12 |
- BAAI/Infinity-Preference
|
| 13 |
---
|
| 14 |
+
|
| 15 |
# mini_qwen
|
| 16 |
|
| 17 |
## Introduction
|
|
|
|
| 19 |
|
| 20 |
mini_qwen是以Qwen2.5-0.5B-Instruct模型为基础，通过扩充模型隐藏状态层数、隐藏状态维度和注意力头数，增加参数量到1B，并进行参数随机初始化。训练数据使用北京智源人工智能研究院的预训练(16B token)、微调(9M 条)和偏好数据(60K 条)，使用flash_attention_2进行加速，使用deepspeed在6张H800上训练25h(pt 1epoch)、43h(sft 3epoch)、1h(dpo 3epoch)。
|
| 21 |
|
| 22 |
+
这是一次非常有趣且有价值的尝试，在整个过程中，本项目探究了尺度定律(scaling law)、复读机现象与微调阶段的知识注入，也解决了很多bug。本项目将尽可能详细地介绍整个训练过程，也欢迎交流讨论。
|
| 23 |
|
| 24 |
更多内容详见：https://github.com/qiufengqijun/mini_qwen
|
| 25 |
|