niuwz
commited on
Commit
•
71d5f34
1
Parent(s):
7ab64e2
modified: README.md
Browse files
README.md
CHANGED
|
@@ -8,4 +8,21 @@ datasets:
|
|
| 8 |
language:
|
| 9 |
- zh
|
| 10 |
pipeline_tag: text-generation
|
| 11 |
-
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 8 |
language:
|
| 9 |
- zh
|
| 10 |
pipeline_tag: text-generation
|
| 11 |
+
---
|
| 12 |
+
<div align="center">
|
| 13 |
+
|
| 14 |
+
# Mini Chinese Phi3
|
| 15 |
+
|
| 16 |
+
</div>
|
| 17 |
+
|
| 18 |
+
Mini-Chinese-Phi3是一个基于phi3模型结构的小型对话模型，总参数量约0.13B，使用常见的中文语料进行预训练和微调。主要内容包括了
|
| 19 |
+
- 数据集的整理与简单清洗
|
| 20 |
+
- 中文词表预训练
|
| 21 |
+
- 基于phi3结构的模型预训练
|
| 22 |
+
- 基于预训练模型的指令微调（SFT），包括了全量微调和LoRA微调
|
| 23 |
+
- 基于指令微调模型的直接偏好优化（DPO）
|
| 24 |
+
- 模型评测 **（待做）**
|
| 25 |
+
|
| 26 |
+
项目中的所有训练过程均在两张3090显卡上进行，使用DeepSpeed框架和Flash Attention 2进行加速，预训练用时约40小时，SFT和DPO微调共用时约8小时。本项目是我在学习LLM过程中的一个简单实践，同时也希望能够帮助到同样初学大模型的小伙伴。
|
| 27 |
+
|
| 28 |
+
项目训练细节等已在Github上开源，欢迎大家提出宝贵意见和建议。[项目地址](https://github.com/niuwz/MiniChinesePhi3)
|