Commit
·
e5b6b00
1
Parent(s):
55360a0
Update README.md
Browse files
README.md
CHANGED
|
@@ -59,14 +59,21 @@ tags:
|
|
| 59 |
|
| 60 |
## 🚀step2：二次预训练
|
| 61 |
|
| 62 |
-
> 在中文预训练语料上对LLaMA
|
| 63 |
|
| 64 |
## 🚀step3: 有监督微调
|
| 65 |
|
| 66 |
- belle数据：120k数据 v1
|
| 67 |
- stanford_alapca：52k数据 v2
|
|
|
|
| 68 |
- [sharegpt](data%2Ffinetune%2Fsharegpt):90k数据
|
| 69 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 70 |
## 免责声明
|
| 71 |
|
| 72 |
本项目相关资源仅供学术研究之用，严禁用于商业用途。 使用涉及第三方代码的部分时，请严格遵循相应的开源协议。
|
|
|
|
| 59 |
|
| 60 |
## 🚀step2：二次预训练
|
| 61 |
|
| 62 |
+
> 在中文预训练语料上对LLaMA进行增量预训练、继续预训练，目前训练语料20GB，后续继续迭代更新
|
| 63 |
|
| 64 |
## 🚀step3: 有监督微调
|
| 65 |
|
| 66 |
- belle数据：120k数据 v1
|
| 67 |
- stanford_alapca：52k数据 v2
|
| 68 |
+
- stanford_alapca_gpt4_zh：52k数据 v2
|
| 69 |
- [sharegpt](data%2Ffinetune%2Fsharegpt):90k数据
|
| 70 |
|
| 71 |
+
根据长度（输出长度大约500）采样之后，筛选出11万指令数据进行sft训练
|
| 72 |
+
|
| 73 |
+
|
| 74 |
+
## 测试效果
|
| 75 |
+
|
| 76 |
+
|
| 77 |
## 免责声明
|
| 78 |
|
| 79 |
本项目相关资源仅供学术研究之用，严禁用于商业用途。 使用涉及第三方代码的部分时，请严格遵循相应的开源协议。
|