Update README.md
Browse files
README.md
CHANGED
@@ -3,5 +3,7 @@ license: mit
|
|
3 |
---
|
4 |
这个使用了spicy数据集,外加google翻译了其中的30%的数据组成了新的数据集 在 [Skywork-13B-unalign-lora](https://huggingface.co/zgce/Skywork-13B-unalign-lora) 基础上继续训练出来的,如果你在使用时发现中文回复有一股翻译腔那不是我的错是Google的问题。
|
5 |
|
|
|
|
|
6 |
整个LoRA在我的4090上用batch 1 跑了 1 epoch 耗费了33小时
|
7 |
由于显存有限,在训练时先用了--cutoff_len 1024 不知道会有什么影响
|
|
|
3 |
---
|
4 |
这个使用了spicy数据集,外加google翻译了其中的30%的数据组成了新的数据集 在 [Skywork-13B-unalign-lora](https://huggingface.co/zgce/Skywork-13B-unalign-lora) 基础上继续训练出来的,如果你在使用时发现中文回复有一股翻译腔那不是我的错是Google的问题。
|
5 |
|
6 |
+
模型使用了[Skywork-13B-Base-8bits](https://huggingface.co/Skywork/Skywork-13B-Base-8bits) 为底模进行的训练
|
7 |
+
|
8 |
整个LoRA在我的4090上用batch 1 跑了 1 epoch 耗费了33小时
|
9 |
由于显存有限,在训练时先用了--cutoff_len 1024 不知道会有什么影响
|