Hugging Face's logo

golaxy
/
gogpt-7b-bloom

Text Generation
Transformers
PyTorch
Chinese
bloom
Inference Endpoints
text-generation-inference
Model card Files Community
1
quincyqiang commited on
Commit
3367fc7
•
1 Parent(s): 7ee7acb

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +95 -0
README.md ADDED
@@ -0,0 +1,95 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ datasets:
4
+ - BelleGroup/train_2M_CN
5
+ - BelleGroup/train_3.5M_CN
6
+ - BelleGroup/train_1M_CN
7
+ - BelleGroup/train_0.5M_CN
8
+ - BelleGroup/school_math_0.25M
9
+ language:
10
+ - zh
11
+ ---
12
+
13
+ ## GoGPT
14
+
15
+ 基于中文指令数据微调BLOOM
16
+ ![img.png](resources/img.png)
17
+ > 训练第一轮足够了，后续第二轮和第三轮提升不大
18
+
19
+ - 🚀多样性指令数据
20
+ - 🚀筛选高质量中文数据
21
+
22
+ | 模型名字 | 参数量 | 模型地址 |
23
+ |------------|--------|------|
24
+ | gogpt-560m | 5.6亿参数 | 🤗[golaxy/gogpt-560m](https://huggingface.co/golaxy/gogpt-560m) |
25
+ | gogpt-3b | 30亿参数 | 🤗[golaxy/gogpt-3b](https://huggingface.co/golaxy/gogpt-3b) |
26
+ | gogpt-7b | 70亿参数 | 🤗[golaxy/gogpt-7b](https://huggingface.co/golaxy/gogpt-7b) |
27
+
28
+
29
+ ## 测试效果
30
+ ![img.png](resources/test1.png)
31
+ ![img.png](resources/test2.png)
32
+ ![img.png](resources/test3.png)
33
+ ![img.png](resources/test4.png)
34
+ ![img.png](resources/test5.png)
35
+ ![img.png](resources/test6.png)
36
+
37
+
38
+ ## TODO
39
+ - 进行RLFH训练
40
+ - 后续加入中英平行语料
41
+
42
+ ## 感谢
43
+
44
+ - [@hz大佬-zero_nlp](https://github.com/yuanzhoulvpi2017/zero_nlp)
45
+ - [stanford_alpaca](https://github.com/tatsu-lab/stanford_alpaca)
46
+ - [Belle数据](https://huggingface.co/BelleGroup)
47
+ (base) [searchgpt@worker2 output-bloom-7b]$ cat README.md ^C
48
+ (base) [searchgpt@worker2 output-bloom-7b]$ vim README.md
49
+ (base) [searchgpt@worker2 output-bloom-7b]$ cat README.md
50
+ ---
51
+ license: apache-2.0
52
+ datasets:
53
+ - BelleGroup/train_2M_CN
54
+ - BelleGroup/train_3.5M_CN
55
+ - BelleGroup/train_1M_CN
56
+ - BelleGroup/train_0.5M_CN
57
+ - BelleGroup/school_math_0.25M
58
+ language:
59
+ - zh
60
+ ---
61
+
62
+ ## GoGPT
63
+
64
+ 基于中文指令数据微调BLOOM
65
+ ![img.png](resources/img.png)
66
+ > 训练第一轮足够了，后续第二轮和第三轮提升不大
67
+
68
+ - 🚀多样性指令数据
69
+ - 🚀筛选高质量中文数据
70
+
71
+ | 模型名字 | 参数量 | 模型地址 |
72
+ |------------|--------|------|
73
+ | gogpt-560m | 5.6亿参数 | 🤗[golaxy/gogpt-560m](https://huggingface.co/golaxy/gogpt-560m) |
74
+ | gogpt-3b | 30亿参数 | 🤗[golaxy/gogpt-3b](https://huggingface.co/golaxy/gogpt-3b) |
75
+ | gogpt-7b | 70亿参数 | 🤗[golaxy/gogpt-7b](https://huggingface.co/golaxy/gogpt-7b) |
76
+
77
+
78
+ ## 测试效果
79
+ ![img.png](resources/test1.png)
80
+ ![img.png](resources/test2.png)
81
+ ![img.png](resources/test3.png)
82
+ ![img.png](resources/test4.png)
83
+ ![img.png](resources/test5.png)
84
+ ![img.png](resources/test6.png)
85
+
86
+
87
+ ## TODO
88
+ - 进行RLFH训练
89
+ - 后续加入中英平行语料
90
+
91
+ ## 感谢
92
+
93
+ - [@hz大佬-zero_nlp](https://github.com/yuanzhoulvpi2017/zero_nlp)
94
+ - [stanford_alpaca](https://github.com/tatsu-lab/stanford_alpaca)
95
+ - [Belle数据](https://huggingface.co/BelleGroup)