charlee1995
commited on
Commit
•
3dee8a9
1
Parent(s):
bdd49ab
Update README.md
Browse files
README.md
CHANGED
@@ -81,14 +81,14 @@ BatGPT-15B-sirius 具体参数和见下表:
|
|
81 |
|
82 |
| 模型名称 | 隐含层维度 | 层数 | Query头数 | Key/Value头数 |词表大小 | 总参数量 | 训练数据(tokens) | 位置编码 | 最大长度 |
|
83 |
|-------------------------|-------|------------|------------|------------|-----------------|--------|--------|----------------|---------|
|
84 |
-
| BatGPT-15B-sirius | 5,632 | 48 | 44 | 2 | 65,536 | 15,030,081,024 |
|
85 |
|
86 |
|
87 |
|
88 |
The specific parameters of BatGPT-15B-sirius are as follows:
|
89 |
| Model Name | Hidden Size | Num Layers | Query Heads | Key/Value Heads |Vocab Size | Total Params | Training Dats(tokens) | Position Embedding | Max Length |
|
90 |
|-------------------------|-------|------------|------------|------------|-----------------|--------|--------|----------------|---------|
|
91 |
-
| BatGPT-15B-sirius | 5,632 | 48 | 44 | 2 | 65,536 | 15,030,081,024 |
|
92 |
|
93 |
|
94 |
|
|
|
81 |
|
82 |
| 模型名称 | 隐含层维度 | 层数 | Query头数 | Key/Value头数 |词表大小 | 总参数量 | 训练数据(tokens) | 位置编码 | 最大长度 |
|
83 |
|-------------------------|-------|------------|------------|------------|-----------------|--------|--------|----------------|---------|
|
84 |
+
| BatGPT-15B-sirius | 5,632 | 48 | 44 | 2 | 65,536 | 15,030,081,024 | 1T | [RoPE](https://arxiv.org/abs/2104.09864) | 32K |
|
85 |
|
86 |
|
87 |
|
88 |
The specific parameters of BatGPT-15B-sirius are as follows:
|
89 |
| Model Name | Hidden Size | Num Layers | Query Heads | Key/Value Heads |Vocab Size | Total Params | Training Dats(tokens) | Position Embedding | Max Length |
|
90 |
|-------------------------|-------|------------|------------|------------|-----------------|--------|--------|----------------|---------|
|
91 |
+
| BatGPT-15B-sirius | 5,632 | 48 | 44 | 2 | 65,536 | 15,030,081,024 | 1T | [RoPE](https://arxiv.org/abs/2104.09864) | 32K |
|
92 |
|
93 |
|
94 |
|