Update README_zh-CN.md
Browse files- README_zh-CN.md +7 -7
README_zh-CN.md
CHANGED
@@ -8,13 +8,13 @@
|
|
8 |
|
9 |
|
10 |
| Size | P. | Arch. | Act. | V. | H. | I. | L. | A.H. | K.H. | Tie |
|
11 |
-
| :--: | :-----: | :--: | :--: | :--: | :-----: | :---: | :------: |
|
12 |
-
| XL | 100 | LLaMA | SwiGLU |
|
13 |
-
| L | 78 | LLaMA | GeGLU |
|
14 |
-
| M2 | 22 | Qwen2 | GeGLU |
|
15 |
-
| M | 22 | LLaMA | SwiGLU |
|
16 |
-
| S | 9 | LLaMA | SwiGLU |
|
17 |
-
| XS | 2 | LLaMA | SwiGLU |
|
18 |
|
19 |
- **P.** - Parameters (in million)
|
20 |
- **V.** - vocab size
|
|
|
8 |
|
9 |
|
10 |
| Size | P. | Arch. | Act. | V. | H. | I. | L. | A.H. | K.H. | Tie |
|
11 |
+
| :--: | :-----: | :--: | :--: | :--: | :-----: | :---: | :------: | :----: | :----: | :--: |
|
12 |
+
| XL | 100 | LLaMA | SwiGLU | 16K | 768 | 4096 | 8 | 24 | 8 | True |
|
13 |
+
| L | 78 | LLaMA | GeGLU | 16K | 768 | 4096 | 6 | 24 | 8 | True |
|
14 |
+
| M2 | 22 | Qwen2 | GeGLU | 4K | 432 | 2304 | 6 | 24 | 8 | True |
|
15 |
+
| M | 22 | LLaMA | SwiGLU | 8K | 256 | 1408 | 16 | 16 | 4 | True |
|
16 |
+
| S | 9 | LLaMA | SwiGLU | 4K | 168 | 896 | 16 | 12 | 4 | True |
|
17 |
+
| XS | 2 | LLaMA | SwiGLU | 2K | 96 | 512 | 12 | 12 | 4 | True |
|
18 |
|
19 |
- **P.** - Parameters (in million)
|
20 |
- **V.** - vocab size
|