YoLo2000
commited on
Commit
•
56ad896
1
Parent(s):
edb4c9c
Update README.md
Browse files
README.md
CHANGED
|
@@ -5,10 +5,6 @@ language:
|
|
| 5 |
|
| 6 |
---
|
| 7 |
|
| 8 |
-
## Model Details
|
| 9 |
-
|
| 10 |
-
### Model Description
|
| 11 |
-
|
| 12 |
<!-- Provide a longer summary of what this model is. -->
|
| 13 |
|
| 14 |
### TiLamb-7B（Tibetan Large Language Model Base）是藏文大语言模型的基座模型，使用26.43GB藏文语料，基于LLaMA2-7B进行LoRA方法的增量预训练。TiLamb-7B扩展了LLaMA2词表，在原有词表大小32,000的基础上扩充藏文词表至61,221，并对embedding和lm_head进行均值扩充的初始化。
|
|
|
|
| 5 |
|
| 6 |
---
|
| 7 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 8 |
<!-- Provide a longer summary of what this model is. -->
|
| 9 |
|
| 10 |
### TiLamb-7B（Tibetan Large Language Model Base）是藏文大语言模型的基座模型，使用26.43GB藏文语料，基于LLaMA2-7B进行LoRA方法的增量预训练。TiLamb-7B扩展了LLaMA2词表，在原有词表大小32,000的基础上扩充藏文词表至61,221，并对embedding和lm_head进行均值扩充的初始化。
|