README.md

metadata

license: apache-2.0
language:
  - bo

Model Details

Model Description

TiLamb-7B（Tibetan Large Language Model Base）是藏文大语言模型的基座模型，使用26.43GB藏文语料，基于LLaMA2-7B进行LoRA方法的增量预训练。TiLamb-7B扩展了LLaMA2词表，在原有词表大小32,000的基础上扩充藏文词表至61,221，并对embedding和lm_head进行均值扩充的初始化。

需要注意的是，TiLamb-7B为未经微调的base模型，无对话能力，需SFT进行藏文对话和藏文NLP下游任务（已验证过的有：藏文新闻分类、藏文实体关系分类、藏文机器阅读理解、藏文分词、藏文摘要、藏文问题回答、藏文问题生成）的适配。

说明：本项目基于由Meta发布的LLaMA2-7B模型进行开发，使用过程中请严格遵守LLaMA2-7B的开源许可协议。如果涉及使用第三方代码，请务必遵从相关的开源许可协议。模型生成的内容可能会因为计算方法、随机因素等影响其准确性，因此，本项目不对模型输出的准确性提供任何保证，也不会对任何因使用相关资源和输出结果产生的损失承担责任。如果将本项目的相关模型用于商业用途，开发者应遵守当地的法律法规，确保模型输出内容的合规性，本项目不对任何由此衍生的产品或服务承担责任。