| license: llama2 | |
| XuanYuan-70B是基于Llama2-70b模型进行中文增强的一系列金融大模型，包含大量中英文语料增量预训练之后的底座模型以及使用高质量指令数据进行对齐的chat模型。 | |
| 考虑到金融场景下存在非常多长文本的业务，基于我们高效的分布式训练框架，我们将模型的上下文长度在预训练阶段从4k扩充到了8k和16k，据我们所知，这也是首个在70B参数量级上达到8k及以上上下文长度的开源大模型。 | |
| 我们的目标是：大模型通用能力尽可能保持的同时，金融领域能力得到明显提升，服务于金融领域。 |