README.md

---
license: mit
language:
- ru
- en
---

# GigaChat-20B-A3B-base

Большая языковая модель, основанна на MoE архитектуре, обучена специально под русский язык **с нуля**.
Всего у модели 20 миллиардов параметров, но во время инференса задействовано только 3 миллиарда. Контекст модели =131k токенов.

Больше подробностей в [хабр статье](https://habr.com/en/companies/sberdevices/articles/865996/).

Upd. Перезалили веса в `.safetensors`

## Архитектура модели

GigaChat-20B-A3B состоит из следующих деталей:

- Fine-grained Experts + Shared Experts
- Grouped Query Attention
- Rotary Position Embeddings
- RMSNorm
- SwiGLU в MLP

Важно то, что в реализации MoE некоторые эксперты вызываются в зависимости от контекста, а другие используются всегда.

## Бенчмарки

Общие английские метрики. Для замера использовался популярный открытый репозиторий [LM Evaluation Harness](https://github.com/EleutherAI/lm-evaluation-harness).

| Bench                         | T-lite-0.1<br>(llama 3.0 8B based)| Llama-3.1-8B | GigaChat-20B-A3B-base | Gemma-9B  |
| ----------------------------- | ---------- | ------------ | --------------------- | --------- |
| MMLU (5-shot)                 | 62.56      | 65.21        | 63.02                 | 70.6      |
| MMLU-pro (5-shot)             | 32.19      | 35.7         | 31.41                 | 42.85     |
| MMLU-ru (5-shot)              | 55.51      | 54.1         | 58.38                 | 62.57     |
| BBH (3-shot)                  | 62.36      | 62.79        | 53.54                 | 70.48     |
| ARC-C (25-shot)               | 58.19      | 54.69        | 61.69                 | 68.34     |
| TruthfulQA (0-shot) (rougeL)  | 46.51      | 34.52        | 31.82                 | 41.49     |
| Winogrande (5-shot)           | 78.45      | 77.43        | 75.85                 | 79.4      |
| Hellaswag (10-shot)           | 82.21      | 81.85        | 81.91                 | 82.5      |
| GPQA (5-shot)                 | 0.25       | 23.44        | 25.22                 | 30.36     |
| MATH (4-shot)                 | 12.9       | 14.04        | 15.04                 | 20.06     |
| GSM8K (4-shot) (strict-match) | 67.93      | 51.4         | 59.06                 | 68.99     |
| HumanEval                     | 16.46      | 25.61        | 32.32                 | 37.2      |
| **AVG**                       | **47.96**  | **48.4**     | **49.11**             | **56.24** |


## Requirements

* ```transformers>=4.47```


## Пример использования через transformers

```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "ai-sage/GigaChat-20B-A3B-base"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map="auto")
model.generation_config = GenerationConfig.from_pretrained(model_name)

messages = (
    "Ниже я написал подробное доказательство теоремы о неподвижной точке:"
)
input_tensor = tokenizer(messages, return_tensors="pt").input_ids
outputs = model.generate(input_tensor.to(model.device))

result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=False)
print(result)
```

## Пример использования через vLLM

```python
from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_name = "ai-sage/GigaChat-20B-A3B-base"
llm = LLM(model=model_name, tokenizer=model_name, trust_remote_code=True)
sampling_params = SamplingParams(
    temperature=0.3,
    max_tokens=8192,
    stop_token_ids=[tokenizer.eos_token_id]
)

messages = (
    "Ниже я написал подробное доказательство теоремы о неподвижной точке:"
)
outputs = llm.generate(messages, sampling_params=sampling_params)
generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)
```

## Скорость генерации

| Model | Total params (B) | Active params (B) | Req/s | Output Token/s | Total Token/s |
|---------|-----------------|------------------|--------|----------------|----------------|
| Qwen/Qwen1.5-MoE-A2.7B-Chat | 14 | 2,7 | 0,62 | 156,43 | 291,17 |
| deepseek-ai/deepseek-moe-16b-chat | 16 | 2,8 | 0,59 | 149,53 | 285,39 |
| **GigaChat-20B-A3B** | 20 | 3,3 | 0,55 | 137,43 | 259,27 |
| Qwen/Qwen2.5-3B-Instruct | 3 | 3 | 0,54 | 135,10 | 251,44 |
| meta-llama/Meta-Llama-3-8B-Instruct | 8 | 8 | 0,35 | 83,26 | 157,32 |
| google/gemma-2-9b-it | 9 | 9 | 0,27 | 54,87 | 113,69 |