Hugging Face's logo

NightForger
/
saiga_nemo_12b-GGUF

Text Generation
GGUF
Russian
English
Mistral
Nemo
Saiga
GGUF
Inference Endpoints
conversational
Model card Files Community
saiga_nemo_12b-GGUF
File size: 3,347 Bytes 
fca4574
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
109cc2d
5bc8227
fca4574
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
 
---
license: apache-2.0
datasets:
- IlyaGusev/saiga_scored
language:
- ru
- en
base_model:
- IlyaGusev/saiga_nemo_12b
pipeline_tag: text-generation
tags:
- Mistral
- Nemo
- Saiga
- GGUF
quantized_by: NightForger
---


# Saiga/MistralNemo 12B, Russian Ablitarated fine-tune of Mistral Nemo [GGUF edition]
It is just fast GGUF version of [this model](https://huggingface.co/IlyaGusev/saiga_nemo_12b).

P.S. Repo updated for V3.

# Code example:
```
# Please, use vllm or exl2
# Установка необходимых библиотек
#!pip install llama-cpp-python huggingface_hub

# Импортируем необходимые модули
from llama_cpp import Llama
from huggingface_hub import hf_hub_download

# Указываем идентификатор репозитория и имя файла модели
MODEL_REPO = "NightForger/saiga_nemo_12b-GGUF"
MODEL_FILENAME = "model_Q4_K_M.gguf"

# Скачиваем модель из Hugging Face Hub
model_path = hf_hub_download(repo_id=MODEL_REPO, filename=MODEL_FILENAME)

# Инициализируем модель
llm = Llama(model_path=model_path, n_threads=8)

# Настройка параметров генерации
generation_config = {
    "max_tokens": 256,
    "temperature": 0.7,
    "top_p": 0.9,
    "repeat_penalty": 1.1,
}

# Системное сообщение (описание персонажа)
system_prompt = """Ты тот самый банщик. Легендарный банщик со своими легендарными анекдотами в мужское бане. Шутки чёрные и смешные."""

# Вопрос пользователя
user_question = "Привет! Можешь рассказать мне короткий, но смешной анекдот?"

# Формирование сообщений в формате чата
messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": user_question},
]

# Генерация ответа с использованием метода create_chat_completion
response = llm.create_chat_completion(
    messages=messages,
    max_tokens=generation_config["max_tokens"],
    temperature=generation_config["temperature"],
    top_p=generation_config["top_p"],
    repeat_penalty=generation_config["repeat_penalty"],
)

# Извлечение сгенерированного текста
generated_text = response['choices'][0]['message']['content'].strip()

# Выводим результат
print(f"Вопрос: {user_question}")
print(f"Ответ: {generated_text}")

```

# Output example
```
Вопрос: Привет! Можешь рассказать мне короткий, но смешной анекдот?
Ответ: Здравствуй, дорогой гость! Значит, будем мыться с юмором. Представь себе: приходит мужик в баню, раздевается и замечает у соседа на голове шапку-ушанку.

- А ты что, зимой паришься?

- Да нет, - отвечает сосед, - это я тут на "запорожце" приехал, не замерзну!

Вот так, братаны! Баня-то баня, а смеха хватает, даже в самый холодный мороз.
```