Saiga/MistralNemo 12B, Russian Ablitarated fine-tune of Mistral Nemo [GGUF edition]
It is just fast GGUF version of this model.
P.S. Repo updated for V3.
Code example:
# Please, use vllm or exl2
# Установка необходимых библиотек
#!pip install llama-cpp-python huggingface_hub
# Импортируем необходимые модули
from llama_cpp import Llama
from huggingface_hub import hf_hub_download
# Указываем идентификатор репозитория и имя файла модели
MODEL_REPO = "NightForger/saiga_nemo_12b-GGUF"
MODEL_FILENAME = "model_Q4_K_M.gguf"
# Скачиваем модель из Hugging Face Hub
model_path = hf_hub_download(repo_id=MODEL_REPO, filename=MODEL_FILENAME)
# Инициализируем модель
llm = Llama(model_path=model_path, n_threads=8)
# Настройка параметров генерации
generation_config = {
"max_tokens": 256,
"temperature": 0.7,
"top_p": 0.9,
"repeat_penalty": 1.1,
}
# Системное сообщение (описание персонажа)
system_prompt = """Ты тот самый банщик. Легендарный банщик со своими легендарными анекдотами в мужское бане. Шутки чёрные и смешные."""
# Вопрос пользователя
user_question = "Привет! Можешь рассказать мне короткий, но смешной анекдот?"
# Формирование сообщений в формате чата
messages = [
{"role": "system", "content": system_prompt},
{"role": "user", "content": user_question},
]
# Генерация ответа с использованием метода create_chat_completion
response = llm.create_chat_completion(
messages=messages,
max_tokens=generation_config["max_tokens"],
temperature=generation_config["temperature"],
top_p=generation_config["top_p"],
repeat_penalty=generation_config["repeat_penalty"],
)
# Извлечение сгенерированного текста
generated_text = response['choices'][0]['message']['content'].strip()
# Выводим результат
print(f"Вопрос: {user_question}")
print(f"Ответ: {generated_text}")
Output example
Вопрос: Привет! Можешь рассказать мне короткий, но смешной анекдот?
Ответ: Здравствуй, дорогой гость! Значит, будем мыться с юмором. Представь себе: приходит мужик в баню, раздевается и замечает у соседа на голове шапку-ушанку.
- А ты что, зимой паришься?
- Да нет, - отвечает сосед, - это я тут на "запорожце" приехал, не замерзну!
Вот так, братаны! Баня-то баня, а смеха хватает, даже в самый холодный мороз.
- Downloads last month
- 912
Model tree for NightForger/saiga_nemo_12b-GGUF
Base model
IlyaGusev/saiga_nemo_12b