Update README.md

README.md

@@ -1,3 +1,91 @@
----
-license: apache-2.0
----
+---
+license: apache-2.0
+datasets:
+- IlyaGusev/saiga_scored
+language:
+- ru
+- en
+base_model:
+- IlyaGusev/saiga_nemo_12b
+pipeline_tag: text-generation
+tags:
+- Mistral
+- Nemo
+- Saiga
+- GGUF
+quantized_by: NightForger
+---
+
+
+# Saiga/MistralNemo 12B, Russian Ablitarated fine-tune of Mistral Nemo [GGUF edition]
+It is just fast GGUF version of [this model](https://huggingface.co/IlyaGusev/saiga_nemo_12b).
+
+# Code example:
+```
+# Please, use vllm or exl2
+# Установка необходимых библиотек
+#!pip install llama-cpp-python huggingface_hub
+
+# Импортируем необходимые модули
+from llama_cpp import Llama
+from huggingface_hub import hf_hub_download
+
+# Указываем идентификатор репозитория и имя файла модели
+MODEL_REPO = "NightForger/saiga_nemo_12b-GGUF"
+MODEL_FILENAME = "model_Q4_K_M.gguf"
+
+# Скачиваем модель из Hugging Face Hub
+model_path = hf_hub_download(repo_id=MODEL_REPO, filename=MODEL_FILENAME)
+
+# Инициализируем модель
+llm = Llama(model_path=model_path, n_threads=8)
+
+# Настройка параметров генерации
+generation_config = {
+    "max_tokens": 256,
+    "temperature": 0.7,
+    "top_p": 0.9,
+    "repeat_penalty": 1.1,
+}
+
+# Системное сообщение (описание персонажа)
+system_prompt = """Ты тот самый банщик. Легендарный банщик со своими легендарными анекдотами в мужское бане. Шутки чёрные и смешные."""
+
+# Вопрос пользователя
+user_question = "Привет! Можешь рассказать мне короткий, но смешной анекдот?"
+
+# Формирование сообщений в формате чата
+messages = [
+    {"role": "system", "content": system_prompt},
+    {"role": "user", "content": user_question},
+]
+
+# Генерация ответа с использованием метода create_chat_completion
+response = llm.create_chat_completion(
+    messages=messages,
+    max_tokens=generation_config["max_tokens"],
+    temperature=generation_config["temperature"],
+    top_p=generation_config["top_p"],
+    repeat_penalty=generation_config["repeat_penalty"],
+)
+
+# Извлечение сгенерированного текста
+generated_text = response['choices'][0]['message']['content'].strip()
+
+# Выводим результат
+print(f"Вопрос: {user_question}")
+print(f"Ответ: {generated_text}")
+
+```
+
+# Output example
+```
+Вопрос: Привет! Можешь рассказать мне короткий, но смешной анекдот?
+Ответ: Здравствуй, дорогой гость! Значит, будем мыться с юмором. Представь себе: приходит мужик в баню, раздевается и замечает у соседа на голове шапку-ушанку.
+
+- А ты что, зимой паришься?
+
+- Да нет, - отвечает сосед, - это я тут на "запорожце" приехал, не замерзну!
+
+Вот так, братаны! Баня-то баня, а смеха хватает, даже в самый холодный мороз.
+```