|
--- |
|
datasets: |
|
- IlyaGusev/ru_turbo_alpaca |
|
language: |
|
- ru |
|
pipeline_tag: text2text-generation |
|
inference: false |
|
--- |
|
|
|
# LLaMA 7B trained on the ru_turbo_alpaca, Russian instructions dataset |
|
|
|
Based on [LLaMA 7B](https://huggingface.co/decapoda-research/llama-7b-hf). |
|
|
|
* This is an adapter-only version. |
|
* Merged version: [link](https://huggingface.co/IlyaGusev/llama_7b_ru_turbo_alpaca_lora_merged). |
|
* llama.cpp version: [link](https://huggingface.co/IlyaGusev/llama_7b_ru_turbo_alpaca_lora_llamacpp). |
|
|
|
Warning! The model was trained with a target capped at 256 tokens. We will update it once a version with 512 tokens is ready. |
|
|
|
Colab: [link](https://colab.research.google.com/drive/1JLoHOjDJQIa8SDqsEXrGHj4Z4aTnaajN) |
|
|
|
Training code: [link](https://github.com/IlyaGusev/rulm/tree/master/self_instruct) |
|
|
|
```python |
|
from peft import PeftModel, PeftConfig |
|
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig |
|
|
|
MODEL_NAME = "IlyaGusev/llama_7b_ru_turbo_alpaca_lora" |
|
|
|
config = PeftConfig.from_pretrained(MODEL_NAME) |
|
model = AutoModelForCausalLM.from_pretrained( |
|
config.base_model_name_or_path, |
|
load_in_8bit=True, |
|
device_map="auto" |
|
) |
|
model = PeftModel.from_pretrained(model, MODEL_NAME) |
|
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME) |
|
``` |
|
|
|
Examples: |
|
``` |
|
Вопрос: Почему трава зеленая? |
|
Выход: Трава зеленой является результатом фотосинтеза, процесса, при котором растительные клетки выделяют кислород и используют энергию света для синтеза органических соединений, таких как углеводы, аминокислоты и жиры. Этот процесс происходит в хлоропластах, клетках, которые находятся в листьях и стеблях растений. Зеленые пигменты, такие как хлорофиллы, играют важную роль в этом процессе |
|
``` |
|
|
|
``` |
|
Задание: Сочини длинный рассказ, обязательно упоминая следующие объекты. |
|
Вход: Таня, мяч |
|
Выход: Таня любила играть в футбол с мальчишками, но ей не хватало партнера. Единственное, что могло удовлетворить ее, - это мяч. Она наслаждалась тем, как он легко перемещался по полю, и каждый раз, когда она забивала гол, она чувствовала себя настоящей чемпионкой. |
|
Однажды, когда Таня играла на улице, она заметила, что кто-то следит за ней. Это был один из мальчишек, которые обычно играли с ней, но сейчас он был недоволен. Он бросил мяч и начал кричать на нее. |
|
Таня была удивлена, почему мальчик стал так грубоват. Она подошла к нему и попросила... |
|
``` |
|
|
|
* Final loss: 1.065 |
|
* Time: 7 hours, 20 minutes |
|
* Hardware: 1x RTX 3090 |
