File size: 3,302 Bytes
d8bfce6 cc73d93 d8bfce6 e7201b3 b4c5d4c dd4b2c6 23cc3f9 790e30b f23a2cd 8784035 0898595 e7201b3 4f419da f23a2cd c8cf8ad 45003ce f23a2cd b4be050 f23a2cd d8bfce6 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 |
---
datasets:
- IlyaGusev/ru_turbo_alpaca
language:
- ru
pipeline_tag: text2text-generation
inference: false
---
# LLaMA 7B trained on the ru_turbo_alpaca, Russian instructions dataset
Based on [LLaMA 7B](https://huggingface.co/decapoda-research/llama-7b-hf).
* This is an adapter-only version.
* Merged version: [link](https://huggingface.co/IlyaGusev/llama_7b_ru_turbo_alpaca_lora_merged).
* llama.cpp version: [link](https://huggingface.co/IlyaGusev/llama_7b_ru_turbo_alpaca_lora_llamacpp).
Warning! The model was trained with a target capped at 256 tokens. We will update it once a version with 512 tokens is ready.
Colab: [link](https://colab.research.google.com/drive/1JLoHOjDJQIa8SDqsEXrGHj4Z4aTnaajN)
Training code: [link](https://github.com/IlyaGusev/rulm/tree/master/self_instruct)
```python
from peft import PeftModel, PeftConfig
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
MODEL_NAME = "IlyaGusev/llama_7b_ru_turbo_alpaca_lora"
config = PeftConfig.from_pretrained(MODEL_NAME)
model = AutoModelForCausalLM.from_pretrained(
config.base_model_name_or_path,
load_in_8bit=True,
device_map="auto"
)
model = PeftModel.from_pretrained(model, MODEL_NAME)
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
```
Examples:
```
Вопрос: Почему трава зеленая?
Выход: Трава зеленой является результатом фотосинтеза, процесса, при котором растительные клетки выделяют кислород и используют энергию света для синтеза органических соединений, таких как углеводы, аминокислоты и жиры. Этот процесс происходит в хлоропластах, клетках, которые находятся в листьях и стеблях растений. Зеленые пигменты, такие как хлорофиллы, играют важную роль в этом процессе
```
```
Задание: Сочини длинный рассказ, обязательно упоминая следующие объекты.
Вход: Таня, мяч
Выход: Таня любила играть в футбол с мальчишками, но ей не хватало партнера. Единственное, что могло удовлетворить ее, - это мяч. Она наслаждалась тем, как он легко перемещался по полю, и каждый раз, когда она забивала гол, она чувствовала себя настоящей чемпионкой.
Однажды, когда Таня играла на улице, она заметила, что кто-то следит за ней. Это был один из мальчишек, которые обычно играли с ней, но сейчас он был недоволен. Он бросил мяч и начал кричать на нее.
Таня была удивлена, почему мальчик стал так грубоват. Она подошла к нему и попросила...
```
* Final loss: 1.065
* Time: 7 hours, 20 minutes
* Hardware: 1x RTX 3090 |