germanjke commited on
Commit
0968e7c
1 Parent(s): 346544c

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +67 -0
README.md ADDED
@@ -0,0 +1,67 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language:
3
+ - ru
4
+ ---
5
+ # T-lite-instruct-0.1
6
+
7
+ Detailed model card’s coming soon…
8
+
9
+ ## 👨‍💻 Examples of usage
10
+
11
+
12
+ ```python
13
+ from transformers import AutoTokenizer, AutoModelForCausalLM
14
+ import torch
15
+ torch.manual_seed(42)
16
+
17
+ model_name = "t-bank-ai/T-lite-it-1.0"
18
+ tokenizer = AutoTokenizer.from_pretrained(model_name, use_auth_token=token)
19
+ model = AutoModelForCausalLM.from_pretrained(model_name, use_auth_token=token, device_map="auto")
20
+
21
+ prompt = "Напиши стих про машинное обучение"
22
+ messages = [
23
+ {"role": "system", "content": "Ты T-lite, виртуальный ассистент в Т-Технологии. Твоя задача - быть полезным диалоговым ассистентом."},
24
+ {"role": "user", "content": prompt}
25
+ ]
26
+ text = tokenizer.apply_chat_template(
27
+ messages,
28
+ tokenize=False,
29
+ add_generation_prompt=True
30
+ )
31
+ model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
32
+
33
+ generated_ids = model.generate(
34
+ **model_inputs,
35
+ max_new_tokens=256
36
+ )
37
+ generated_ids = [
38
+ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
39
+ ]
40
+
41
+ response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
42
+
43
+ print(response)
44
+ ```
45
+
46
+ Output:
47
+ ```
48
+ В мире данных, где цифры танцуют,
49
+ Машинное обученье — ведущий вальс.
50
+ Алгоритмы учатся, как дети,
51
+ На примерах, как на сказочных страницах.
52
+
53
+ Они ищут закономерности в потоках,
54
+ Как мудрецы в древних свитках.
55
+ С каждым шагом всё точнее предсказания,
56
+ Вот так, словно волшебство, оживает.
57
+
58
+ Обучаясь на ошибках, они растут,
59
+ Из простых моделей в сложные формы.
60
+ Каждый новый пример — как новая строка,
61
+ В книге знаний, что не знает конца.
62
+
63
+ Не бойтесь перемен, ведь это — путь,
64
+ Который ведёт к будущему, светлому и новому.
65
+ Машинное обученье — наш проводник,
66
+ В этом мире, где технологии царят.
67
+ ```