Text Generation
GGUF
Russian
Inference Endpoints
conversational
RefalMachine commited on
Commit
93e31e7
1 Parent(s): bbd45f6

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +62 -0
README.md ADDED
@@ -0,0 +1,62 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ datasets:
3
+ - IlyaGusev/saiga_scored
4
+ - IlyaGusev/saiga_preferences
5
+ - dichspace/darulm
6
+ language:
7
+ - ru
8
+ pipeline_tag: text-generation
9
+ license: apache-2.0
10
+ ---
11
+
12
+ ## Описание модели
13
+
14
+ GGUF версия. WORK IN PROGRESS!!! Текущая версия v1.
15
+
16
+ Инструктивная версия адаптированной на русский язык модели Qwen2.5-32B. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation, paper will be soon).
17
+
18
+ Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью Qwen-2.5-32B-Instruct.
19
+
20
+ *Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях.
21
+
22
+ ## Попробовать
23
+
24
+ Модель можно попробовать в поднятом Space (внизу в параметрах выбор модели):
25
+ https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5
26
+
27
+ ## Токенизация
28
+
29
+
30
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/O4eQEhnowETEatDPcmArB.png)
31
+
32
+
33
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/oW0Q6LzD_Py3GdH0kfqu4.png)
34
+
35
+ ## Метрики и оценка качества
36
+
37
+ Модель была оценена на Ru-Arena-General, MERA, llmtf_open
38
+
39
+ #### Результаты на Ru-Arena-General
40
+
41
+ TODO
42
+
43
+ #### Результаты на MERA
44
+
45
+ Для сабмита на MERA был подготовлен кастомный системный промпт, который смягчает недостатки оценки на кодовых задачах. Для сравнения был также сделан сабмит с этим же системным промптом оригинальной модели.
46
+
47
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/PwPTdwp0synSCE2Nn75xE.png)
48
+
49
+
50
+ #### Результаты на llmtf_open
51
+
52
+ TODO
53
+
54
+ ## How to cite:
55
+
56
+ Tikhomirov M., Chernyshev D. Facilitating large language model Russian adaptation with Learned Embedding Propagation // 2024 (will be soon)
57
+
58
+ Tikhomirov M., Chernyshev D. Impact of Tokenization on LLaMa Russian Adaptation //2023 Ivannikov Ispras Open Conference (ISPRAS). – IEEE, 2023. – С. 163-168.
59
+
60
+ ## Предупреждение
61
+
62
+ Ответы модели не отражают мнения авторов, а лишь повторяют знания полученные из данных на всех этапах обучения (предобучение, смена токенизатора, обучение на инструкциях, калибровка качества ответов). Модель была получена из сторонней предобученной модели, **контроль за предобучением** которой **не является ответственностью текущих авторов**. При создании данной версии модели не производилось никаких дополнительных действий, направленных на изменение заложенных в LLM "мнений". Используйте с осторожностью.