Alikhan Urumov
commited on
Commit
·
845de04
1
Parent(s):
3f8ffd7
Update README.md
Browse files
README.md
CHANGED
@@ -22,9 +22,9 @@ should probably proofread and complete it, then remove this comment. -->
|
|
22 |
Запуск на вывод результатов пример работы с комментариями в колабе https://colab.research.google.com/drive/1ame2va9_NflYqy4RZ07HYmQ0moJYy7w2?usp=sharing :
|
23 |
|
24 |
--------------------------------------------------------------------------------------------
|
25 |
-
|
26 |
# Установим библиотеку трансформеров
|
27 |
-
|
28 |
|
29 |
# Импортируем библиотеки
|
30 |
from transformers import AutoModelForSeq2SeqLM, T5TokenizerFast
|
@@ -53,9 +53,9 @@ encoded = tokenizer(
|
|
53 |
predicts = model.generate(**encoded) # # Прогнозирование
|
54 |
|
55 |
tokenizer.batch_decode(predicts, skip_special_tokens=True) # Декодируем данные
|
56 |
-
|
57 |
--------------------------------------------------------------------------------------------
|
58 |
-
|
59 |
Настроенный блокнот для запуска обучения и сохранения модели в свой репозиторий на huggingface hub:
|
60 |
https://colab.research.google.com/drive/1H4IoasDqa2TEjGivVDp-4Pdpm0oxrCWd?usp=sharing
|
61 |
|
@@ -178,9 +178,9 @@ trainer = Seq2SeqTrainer(
|
|
178 |
trainer.train()
|
179 |
|
180 |
trainer.push_to_hub()
|
181 |
-
|
182 |
--------------------------------------------------------------------------------------------
|
183 |
-
|
184 |
# Пример конвертации массивов для данной сети
|
185 |
|
186 |
input_data = ['удач почти отнее отвернулась', 'в хааоде проведения чемпиониавта мира дветысячивосемнандцтая лгодаа']
|
@@ -209,4 +209,5 @@ labels[labels == tokenizer.pad_token_id] = -100'''
|
|
209 |
|
210 |
data = Dataset.from_pandas(pd.DataFrame({'input_ids': list(np.array(input_ids)), 'attention_mask': list(np.array(attention_mask)), 'labels': list(np.array(labels))}))
|
211 |
data = data.train_test_split(0.02)
|
212 |
-
# и получим на вход сети для нашешго trainer: train_dataset = data['train'], eval_dataset = data['test']
|
|
|
|
22 |
Запуск на вывод результатов пример работы с комментариями в колабе https://colab.research.google.com/drive/1ame2va9_NflYqy4RZ07HYmQ0moJYy7w2?usp=sharing :
|
23 |
|
24 |
--------------------------------------------------------------------------------------------
|
25 |
+
'''
|
26 |
# Установим библиотеку трансформеров
|
27 |
+
!pip install transformers
|
28 |
|
29 |
# Импортируем библиотеки
|
30 |
from transformers import AutoModelForSeq2SeqLM, T5TokenizerFast
|
|
|
53 |
predicts = model.generate(**encoded) # # Прогнозирование
|
54 |
|
55 |
tokenizer.batch_decode(predicts, skip_special_tokens=True) # Декодируем данные
|
56 |
+
'''
|
57 |
--------------------------------------------------------------------------------------------
|
58 |
+
'''
|
59 |
Настроенный блокнот для запуска обучения и сохранения модели в свой репозиторий на huggingface hub:
|
60 |
https://colab.research.google.com/drive/1H4IoasDqa2TEjGivVDp-4Pdpm0oxrCWd?usp=sharing
|
61 |
|
|
|
178 |
trainer.train()
|
179 |
|
180 |
trainer.push_to_hub()
|
181 |
+
'''
|
182 |
--------------------------------------------------------------------------------------------
|
183 |
+
'''
|
184 |
# Пример конвертации массивов для данной сети
|
185 |
|
186 |
input_data = ['удач почти отнее отвернулась', 'в хааоде проведения чемпиониавта мира дветысячивосемнандцтая лгодаа']
|
|
|
209 |
|
210 |
data = Dataset.from_pandas(pd.DataFrame({'input_ids': list(np.array(input_ids)), 'attention_mask': list(np.array(attention_mask)), 'labels': list(np.array(labels))}))
|
211 |
data = data.train_test_split(0.02)
|
212 |
+
# и получим на вход сети для нашешго trainer: train_dataset = data['train'], eval_dataset = data['test']
|
213 |
+
'''
|