Alikhan Urumov commited on
Commit
845de04
·
1 Parent(s): 3f8ffd7

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +8 -7
README.md CHANGED
@@ -22,9 +22,9 @@ should probably proofread and complete it, then remove this comment. -->
22
  Запуск на вывод результатов пример работы с комментариями в колабе https://colab.research.google.com/drive/1ame2va9_NflYqy4RZ07HYmQ0moJYy7w2?usp=sharing :
23
 
24
  --------------------------------------------------------------------------------------------
25
-
26
  # Установим библиотеку трансформеров
27
- + !pip install transformers
28
 
29
  # Импортируем библиотеки
30
  from transformers import AutoModelForSeq2SeqLM, T5TokenizerFast
@@ -53,9 +53,9 @@ encoded = tokenizer(
53
  predicts = model.generate(**encoded) # # Прогнозирование
54
 
55
  tokenizer.batch_decode(predicts, skip_special_tokens=True) # Декодируем данные
56
-
57
  --------------------------------------------------------------------------------------------
58
-
59
  Настроенный блокнот для запуска обучения и сохранения модели в свой репозиторий на huggingface hub:
60
  https://colab.research.google.com/drive/1H4IoasDqa2TEjGivVDp-4Pdpm0oxrCWd?usp=sharing
61
 
@@ -178,9 +178,9 @@ trainer = Seq2SeqTrainer(
178
  trainer.train()
179
 
180
  trainer.push_to_hub()
181
-
182
  --------------------------------------------------------------------------------------------
183
-
184
  # Пример конвертации массивов для данной сети
185
 
186
  input_data = ['удач почти отнее отвернулась', 'в хааоде проведения чемпиониавта мира дветысячивосемнандцтая лгодаа']
@@ -209,4 +209,5 @@ labels[labels == tokenizer.pad_token_id] = -100'''
209
 
210
  data = Dataset.from_pandas(pd.DataFrame({'input_ids': list(np.array(input_ids)), 'attention_mask': list(np.array(attention_mask)), 'labels': list(np.array(labels))}))
211
  data = data.train_test_split(0.02)
212
- # и получим на вход сети для нашешго trainer: train_dataset = data['train'], eval_dataset = data['test']
 
 
22
  Запуск на вывод результатов пример работы с комментариями в колабе https://colab.research.google.com/drive/1ame2va9_NflYqy4RZ07HYmQ0moJYy7w2?usp=sharing :
23
 
24
  --------------------------------------------------------------------------------------------
25
+ '''
26
  # Установим библиотеку трансформеров
27
+ !pip install transformers
28
 
29
  # Импортируем библиотеки
30
  from transformers import AutoModelForSeq2SeqLM, T5TokenizerFast
 
53
  predicts = model.generate(**encoded) # # Прогнозирование
54
 
55
  tokenizer.batch_decode(predicts, skip_special_tokens=True) # Декодируем данные
56
+ '''
57
  --------------------------------------------------------------------------------------------
58
+ '''
59
  Настроенный блокнот для запуска обучения и сохранения модели в свой репозиторий на huggingface hub:
60
  https://colab.research.google.com/drive/1H4IoasDqa2TEjGivVDp-4Pdpm0oxrCWd?usp=sharing
61
 
 
178
  trainer.train()
179
 
180
  trainer.push_to_hub()
181
+ '''
182
  --------------------------------------------------------------------------------------------
183
+ '''
184
  # Пример конвертации массивов для данной сети
185
 
186
  input_data = ['удач почти отнее отвернулась', 'в хааоде проведения чемпиониавта мира дветысячивосемнандцтая лгодаа']
 
209
 
210
  data = Dataset.from_pandas(pd.DataFrame({'input_ids': list(np.array(input_ids)), 'attention_mask': list(np.array(attention_mask)), 'labels': list(np.array(labels))}))
211
  data = data.train_test_split(0.02)
212
+ # и получим на вход сети для нашешго trainer: train_dataset = data['train'], eval_dataset = data['test']
213
+ '''