Sakalti commited on
Commit
04519dc
1 Parent(s): b330f64

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +3 -1
app.py CHANGED
@@ -40,6 +40,8 @@ if st.button("トレーニング開始"):
40
  return tokenizer(examples["text"], padding="max_length", truncation=True, max_length=128)
41
 
42
  tokenized_dataset = dataset.map(tokenize_function, batched=True)
 
 
43
  tokenized_dataset = tokenized_dataset.rename_column("text", "labels")
44
 
45
  # 評価用データセットを使わない設定
@@ -48,7 +50,7 @@ if st.button("トレーニング開始"):
48
  # トレーニング設定
49
  training_args = TrainingArguments(
50
  output_dir=output_dir,
51
- eval_strategy="no", # 評価を行わない設定
52
  learning_rate=2e-5,
53
  per_device_train_batch_size=8,
54
  num_train_epochs=1,
 
40
  return tokenizer(examples["text"], padding="max_length", truncation=True, max_length=128)
41
 
42
  tokenized_dataset = dataset.map(tokenize_function, batched=True)
43
+
44
+ # input_ids と labels を一致させる(Causal LM の場合)
45
  tokenized_dataset = tokenized_dataset.rename_column("text", "labels")
46
 
47
  # 評価用データセットを使わない設定
 
50
  # トレーニング設定
51
  training_args = TrainingArguments(
52
  output_dir=output_dir,
53
+ eval_strategy="no", # eval設定を評価しない設定
54
  learning_rate=2e-5,
55
  per_device_train_batch_size=8,
56
  num_train_epochs=1,