Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
@@ -40,6 +40,8 @@ if st.button("トレーニング開始"):
|
|
40 |
return tokenizer(examples["text"], padding="max_length", truncation=True, max_length=128)
|
41 |
|
42 |
tokenized_dataset = dataset.map(tokenize_function, batched=True)
|
|
|
|
|
43 |
tokenized_dataset = tokenized_dataset.rename_column("text", "labels")
|
44 |
|
45 |
# 評価用データセットを使わない設定
|
@@ -48,7 +50,7 @@ if st.button("トレーニング開始"):
|
|
48 |
# トレーニング設定
|
49 |
training_args = TrainingArguments(
|
50 |
output_dir=output_dir,
|
51 |
-
eval_strategy="no", #
|
52 |
learning_rate=2e-5,
|
53 |
per_device_train_batch_size=8,
|
54 |
num_train_epochs=1,
|
|
|
40 |
return tokenizer(examples["text"], padding="max_length", truncation=True, max_length=128)
|
41 |
|
42 |
tokenized_dataset = dataset.map(tokenize_function, batched=True)
|
43 |
+
|
44 |
+
# input_ids と labels を一致させる(Causal LM の場合)
|
45 |
tokenized_dataset = tokenized_dataset.rename_column("text", "labels")
|
46 |
|
47 |
# 評価用データセットを使わない設定
|
|
|
50 |
# トレーニング設定
|
51 |
training_args = TrainingArguments(
|
52 |
output_dir=output_dir,
|
53 |
+
eval_strategy="no", # eval設定を評価しない設定
|
54 |
learning_rate=2e-5,
|
55 |
per_device_train_batch_size=8,
|
56 |
num_train_epochs=1,
|