Update tools.py

tools.py

@@ -159,3 +159,18 @@ def add_symbol(df,column):
         df[column].iloc[x] = kif
         kif = ""
     return df
+
+def preprocess_data(
+    data: pd.DataFrame, tokenizer: PreTrainedTokenizer
+) -> BatchEncoding:
+    """データの前処理"""
+    # 入力文字列のトークナイゼーションを行う
+    inputs = tokenizer(
+        data["input"], max_length=512, truncation=True
+    )
+    # 正解文字列のトークナイゼーションを行う
+    # 正解文字列はトークンIDのみ使用する
+    inputs["labels"] = tokenizer(
+        data["output"], max_length=512, truncation=True
+    )["input_ids"]
+    return inputs