Update tools.py

tools.py

@@ -160,17 +160,3 @@ def add_symbol(df,column):
         kif = ""
     return df
 
-def preprocess_data(
-    data: pd.DataFrame, tokenizer: PreTrainedTokenizer
-) -> BatchEncoding:
-    """データの前処理"""
-    # 入力文字列のトークナイゼーションを行う
-    inputs = tokenizer(
-        data["input"], max_length=512, truncation=True
-    )
-    # 正解文字列のトークナイゼーションを行う
-    # 正解文字列はトークンIDのみ使用する
-    inputs["labels"] = tokenizer(
-        data["output"], max_length=512, truncation=True
-    )["input_ids"]
-    return inputs