Update app.py

app.py

@@ -9,7 +9,6 @@ import torch
 from utils import *
 from presets import *
 from transformers import Trainer, TrainingArguments, DataCollatorForLanguageModeling
-from setfit import SetFitModel, SetFitTrainer
 from sentence_transformers.losses import CosineSimilarityLoss
 import numpy as np
 import evaluate
@@ -133,12 +132,6 @@ base_model = "EleutherAI/gpt-neo-1.3B"    #load_8bit = False (in load_tokenizer_
 #Tokenizer und Model laden
 #tokenizer,model,device = load_tokenizer_and_model(base_model,  False)
 
-#################################################
-# Few-Shot Training!!!!!!!!!
-#################################################
-# Load SetFit model from Hub
-tokenizer,model,device = load_tokenizer_and_model_setFit(base_model,  False)
-
 
 #tokenizer.add_special_tokens({'pad_token': '[PAD]'}) #not necessary with fast Toekenizers like GPT2
 '''
@@ -171,8 +164,7 @@ dataset_neu = daten_laden("alexkueck/tis")
 #############################################
 print ("################################")
 print("Datenset vorbereiten")
-#für den SetFit-Trainer muss man die columns 'text' und 'label' haben - in TIS gibt es noch die 'id'
-column_names = ['id', 'text', 'label']
+
 #alles zusammen auf das neue datenset anwenden - batched = True und 4 Prozesse, um die Berechnung zu beschleunigen. Die "text" - Spalte braucht man anschließend nicht mehr, daher weglassen.
 tokenized_datasets = dataset_neu.map(tokenize_function, batched=True, num_proc=4 ) #, remove_columns=["id","text"])
 
@@ -254,7 +246,7 @@ training_args = TrainingArguments(
 #Trainer zusammenstellen
 print ("################################")
 print ("trainer")
-'''
+
 trainer = Trainer(
         model=model,
         args=training_args,
@@ -266,7 +258,7 @@ trainer = Trainer(
         tokenizer=tokenizer,
         compute_metrics=compute_metrics,
 )
-'''
+
 
 ###############################################
 # Special QA Trainer...#
@@ -286,21 +278,6 @@ trainer = QuestionAnsweringTrainer(
 #################################################
 
 
-#################################################
-# Few-Shot Training!!!!!!!!!
-#################################################
-
-# Create Few-Shot trainer
-trainer = SetFitTrainer(
-    model=model,
-    train_dataset=lm_datasets["train"],
-    eval_dataset=lm_datasets["test"],
-    loss_class=CosineSimilarityLoss,
-    column_mapping = ['id', 'text', 'label'],
-    batch_size=16,
-    num_iterations=20, # Number of text pairs to generate for contrastive learning
-    num_epochs=1 # Number of epochs to use for contrastive learning
-)
 
 '''
 #################################################