Update app.py

app.py

@@ -112,9 +112,10 @@ login(token=os.environ["HF_ACCESS_TOKEN"])   #for read access!!!!
 #Modelle und Tokenizer
 
 #Alternativ mit beliebigen Modellen:
-base_model = "project-baize/baize-v2-7b"  #load_8bit = True (in load_tokenizer_and_model)
+#base_model = "project-baize/baize-v2-7b"  #load_8bit = True (in load_tokenizer_and_model)
 #base_model = "TheBloke/airoboros-13B-HF"  #load_8bit = False (in load_tokenizer_and_model)
-#base_model = "EleutherAI/gpt-neo-1.3B"    #load_8bit = False (in load_tokenizer_and_model)
+
+base_model = "EleutherAI/gpt-neo-1.3B"    #load_8bit = False (in load_tokenizer_and_model)
 #base_model = "TheBloke/airoboros-13B-HF"   #load_8bit = True
 #base_model = "TheBloke/vicuna-13B-1.1-HF"   #load_8bit = ?
 #base_model="gpt2-xl"
@@ -125,7 +126,7 @@ base_model = "project-baize/baize-v2-7b"  #load_8bit = True (in load_tokenizer_a
 #Tokenizer und Model laden
 tokenizer,model,device = load_tokenizer_and_model(base_model,  True)
 #tokenizer.add_special_tokens({'pad_token': '[PAD]'}) #not necessary with fast Toekenizers like GPT2
-
+'''
 #für Baize.... da spezieller Tokenizer geladen werden muss...
 # hier werden aber Chat-Daten geladen!!!!
 tokenizer,model,device = load_tokenizer_and_model_Baize(base_model,  True)
@@ -141,7 +142,7 @@ config.save_pretrained(OUTPUT_DIR)
 model = get_peft_model(model, config)
 #da schneller Tokenizer-> Attention Mask setzen
 tokenizer.pad_token_id = 0
-
+'''
 
 
 ####################################################
@@ -198,7 +199,7 @@ print ("training args")
 #Training Args
 batch_size = 2
 
-'''
+
 # ########################################
 #Training Argumente setzen (kleinere LLMs)
 training_args = TrainingArguments(
@@ -241,7 +242,7 @@ trainer = Trainer(
         #tokenizer=tokenizer,
         compute_metrics=compute_metrics,
 )
-'''
+
 
 ###############################################
 # Special QA Trainer...#
@@ -259,7 +260,7 @@ trainer = QuestionAnsweringTrainer(
     )
 '''
 #################################################
-
+'''
 #################################################
 # special Trainer Baize Model
 # Parameters für Model 7b: 7b 32 0.0002
@@ -302,7 +303,7 @@ trainer = transformers.Trainer(
     data_collator=transformers.DataCollatorForLanguageModeling(tokenizer, mlm=False),
 )
 model.config.use_cache = False
-
+'''