Update app.py

app.py

@@ -24,6 +24,30 @@ from peft import (
 )
 
 
+####################################################
+# Konstanten
+####################################################
+#Konstanten speziell für Baize Model:
+OUTPUT_DIR = "alexkueck/li-tis-tuned-2"
+MICRO_BATCH_SIZE = int(arg2)
+BATCH_SIZE = 64
+size = arg1
+GRADIENT_ACCUMULATION_STEPS = BATCH_SIZE // MICRO_BATCH_SIZE
+EPOCHS = 1
+LEARNING_RATE = float(arg3)
+CUTOFF_LEN = 512
+LORA_R = 8
+LORA_ALPHA = 16
+LORA_DROPOUT = 0.05
+VAL_SET_SIZE = 2000
+TARGET_MODULES = [
+    "q_proj",
+    "k_proj",
+    "v_proj",
+    "down_proj",
+    "gate_proj",
+    "up_proj",
+]
 
 #####################################################
 #Hilfsfunktionen für das Training
@@ -83,7 +107,8 @@ def compute_metrics_alle(eval_pred):
 
 #aus den Secrets importieren (siehe Setting zu diesem Space)
 login(token=os.environ["HF_ACCESS_TOKEN"])   #for read access!!!!
-     
+
+####################################################################################
 #Modelle und Tokenizer
 
 #Alternativ mit beliebigen Modellen:
@@ -100,20 +125,9 @@ base_model = "project-baize/baize-v2-7b"  #load_8bit = True (in load_tokenizer_a
 #Tokenizer und Model laden
 tokenizer,model,device = load_tokenizer_and_model(base_model,  True)
 #tokenizer.add_special_tokens({'pad_token': '[PAD]'}) #not necessary with fast Toekenizers like GPT2
-#für Blaize....
-tokenizer,model,device = load_tokenizer_and_model_Baize(base_model,  True)
-tokenizer.pad_token_id = 0
-
-#speziell für Blaize Model:
-TARGET_MODULES = [
-    "q_proj",
-    "k_proj",
-    "v_proj",
-    "down_proj",
-    "gate_proj",
-    "up_proj",
-]
 
+#für Baize.... da spezieller Tokenizer geladen werden muss...
+tokenizer,model,device = load_tokenizer_and_model_Baize(base_model,  True)
 config = LoraConfig(
     r=8,
     lora_alpha=16,
@@ -124,6 +138,7 @@ config = LoraConfig(
 )
 #config.save_pretrained(OUTPUT_DIR)
 model = get_peft_model(model, config)
+#da schneller Tokenizer-> Attention Mask setzen
 tokenizer.pad_token_id = 0
 
 
@@ -183,7 +198,8 @@ print ("training args")
 batch_size = 2
 
 '''
-# Training Argumente setzen (kleinere LLMs)
+# ########################################
+#Training Argumente setzen (kleinere LLMs)
 training_args = TrainingArguments(
     output_dir="alexkueck/li-tis-tuned-2",
     overwrite_output_dir = 'True',
@@ -211,14 +227,11 @@ training_args = TrainingArguments(
     #load_best_model_at_end=True
     #push_to_hub=True,
 )
-'''
 
-############################################
-#def trainieren_neu(name):
 #Trainer zusammenstellen
 print ("################################")
 print ("trainer")
-'''
+
 trainer = Trainer(
         model=model,
         args=training_args,
@@ -230,7 +243,7 @@ trainer = Trainer(
 '''
 
 ###############################################
-#Special QA Trainer...#
+# Special QA Trainer...#
 '''
 trainer = QuestionAnsweringTrainer(
         model=model,
@@ -262,27 +275,6 @@ if ddp:
     device_map = {"": int(os.environ.get("LOCAL_RANK") or 0)}
     GRADIENT_ACCUMULATION_STEPS = GRADIENT_ACCUMULATION_STEPS // world_size
 
-MICRO_BATCH_SIZE = int(arg2)
-BATCH_SIZE = 64
-size = arg1
-GRADIENT_ACCUMULATION_STEPS = BATCH_SIZE // MICRO_BATCH_SIZE
-EPOCHS = 1
-LEARNING_RATE = float(arg3)
-CUTOFF_LEN = 512
-LORA_R = 8
-LORA_ALPHA = 16
-LORA_DROPOUT = 0.05
-VAL_SET_SIZE = 2000
-TARGET_MODULES = [
-    "q_proj",
-    "k_proj",
-    "v_proj",
-    "down_proj",
-    "gate_proj",
-    "up_proj",
-]
-#DATA_PATH = "data/data_tmp.json"
-OUTPUT_DIR = "alexkueck/li-tis-tuned-2"
 trainer = transformers.Trainer(
     model=model,
     train_dataset=lm_datasets["train"],
@@ -345,66 +337,3 @@ print("Fertig mit Push to Hub")
 
 
 
-
-
-
-
-
-
-
-##############################################
-#Testen des fine-tuned Modells
-
-#######################################
-# Load model
-#print("load model_neu")
-#login(token=os.environ["HF_ACCESS_TOKEN"]) 
-#model_name_neu = "alexkueck/test-tis-1"
-#model_neu = trainer.load("test-tis-1")
-
-#oder ...
-#model_neu, tokenizer_neu, device_neu = load_tokenizer_and_model(model_name_neu, False)
-#print("done load")
-
-
-############################
-#print("Test")
-#prompt = "Was ist ein TIS?"
-
-#####################################
-#mit generate_response - nicht bei allen Tikenizern möglich
-#response = generate_response(prompt, model_neu, tokenizer_neu)
-#print(response)
-#print("response done")
-
-
-
-#######################################
-#Encoding Tokenizer..
-#encoding = tokenizer(text, return_tensors="pt")
-#encoding = {k: v.to(trainer.model.device) for k,v in encoding.items()}
-
-#outputs = trainer.model(**encoding)
-#logits = outputs.logits
-#print(logits.shape)
-
-#greedy_output = model.generate(input_ids, max_length=50)
-
-#print("Output:\n" )
-#print(tokenizer.decode(outputs[0], skip_special_tokens=True))
-
-
-
-'''
-#######################################################################
-#Darstellung mit Gradio
-
-with gr.Blocks() as demo:
-    name = gr.Textbox(label="Model")
-    output = gr.Textbox(label="Output Box")
-    start_btn = gr.Button("Start")
-    start_btn.click(fn=trainieren_neu, inputs=name, outputs=output, api_name="trainieren_neu")
-
-
-demo.queue(default_enabled=True).launch(debug=True) 
-'''