Update app.py

app.py

@@ -208,6 +208,9 @@ print ("training args")
 #Training Args
 batch_size = 2
 
+#falls Quanitsation für das training hinzugefügt werden soll (speed up gewählt wird)
+bnb_config = bnb_config(True, True)
+
 
 # ########################################
 #Training Argumente setzen (kleinere LLMs)
@@ -233,7 +236,7 @@ training_args = TrainingArguments(
     #max_steps=16,     # delete for full training
     # overwrite_output_dir=True,
     #save_total_limit=1,
-    #fp16=True,
+    #quantization_config=bnb_config,
     save_strategy = "no",
     optim="adamw_torch",
     #load_best_model_at_end=False,