Update app.py

app.py

@@ -47,7 +47,13 @@ def generate_response(prompt, model, tokenizer):
     response = tokenizer.decode(output[:, input_ids.shape[-1]:][0], skip_special_tokens=True)
     return response
 
-
+#Funktion, die der trainer braucht, um das Training zu evaluieren - mit einer Metrik
+def compute_metrics(eval_pred):
+    logits, labels = eval_pred
+    predictions = np.argmax(logits, axis=-1)
+    #Call compute on metric to calculate the accuracy of your predictions.
+    #Before passing your predictions to compute, you need to convert the predictions to logits (remember all Transformers models return logits):
+    return metric.compute(predictions=predictions, references=labels)
 
 
 ###################################################################################
@@ -106,6 +112,12 @@ print ("lm datasets")
 #die Daten wurden nun "gereinigt" und für das Model vorbereitet.
 #z.B. anschauen mit: tokenizer.decode(lm_datasets["train"][1]["input_ids"])
 
+###################################################
+#Metrik
+#Metrik berechnen, um das training messen zu können - wird es besser???
+metric = evaluate.load("accuracy")   # 3 Arten von gegebener Metrik: f1  oder roc_auc  oder accuracy
+
+
 ####################################################
 #Training
 ####################################################
@@ -146,7 +158,7 @@ trainer = Trainer(
         train_dataset=lm_datasets["train"],
         eval_dataset=lm_datasets["test"],
         #tokenizer=tokenizer,
-        #compute_metrics=compute_metrics,
+        compute_metrics=compute_metrics,
 )
 print ("trainer")
 #trainer ausführen
@@ -158,7 +170,7 @@ print("trained!!!!!")
 ##################
 #Evaluate the new Model
 print("Evaluate:")
-#trainer.evaluate()
+trainer.evaluate(eval_dataset=lm_dataset[“test”])
 print("Done Eval")
 
 ###################################################