Update app.py

app.py

@@ -37,65 +37,6 @@ def group_texts(examples):
     return result    
 
 
-#neues Model testen nach dem Training
-########################################################################
-#Zm Test einen Text zu generieren...
-def predict(text,
-            history,
-            top_p=0.3,
-            temperature=0.9,
-            max_length_tokens=1024,
-            max_context_length_tokens=2048,):
-    if text=="":
-        return 
-    try:
-        model
-    except:
-        return print("fehler model")
-
-    inputs = generate_prompt_with_history(text,history, tokenizer,max_length=max_context_length_tokens)
-    if inputs is None:
-        return print("Fehler inputs")
-    else:
-        prompt,inputs=inputs
-        begin_length = len(prompt)
-        
-    input_ids = inputs["input_ids"][:,-max_context_length_tokens:].to(device)
-    torch.cuda.empty_cache()
-
-    #torch.no_grad() bedeutet, dass für die betreffenden tensoren keine Ableitungen berechnet werden bei der backpropagation 
-    #hier soll das NN ja auch nicht geändert werden 8backprop ist nicht nötig), da es um interference-prompts geht!
-    print("torch.no_grad")
-    with torch.no_grad():
-        ausgabe = ""
-        #die vergangenen prompts werden alle als Tupel in history abgelegt sortiert nach 'Human' und 'AI'- dass sind daher auch die stop-words, die den jeweils nächsten Eintrag kennzeichnen        
-        for x in greedy_search(input_ids,model,tokenizer,stop_words=["[|Human|]", "[|AI|]"],max_length=max_length_tokens,temperature=temperature,top_p=top_p):
-            if is_stop_word_or_prefix(x,["[|Human|]", "[|AI|]"]) is False:
-                if "[|Human|]" in x:
-                    x = x[:x.index("[|Human|]")].strip()
-                if "[|AI|]" in x:
-                    x = x[:x.index("[|AI|]")].strip() 
-                x = x.strip()
-                ausgabe = ausgabe + x
-                # a, b=   [[y[0],convert_to_markdown(y[1])] for y in history]+[[text, convert_to_markdown(x)]],history + [[text,x]]
-                print("Erzeuge")
-                yield print(Ausgabe)
-            if shared_state.interrupted:
-                shared_state.recover()
-                try:
-                    print("Erfolg")
-                    return ausgabe
-                except:
-                    pass
-    del input_ids
-    gc.collect()
-    torch.cuda.empty_cache()
-    
-    try:
-        print("erfolg")
-        return ausgabe
-    except:
-        pass