Update app.py

app.py

@@ -164,14 +164,18 @@ def list_pdfs():
 
 ###########################################################
 ############# KI um Suchanfrage zu Embedden ###############
-# Funktion zur Entfernung von Stopwörtern und Tokenisierung - um bei längeren suchanfragen auf relevante wörter zu konzentrieren
+#um ähnliche Wörter anhand ihres Wortstammes zu erkennen
+# Funktion zur Stemmatisierung des Textes
 def preprocess_text(text):
     if not text:
         return ""
-    
-    # Konvertiere den Text zu Kleinbuchstaben
+
     text = text.lower()
-    stemmed_words= stem_text(text)
+    tokenizer = RegexpTokenizer(r'\w+')
+    word_tokens = tokenizer.tokenize(text)
+    filtered_words = [word for word in word_tokens if word not in german_stopwords]
+    stemmer = SnowballStemmer("german")
+    stemmed_words = [stemmer.stem(word) for word in filtered_words]
     return " ".join(stemmed_words)
 
 # Funktion zur Bereinigung des Textes aus den Pdfs und Word Dokuemtne, um den Tokenizer nicht zu überfordern
@@ -183,18 +187,6 @@ def clean_text(text):
     return text.strip()
 
 
-#um ähnliche Wörter anhand ihres Wortstammes zu erkennen
-# Funktion zur Stemmatisierung des Textes
-def stem_text(text):
-    if not text:
-        return ""
-    
-    stemmer = SnowballStemmer("german")
-    tokenizer = RegexpTokenizer(r'\w+')
-    word_tokens = tokenizer.tokenize(text)
-    stemmed_words = [stemmer.stem(word) for word in word_tokens]
-    return " ".join(stemmed_words)
-
 # Durchsuchen von Dokumenten
 def search_documents(query):
     documents = initialize_documents()