Update utils.py
Browse files
utils.py
CHANGED
@@ -50,6 +50,46 @@ logging.basicConfig(
|
|
50 |
format="%(asctime)s [%(levelname)s] [%(filename)s:%(lineno)d] %(message)s",
|
51 |
)
|
52 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
53 |
##################################################
|
54 |
#RAG Hilfsfunktionen - Dokumenten bearbeiten für Vektorstore
|
55 |
##################################################
|
|
|
50 |
format="%(asctime)s [%(levelname)s] [%(filename)s:%(lineno)d] %(message)s",
|
51 |
)
|
52 |
|
53 |
+
|
54 |
+
#################################################
|
55 |
+
#Gesetzte Werte für Pfade, Prompts und Keys..
|
56 |
+
#################################################
|
57 |
+
#################################################
|
58 |
+
#Prompt Zusätze
|
59 |
+
template = """Antworte in deutsch, wenn es nicht explizit anders gefordert wird. Wenn du die Antwort nicht kennst, antworte einfach, dass du es nicht weißt. Versuche nicht, die Antwort zu erfinden oder aufzumocken. Halte die Antwort kurz aber ausführlich genug und exakt."""
|
60 |
+
|
61 |
+
llm_template = "Beantworte die Frage am Ende. " + template + "Frage: {question} Hilfreiche Antwort: "
|
62 |
+
rag_template = "Nutze die folgenden Kontext Teile, um die Frage zu beantworten am Ende. " + template + "{context} Frage: {question} Hilfreiche Antwort: "
|
63 |
+
|
64 |
+
#################################################
|
65 |
+
#Konstanten
|
66 |
+
LLM_CHAIN_PROMPT = PromptTemplate(input_variables = ["question"],
|
67 |
+
template = llm_template)
|
68 |
+
RAG_CHAIN_PROMPT = PromptTemplate(input_variables = ["context", "question"],
|
69 |
+
template = rag_template)
|
70 |
+
|
71 |
+
################################################
|
72 |
+
#Plattform Keys aus den Secrets holen zu diesem Space
|
73 |
+
HUGGINGFACEHUB_API_TOKEN = os.getenv("HF_ACCESS_READ")
|
74 |
+
OAI_API_KEY=os.getenv("OPENAI_API_KEY")
|
75 |
+
HEADERS = {"Authorization": f"Bearer {HUGGINGFACEHUB_API_TOKEN}"}
|
76 |
+
|
77 |
+
################################################
|
78 |
+
#Pfad, wo Docs/Bilder/Filme abgelegt werden können - lokal, also hier im HF Space (sonst auf eigenem Rechner)
|
79 |
+
PATH_WORK = "."
|
80 |
+
CHROMA_DIR = "/chroma"
|
81 |
+
YOUTUBE_DIR = "/youtube"
|
82 |
+
HISTORY_PFAD = "/data/history"
|
83 |
+
|
84 |
+
###############################################
|
85 |
+
#URLs zu Dokumenten oder andere Inhalte, die einbezogen werden sollen
|
86 |
+
PDF_URL = "https://arxiv.org/pdf/2303.08774.pdf"
|
87 |
+
WEB_URL = "https://openai.com/research/gpt-4"
|
88 |
+
YOUTUBE_URL_1 = "https://www.youtube.com/watch?v=--khbXchTeE"
|
89 |
+
YOUTUBE_URL_2 = "https://www.youtube.com/watch?v=hdhZwyf24mE"
|
90 |
+
#YOUTUBE_URL_3 = "https://www.youtube.com/watch?v=vw-KWfKwvTQ"
|
91 |
+
|
92 |
+
|
93 |
##################################################
|
94 |
#RAG Hilfsfunktionen - Dokumenten bearbeiten für Vektorstore
|
95 |
##################################################
|