Update main.py

main.py

@@ -90,8 +90,39 @@ async def main(message: cl.Message):
     for result in xc['matches']:
         context_p = context_p + result['metadata']['text']
         
-    memory = cl.user_session.get("memory")
-    runnable = cl.user_session.get("runnable")
+    
+    memory = ConversationBufferMemory(return_messages=True)
+    template = """<s>[INST] Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant.
+    
+    En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous à partir du contexte ci-dessous. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes.
+    {context}
+    {question} [/INST] </s>
+    """
+    
+    os.environ['HUGGINGFACEHUB_API_TOKEN'] = os.environ['HUGGINGFACEHUB_API_TOKEN']
+    repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
+
+    model = HuggingFaceEndpoint(
+        repo_id=repo_id, max_new_tokens=8000, temperature=1.0, task="text2text-generation", streaming=True
+    )
+    
+    prompt = ChatPromptTemplate.from_messages(
+        [
+            (
+                "system",
+                f"Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie. En fonction des informations suivantes et du contexte suivant seulement et strictement.",
+            ),
+            MessagesPlaceholder(variable_name="history"),
+            ("human", "Contexte : {context}, réponds à la question suivante de la manière la plus pertinente, la plus exhaustive et la plus détaillée possible. {question}."),
+        ]
+    )
+    runnable = (
+        RunnablePassthrough.assign(
+            history=RunnableLambda(memory.load_memory_variables) | itemgetter("history")
+        )
+        | prompt
+        | model
+    )
     
     msg = cl.Message(author="Assistant Reviewstream",content="")
     async for chunk in runnable.astream({"question": message.content, "context":context_p},