Update main.py

main.py

@@ -15,8 +15,9 @@ from langchain_community.chat_message_histories import ChatMessageHistory
 from langchain.memory import ConversationBufferMemory
 from langchain.schema.runnable import Runnable, RunnablePassthrough, RunnableConfig, RunnableLambda
 from langchain.callbacks.base import BaseCallbackHandler
-from langchain.chains import ConversationalRetrievalChain
-
+from langchain.chains import (
+    StuffDocumentsChain, LLMChain, ConversationalRetrievalChain
+)
 import chainlit as cl
 from chainlit.input_widget import TextInput, Select, Switch, Slider
 @cl.password_auth_callback
@@ -89,13 +90,21 @@ async def on_chat_start():
     ########## Chain with streaming ##########
     message_history = ChatMessageHistory()
     memory = ConversationBufferMemory(memory_key="chat_history",output_key="answer",chat_memory=message_history,return_messages=True)
+    template = (
+        "Combinez l'historique des discussions et la question de suivi dans "
+        "une question autonome. Historique des discussions: {chat_history}"
+        "Question complémentaire: {question}"
+    )
+    prompt = PromptTemplate.from_template(template)
+    question_generator_chain = LLMChain(llm=model, prompt=prompt)
     qa = ConversationalRetrievalChain.from_llm(
         model,
         memory=memory,
         chain_type="stuff",
         return_source_documents=True,
         verbose=False,
-        retriever=retriever
+        retriever=retriever,
+        question_generator=question_generator_chain
     )
     cl.user_session.set("runnable", qa)
     #template = """<s>[INST] Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant.
@@ -164,18 +173,11 @@ async def on_message(message: cl.Message):
         #    ]),
         #):
         #    await msg.stream_token(chunk)
-        #cb = cl.AsyncLangchainCallbackHandler()
-        #res = await runnable.acall("Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous à partir du contexte ci-dessous. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Question : " + message.content, callbacks=[cb])
-        #answer = res["answer"]
-        async for chunk in runnable.astream(
-            {"question": "Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous à partir du contexte ci-dessous. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Question : " + message.content},
-            config=RunnableConfig(callbacks=[
-                cl.AsyncLangchainCallbackHandler(stream_final_answer=True)
-            ]),
-        ):
-            await msg.stream_token(chunk)
+        cb = cl.AsyncLangchainCallbackHandler()
+        res = await runnable.acall("Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous à partir du contexte ci-dessous. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Question : " + message.content, callbacks=[cb])
+        answer = res["answer"]
 
-    #await cl.Message(content=answer).send()
-    await msg.send()
+    await cl.Message(content=answer).send()
+    #await msg.send()
     #memory.chat_memory.add_user_message(message.content)
     #memory.chat_memory.add_ai_message(msg.content)