Update main.py

main.py

@@ -123,7 +123,7 @@ async def on_chat_start():
     #    | StrOutputParser()
     #)
 
-    #cl.user_session.set("memory", memory)
+    cl.user_session.set("memory", memory)
     #cl.user_session.set("runnable", runnable)
 
 
@@ -164,11 +164,18 @@ async def on_message(message: cl.Message):
         #    ]),
         #):
         #    await msg.stream_token(chunk)
-        cb = cl.AsyncLangchainCallbackHandler()
-        res = await runnable.acall("Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous à partir du contexte ci-dessous. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Question : " + message.content, callbacks=[cb])
-        answer = res["answer"]
+        #cb = cl.AsyncLangchainCallbackHandler()
+        #res = await runnable.acall("Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous à partir du contexte ci-dessous. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Question : " + message.content, callbacks=[cb])
+        #answer = res["answer"]
+        async for chunk in runnable.astream(
+            {"question": "Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous à partir du contexte ci-dessous. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Question : " + message.content},
+            config=RunnableConfig(callbacks=[
+                cl.AsyncLangchainCallbackHandler(stream_final_answer=True)
+            ]),
+        ):
+            await msg.stream_token(chunk)
 
-    await cl.Message(content=answer).send()
-    #await msg.send()
-    memory.chat_memory.add_user_message(message.content)
-    memory.chat_memory.add_ai_message(msg.content)
+    #await cl.Message(content=answer).send()
+    await msg.send()
+    #memory.chat_memory.add_user_message(message.content)
+    #memory.chat_memory.add_ai_message(msg.content)