Update main.py

main.py

@@ -10,7 +10,9 @@ from langchain.schema.runnable.config import RunnableConfig
 from langchain_community.embeddings import HuggingFaceEmbeddings
 from langchain.chains import ConversationalRetrievalChain, create_extraction_chain
 from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
+from langchain_community.llms import HuggingFaceEndpoint
 from langchain.chains import LLMChain
+from langchain_core.prompts import PromptTemplate
 from langchain.prompts import ChatPromptTemplate, MessagesPlaceholder
 from langchain.schema import StrOutputParser
 from langchain.chains.conversational_retrieval.prompts import CONDENSE_QUESTION_PROMPT
@@ -685,26 +687,38 @@ async def construction_NCS(romeListArray):
     context = await contexte(romeListArray)
     emploisST = cl.user_session.get("EmploiST")
     ### Anthropic Completion ###
-    client_anthropic = await IA()
+    client_llm = await IA()
     structure = str(modele('Note de composante sectorielle'))
     definitions = definition('activite') + ' ' + definition('competence')
-    question ="""
+    template = """<s>[INST] Vous êtes un spécialiste du marché de l'emploi en fonction du niveau de qualification, des compétences professionnelles, des compétences transversales, du salaire et de l'expérience. Vous êtes doué pour faire des analyses du système travail sur les métiers les plus demandés grâce à votre aptitude à synthétiser les informations en fonction des critères définis ci-avant.
+    
+    En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez à la question ci-dessous à partir du contexte ci-dessous :
+    {context}
+    {question} [/INST] </s>
+    """
+    question_p ="""
     Peux-tu créer une note sectorielle d'après le modèle de note sectorielle précédent en respectant ses parties : 2., 2.1, 2.1.1, 2.2, 2.2.1, 2.2.2, 2.2.3 et d'après le contexte en vous réferrant strictement aux données du contexte fixé? Réponse sous forme d'un texte généré d'après le modèle et le contexte en 5000 mots et en langue française absolument.
     """
-    completion_NCS = client_anthropic.messages.create(
-        model="claude-3-opus-20240229",
-        max_tokens=4000,
-        temperature=1,
-        messages=[{
-            "role": 'user', "content":  f"Contexte : Vous êtes un spécialiste du marché de l'emploi en fonction du niveau de qualification, des compétences professionnelles, des compétences transversales, du salaire et de l'expérience. Vous êtes doué pour faire des analyses du système travail sur les métiers les plus demandés grâce à votre aptitude à synthétiser les informations en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement. Contexte : {context}. {definitions} Modèle de note sectorielle : {structure}. Réponds en langue française strictement à la question suivante en respectant strictement les données du contexte. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Si les informations du contexte sont insuffisantes, procédez à une projection sur le secteur, les entreprises et le marché de l'emploi, pour construire la note de composante sectorielle. Question : {question}"
-        }]
-    )
+    context_p = f"Contexte : {context}. {definitions} Modèle de note sectorielle : {structure}. Réponds en langue française strictement à la question suivante en respectant strictement les données du contexte. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Si les informations du contexte sont insuffisantes, procédez à une projection sur le secteur, les entreprises et le marché de l'emploi, pour construire la note de composante sectorielle."
+    prompt = PromptTemplate(template=template, input_variables=["question","context"])
+    llm_chain = LLMChain(prompt=prompt, llm=client_llm)
+    completion_NCS = llm_chain.run({"question":question_p,"context":context_p}, callbacks=[StreamingStdOutCallbackHandler()])
+    
+    
+    #completion_NCS = client_anthropic.messages.create(
+    #    model="claude-3-opus-20240229",
+    #    max_tokens=4000,
+    #    temperature=1,
+    #    messages=[{
+    #        "role": 'user', "content":  f"Contexte : Vous êtes un spécialiste du marché de l'emploi en fonction du niveau de qualification, des compétences professionnelles, des compétences transversales, du salaire et de l'expérience. Vous êtes doué pour faire des analyses du système travail sur les métiers les plus demandés grâce à votre aptitude à synthétiser les informations en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement. Contexte : {context}. {definitions} Modèle de note sectorielle : {structure}. Réponds en langue française strictement à la question suivante en respectant strictement les données du contexte. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Si les informations du contexte sont insuffisantes, procédez à une projection sur le secteur, les entreprises et le marché de l'emploi, pour construire la note de composante sectorielle. Question : {question}"
+    #    }]
+    #)
     await cl.sleep(2)
     await cl.Message(
-        author="Datapcc : 🌐🌐🌐",content="Note de composante sectorielle de(s) code(s) ROME : " + romeListArray[0] + "\n\n" + completion_NCS.content[0].text
+        author="Datapcc : 🌐🌐🌐",content="Note de composante sectorielle de(s) code(s) ROME : " + romeListArray[0] + "\n\n" + completion_NCS
     ).send()
-    cl.user_session.set("NCS" + romeListArray[0], completion_NCS.content[0].text)
-    cl.user_session.set("contextChatBot", context + "\n" + completion_NCS.content[0].text)
+    cl.user_session.set("NCS" + romeListArray[0], completion_NCS)
+    cl.user_session.set("contextChatBot", context + "\n" + completion_NCS)
     await cl.sleep(2)
     listEmplois_name = f"Liste des emplois"
     text_elements = []
@@ -740,12 +754,12 @@ async def construction_NCS(romeListArray):
     await cl.Message(author="Datapcc : 🌐🌐🌐",content="📚 Bibliothèque de prompts : " + listPrompts_name, elements=prompt_elements).send()
     await cl.sleep(2)
     actions = [
-        cl.Action(name="download", value=completion_NCS.content[0].text, description="download_note_sectorielle")
+        cl.Action(name="download", value=completion_NCS, description="download_note_sectorielle")
     ]
     await cl.Message(author="Datapcc : 🌐🌐🌐",content="Télécharger la note", actions=actions).send()
     await cl.sleep(2)
     saves = [
-        cl.Action(name="saveToMemory", value=completion_NCS.content[0].text, description="Mettre en mémoire la note")
+        cl.Action(name="saveToMemory", value=completion_NCS, description="Mettre en mémoire la note")
     ]
     await cl.Message(author="Datapcc : 🌐🌐🌐",content="Mettre en mémoire la note", actions=saves).send()
     await cl.sleep(2)
@@ -907,10 +921,13 @@ async def API_connexion(romeListArray):
 
 @cl.step(type="llm")
 async def IA():
-    anthropic = Anthropic(
-            api_key=os.environ['ANTHROPIC_API_KEY'],
-        )
-    return anthropic
+    os.environ['HUGGINGFACEHUB_API_TOKEN'] = os.environ['HUGGINGFACEHUB_API_TOKEN']
+    repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
+
+    llm = HuggingFaceEndpoint(
+        repo_id=repo_id, max_new_tokens=8000, temperature=0.5, streaming=True
+    )
+    return llm
 
 
 @cl.on_settings_update
@@ -964,10 +981,18 @@ async def setup_agent(settings):
     contextChat = cl.user_session.get("contextChatBot")
     if not contextChat:
         contextChat = "Il n'y a pas de contexte."
-    model = ChatAnthropic(
-        temperature=1,
-        model_name="claude-3-opus-20240229"
+        
+    os.environ['HUGGINGFACEHUB_API_TOKEN'] = os.environ['HUGGINGFACEHUB_API_TOKEN']
+    repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
+
+    model = HuggingFaceEndpoint(
+        repo_id=repo_id, max_new_tokens=8000, temperature=0.5, streaming=True
     )
+
+    #model = ChatAnthropic(
+    #    temperature=1,
+    #    model_name="claude-3-opus-20240229"
+    #)
     memory = cl.user_session.get("memory")
     prompt = ChatPromptTemplate.from_messages(
         [
@@ -1000,7 +1025,7 @@ async def main(message: cl.Message):
         msg = cl.Message(author="Datapcc : 🌐🌐🌐",content="")
         text_elements = []
         answer = []
-        async for chunk in runnable.astream(
+        async for chunk in runnable.ainvoke(
             {"question": message.content},
             config=RunnableConfig(callbacks=[cl.AsyncLangchainCallbackHandler(stream_final_answer=True)]),
             #config=RunnableConfig(callbacks=[cl.LangchainCallbackHandler()]),