Update main.py

main.py

@@ -42,34 +42,78 @@ def auth_callback(username: str, password: str):
             identifier=ident + " : 🧑‍🎓 User Datapcc", metadata={"role": "user", "provider": "credentials"}
         )
 
-os.environ['HUGGINGFACEHUB_API_TOKEN'] = os.environ['HUGGINGFACEHUB_API_TOKEN']
-repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
-
-model = HuggingFaceEndpoint(
-    repo_id=repo_id, max_new_tokens=5500, temperature=1.0, task="text2text-generation", streaming=True
-)
-os.environ['PINECONE_API_KEY'] = os.environ['PINECONE_API_KEY']
-embeddings = HuggingFaceEmbeddings()
-index_name = "all-venus"
-    #pc = Pinecone(
-    #    api_key=os.environ['PINECONE_API_KEY']
-    #)
-    #index = pc.Index(index_name)
-    #xq = embeddings.embed_query(message.content)
-    #xc = index.query(vector=xq, filter={"categorie": {"$eq": "bibliographie-OPP-DGDIN"}},top_k=150, include_metadata=True)
-    #context = ""
-    #for result in xc['matches']:
-    #    context = context + result['metadata']['text']
-vectorstore = PineconeVectorStore(
-    index_name=index_name, embedding=embeddings
-)
-retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": .7, "k": 150,"filter": {'categorie': {'$eq': 'bibliographie-OPP-DGDIN'}}})
-#search = vectorstore.similarity_search(query,k=50, filter={"categorie": {"$eq": "bibliographie-OPP-DGDIN"}, 'Source': {'$eq': 'Source : Persée'}})    
-
+def LLModel():
+    os.environ['HUGGINGFACEHUB_API_TOKEN'] = os.environ['HUGGINGFACEHUB_API_TOKEN']
+    repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
+    model = HuggingFaceEndpoint(
+        repo_id=repo_id, max_new_tokens=5500, temperature=1.0, task="text2text-generation", streaming=True
+    )
+    return model
+    
+def VectorDatabase(categorie):
+    if categorie != "year":
+        os.environ['PINECONE_API_KEY'] = os.environ['PINECONE_API_KEY']
+        index_name = "all-venus"
+    else:
+        os.environ['PINECONE_API_KEY'] = os.environ['PINECONE_API_KEYJDLP']
+        index_name = "all-jdlp"
+
+    embeddings = HuggingFaceEmbeddings()
+    vectorstore = PineconeVectorStore(
+        index_name=index_name, embedding=embeddings
+    )
+    return vectorstore
+
+def Retriever(categorie):
+    vectorstore = VectorDatabase(categorie)
+    if categorie != "year":
+        retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": .7, "k": 150,"filter": {'categorie': {'$eq': categorie}}})
+    else:
+        retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": .7, "k": 150,"filter": {'year': {'$gte': 2019}}})
+    #search = vectorstore.similarity_search(query,k=50, filter={"categorie": {"$eq": "bibliographie-OPP-DGDIN"}, 'Source': {'$eq': 'Source : Persée'}})    
+    return retriever
+
+def Search(input, categorie):
+    vectorstore = VectorDatabase(categorie)
+    results = []
+    test = []
+    sources_text = ""
+    verbatim_text = ""
+    count = 0
+    if categorie != "year":
+        search = vectorstore.similarity_search(input,k=50, filter={"categorie": {"$eq": categorie}})
+        for i in range(0,len(search)):
+            if search[i].metadata['Lien'] not in test:
+                if count <= 15:
+                    count = count + 1
+                    test.append(search[i].metadata['Lien'])
+                    sources_text = sources_text + str(count) + ". " + search[i].metadata['Titre'] + ', ' + search[i].metadata['Auteurs'] + ', ' + search[i].metadata['Lien'] + "\n"
+                    verbatim_text = verbatim_text + "<p>" + str(count) + ". " + search[i].metadata['Phrase'] + "</p><p>&nbsp;</p>"
+        
+    else:
+        search = vectorstore.similarity_search(input,k=50, filter={"year": {"$gte": 2019}})
+        for i in range(0,len(search)):
+            if count <= 15:
+                count = count + 1
+                sources_text = sources_text + str(count) + ". " + search[i].metadata['title'] + ' (JDLP : ' + search[i].metadata['year'] + '), ' + search[i].metadata['author'] + ', ' + search[i].metadata['file'] + "\n"
+                verbatim_text = verbatim_text + "<p>" + str(count) + ". JDLP : " + search[i].metadata['jdlp'] + "</p><p>" + search[i].metadata['text'] + "</p>"
+                    
+    results = [sources_text, verbatim_text]
+    return results
+    
 @cl.on_chat_start
 async def on_chat_start():
     await cl.Message(f"> REVIEWSTREAM").send()
-    await cl.Message(f"Nous avons le plaisir de vous accueillir dans l'application de recherche et d'analyse des publications.").send()
+    #await cl.Message(f"Nous avons le plaisir de vous accueillir dans l'application de recherche et d'analyse des publications.").send()
+    res = await cl.AskActionMessage(
+        content="<div style='width:100%;text-align:center'>Sélectionnez source documentaire</div>",
+        actions=[
+            cl.Action(name="bibliographie-OPP-DGDIN", value="Pédagogie durable", label="🔥 Pédagogie durable : exemple : «quels sont les modèles d'apprentissage dans les universités?��"),
+            cl.Action(name="bibliographie-OPP-DGDIN", value="Lieux d'apprentissage", label="🔥 Lieux d'apprentissage : exemple : «donne des exemples de lieu d'apprentissage dans les universités?»"),
+            cl.Action(name="year", value="Journée de La Pédagogie", label="🔥 Journée de La Pédagogie : exemple : «Quelles sont les bonnes pratiques des plateformes de e-learning?»"),
+        ],
+        timeout="3600"
+    ).send()
     listPrompts_name = f"Liste des revues de recherche"
     contentPrompts = """<p><img src='/public/hal-logo-header.png' width='32' align='absmiddle' /> <strong> Hal Archives Ouvertes</strong> : Une archive ouverte est un réservoir numérique contenant des documents issus de la recherche scientifique, généralement déposés par leurs auteurs, et permettant au grand public d'y accéder gratuitement et sans contraintes.
     </p>
@@ -90,60 +134,24 @@ async def on_chat_start():
             ),
         ]
     ).send()
-    res = await cl.AskActionMessage(
-        content="<div style='width:100%;text-align:center'> </div>",
-        actions=[
-            cl.Action(name="Pédagogie durable", value="Pédagogie durable", label="🔥 Pédagogie durable : exemple : «quels sont les modèles d'apprentissage dans les universités?»"),
-            cl.Action(name="Lieux d'apprentissage", value="Lieux d'apprentissage", label="🔥 Lieux d'apprentissage : exemple : «donne des exemples de lieu d'apprentissage dans les universités?»"),
-            cl.Action(name="jdlp", value="Journée de La Pédagogie", label="🔥 Journée de La Pédagogie : exemple : «Quelles sont les bonnes pratiques des plateformes de e-learning?»"),
-        ],
-        timeout="3600"
-    ).send()
-
     if res:
         await cl.Message(f"Vous pouvez requêter sur la thématique : {res.get('value')}").send()
-        cl.user_session.set("selectRequest", res.get("value"))
+        cl.user_session.set("selectRequest", res.get("name"))
         
     ########## Chain with streaming ##########
     message_history = ChatMessageHistory()
     memory = ConversationBufferMemory(memory_key="chat_history",output_key="answer",chat_memory=message_history,return_messages=True)
     
     qa = ConversationalRetrievalChain.from_llm(
-        model,
+        LLModel(),
         memory=memory,
         chain_type="stuff",
         return_source_documents=True,
         verbose=False,
-        retriever=retriever
+        retriever=Retriever(res.get("name"))
     )
     cl.user_session.set("runnable", qa)
-    #template = """<s>[INST] Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant.
-    
-    #En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous à partir du contexte ci-dessous. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes.
-    #{context}
-    #{question} [/INST] </s>
-    #"""
-    #prompt = ChatPromptTemplate.from_messages(
-    #    [
-    #        (
-    #            "system",
-    #            f"Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie. En fonction des informations suivantes et du contexte suivant seulement et strictement. Contexte : {context}.",
-    #        ),
-    #        MessagesPlaceholder(variable_name="history"),
-    #        ("human", "Réponds à la question suivante de la manière la plus pertinente, la plus exhaustive et la plus détaillée possible. {question}."),
-    #    ]
-    #)
-    #runnable = (
-    #    RunnablePassthrough.assign(
-    #        history=RunnableLambda(memory.load_memory_variables) | itemgetter("history")
-    #    )
-    #    | prompt
-    #    | model
-    #    | StrOutputParser()
-    #)
-
     cl.user_session.set("memory", memory)
-    #cl.user_session.set("runnable", runnable)
 
 
 @cl.on_message
@@ -189,21 +197,11 @@ async def on_message(message: cl.Message):
 
     await cl.Message(content=GoogleTranslator(source='auto', target='fr').translate(answer)).send()
     
-    search = vectorstore.similarity_search(message.content,k=50, filter={"categorie": {"$eq": "bibliographie-OPP-DGDIN"}})
-    if len(search) > 0:
-        test = []
-        sources_text = ""
-        verbatim_text = ""
-        count = 0
-        for i in range(0,len(search)):
-            if search[i].metadata['Lien'] not in test:
-                if count <= 15:
-                    count = count + 1
-                    test.append(search[i].metadata['Lien'])
-                    sources_text = sources_text + str(count) + ". " + search[i].metadata['Titre'] + ', ' + search[i].metadata['Auteurs'] + ', ' + search[i].metadata['Lien'] + "\n"
-                    verbatim_text = verbatim_text + "<p>" + str(count) + ". " + search[i].metadata['Phrase'] + "</p><p>&nbsp;</p>"
+    #search = vectorstore.similarity_search(message.content,k=50, filter={"categorie": {"$eq": "bibliographie-OPP-DGDIN"}})
+    search = Search(message.content, res.get("name"))
+    
     sources = [
-        cl.Text(name="Sources", content=sources_text, display="inline")
+        cl.Text(name="Sources", content=search[0], display="inline")
     ]
 
     await cl.Message(
@@ -211,13 +209,10 @@ async def on_message(message: cl.Message):
         elements=sources,
     ).send()
     verbatim = [
-        cl.Text(name="Verbatim", content=verbatim_text, display="side")
+        cl.Text(name="Verbatim", content=search[1], display="side")
     ]
 
     await cl.Message(
         content="📚 Liste des Verbatim ",
         elements=verbatim,
-    ).send()
-    #await msg.send()
-    #memory.chat_memory.add_user_message(message.content)
-    #memory.chat_memory.add_ai_message(msg.content)
+    ).send()