Refactor : pass variable & prompt template by UAML file

README.md

@@ -9,4 +9,68 @@ app_file: app.py
 pinned: false
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+<!-- Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference -->
+
+# Application Template - README
+
+## Introduction
+
+Cette application sert de base/template pour en déployer d'autres sur le même modèle via Huggingface. Elle est facilement duplicable en dupliquant l'espace. Elle est décomposée en plusieurs sections pour offrir une gestion complète des documents et des dialogues avec une Intelligence Artificielle (IA).
+
+### Structure de l'application
+
+L'application est structurée en trois parties principales :
+
+- **Documents**
+  - *Communs*
+  - *Vos Documents*
+- **Configurations**
+  - *Prompt système*
+  - *Paramètres*
+- **Dialogue**
+  - *Chatbot*
+
+### Fonctionnement des sections
+
+#### 1. Documents
+
+- **Documents Communs** : 
+  Cette section permet de déposer des documents accessibles à tous les utilisateurs de l'application. Ces documents sont vectorisés et stockés dans une base de données vectorielle (voir section dédiée). Ils seront explorés lors des interactions avec l'IA.
+
+- **Vos Documents** : 
+  Chaque utilisateur peut uploader ses propres documents, qui seront pris en compte pendant sa session. Ces documents sont temporaires et ne sont accessibles que durant la session active de l'utilisateur.
+
+#### 2. Configurations
+
+- **Prompt système** :
+  Cette section permet de configurer le *prompt système* utilisé lors des conversations avec l'IA. Ce prompt influence le comportement de l'IA pendant le dialogue.
+
+- **Paramètres** :
+  Ici, vous pouvez ajuster les paramètres dynamiques de l'application, tels que les préférences utilisateurs ou les options spécifiques à votre usage.
+
+#### 3. Dialogue
+
+- **Chatbot** :
+  Une interface de discussion avec l'IA, où il est possible de choisir le modèle d'IA avec lequel interagir. Vous pouvez aussi commencer la conversation à partir d'un *prompt* pré-défini.
+
+## Base de Données Vectorielle
+
+Les documents (communs et personnels) sont vectorisés et stockés dans une base de données vectorielle. Cela permet à l'IA de rechercher et d'explorer ces documents pour enrichir les conversations en fonction des informations disponibles.
+
+## Paramètres Dynamiques
+
+Cette application permet la gestion de paramètres dynamiques configurables via l'interface utilisateur. Ces paramètres modifient le comportement de l'application et de l'IA en fonction des besoins de l'utilisateur.
+
+## Prompts par Défaut
+
+Des *prompts* par défaut peuvent être définis pour démarrer les conversations avec l'IA. Ces *prompts* sont personnalisables dans la section "Prompt système" des **Configurations**.
+
+## Déploiement
+
+Pour déployer cette application sur Huggingface :
+
+1. Dupliquez l'espace Huggingface existant.
+2. Configurez les fichiers de l'application (paramètres, prompts par défaut, etc.).
+3. Assurez-vous que la base de données vectorielle est correctement co
+
+

app.py

@@ -6,18 +6,16 @@ from rag import Rag
 from vectore_store.PineconeConnector import PineconeConnector
 from vectore_store.VectoreStoreManager import VectoreStoreManager
 
+from util import getYamlConfig
 
 load_dotenv()
 
 GROUP_NAME = os.environ.get("APP_NAME")
-LOGO = "assets/agir_agri.png"
+LOGO = "assets/logo.png"
 
 def init_app():
-    
-    # Read the environment variable and create a dictionary
-    variables = os.environ.get('VARIABLES')
-    keys = variables.split(',')
-    data_dict = {key: '' for key in keys}  # Initialize with empty values
+
+    data_dict = getYamlConfig()['variables']
 
     if len(st.session_state) == 0:
         # Define Vectore store strategy
@@ -46,25 +44,18 @@ def main():
 
     pg = st.navigation(
         {
-    "Documents": [
-        saved_documents,
-        documents,
-    ],
-    "Configurations": [
-        prompt_system,
-        form,
-    ],
-    "Dialogue": [
-        chatbot
-    ],
-}
-        # [
-        #     saved_documents,
-        #     prompt_system,
-        #     documents,
-        #     form,
-        #     chatbot
-        # ]
+            "Documents": [
+                saved_documents,
+                documents,
+            ],
+            "Configurations": [
+                prompt_system,
+                form,
+            ],
+            "Dialogue": [
+                chatbot
+            ],
+        }
     )
 
     pg.run()

config.yaml

@@ -9,4 +9,27 @@ prompts:
     - "Comment fonctionne la rotation des cultures et pourquoi est-elle importante ?"
     - "Explique les avantages de l'irrigation goutte à goutte pour les cultures."
     - "Quels sont les types de fertilisants les plus utilisés en agriculture et leurs impacts ?"
-    - "Quelles sont les techniques de lutte biologique contre les nuisibles ?"
+    - "Quelles sont les techniques de lutte biologique contre les nuisibles ?"
+
+variables:
+  - label : Mon paramètre 1
+    key : param1
+    value :
+  - label : Mon paramètre 2
+    key : param2
+    value :
+  - label : Mon paramètre 3
+    key : param3
+    value :
+
+prompt_template: "
+Paramètre 1 : {param1}
+Paramètre 2 : {param2}
+Paramètre 3 : {param3}
+
+Documents partagées : {commonContext}
+Document de référence : {documentContext}
+
+Voici l'historique des messages : {messages}
+Les attentes de l'utilisateur sont : {query}
+"

pages/chatbot.py

@@ -12,7 +12,7 @@ def display_messages():
 
 # Charger les données YAML
 def load_yaml(file_path):
-    with open(file_path, 'r') as file:
+    with open(file_path, 'r', encoding='utf-8') as file:
         data = yaml.safe_load(file)
     return data
 

pages/form.py

@@ -3,8 +3,12 @@ import streamlit as st
 def page():
     st.subheader("Définissez vos paramètres")
 
-    for key in st.session_state.data_dict.keys():
-        value = st.text_input(label=key, value=st.session_state.data_dict[key])
-        st.session_state.data_dict[key] = value  # Update the session state with user input
+    # Boucle pour créer des inputs basés sur data_dict (qui est une liste ici)
+    for param in st.session_state.data_dict:
+        # Utilisation de la clé 'label' et 'value' pour afficher et récupérer les valeurs
+        value = st.text_input(label=param['label'], value=param['value'] if param['value'] else "")
+        
+        # Mettre à jour la valeur dans le dictionnaire après la saisie utilisateur
+        param['value'] = value
 
 page()

rag.py

@@ -10,10 +10,9 @@ from langchain.text_splitter import RecursiveCharacterTextSplitter
 from langchain.schema.runnable import RunnablePassthrough
 from langchain.prompts import PromptTemplate
 from langchain_community.vectorstores.utils import filter_complex_metadata
-#add new import
 from langchain_community.document_loaders.csv_loader import CSVLoader
 
-from prompt_template import base_template
+from util import getYamlConfig
 
 
 # load .env in local dev
@@ -31,6 +30,8 @@ class Rag:
         self.embedding = MistralAIEmbeddings(model="mistral-embed", mistral_api_key=env_api_key)
 
         self.text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100, length_function=len)
+        
+        base_template = getYamlConfig()['prompt_template']
         self.prompt = PromptTemplate.from_template(base_template)
 
         self.vector_store = vectore_store
@@ -71,7 +72,7 @@ class Rag:
             },
         )
 
-    def ask(self, query: str, messages: list, variables: dict = {}):
+    def ask(self, query: str, messages: list, variables: list = None):
         self.chain = self.prompt | self.model | StrOutputParser()
         
         # Retrieve the context document
@@ -94,9 +95,15 @@ class Rag:
         # Suppression des valeurs nulles (facultatif)
         chain_input = {k: v for k, v in chain_input.items() if v is not None}
 
-        # Ajout dynamique d'autres variables dans **extra_vars
-        chain_input.update(variables)
+        # Si des variables sous forme de liste sont fournies
+        if variables:
+            # Convertir la liste en dictionnaire avec 'key' comme clé et 'value' comme valeur
+            extra_vars = {item['key']: item['value'] for item in variables if 'key' in item and 'value' in item}
+            
+            # Fusionner avec chain_input
+            chain_input.update(extra_vars)
         
+
         return self.chain.invoke(chain_input)
 
     def clear(self):

requirements.txt

@@ -1,16 +1,13 @@
 streamlit==1.37.0
 streamlit_chat
-# abc
 python-dotenv
 pymupdf
+pypdf
 python-multipart
 pydantic
-langchain-pinecone 
 pinecone-notebooks
 pinecone-client[grpc]
 async-timeout
-pymupdf
-python-dotenv
 typing-extensions
 langchain
 langchain-openai

util.py

@@ -0,0 +1,7 @@
+import os
+import yaml
+
+def getYamlConfig():
+    file_path = os.path.join(os.path.dirname(__file__), 'config.yaml')
+    with open(file_path, 'r', encoding='utf-8') as file:
+        return yaml.safe_load(file)