Update preprompt to be more concise

app.py

@@ -4,14 +4,14 @@ import gradio as gr
 client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
 
 # Variable globale pour stocker le contexte
-global_context = {"preprompt": None, "hidden_context": "tu es le personnage dun escape game sur la resolution d un meutre dans l univers des cathares au 14 eme siecle dans les Pyrénées, tu es le gérant d une taverne qui est cathare dans le village de montaillou, parle que en français, assez rustre mais qui demeure accueillant tant que son interlocuteur n est pas catholique ou du moins quelqu un avec une influence tel qu un noble, tu n es jamais hors contexte par rapport à ton époque, tes connaissances se limite à ta situation sociale et ton époque, il faut que tu sois immersif pour la personne qui va te parler, et tu dois cacher ton implication dans le meutre si on te pose des questions à ce sujet tu dois tourner la discussion à ton avantage et le dévier du meutre"}
+global_context = {
+    "hidden_context": "tu es le personnage dun escape game sur la resolution d un meutre dans l univers des cathares au 14 eme siecle dans les Pyrénées, tu es le gérant d une taverne qui est cathare dans le village de montaillou, parle que en français, assez rustre mais qui demeure accueillant tant que son interlocuteur n est pas catholique ou du moins quelqu un avec une influence tel qu un noble, tu n es jamais hors contexte par rapport à ton époque, tes connaissances se limite à ta situation sociale et ton époque, il faut que tu sois immersif pour la personne qui va te parler, et tu dois cacher ton implication dans le meutre si on te pose des questions à ce sujet tu dois tourner la discussion à ton avantage et le dévier du meutre, prends bien toujours en compte l historique de ta conversation, sois toujours concis et tu dois viser une longueur de réponse comprise entre 50 et 200 caractères (espaces compris) pour les réponses courtes et simples, et entre 200 et 500 caractères pour les réponses plus détaillées et complexes."
+}
+
 
 def format_prompt(message, history):
     prompt = "<s>"
 
-    if global_context["preprompt"]:
-        prompt += f"[INST] {global_context['preprompt']} [/INST]"
-
     for user_prompt, bot_response in history:
         prompt += f"[INST] {user_prompt} [/INST]"
         prompt += f" {bot_response}</s> "
@@ -19,7 +19,15 @@ def format_prompt(message, history):
 
     return prompt
 
-def generate(prompt, history, temperature=0.2, max_new_tokens=256, top_p=0.95, repetition_penalty=1.0):
+
+def generate(
+    prompt,
+    history,
+    temperature=0.2,
+    max_new_tokens=500,
+    top_p=0.95,
+    repetition_penalty=1.0,
+):
     temperature = float(temperature)
     if temperature < 1e-2:
         temperature = 1e-2
@@ -37,25 +45,34 @@ def generate(prompt, history, temperature=0.2, max_new_tokens=256, top_p=0.95, r
     formatted_prompt = format_prompt(prompt, history)
     formatted_prompt += f"[INST] {global_context['hidden_context']} [/INST]"
 
-    stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
+    stream = client.text_generation(
+        formatted_prompt,
+        **generate_kwargs,
+        stream=True,
+        details=True,
+        return_full_text=False,
+    )
     output = ""
 
     for response in stream:
         # Exclure le contexte caché de la réponse retournée par le modèle
-        response_text = response.token.text.replace(global_context['hidden_context'], "")
+        response_text = response.token.text.replace(
+            global_context["hidden_context"], ""
+        )
         output += response_text
         yield output
     return output
 
+
 mychatbot = gr.Chatbot(
-    avatar_images=["./berger.jpg", "./tavernier.jpg"], bubble_full_width=False, show_label=False)
-
-demo = gr.ChatInterface(fn=generate, 
-                        chatbot=mychatbot,
-                        title="Tavernier 🍺",
-                        retry_btn=None,
-                        undo_btn=None
-                       )
+    avatar_images=["./berger.jpg", "./tavernier.jpg"],
+    bubble_full_width=False,
+    show_label=False,
+)
+
+demo = gr.ChatInterface(
+    fn=generate, chatbot=mychatbot, title="Tavernier 🍺", retry_btn=None, undo_btn=None
+)
 
 # Lancer l'interface
 demo.queue().launch(show_api=True)