Update app.py

app.py

@@ -1,107 +1,106 @@
 from huggingface_hub import InferenceClient
 import gradio as gr
 
-client = InferenceClient(
-    "mistralai/Mixtral-8x7B-Instruct-v0.1"
-)
+class MixtralChatInterface:
+    def __init__(self):
+        self.client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
 
+        self.additional_inputs = [
+            gr.Textbox(
+                label="Mensagem do Sistema",
+                max_lines=1,
+                interactive=True,
+            ),
+            gr.Slider(
+                label="Temperatura",
+                value=0.9,
+                minimum=0.0,
+                maximum=1.0,
+                step=0.05,
+                interactive=True,
+                info="Valores mais altos produzem saídas mais diversas",
+            ),
+            gr.Slider(
+                label="Máximo de Novos Tokens",
+                value=256,
+                minimum=0,
+                maximum=1048,
+                step=64,
+                interactive=True,
+                info="O número máximo de novos tokens",
+            ),
+            gr.Slider(
+                label="Top-p (amostragem de núcleo)",
+                value=0.90,
+                minimum=0.0,
+                maximum=1,
+                step=0.05,
+                interactive=True,
+                info="Valores mais altos amostram mais tokens de baixa probabilidade",
+            ),
+            gr.Slider(
+                label="Penalidade de Repetição",
+                value=1.2,
+                minimum=1.0,
+                maximum=2.0,
+                step=0.05,
+                interactive=True,
+                info="Penaliza tokens repetidos",
+            )
+        ]
 
-def format_prompt(message, history):
-  prompt = "<s>"
-  for user_prompt, bot_response in history:
-    prompt += f"[INST] {user_prompt} [/INST]"
-    prompt += f" {bot_response}</s> "
-  prompt += f"[INST] {message} [/INST]"
-  return prompt
+        self.examples = [
+            [
+                ["Descreva os sintomas típicos de um paciente com diabetes tipo 2 e explique as principais complicações associadas. Responda em pt", None, None, None, None, None],
+                ["Quais são os protocolos recomendados para o tratamento de pacientes com hipertensão arterial sistêmica? Responda em pt ", None, None, None, None, None],
+                ["Explique os diferentes estágios do câncer de mama e os métodos de detecção precoce mais eficazes. Responda em pt", None, None, None, None, None],
+                ["Forneça orientações sobre como conduzir uma consulta eficaz com pacientes que sofrem de transtornos de ansiedade. Responda em pt", None, None, None, None, None],
+                ["Quais são as opções de tratamento disponíveis para pacientes diagnosticados com esclerose múltipla? Responda em pt", None, None, None, None, None],
+                ["Descreva os efeitos colaterais comuns associados ao uso prolongado de anti-inflamatórios não esteroidais em pacientes idosos. Responda em pt", None, None, None, None, None],
+            ]
+        ]
 
-def generate(
-    prompt, history, system_prompt, temperature=0.9, max_new_tokens=256, top_p=0.95, repetition_penalty=1.0,
-):
-    temperature = float(temperature)
-    if temperature < 1e-2:
-        temperature = 1e-2
-    top_p = float(top_p)
+    def format_prompt(self, message, history):
+        prompt = "<s>"
+        for user_prompt, bot_response in history:
+            prompt += f"[INST] {user_prompt} [/INST]"
+            prompt += f" {bot_response}</s> "
+        prompt += f"[INST] {message} [/INST]"
+        return prompt
 
-    generate_kwargs = dict(
-        temperature=temperature,
-        max_new_tokens=max_new_tokens,
-        top_p=top_p,
-        repetition_penalty=repetition_penalty,
-        do_sample=True,
-        seed=42,
-    )
+    def generate(self, prompt, history, system_prompt, temperature=0.9, max_new_tokens=256, top_p=0.95, repetition_penalty=1.0):
+        temperature = float(temperature)
+        if temperature < 1e-2:
+            temperature = 1e-2
+        top_p = float(top_p)
 
-    formatted_prompt = format_prompt(f"{system_prompt}, {prompt}", history)
-    stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
-    output = ""
+        generate_kwargs = dict(
+            temperature=temperature,
+            max_new_tokens=max_new_tokens,
+            top_p=top_p,
+            repetition_penalty=repetition_penalty,
+            do_sample=True,
+            seed=42,
+        )
 
-    for response in stream:
-        output += response.token.text
-        yield output
-    return output
+        formatted_prompt = self.format_prompt(f"{system_prompt}, {prompt}", history)
+        stream = self.client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
+        output = ""
 
+        for response in stream:
+            output += response.token.text
+            yield output
+        return output
 
-additional_inputs = [
-    gr.Textbox(
-        label="Mensagem do Sistema",
-        max_lines=1,
-        interactive=True,
-    ),
-    gr.Slider(
-        label="Temperatura",
-        value=0.9,
-        minimum=0.0,
-        maximum=1.0,
-        step=0.05,
-        interactive=True,
-        info="Valores mais altos produzem saídas mais diversas",
-    ),
-    gr.Slider(
-        label="Máximo de Novos Tokens",
-        value=256,
-        minimum=0,
-        maximum=1048,
-        step=64,
-        interactive=True,
-        info="O número máximo de novos tokens",
-    ),
-    gr.Slider(
-        label="Top-p (amostragem de núcleo)",
-        value=0.90,
-        minimum=0.0,
-        maximum=1,
-        step=0.05,
-        interactive=True,
-        info="Valores mais altos amostram mais tokens de baixa probabilidade",
-    ),
-    gr.Slider(
-        label="Penalidade de Repetição",
-        value=1.2,
-        minimum=1.0,
-        maximum=2.0,
-        step=0.05,
-        interactive=True,
-        info="Penaliza tokens repetidos",
-    )
-]
-
-
-examples = [
-    [
-        ["Descreva os sintomas típicos de um paciente com diabetes tipo 2 e explique as principais complicações associadas. Responda em pt", None, None, None, None, None],
-        ["Quais são os protocolos recomendados para o tratamento de pacientes com hipertensão arterial sistêmica? Responda em pt ", None, None, None, None, None],
-        ["Explique os diferentes estágios do câncer de mama e os métodos de detecção precoce mais eficazes. Responda em pt", None, None, None, None, None],
-        ["Forneça orientações sobre como conduzir uma consulta eficaz com pacientes que sofrem de transtornos de ansiedade. Responda em pt", None, None, None, None, None],
-        ["Quais são as opções de tratamento disponíveis para pacientes diagnosticados com esclerose múltipla? Responda em pt", None, None, None, None, None],
-        ["Descreva os efeitos colaterais comuns associados ao uso prolongado de anti-inflamatórios não esteroidais em pacientes idosos. Responda em pt", None, None, None, None, None],
-    ]
-]
-
-gr.ChatInterface(
-    fn=generate,
-    chatbot=gr.Chatbot(show_label=False, show_share_button=False, show_copy_button=True, likeable=True, layout="panel"),
-    additional_inputs=additional_inputs,
-    title="Mixtral 46.7B",
-    examples=examples,
-    concurrency_limit=20,
-).launch(show_api=False)
+    def launch_interface(self):
+        gr.ChatInterface(
+            fn=self.generate,
+            chatbot=gr.Chatbot(show_label=False, show_share_button=False, show_copy_button=True, likeable=True, layout="panel"),
+            additional_inputs=self.additional_inputs,
+            title="Mixtral 46.7B",
+            examples=self.examples,
+            concurrency_limit=20,
+        ).launch(show_api=False)
+        
+interface = MixtralChatInterface()
+interface.launch_interface()