Update app.py

app.py

@@ -1,89 +1,36 @@
 from huggingface_hub import InferenceClient
 import gradio as gr
 
-client = InferenceClient(
-    "mistralai/Mixtral-8x7B-Instruct-v0.1"
-)
+# Inicialização do cliente de inferência
+client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
 
-# Função para formatar a prompt de entrada com o histórico de diálogo
+# Função para formatar o prompt de entrada com o histórico de diálogo
 def formatar_prompt(mensagem, historico):
-    prompt = "<s>"
-    for prompt_usuario, resposta_bot in historico:
-        prompt += f"[INST] {prompt_usuario} [/INST]"
-        prompt += f" {resposta_bot}</s> "
-    prompt += f"[INST] {mensagem} [/INST]"
+    prompt = "<s>" + "".join(f"[INST] {prompt_usuario} [/INST] {resposta_bot}" for prompt_usuario, resposta_bot in historico) + f"[INST] {mensagem} [/INST]"
     return prompt
 
 # Função para gerar resposta do modelo
-def gerar(
-    prompt, historico, prompt_sistema, temperatura=0.9, max_tokens_novos=256, top_p=0.95, penalidade_repeticao=1.0,
-):
-    temperatura = float(temperatura)
-    if temperatura < 1e-2:
-        temperatura = 1e-2
-    top_p = float(top_p)
-
+def gerar(prompt, historico, prompt_sistema, temperatura=0.9, max_tokens_novos=256, top_p=0.95, penalidade_repeticao=1.0):
     kwargs_geracao = dict(
-        temperature=temperatura,
-        max_new_tokens=max_tokens_novos,
-        top_p=top_p,
-        repetition_penalty=penalidade_repeticao,
+        temperature=float(temperatura),
+        max_new_tokens=int(max_tokens_novos),
+        top_p=float(top_p),
+        repetition_penalty=float(penalidade_repeticao),
         do_sample=True,
         seed=42,
     )
-
     prompt_formatada = formatar_prompt(f"{prompt_sistema}, {prompt}", historico)
     stream = client.text_generation(prompt_formatada, **kwargs_geracao, stream=True, details=True, return_full_text=False)
-    output = ""
-
     for resposta in stream:
-        output += resposta.token.text
-        yield output
-    return output
+        yield resposta.token.text
 
 # Inputs adicionais para o modelo
-inputs_adicionais=[
-    gr.Textbox(
-        label="Prompt do Sistema",
-        max_lines=1,
-        interactive=True,
-    ),
-    gr.Slider(
-        label="Temperatura",
-        value=0.9,
-        minimum=0.0,
-        maximum=1.0,
-        step=0.05,
-        interactive=True,
-        info="Valores mais altos produzem saídas mais diversas",
-    ),
-    gr.Slider(
-        label="Máximo de Novos Tokens",
-        value=256,
-        minimum=0,
-        maximum=1048,
-        step=64,
-        interactive=True,
-        info="O número máximo de novos tokens",
-    ),
-    gr.Slider(
-        label="Top-p (amostragem de núcleo)",
-        value=0.90,
-        minimum=0.0,
-        maximum=1,
-        step=0.05,
-        interactive=True,
-        info="Valores mais altos amostram mais tokens de baixa probabilidade",
-    ),
-    gr.Slider(
-        label="Penalidade de Repetição",
-        value=1.2,
-        minimum=1.0,
-        maximum=2.0,
-        step=0.05,
-        interactive=True,
-        info="Penalize tokens repetidos",
-    )
+inputs_adicionais = [
+    gr.Textbox(label="Prompt do Sistema", max_lines=1, interactive=True),
+    gr.Slider(label="Temperatura", value=0.9, minimum=0.0, maximum=1.0, step=0.05, interactive=True, info="Valores mais altos produzem saídas mais diversas"),
+    gr.Slider(label="Máximo de Novos Tokens", value=256, minimum=0, maximum=1048, step=64, interactive=True, info="O número máximo de novos tokens"),
+    gr.Slider(label="Top-p (amostragem de núcleo)", value=0.90, minimum=0.0, maximum=1, step=0.05, interactive=True, info="Valores mais altos amostram mais tokens de baixa probabilidade"),
+    gr.Slider(label="Penalidade de Repetição", value=1.2, minimum=1.0, maximum=2.0, step=0.05, interactive=True, info="Penalize tokens repetidos"),
 ]
 
 # Exemplos de prompts
@@ -95,7 +42,6 @@ exemplos=[
     ["Analise os resultados de um cateterismo cardíaco em um paciente de 65 anos com angina instável. A angiografia revela lesões significativas em duas artérias coronárias principais, com uma fração de fluxo fracionada (FFR) de 0,68. Recomendar opções de revascularização e manejo da doença coronariana.", None, None, None, None, None]
 ]
 
-
 # Interface do Chat
 gr.ChatInterface(
     fn=gerar,
@@ -104,4 +50,4 @@ gr.ChatInterface(
     title="Medchat | Automação Inteligente de Saúde",
     examples=exemplos,
     concurrency_limit=20,
-).launch(show_api=False)  
+).launch(show_api=False)