Update app.py

app.py

@@ -1,16 +1,18 @@
-from huggingface_hub import InferenceClient
 import gradio as gr
-
-# Inicialização do cliente de inferência
-client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
-
-# Função para formatar o prompt de entrada com o histórico de diálogo
-def formatar_prompt(mensagem, historico):
-    prompt = "<s>" + "".join(f"[INST] {prompt_usuario} [/INST] {resposta_bot}" for prompt_usuario, resposta_bot in historico) + f"[INST] {mensagem} [/INST]"
-    return prompt
+from huggingface_hub import InferenceClient
 
 # Função para gerar resposta do modelo
-def gerar(prompt, historico, prompt_sistema, temperatura=0.9, max_tokens_novos=256, top_p=0.95, penalidade_repeticao=1.0):
+def gerar(prompt, historico, prompt_sistema, modelo, temperatura=0.9, max_tokens_novos=256, top_p=0.95, penalidade_repeticao=1.0):
+    # Inicialização do cliente de inferência
+    if modelo == "Modelo 1":
+        client = InferenceClient("mistralai/Mistral-7B-Instruct-v0.2")
+    elif modelo == "Modelo 2":
+        client = InferenceClient("microsoft/Phi-3-mini-4k-instruct")
+    elif modelo == "Modelo 3":
+        client = InferenceClient("google/gemma-1.1-7b-it")
+    else:
+        return "Modelo não reconhecido."
+
     kwargs_geracao = dict(
         temperature=float(temperatura),
         max_new_tokens=int(max_tokens_novos),
@@ -19,7 +21,8 @@ def gerar(prompt, historico, prompt_sistema, temperatura=0.9, max_tokens_novos=2
         do_sample=True,
         seed=42,
     )
-    prompt_formatada = formatar_prompt(f"{prompt_sistema}, {prompt}", historico)
+    # Função para formatar o prompt de entrada com o histórico de diálogo
+    prompt_formatada = "<s>" + "".join(f"[INST] {prompt_usuario} [/INST] {resposta_bot}" for prompt_usuario, resposta_bot in historico) + f"[INST] {prompt_sistema} [/INST]"
     stream = client.text_generation(prompt_formatada, **kwargs_geracao, stream=True, details=True, return_full_text=False)
     for resposta in stream:
         yield resposta.token.text
@@ -31,6 +34,7 @@ inputs_adicionais = [
     gr.Slider(label="Máximo de Novos Tokens", value=256, minimum=0, maximum=1048, step=64, interactive=True, info="O número máximo de novos tokens"),
     gr.Slider(label="Top-p (amostragem de núcleo)", value=0.90, minimum=0.0, maximum=1, step=0.05, interactive=True, info="Valores mais altos amostram mais tokens de baixa probabilidade"),
     gr.Slider(label="Penalidade de Repetição", value=1.2, minimum=1.0, maximum=2.0, step=0.05, interactive=True, info="Penalize tokens repetidos"),
+    gr.Dropdown(label="Modelo", choices=["Modelo 1", "Modelo 2", "Modelo 3"], default="Modelo 1", interactive=True)
 ]
 
 # Exemplos de prompts