SYSTEM_PROMPT = "O ChatGEO é um assistente virtual especializado em geografia, projetado para ajudar estudantes a explorar e compreender diversos tópicos relacionados ao mundo ao seu redor. Com uma personalidade amigável e conhecimento abrangente, o ChatGEO está pronto para responder suas perguntas geográficas com precisão e clareza. Exemplos de Perguntas para ChatGEO: Qual é a capital do Brasil? Descreva o processo de formação de uma cadeia de montanhas. Quais são os principais rios da América do Sul? Explique o conceito de zonas climáticas e suas características. Como a globalização impacta as relações entre os países? Quais são as diferenças entre latitude e longitude? Liste os países que fazem parte da União Europeia. O que são fenômenos naturais e como eles afetam o ambiente?Fale sobre as características geográficas da África Subsaariana. Como os vulcões se formam e quais são seus efeitos na paisagem? Ao utilizar o ChatGEO, sinta-se à vontade para fazer perguntas sobre mapas, países, climas, fenômenos naturais, e outros temas geográficos. O ChatGEO está aqui para tornar a aprendizagem de geografia divertida e informativa!" TITLE = "ChatGEO" from typing import Iterator import gradio as gr import os import requests import matplotlib matplotlib.use('agg') zephyr_7b_beta = "https://api-inference.huggingface.co/models/HuggingFaceH4/zephyr-7b-beta/" HF_TOKEN = os.getenv("HF_TOKEN") HEADERS = {"Authorization": f"Bearer {HF_TOKEN}"} def build_input_prompt(message, chatbot, system_prompt): """ Constrói a string do prompt de entrada a partir das interações do chatbot e da mensagem atual. """ input_prompt = "<|system|>\n" + system_prompt + "\n<|user|>\n" for interaction in chatbot: input_prompt = input_prompt + str(interaction[0]) + "\n<|assistant|>\n" + str(interaction[1]) + "\n\n<|user|>\n" input_prompt = input_prompt + str(message) + "\n<|assistant|>" return input_prompt def post_request_beta(payload): """ Sends a POST request to the predefined Zephyr-7b-Beta URL and returns the JSON response. """ response = requests.post(zephyr_7b_beta, headers=HEADERS, json=payload) response.raise_for_status() # Will raise an HTTPError if the HTTP request returned an unsuccessful status code return response.json() def predict_beta(message, chatbot=[], system_prompt=""): input_prompt = build_input_prompt(message, chatbot, system_prompt) data = { "inputs": input_prompt } try: response_data = post_request_beta(data) json_obj = response_data[0] if 'generated_text' in json_obj and len(json_obj['generated_text']) > 0: bot_message = json_obj['generated_text'] return bot_message elif 'error' in json_obj: raise gr.Error(json_obj['error'] + ' Please refresh and try again with smaller input prompt') else: warning_msg = f"Unexpected response: {json_obj}" raise gr.Error(warning_msg) except requests.HTTPError as e: error_msg = f"Request failed with status code {e.response.status_code}" raise gr.Error(error_msg) except json.JSONDecodeError as e: error_msg = f"Failed to decode response as JSON: {str(e)}" raise gr.Error(error_msg) def test_preview_chatbot(message, history): response = predict_beta(message, history, SYSTEM_PROMPT) text_start = response.rfind("<|assistant|>", ) + len("<|assistant|>") response = response[text_start:] return response with gr.Blocks(theme='JohnSmith9982/small_and_pretty') as demo: gr.Markdown(DESCRIPTION) with gr.Group(): chatbot = gr.Chatbot(label='ChatGEO') with gr.Row(): retry_button = gr.Button('Refazer', variant='secondary') undo_button = gr.Button('Desfazer', variant='secondary') clear_button = gr.Button('Limpar', variant='secondary') with gr.Row(): textbox = gr.Textbox(container=False, show_label=False, placeholder='Olá, ChatGEO', scale=7) model_id = gr.Dropdown(label='Modelos', choices=[ 'mistralai/Mistral-7B-Instruct-v0.1', 'HuggingFaceH4/zephyr-7b-beta', 'meta-llama/Llama-2-7b-chat-hf' ], value='mistralai/Mistral-7B-Instruct-v0.1', scale=3) submit_button = gr.Button('ENVIAR', variant='primary', scale=1, min_width=0) saved_input = gr.State() textbox.submit( fn=clear_and_save_textbox, inputs=textbox, outputs=[textbox, saved_input], api_name=False, queue=False, ).then( fn=display_input, inputs=[saved_input, chatbot], outputs=chatbot, api_name=False, queue=False, ).then( fn=check_input_token_length, inputs=[saved_input, chatbot, system_prompt], api_name=False, queue=False, ).success( fn=generate, inputs=[ model_id, saved_input, chatbot, system_prompt, max_new_tokens, temperature, top_p, top_k, ], outputs=chatbot, api_name=False, ) button_event_preprocess = submit_button.click( fn=clear_and_save_textbox, inputs=textbox, outputs=[textbox, saved_input], api_name=False, queue=False, ).then( fn=display_input, inputs=[saved_input, chatbot], outputs=chatbot, api_name=False, queue=False, ).then( fn=check_input_token_length, inputs=[saved_input, chatbot, system_prompt], api_name=False, queue=False, ).success( fn=generate, inputs=[ model_id, saved_input, chatbot, system_prompt, max_new_tokens, temperature, top_p, top_k, ], outputs=chatbot, api_name=False, ) retry_button.click( fn=delete_prev_fn, inputs=chatbot, outputs=[chatbot, saved_input], api_name=False, queue=False, ).then( fn=display_input, inputs=[saved_input, chatbot], outputs=chatbot, api_name=False, queue=False, ).then( fn=generate, inputs=[ model_id, saved_input, chatbot, system_prompt, max_new_tokens, temperature, top_p, top_k, ], outputs=chatbot, api_name=False, ) undo_button.click( fn=delete_prev_fn, inputs=chatbot, outputs=[chatbot, saved_input], api_name=False, queue=False, ).then( fn=lambda x: x, inputs=[saved_input], outputs=textbox, api_name=False, queue=False, ) clear_button.click( fn=lambda: ([], ''), outputs=[chatbot, saved_input], queue=False, api_name=False, ) demo.queue(max_size=32).launch(show_api=False)