Spaces:
Runtime error
Runtime error
File size: 2,845 Bytes
c0b1550 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 |
import io
import requests
import torch
from PIL import Image
import streamlit as st
from transformers import AutoModelForCausalLM, AutoProcessor, GenerationConfig
# Função para baixar e processar a imagem
def download_image(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
resp = requests.get(url, headers=headers)
resp.raise_for_status()
return Image.open(io.BytesIO(resp.content)).convert("RGB")
# Função para gerar a descrição com base na imagem e no prompt
def generate(images, prompt, processor, model, device, dtype, generation_config):
inputs = processor(
images=images[:2], text=f" USER: <s>{prompt} ASSISTANT: <s>", return_tensors="pt"
).to(device=device, dtype=dtype)
output = model.generate(**inputs, generation_config=generation_config)[0]
response = processor.tokenizer.decode(output, skip_special_tokens=True)
return response
# Função principal da interface Streamlit
def main():
# Definir o dispositivo de execução (GPU ou CPU)
device = "cuda:0" if torch.cuda.is_available() else "cpu"
dtype = torch.float16
# Carregar o modelo e o processador
processor = AutoProcessor.from_pretrained("StanfordAIMI/CheXagent-8b", trust_remote_code=True)
generation_config = GenerationConfig.from_pretrained("StanfordAIMI/CheXagent-8b")
model = AutoModelForCausalLM.from_pretrained(
"StanfordAIMI/CheXagent-8b", torch_dtype=dtype, trust_remote_code=True
).to(device)
# Título da aplicação Streamlit
st.title("Análise de Imagem Médica com CheXagent")
# Entrada para o URL da imagem
image_url = st.text_input("Insira o URL da imagem:", "https://upload.wikimedia.org/wikipedia/commons/3/3b/Pleural_effusion-Metastatic_breast_carcinoma_Case_166_%285477628658%29.jpg")
# Entrada para o prompt
prompt = st.text_input("Insira o prompt para a análise:", "Descreva o \"Airway\"")
# Botão para gerar a resposta
if st.button("Gerar Análise"):
try:
# Passo 1: Baixar a imagem
st.write("Baixando a imagem...")
images = [download_image(image_url)]
# Exibir a imagem na interface
st.image(images[0], caption="Imagem fornecida", use_column_width=True)
# Passo 2: Gerar a resposta
st.write(f"Gerando a análise para: {prompt}...")
response = generate(images, prompt, processor, model, device, dtype, generation_config)
# Exibir a resposta gerada
st.subheader("Análise Gerada:")
st.write(response)
except Exception as e:
st.error(f"Ocorreu um erro: {e}")
if __name__ == "__main__":
main()
|