README.md

metadata

title: Inclusion Visually Impaired - Image2Speech
emoji: 👨🏻‍🦯🦮🤖🔊
colorFrom: purple
colorTo: pink
sdk: gradio
sdk_version: 4.12.0
app_file: app.py
pinned: false
license: ecl-2.0

Inclusão para Deficientes Visuais

Este projeto utiliza um modelo YOLOv5 para detectar objetos em imagens e descrevê-los em português para pessoas com deficiência visual. A descrição é convertida em áudio, proporcionando uma experiência e interação com a imagem.

Desenvolvedor

Desenvolvido por Ramon Mayor Martins (2024)

• Email: rmayormartins@gmail.com
• Homepage: https://rmayormartins.github.io/
• Twitter: @rmayormartins
• GitHub: https://github.com/rmayormartins
• my Radio Callsign (PU4MAY) Brazil

Tecnologias Utilizadas

• YOLOv5: Modelo de detecção de objetos treinado para identificar 80 classes de objetos comuns em tempo real.
• OpenCV: Biblioteca de processamento de imagens que auxilia na manipulação e análise de imagens.
• NumPy: Biblioteca fundamental para computação científica em Python.
• Pillow (PIL): Biblioteca de processamento de imagens que permite abrir, manipular e salvar arquivos de imagem em muitos formatos diferentes.
• Scikit-Image: Biblioteca para processamento avançado de imagens, utilizada aqui para calcular a GLCM.
• Transformers (Hugging Face): Biblioteca que fornece modelos de linguagem e visão, incluindo o BLIP para descrição de imagens e o MarianMT para tradução automática.
• gTTS (Google Text-to-Speech): Biblioteca para conversão de texto para voz, utilizada para gerar arquivos de áudio em português.
• Gradio: Biblioteca que facilita a criação de interfaces web interativas para modelos de aprendizado de máquina.

Fluxo de Trabalho

1. Carregamento da Imagem: O usuário carrega uma imagem na interface web.
2. Detecção de Objetos: A imagem é processada pelo YOLOv5 para identificar e descrever objetos presentes.
3. Análise de Cor e Textura: A temperatura de cor e a textura da imagem são analisadas usando técnicas de média RGB e GLCM, respectivamente.
4. Descrição Semântica: O modelo BLIP gera uma descrição textual da imagem, que é então traduzida para o português usando MarianMT.
5. Conversão para Voz: A descrição completa é convertida em áudio usando gTTS.
6. Feedback ao Usuário: A interface Gradio exibe a descrição textual e fornece o áudio para o usuário.

Como Utilizar

1. Faça upload de uma imagem.
2. O modelo detectará e descreverá os objetos presentes na imagem.
3. A saída a descrição textual traduzida e um arquivo de áudio com a descrição.