Iniciar Agente

!!! note Todo o documento foi traduzido por claude3.5 Sonnet, se você for um falante nativo e achar a tradução problemática, muito obrigado por nos enviar um problema ou uma solicitação pull!

Requisitos

Memória GPU: No mínimo 8GB (com quantização), 16GB ou mais é recomendado.
Uso de disco: 10GB

Download do Modelo

Você pode obter o modelo através de:

huggingface-cli download fishaudio/fish-agent-v0.1-3b --local-dir checkpoints/fish-agent-v0.1-3b

Coloque-os na pasta 'checkpoints'.

Você também precisará do modelo fish-speech que pode ser baixado seguindo as instruções em inference.

Então haverá 2 pastas em checkpoints.

O checkpoints/fish-speech-1.4 e checkpoints/fish-agent-v0.1-3b

Preparação do Ambiente

Se você já tem o Fish-speech, pode usar diretamente adicionando a seguinte instrução:

pip install cachetools

!!! nota Por favor, use a versão Python abaixo de 3.12 para compilação.

Se você não tem, use os comandos abaixo para construir seu ambiente:

sudo apt-get install portaudio19-dev

pip install -e .[stable]

Iniciar a Demo do Agente

Para construir o fish-agent, use o comando abaixo na pasta principal:

python -m tools.api --llama-checkpoint-path checkpoints/fish-agent-v0.1-3b/ --mode agent --compile

O argumento --compile só suporta Python < 3.12, o que aumentará muito a velocidade de geração de tokens.

Não será compilado de uma vez (lembre-se).

Então abra outro terminal e use o comando:

python -m tools.e2e_webui

Isso criará uma WebUI Gradio no dispositivo.

Quando você usar o modelo pela primeira vez, ele irá compilar (se --compile estiver True) por um curto período, então aguarde com paciência.

Gradio Webui

Divirta-se!

Desempenho

Em nossos testes, um laptop com 4060 mal consegue rodar, ficando muito sobrecarregado, gerando apenas cerca de 8 tokens/s. A 4090 gera cerca de 95 tokens/s com compilação, que é o que recomendamos.

Sobre o Agente

A demo é uma versão alpha inicial de teste, a velocidade de inferência precisa ser otimizada, e há muitos bugs aguardando correção. Se você encontrou um bug ou quer corrigi-lo, ficaremos muito felizes em receber uma issue ou um pull request.