Hugging Face's logo

lucianosb
/
boto-7B-v1.2-GGUF

Transformers
GGUF
Portuguese
mistral
text-generation-inference
unsloth
Inference Endpoints
conversational
Model card Files Community
boto-7B-v1.2-GGUF / README.md
lucianosb's picture
lucianosb
updating names
735c4f2 verified
preview code
|
raw
history blame
4.48 kB
metadata
language:
  - pt
license: apache-2.0
tags:
  - text-generation-inference
  - transformers
  - unsloth
  - mistral
  - gguf
base_model: unsloth/mistral-7b-instruct-v0.3-bnb-4bit

Boto 7B 1.2 - GGUF

Boto-7B é um modelo de linguagem de 7 bilhões de parâmetros, otimizado a partir do Mistral-7B-intruct-v0.3.

Confira os presets para usar com LM Studio.

Arquivos Incluídos

Nome Método Quant Bits Tamanho Desc
boto-7B-v1.2-GGUF-unsloth.Q2_K.gguf q2_K 2 2.72 GB Quantização em 2-bit. Significativa perda de qualidade. Não-recomendado.
boto-7B-v1.2-GGUF-unsloth.q3_k_m.gguf q3_K_M 3 3.52 GB Quantização em 3-bit.
boto-7B-v1.2-GGUF-unsloth.q3_k_s.gguf q3_K_S 3 3.17 GB Quantização em 3-bit.
boto-7B-v1.2-GGUF-unsloth.q4_0.gguf q4_0 4 4.11 GB Quantização em 4-bit. Prefira usar o Q3_K_M
boto-7B-v1.2-GGUF-unsloth.q4_k_s.gguf q4_K_S 4 4.14 GB Quantização em 4-bit.
boto-7B-v1.2-GGUF-unsloth.q3_k_l.gguf q3_K_L 3 3.83 GB Quantização em 3-bit com menor perda de qualidade.
boto-7B-v1.2-GGUF-unsloth.q4_k_m.gguf q4_K_M 4 4.37 GB Quantização em 4-bit.
boto-7B-v1.2-GGUF-unsloth.q4_1.gguf q4_1 4 4.55 GB Quantização em 4-bit. Acurácia maior que q4_0 mas não tão boa quanto q5_0. Inferência mais rápida que os modelos q5.
boto-7B-v1.2-GGUF-unsloth.q5_0.gguf q5_0 5 5 GB Quantização em 5-bit. Melhor acurácia, maior uso de recursos, inferência mais lenta.
boto-7B-v1.2-GGUF-unsloth.q5_1.gguf q5_1 5 5.44 GB Quantização em 5-bit. Ainda Melhor acurácia, maior uso de recursos, inferência mais lenta.
boto-7B-v1.2-GGUF-unsloth.q5_k_m.gguf q5_K_M 5 5.13 GB Quantização em 5-bit. Melhor performance. Recomendado.
boto-7B-v1.2-GGUF-unsloth.q5_k_s.gguf q5_K_S 5 5 GB Quantização em 5-bit.
boto-7B-v1.2-GGUF-unsloth.q6_k.gguf q6_K 6 5.94 GB Quantização em 6-bit.
boto-7B-v1.2-GGUF-unsloth.q8_0.gguf q8_0 8 7.7 GB Quantização em 8-bit. Quase indistinguível do float16. Usa muitos recursos e é mais lento.

Observação: os valores de RAM acima não pressupõem descarregamento de GPU. Se as camadas forem descarregadas para a GPU, isso reduzirá o uso de RAM e usará VRAM.

Template 

### Instrução:
{prompt}

### Resposta:

Uploaded model

  • Developed by: lucianosb
  • License: apache-2.0
  • Finetuned from model : unsloth/mistral-7b-instruct-v0.3-bnb-4bit

This mistral model was trained 2x faster with Unsloth and Huggingface's TRL library.