metadata

license: llama2
language:
  - pt
pipeline_tag: text-generation
library_name: transformers
tags:
  - llama
  - peft
  - portuguese
  - instruct
model-index:
  - name: boana-7b-instruct
    results:
      - task:
          type: text-generation
        dataset:
          type: Muennighoff/xwinograd
          name: XWinograd (pt)
          config: pt
          split: test
        metrics:
          - type: Accuracy
            value: 50.57

README

Boana-7B-Instruct

Boana Logo

Boana-7B-Instruct é um LLM treinado em dados da língua portuguesa. O modelo é baseado no LLaMA2-7B, uma versão de 7B de parâmetros do LLaMA-2. O projeto Boana tem como objetivo oferecer opções de LLM em língua portuguesa, ao mesmo tempo que disponibiliza um modelo menos complexo para que, dessa forma, usuários com menos poder computacional possam usufruir das LLMs.

Em apoio aos países de língua portuguesa.

Countries Logo

Descrição do Modelo

Desenvolvido por: Leonardo Souza
Tipo do modelo: LLaMA-Based
Licença: Academic Free License v3.0
Fine-tunado do modelo: LLaMA2-7B

Como Usar

import torch
from transformers import pipeline

samba = pipeline('text-generation', model='lrds-code/samba-1.1B', torch_dtype=torch.bfloat16, device_map='auto')

messages = [{'role':'system',
             'content':''},
            {'role':'user',
             'content':'Quantos planetas existem no sistema solar?'}]

prompt = samba.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = samba(prompt, max_new_tokens=256, do_sample=False, temperature=0.1, top_k=50, top_p=0.95, repetition_penalty=1.1, do_sample=False)
print(outputs[0]['generated_text'])

# <s>[INST] <<SYS>>

# <</SYS>>

# Quantos planetas existem no sistema solar? [/INST]  O sistema solar consiste em 8 planetas:

# 1. Mercurio
# 2. Vênus
# 3. Terra
# 4. Marte
# 5. Júpiter
# 6. Saturno
# 8. Netuno

# Além desses planetas, o sistema solar também inclui outros corpos celestes, como asteroides, cometas e anões, bem como várias luas e satélites naturais

Parâmetros Importantes

repetition_penalty: é utilizado para evitar a repetição de palavras ou frases. Quando esse valor é ajustado para ser maior que 1, o modelo tenta diminuir a probabilidade de gerar palavras que já apareceram anteriormente. Basicamente, quanto maior o valor, mais o modelo tenta evitar repetições.
do_sample: determina se o modelo deve ou não amostrar aleatoriamente a próxima palavra com base nas probabilidades calculadas. Portanto, do_sample=True introduz variação e imprevisibilidade no texto gerado, enquanto que se do_sample=False o modelo escolherá sempre a palavra mais provável como próxima palavra, o que pode levar a saídas mais determinísticas e, possivelmente, mais repetitivas.
temperature: afeta a aleatoriedade na escolha da próxima palavra. Um valor baixo (próximo de 0) faz com que o modelo seja mais "confiante" nas suas escolhas, favorecendo palavras com alta probabilidade e levando a saídas mais previsíveis. Por outro lado, um valor alto aumenta a aleatoriedade, permitindo que o modelo escolha palavras menos prováveis, o que pode tornar o texto gerado mais variado e criativo.