Update README.md

README.md

@@ -1,28 +1,23 @@
 ---
+license: llama2
 language:
 - pt
-- en
-license: llama2
+pipeline_tag: text-generation
 library_name: transformers
 tags:
 - llama
 - peft
 - portuguese
 - instruct
-datasets:
-- ju-resplande/rebel-pt
-- paulofinardi/OIG_small_chip2_portuguese_brasil
-- Guilherme34/Cabrita-lora-ptbr
-- dominguesm/Canarim-Instruct-PTBR-Dataset
-pipeline_tag: text-generation
+
 model-index:
 - name: boana-7b-instruct
   results:
   - task:
       type: text-generation
     dataset:
-      name: XWinograd (pt)
       type: Muennighoff/xwinograd
+      name: XWinograd (pt)
       config: pt
       split: test
     metrics:
@@ -32,7 +27,7 @@ model-index:
 
 <hr>
 
-# PT - README
+# README
 
 <hr>
 
@@ -57,147 +52,43 @@ Em apoio aos países de língua portuguesa.
 - **Licença:** Academic Free License v3.0
 - **Fine-tunado do modelo:** [LLaMA2-7B](https://huggingface.co/meta-llama/Llama-2-7b-chat-hf)
 
-## Estilo do Prompt
-
-Usamos o mesmo prompt usado no fine-tune do modelo [Cabrita](https://huggingface.co/22h/cabrita-lora-v0-1). Você pode saber mais no repositório oficial no [GitHub](https://github.com/22-hours/cabrita/blob/main/notebooks/train_lora.ipynb).
-
-## Avaliação
-
-O modelo foi avaliado no conjunto de dados [XWinograd - pt](https://huggingface.co/datasets/Muennighoff/xwinograd) que consiste em uma simples task de fill-mask. Alcançamos resultados que variaram entre 40.03 e 50.57 de acurácia, dependendo da configuração de prompt utilizada.
-Não foi aplicado nenhum tipo de correção na saída do modelo, apenas realizamos uma etapa de pós processamento para extração do valor de interesse.
-
 ## Como Usar
 
 ```python
-from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
-
-def GeneratePrompt(input, instruction):
-    if input!='' and instruction!=0:
-        return f'''Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido.
-                   ### Instrução: {instruction}
-                   ### Entrada: {input}'''
-    else:
-        return f'''Abaixo está uma instrução que descreve uma tarefa. Escreva uma resposta que complete adequadamente o pedido.
-                   ### Instrução: {instruction}
-                   ### '''
-
-model_config = GenerationConfig.from_model_config(model.generation_config)
-model.generation_config.temperature = 0.9 # Você pode variar esse valor entre 0 e 1.
-
-model = AutoModelForCausalLM.from_pretrained('lrds-code/boana-7b-instruct')
-tokenizer = AutoTokenizer.from_pretrained('lrds-code/boana-7b-instruct')
-
-instruction = 'Como desenvolver habilidades de programação em python?'
-text = GeneratePrompt(input='', instruction=instruction)
-inputs = tokenizer(text, return_tensors='pt')
-outputs = model.generate(input_ids=inputs['input_ids'], attention_mask=inputs['attention_mask'], generation_config=model_config, repetition_penalty=1.1, do_sample=False
-# repetition_penalty:
-# Observamos que em alguns casos de entrada o modelo repetiu excessivamente algumas palavras.
-# Esse parâmetro é usado para tentar reduzir esse comportamento.
-# Atribuir um valor muito alto para esse parâmetro pode fazer com que o modelo busque excessivamente por outras palavras e, sendo assim, talvez usar palavras da língua inglesa na saída.
-
-print(tokenizer.decode(outputs[0], skip_special_tokens=True))
-
-## Abaixo está uma instrução que descreve uma tarefa. Escreva uma resposta que complete adequadamente o pedido.
-##                 ### Instrução:
-##                 Como desenvolver habilidades de programação em python?
-##                 ### Resposta:
-##                 Aqui estão algumas dicas para aprender Python:
-##                 1. Comece com os fundamentos. Aprenda as principais palavras-chave e conceitos básicos, como variáveis, tipos de dados, funções, módulos, etc.
-##                 2. Pratique com exercícios. Experimentar com diferentes tipos de problemas pode ajudá-lo a entender melhor o idioma.
-##                 3. Leia documentação. Aprenda sobre as funcionalidades específicas do Python e como elas são usadas.
-##                 4. Use recursos on-line. Há muitos recursos disponíveis online que podem ajudá-lo a aprender Python, como cursos, tutoriales, livros, etc.
-##                 5. Participe de comunidades. Encontre um grupo de pessoas que compartilham seus interesses e se conectem com eles.
-##                 6. Faça perguntas. Se você tiver alguma dúvida ou precisar de ajuda, não hesite em perguntar.
-##                 7. Aprenda com outros. Aprenda com outros programadores e compartilhe suas próprias ideias.
-##                 8. Desenvolva projetos. Crie algo que possa ser útil para você ou para outras pessoas.
-##                 9. Lembre-se de que aprender é um processo contínuo. Não se esqueça de continuar praticando e aprendendo novas coisas.
-##                 10. Certifique-se de ter paciência. Aprender um idioma é um processo lento e exigente, mas valerá a pena.
-```
+import torch
+from transformers import pipeline
 
-<hr>
+samba = pipeline('text-generation', model='lrds-code/samba-1.1B', torch_dtype=torch.bfloat16, device_map='auto')
 
-# EN - README
+messages = [{'role':'system',
+             'content':''},
+            {'role':'user',
+             'content':'Quantos planetas existem no sistema solar?'}]
 
-<hr>
+prompt = samba.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+outputs = samba(prompt, max_new_tokens=256, do_sample=False, temperature=0.1, top_k=50, top_p=0.95, repetition_penalty=1.1, do_sample=False)
+print(outputs[0]['generated_text'])
 
+# <s>[INST] <<SYS>>
 
-# Boana-7B-Instruct
+# <</SYS>>
 
-<p align="center">
-  <img width="250" alt="Boana Logo" src="https://cdn-uploads.huggingface.co/production/uploads/658c21f4c1229bf113295773/_Dc6z1IAL-zUiy0LMSSqf.png">
-</p>
-
-Boana-7B-Instruct is an LLM trained on portuguese language data. The model is based on [LLaMA2-7B](https://huggingface.co/meta-llama/Llama-2-7b-chat-hf), a 7B parameter version of LLaMA-2. The LLM Boana project aims to provide more LLM options in portuguese, while also providing less complex models so that users with less computational power can take advantage of the LLMs.
-
-In support of portuguese-speaking countries. 
-
-<p align="center">
-  <img width="250" alt="Countries Logo" src="https://cdn-uploads.huggingface.co/production/uploads/658c21f4c1229bf113295773/d3twZrXng5eDjg_LbH4pF.png">
-</p>
-
-### Model Description
-
-- **Developed by:** [Leonardo Souza](https://huggingface.co/lrds-code)
-- **Model type:** LLaMA-Based
-- **License:** Academic Free License v3.0
-- **Finetuned from model:** [LLaMA2-7B](https://huggingface.co/meta-llama/Llama-2-7b-chat-hf)
+# Quantos planetas existem no sistema solar? [/INST]  O sistema solar consiste em 8 planetas:
 
-## Prompt Style
+# 1. Mercurio
+# 2. Vênus
+# 3. Terra
+# 4. Marte
+# 5. Júpiter
+# 6. Saturno
+# 8. Netuno
 
-We used the same prompt used in the fine-tune of the [Cabrita](https://huggingface.co/22h/cabrita-lora-v0-1) model. You can find out more in the official repository on [GitHub](https://github.com/22-hours/cabrita/blob/main/notebooks/train_lora.ipynb).
+# Além desses planetas, o sistema solar também inclui outros corpos celestes, como asteroides, cometas e anões, bem como várias luas e satélites naturais
 
-## Evaluation
-
-The model was evaluated on the dataset [XWinograd - pt](https://huggingface.co/datasets/Muennighoff/xwinograd) which consists of a simple fill-mask task. We achieved results that varied between 40.03 and 50.57 accuracy, depending on the prompt configuration used.
-No type of correction was applied to the model output, we only carried out a post-processing step to extract the value of interest.
+```
 
-## How to Use
+## Parâmetros Importantes
 
-```python
-from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
-
-def GeneratePrompt(input, instruction):
-    if input!='' and instruction!=0:
-        return f'''Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido.
-                   ### Instrução: {instruction}
-                   ### Entrada: {input}'''
-    else:
-        return f'''Abaixo está uma instrução que descreve uma tarefa. Escreva uma resposta que complete adequadamente o pedido.
-                   ### Instrução: {instruction}
-                   ### '''
-
-model_config = GenerationConfig.from_model_config(model.generation_config)
-model.generation_config.temperature = 0.9 # You can vary this value between 0 and 1.
-
-model = AutoModelForCausalLM.from_pretrained('lrds-code/boana-7b-instruct')
-tokenizer = AutoTokenizer.from_pretrained('lrds-code/boana-7b-instruct')
-
-instruction = 'Como desenvolver habilidades de programação em python?'
-text = GeneratePrompt(input='', instruction=instruction)
-inputs = tokenizer(text, return_tensors='pt')
-outputs = model.generate(input_ids=inputs['input_ids'], attention_mask=inputs['attention_mask'], generation_config=model_config, repetition_penalty=1.1, do_sample=False)
-
-# repetition_penalty:
-# We observed that in some input cases the model began to repeat words excessively in its output.
-# This parameter is used to try to reduce this behavior.
-# Setting a very high value for this parameter can cause the model to search excessively for new words and, therefore, may use English words in the output.
-
-print(tokenizer.decode(outputs[0], skip_special_tokens=True))
-
-## Abaixo está uma instrução que descreve uma tarefa. Escreva uma resposta que complete adequadamente o pedido.
-##                 ### Instrução:
-##                 Como desenvolver habilidades de programação em python?
-##                 ### Resposta:
-##                 Aqui estão algumas dicas para aprender Python:
-##                 1. Comece com os fundamentos. Aprenda as principais palavras-chave e conceitos básicos, como variáveis, tipos de dados, funções, módulos, etc.
-##                 2. Pratique com exercícios. Experimentar com diferentes tipos de problemas pode ajudá-lo a entender melhor o idioma.
-##                 3. Leia documentação. Aprenda sobre as funcionalidades específicas do Python e como elas são usadas.
-##                 4. Use recursos on-line. Há muitos recursos disponíveis online que podem ajudá-lo a aprender Python, como cursos, tutoriales, livros, etc.
-##                 5. Participe de comunidades. Encontre um grupo de pessoas que compartilham seus interesses e se conectem com eles.
-##                 6. Faça perguntas. Se você tiver alguma dúvida ou precisar de ajuda, não hesite em perguntar.
-##                 7. Aprenda com outros. Aprenda com outros programadores e compartilhe suas próprias ideias.
-##                 8. Desenvolva projetos. Crie algo que possa ser útil para você ou para outras pessoas.
-##                 9. Lembre-se de que aprender é um processo contínuo. Não se esqueça de continuar praticando e aprendendo novas coisas.
-##                 10. Certifique-se de ter paciência. Aprender um idioma é um processo lento e exigente, mas valerá a pena.
-```
+- **repetition_penalty:** é utilizado para evitar a repetição de palavras ou frases. Quando esse valor é ajustado para ser maior que 1, o modelo tenta diminuir a probabilidade de gerar palavras que já apareceram anteriormente. Basicamente, quanto maior o valor, mais o modelo tenta evitar repetições.
+- **do_sample:** determina se o modelo deve ou não amostrar aleatoriamente a próxima palavra com base nas probabilidades calculadas. Portanto, **do_sample=True** introduz variação e imprevisibilidade no texto gerado, enquanto que se **do_sample=False** o modelo escolherá sempre a palavra mais provável como próxima palavra, o que pode levar a saídas mais determinísticas e, possivelmente, mais repetitivas.
+- **temperature:** afeta a aleatoriedade na escolha da próxima palavra. Um valor baixo (próximo de 0) faz com que o modelo seja mais "confiante" nas suas escolhas, favorecendo palavras com alta probabilidade e levando a saídas mais previsíveis. Por outro lado, um valor alto aumenta a aleatoriedade, permitindo que o modelo escolha palavras menos prováveis, o que pode tornar o texto gerado mais variado e criativo.