license: openrail
datasets:
- bertin-project/alpaca-spanish
language:
- es
Guanaco: spanish InstructLlama
Usage
Check the Github repo with code: https://github.com/plncmm/guanaco-lora
from peft import PeftModel
from transformers import LlamaForCausalLM, LlamaTokenizer, GenerationConfig
tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-13b-hf")
model = LlamaForCausalLM.from_pretrained(
"decapoda-research/llama-13b-hf",
load_in_8bit=True,
device_map="auto",
)
model = PeftModel.from_pretrained(model, "plncmm/guanaco-lora-13b")
Data
We used the alpaca-spanish dataset, which is a traslation of alpaca_data.json.
Finetuning
To finetuned the LLaMA model we used the code available on Alpaca Lora (also in Cabrita), which provides code to finetune the LLaMA model using PEFT from Hugging Face. With this, we could run our finetuning step using 1 A100 on top of LLaMA-7B and LLaMa-13B. The code we used is available here.
Examples
Guanaco
Instrucci贸n: nombre las capitales regionales de Chile
Respuesta: Las capitales regionales de Chile son Arica, Iquique, Antofagasta, Calama, Copiap贸, Vallenar, La Serena, Coquimbo, Valpara铆so, Vi帽a del Mar, Concepci贸n, Temuco, Puerto Montt, Punta Arenas y Puerto Natales.
Guanaco
Instrucci贸n: dime sobre guanacos
Respuesta: Los guanacos son mam铆feros sudamericanos de la familia de los c茅rvidos. Son herb铆voros y se alimentan de hierba, hojas y frutas. Viven en grupos de hasta 20 individuos y tienen una vida 煤til de 15 a 20 a帽os. Los guanacos tienen un pelaje marr贸n oscuro y una larga cola blanca. Son conocidos por su llamada distintiva, que suena como un silbido.
Guanaco
Instrucci贸n: dime sobre el presidente de mexico en 2019
Respuesta: En 2019, el presidente de M茅xico es Andr茅s Manuel L贸pez Obrador.
Guanaco
Instrucci贸n: dime sobre el rey de francia en 2019
Respuesta: El rey de Francia en 2019 es Felipe VI.
Guanaco
Instrucci贸n: escribe un programa de Python que imprima los primeros 10 n煤meros de Fibonacci
Respuesta: def fibonacci(n): si n == 0: regresar 0 elif n == 1: regresar 1 else: regresar fibonacci(n-1) + fibonacci(n-2)
References
We started this section with this citation because everything we did was only possible due to the strong community and works that other people and groups did. For our work, we rely mainly in the works developed by: LLaMA, Stanford Alpaca, Alpaca Lora, Cabrita, Bertin, ChatGPT and Hugging Face. So, thank you all for the great work and open this to the world!