Update README.md

README.md

@@ -62,9 +62,66 @@ Testing is a work in progress, we decide to share both model variations with com
 - [Alpacaca chat Dialogs](https://github.com/project-baize/baize)
 - [Medical chat Dialogs](https://github.com/project-baize/baize)
 
+## How to use it
+
+```python
+import time
+import torch
+from peft import PeftModel, PeftConfig
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+peft_model_id = "hackathon-somos-nlp-2023/baizemocracy-lora-7B-cfqa"
+config = PeftConfig.from_pretrained(peft_model_id)
+base_model = AutoModelForCausalLM.from_pretrained("decapoda-research/llama-7b-hf", return_dict=True, load_in_8bit=True, device_map='auto')
+tokenizer = AutoTokenizer.from_pretrained(peft_model_id)
+
+# Load the Lora model
+tuned_model = PeftModel.from_pretrained(base_model, peft_model_id)
+#original_model = PeftModel.from_pretrained(base_model, "project-baize/baize-lora-7B")
+
+def generate(text):
+  stt = time.time()
+  print("hackathon-somos-nlp-2023/baizemocracy-lora-7B-cfqa response:")
+  inputs = tokenizer(text, return_tensors="pt")
+  input_ids = inputs["input_ids"].cuda()
+  with torch.cuda.amp.autocast():
+      tuned_model.eval()
+
+      generation_output = tuned_model.generate(
+          input_ids=input_ids[:,1:-1],
+          generation_config=generation_config,
+          return_dict_in_generate=True,
+          output_scores=True,
+          max_new_tokens=256
+      )
+      for s in generation_output.sequences:
+          output = tokenizer.decode(s)
+          print(output)
+  ent = time.time()
+  elapsed_time = round(ent - stt, 2)
+  print (f"{elapsed_time} seconds")
+
+```
+
 ## Example outputs
 
 baizemocracy-lora-7B-cfqa model:
+
+```python
+#Text taken from Mexican political reform from https://www.gob.mx/cms/uploads/attachment/file/3080/EXPLICACION_AMPLIADA_REFORMA_POLITICA_ELECTORAL.pdf
+text = """
+Given the Context answer the Question. Answers must be source based, use topics to elaborate on the Response if they're provided.
+Context:'Se otorga autonomía constitucional al Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), hasta ahora un organismo público descentralizado dependiente de la
+Secretaría de Desarrollo Social. La autonomía garantizará la objetividad, independencia y rigor necesarios para evaluar la política social del país. Esto permitirá perfeccionar el diseño y aplicación de las políticas públicas destinadas a mejorar la calidad de vida de los sectores de menores
+ingresos'
+Question: '¿para qué se le dará autonomía al CONEVAL?'"""
+generate(text)
+
+output:
+Respuesta: El CONEVAL recibirá autonomía para garantizar la objetividad, independencia y rigor necesarios para evaluar la política social del país. Esto permitirá perfeccionar el diseño y aplicación de las políticas públicas destinadas a mejorar la calidad de vida de los sectores de menores
+ingresos.
+```
+
 ```
 input:
 "Given the context answer the Human question.