Update README.md

README.md

@@ -83,4 +83,54 @@ The following hyperparameters were used during training:
 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
 - lr_scheduler_type: constant
 - lr_scheduler_warmup_ratio: 0.03
-- num_epochs: 3
+- num_epochs: 3
+
+## Inference Example
+
+```python
+import torch
+
+from transformers import (
+    AutoModelForCausalLM,
+    AutoTokenizer,
+    BitsAndBytesConfig,
+    pipeline
+)
+
+model_id = "somosnlp/gemma-7b-it-legal-refugee-v0.1.1"
+tokenizer_id = "somosnlp/gemma-7b-it-legal-refugee-v0.1.1"
+
+tokenizer = AutoTokenizer.from_pretrained(tokenizer_id)
+# Cargamos el modelo en 4 bits para agilizar la inferencia
+quantization_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_compute_dtype=torch.float16,
+    bnb_4bit_use_double_quant=True,
+)
+
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    torch_dtype=torch.float16,
+    device_map="auto",
+    quantization_config=quantization_config,
+)
+
+# Generamos el pipeline de generación de texto
+pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
+# Definimos el eos token para el modelo
+eos_token = tokenizer("<|im_end|>",add_special_tokens=False)["input_ids"][0]
+
+def generate_inference(instruction, input, temperature):
+    prompt = pipe.tokenizer.apply_chat_template([{"role": "user", 
+                                                  "content": f"{instruction}/n{input}"}], tokenize=False, add_generation_prompt=True)
+    outputs = pipe(prompt, max_new_tokens=256, do_sample=True, num_beams=1, temperature=float(temperature), top_k=50, top_p=0.95, 
+                   max_time= 300, eos_token_id=eos_token)
+    return outputs[0]['generated_text'][len(prompt):].strip()
+
+
+instruction = "¿Podrías explicarme brevemente los hechos que originan el procedimiento y las posibles calificaciones, así como las sanciones correspondientes, según lo expuesto en el contexto?"
+input = "b) Hechos que motivan la incoación del procedimiento sucintamente expuestos, su posible calificación y las sanciones que pudieran corresponder, sin perjuicio de lo que resulte de la instrucción. c) Instructor y, en su caso, secretario del procedimiento, con expresa indicación del régimen de recusación de éstos. d) Órgano competente para la resolución del expediente y norma que le atribuye tal competencia. e) Indicación de la posibilidad de que el presunto responsable pueda reconocer voluntariamente su responsabilidad. f) Medidas de carácter provisional que se hayan acordado por el órgano competente para iniciar el procedimiento sancionador, sin perjuicio de las que se puedan adoptar durante éste de conformidad con los artículos 55 y 61 de la Ley Orgánica 4/2000, de 11 de enero. g) Indicación del derecho a formular alegaciones y a la audiencia en el procedimiento y de los plazos para su ejercicio. 2. El acuerdo de iniciación se comunicará al instructor con traslado de cuantas actuaciones existan al respecto y se notificará a los interesados, entendiéndose en todo caso por tal al expedientado. En la notificación se advertirá a los interesados que, de no efectuar alegaciones sobre el contenido de la iniciación del procedimiento en el plazo previsto en el artículo siguiente, no realizarse propuesta de prueba o no ser admitidas, por improcedentes o innecesarias, las pruebas propuestas, la iniciación podrá ser considerada propuesta de resolución cuando contenga un pronunciamiento preciso acerca de la responsabilidad imputada, con los efectos previstos en los artículos 229 y 230."
+
+response = test_inference(instruction, input, 0.3)
+print(f"Response:\n{response}")
+```