Update README.md

README.md

@@ -27,9 +27,52 @@ This finetuned model is an adapter model based on [Qwen/Qwen1.5-7B-Chat](https:/
 
 Finetuning was performed on the Dutch [BramVanroy/ultrachat_200k_dutch](https://huggingface.co/datasets/BramVanroy/ultrachat_200k_dutch) dataset.
 
+## Model usage
+
+A basic example of how to use the finetuned model.
+
+```
+import torch
+from peft import AutoPeftModelForCausalLM
+from transformers import AutoTokenizer
+
+device = 'cuda'
+model_name = 'robinsmits/Qwen1.5-7B-Dutch-Chat-Sft'
+
+model = AutoPeftModelForCausalLM.from_pretrained(model_name, 
+                                                 device_map = "auto", 
+                                                 load_in_4bit = True,
+                                                 torch_dtype = torch.bfloat16)
+
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+
+messages = [{"role": "user", "content": "Hoi hoe gaat het ermee? Wat kun je me vertellen over appels?"}]
+
+encoded_ids = tokenizer.apply_chat_template(messages, 
+                                            add_generation_prompt = True,
+                                            return_tensors = "pt")
+
+generated_ids = model.generate(input_ids = encoded_ids.to(device), 
+                               max_new_tokens = 256,
+                               do_sample = True)
+decoded = tokenizer.batch_decode(generated_ids)
+print(decoded[0])
+```
+
+Below the chat template with the generated output.
+
+```
+<|im_start|>system
+Je bent een behulpzame AI assistent<|im_end|>
+<|im_start|>user
+Hoi hoe gaat het ermee? Wat kun je me vertellen over appels?<|im_end|>
+<|im_start|>assistant
+Hallo! Appels zijn fruit dat heel populair is. Ze zijn lekker en er zijn veel verschillende soorten, zoals rode, witte en bruine appels. Je kunt ze eten met wat kaas of op een salade voor een fris gerecht. Het is ook goed voor je gezondheid omdat ze rijk zijn aan vitamine C en vezels.<|im_end|>
+```
+
 ## Intended uses & limitations
 
-As with all LLM's this model can also experience bias and hallucinations. Regardless of how you use this model always perform the necessary testing and validating.
+As with all LLM's this model can also experience bias and hallucinations. Regardless of how you use this model always perform the necessary testing and validation.
 
 The used dataset does not allow commercial usage.