Update README.md

README.md

@@ -21,6 +21,8 @@ pipeline_tag: text-generation
 
 # polylm_1.7b_ft_alpaca_clean_dutch
 
+## Model description
+
 This adapter model is a fine-tuned version of [DAMO-NLP-MT/polylm-1.7b](https://huggingface.co/DAMO-NLP-MT/polylm-1.7b).
 It achieves the following results on the evaluation set:
 - Loss: 1.8483
@@ -29,9 +31,53 @@ Finetuning was performed on the Dutch [BramVanroy/alpaca-cleaned-dutch](https://
 
 See [DAMO-NLP-MT/polylm-1.7b](https://huggingface.co/DAMO-NLP-MT/polylm-1.7b) for all information about the base model.
 
-## Model description
+## Model usage
+
+A basic example of how to use the finetuned model.
+
+```
+import torch
+from peft import AutoPeftModelForCausalLM
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model_name = "robinsmits/polylm_1.7b_ft_alpaca_clean_dutch"
+
+tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast = False, legacy = False)
+
+model = AutoPeftModelForCausalLM.from_pretrained(model_name, device_map = "auto", load_in_4bit = True, torch_dtype = torch.bfloat16)
+
+prompt = "### Instructie:\nWat zijn de drie belangrijkste softwareonderdelen die worden gebruikt bij webontwikkeling?\n\n### Antwoord:\n" 
 
-More information needed
+inputs = tokenizer(prompt, return_tensors = "pt")
+sample = model.generate(input_ids = inputs.input_ids.cuda(),
+                        attention_mask = inputs.attention_mask.cuda(),
+                        max_new_tokens = 128,
+                        do_sample = True,
+                        top_p = 0.85,
+                        top_k = 50,
+                        temperature = 0.5,
+                        repetition_penalty = 1.2,
+                        length_penalty = -1.0,
+                        num_return_sequences = 1,
+                        pad_token_id = tokenizer.eos_token_id,
+                        forced_eos_token_id = tokenizer.eos_token_id)
+output = tokenizer.decode(sample[0], skip_special_tokens = True)
+
+print(output.split(prompt)[1])
+```
+
+The prompt and generated output for the above mentioned example is similar to the output shown below.
+
+```
+### Instructie:
+Wat zijn de drie belangrijkste softwareonderdelen die worden gebruikt bij webontwikkeling?
+
+### Antwoord:
+
+De drie belangrijkste softwareonderdelen die worden gebruikt in webontwikkeling zijn HTML, CSS en Javascript.HTML is het hoofdbestand voor alle inhoud op een website.CSS is het hoofdbestand voor decoraties en scripts om te gebruiken zoals JavaScript en PHP.Javascript wordt meestal gebruikt om verschillende functies uit te voeren of het script te manipuleren.Het laatste bestand maakt het mogelijk om code te schrijven dat aan uw website gekoppeld kan worden door middel van enkele woorden. Daarnaast kunnen er ook andere bestanden nodig zijn als gevolg van gebruik van meerdere servers.Een voorbeeld hiervan zou zijn wanneer u bijvoorbeeld een blog-website
+```
+
+For more extensive usage and a lot of generated samples (both good and bad samples) see the following [Inference Notebook](https://github.com/RobinSmits/Dutch-LLMs/blob/main/PolyLM_1_7B_Alpaca_Clean_Dutch_Inference.ipynb)
 
 ## Intended uses & limitations
 
@@ -42,6 +88,13 @@ The generated output and performance of this model for the Dutch language is ver
 
 The primary intention of this finetuned model is to explore and research the use of the Dutch language in combination with an Open LLM model.
 
+## Bias, Risks, and Limitations
+
+The information below is copied from the base model's [official model card](https://arxiv.org/pdf/2307.06018.pdf):
+This applies also to the finetuned model.
+
+> Our contributions are fully methodological: adding the support of multilingualism to LLM during training and SFT phases. It is unavoidable that PolyLM might exhibit several common deficiencies of language models, e.g. hallucination and toxicity. PolyLM should not be used directly in any application, without a prior assessment of safety and fairness concerns specific to the application.
+
 ## Training and evaluation data
 
 This model was trained on the [BramVanroy/alpaca-cleaned-dutch](https://www.huggingface.co/datasets/BramVanroy/alpaca-cleaned-dutch) dataset.