---
license: apache-2.0
base_model: mistralai/Mistral-7B-Instruct-v0.1
datasets:
- Jotschi/german-news-titles
library_name: transformers
---

# Mistral-7B-v0.1_german-news-titles-v1

This model was finetuned using the [german-news-titles](https://huggingface.co/datasets/Jotschi/german-news-titles) dataset.

* License: Apache-2.0

## Usage

Use the following prompt instruction that was used during the training process:

`Erstelle einen 14 Wörter langen Titelvorschlag für folgenden Artikel:`

## Example 

Input:
>"Die Vorbereitungen für das Frequency Festival, das von 14. bis 17. August in St. Pölten über die Bühne gehen wird, laufen auf Hochtouren. Das Rote Kreuz wird in Spitzenzeiten mit bis zu 120 Mitarbeitenden im Einsatz sein, die ÖBB bieten Sonderzüge an. Online seit heute, 9.00 Uhr Laut dem Veranstalter wird das Festival „wie geplant“ stattfinden, allerdings müssen Besucher und Besucherinnen mit längeren Wartezeiten aufgrund genauerer Kontrollen rechnen. Den Auftakt macht Ed Sheeran am 14. August, einem Zusatztag. An den folgenden Tagen werden an der Traisen u. a. Apache 207, The Offspring, RAF Camora, Peter Fox und Cro auftreten. Pro Tag werden um die 50.000 Besucher auf dem VAZ-Gelände in der niederösterreichischen Landeshauptstadt erwartet. Anders als in Vorjahren gibt es (laut Stand von Samstagfrüh) noch Viertagespässe und Tagestickets zu kaufen."

Outputs:
> Titelvorschlag: Festival-Besucher: Von Stress zur Begeisterung

> Titelvorschlag: Wie der Publikumseinstieg auf dem Festival Festival in St. Pölten gestiegen ist

> Titelvorschlag: Fokus auf ökologische Verantwortung: Festivals in Österreich setzen auf nachhaltige Praktiken


## Training

Training sources: https://github.com/Jotschi/mistral-7b_german-news-titles

Hyperparams used to train this model:

| Parameter                      | Value |
|--------------------------------|-------|
| gradient_accumulation_steps    | 2     |
| learning_rate                  | 2e-4  |
| epochs                         | 3     |
| lora_r                         | 64    |
| lora_alpha                     | 16    |
| max_seq_length                 | 256   |

Training template:

```python
  count=count_words(title)
  prompt="Erstelle einen " + str(count) + " Wörter langen Titelvorschlag für folgenden Artikel:\n" + text
  chat = [
       {"role": "user", "content": prompt},
       {"role": "assistant", "content": "Titelvorschlag: " + title},
    ]
```