README.md

metadata

license: mit
widget:
  - text: >-
      generate question: KMI ist eine Variante des allgemeinen Bachelors
      Informatik und damit zu ca. 80% identisch mit dem allgemeinen Bachelor
      Informatik, d.h. auch diese Variante ist ein Informatikstudium mit einem
      hohen Programmieranteil. Der Studienschwerpunkt adressiert insbesondere
      die heute geforderten Soft-Skills, die für ein Arbeiten im Team
      unerlässlich sind. Des Weiteren lernen Sie das Interaktionsdesign Ihrer
      Anwendungen kreativ zu optimieren und ihr Auge für eine gelungene
      Gestaltung zu schulen. In jedem Semester werden Akzente gesetzt: Im ersten
      und dritten Semester haben Sie beispielsweise ein Projekt anstelle eher
      technisch ausgerichteter Module. Die Hälfte Ihrer Wahlpflichtmodule
      absolvieren Sie am Fachbereich Media. </s>
    example_title: Question generation 1
  - text: >-
      generate question: SARS-CoV-2 zirkuliert weiterhin in der Bevölkerung und
      kann sich überall dort verbreiten, wo Menschen zusammenkommen. Auch wenn
      in den Sommermonaten die Fallzahlen saisonbedingt niedriger sind als in
      der kalten Jahreszeit, empfiehlt das RKI nach wie vor, die AHA+A+L-Regeln
      einzuhalten (Abstand halten, Hygieneregeln beachten, Alltag mit Maske,
      Coronawarnapp nutzen, Lüften), bei Atemwegssymptomen zu Hause zu bleiben
      und sich testen zu lassen, und auf einen vollständigen Impfschutz gegen
      COVID-19 zu achten. </s>
    example_title: Question generation 2
  - text: >-
      generate question: Ballaststoffe haben eine Reihe von Wirkungen auf den
      Körper, vor allem auf die Verdauung, z. B. Einfluss auf die Transitzeit
      der Nahrung in Magen und Darm, Masse und Konsistenz des Stuhls sowie
      Häufigkeit der Darmentleerung, Sättigungswirkung, veränderte
      Nährstoff­absorption und präbiotische Wirkung. Je nach Art der
      Ballaststoffe und nach Abschnitt im Verdauungstrakt kann es zu
      unterschiedlichen Effekten kommen. Bei der Fermentation von Ballaststoffen
      entstehen zudem verschiedene kurzkettige Fettsäuren, die dem Körper
      teilweise als Energiequelle zur Verfügung stehen. Schätzungsweise liefern
      die kurzkettigen Fettsäuren 8,4 kJ (2,0 kcal) pro g Ballaststoff. </s>
    example_title: Question generation 3
inference:
  parameters:
    max_length: 128
    num_beams: 4
    length_penalty: 1.5
    no_repeat_ngram_size: 3
    early_stopping: true
language:
  - de
tags:
  - question generation
datasets:
  - deepset/germanquad
metrics:
  - sacrebleu
  - bleu
  - rouge-l
  - meteor
  - bertscore
model-index:
  - name: tilomichel/mT5-base-GermanQuAD-e2e-qg
    results:
      - task:
          type: question-generation
          name: Question generation
        dataset:
          type: xquad
          name: XQuAD (de)
          split: de
        metrics:
          - type: sacrebleu
            value: 1.72837804716791
            name: BLEU Score
            args:
              lowercase: true
            verified: false
          - type: sacrebleu
            value: 49.210584834334
            name: BLEU-1
            args:
              lowercase: true
            verified: false
          - type: sacrebleu
            value: 16.960300681230915
            name: BLEU-2
            args:
              lowercase: true
            verified: false
          - type: sacrebleu
            value: 7.144635299975106
            name: BLEU-3
            args:
              lowercase: true
            verified: false
          - type: sacrebleu
            value: 3.230076780513635
            name: BLEU-4
            args:
              lowercase: true
            verified: false
          - type: rouge
            name: ROUGE-L (f-measure)
            value: 0.171130005590873
            args:
              use_aggregator: true
              use_stemmer: false
            verified: false
          - type: meteor
            value: 0.0835049103331918
            name: METEOR
            args:
              language: de
            verified: false
          - type: bertscore
            value: 0.331940584507538
            name: BERTScore (F1)
            args:
              rescale_with_baseline: true
            verified: false

mT5-base finetuned on the GermanQuAD dataset for answer-agnostic question generation

This model is a finetuned mT5-base model for the task of answer-agnostic (or end-to-end) question generation. The approach from Lopez et al. was used called All questions per line (AQPL). This means a paragraph is provided as input and multiple questions are generated from it. Other models already tested this approach with the T5 model for English and German.

For finetuning this model only used the GermanQuAD dataset from deepset was used. The dataset was modified and filtered with scripts that can be found in another repository.

Training, test and evaluation data

For training and test the original split from GermanQuAD was used. As evaluation dataset the German split of the XQuAD dataset was used.

Training hyperparameters

The training parameters are provided in JSON and can be used with a training script provided in a repository

{
    "model_name_or_path": "google/mt5-base",
    "output_dir": "mt5-base-germanquad-e2e-qg",
    "overwrite_output_dir": true,
    "cache_dir": "model-cache",
    "dataset_dir": "e2e-qg-germanquad",
    "preprocessing_num_workers": 20,
    "max_source_length": 1024,
    "max_target_length": 128,
    "val_max_target_length": 128,
    "pad_to_max_length": true,
    "seed": 42,
    "do_train": true,
    "gradient_accumulation_steps": 64,
    "per_device_train_batch_size": 1,
    "per_device_eval_batch_size": 1,
    "learning_rate": 1e-4,
    "num_train_epochs": 10,
    "evaluation_strategy": "epoch",
    "logging_strategy": "epoch",
    "save_strategy": "epoch",
    "save_total_limit": 3,
    "dataloader_num_workers": 8,
    "ddp_find_unused_parameters": false
}

Training results

The evaluation is reported on XQuAD. The implementations and configurations can be found in another repository.