deutsche-telekom/electra-base-de-squad2

We released the German Question Answering model fine-tuned with our own German Question Answering dataset (deQuAD) containing 130k training and 11k test QA pairs.

Overview

• Language model: electra-base-german-uncased
• Language: German
• Training data: deQuAD2.0 training set (~42MB)
• Evaluation data: deQuAD2.0 test set (~4MB)
• Infrastructure: 8xV100 GPU

Evaluation

We benchmarked the question answering performance on our deQuAD test data with some German language models. The fine-tuned electra-base-german-uncased model gives the best performance (Exact Match/F1).

Model	All	HasAns	NoAns
electra-base-german-uncased	70.97/76.18	67.73/78.02	74.29/74.29
bert-base-german-cased	58.98/64.77	49.19/60.63	69.03/69.03
bert-base-german-dbmdz-uncased	63.70/68.00	57.03/65.52	70.51/70.51
dbmdz/bert-base-german-europeana-uncased	58.79/63.38	52.14/61.22	65.59/65.59

Use Model in Pipeline

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="deutsche-telekom/electra-base-de-squad2",
    tokenizer="deutsche-telekom/electra-base-de-squad2"
)

contexts = ['''Die Robert Bosch GmbH ist ein im Jahr 1886 von Robert Bosch gegründetes multinationales deutsches Unternehmen. 
Es ist tätig als Automobilzulieferer, Hersteller von Gebrauchsgütern und Industrie- und Gebäudetechnik und darüber hinaus 
in der automatisierten Verpackungstechnik, wo Bosch den führenden Platz einnimmt. Die Robert Bosch GmbH und ihre rund 460 
Tochter- und Regionalgesellschaften in mehr als 60 Ländern bilden die Bosch-Gruppe. Der Sitz der Geschäftsführung befindet 
sich auf der Schillerhöhe in Gerlingen, der Firmensitz in Stuttgart. Seit dem 1. Juli 2012 ist Volkmar Denner Vorsitzender 
der Geschäftsführung. Im Jahr 2015 konnte Bosch die Spitzenposition zurückgewinnen. Die Automobilsparte war im Jahr 2018 
für 61 % des Konzernumsatzes von Bosch verantwortlich. Das Unternehmen hatte im Jahr 2018 in Deutschland an 85 Standorten 
139.400 Mitarbeiter.''']*2

questions = ["Wer leitet die Robert Bosch GmbH?", 
            "Wer begründete die Robert Bosch GmbH?"]

qa_pipeline(context=contexts, question=questions)

Output

[{'score': 0.9537325501441956,
  'start': 577,
  'end': 591,
  'answer': 'Volkmar Denner'},
 {'score': 0.8804352879524231,
  'start': 47,
  'end': 59,
  'answer': 'Robert Bosch'}]

License - The MIT License

Copyright (c) 2021 Fang Xu, Deutsche Telekom AG