--- language: de license: mit tags: - german --- We released the German Question Answering model fine-tuned with our own German Question Answering dataset (**deQuAD**) containing **130k** training and **11k** test QA pairs. ## Overview - **Language model:** [electra-base-german-uncased](https://huggingface.co/german-nlp-group/electra-base-german-uncased) - **Language:** German - **Training data:** deQuAD2.0 training set (~42MB) - **Evaluation data:** deQuAD2.0 test set (~4MB) - **Infrastructure:** 8xV100 GPU ## Evaluation We benchmarked the question answering performance on our deQuAD test data with some German language models. The fine-tuned electra-base-german-uncased model gives the best performance (Exact Match/F1). | Model | All | HasAns | NoAns | |-------|--------|--------|--------| | electra-base-german-uncased | 70.97/76.18 | 67.73/78.02 | 74.29/74.29 | | bert-base-german-cased |58.98/64.77| 49.19/60.63| 69.03/69.03| |bert-base-german-dbmdz-uncased|63.70/68.00| 57.03/65.52| 70.51/70.51 | |dbmdz/bert-base-german-europeana-uncased| 58.79/63.38| 52.14/61.22| 65.59/65.59| ## Use Model in Pipeline ```python from transformers import pipeline qa_pipeline = pipeline( "question-answering", model="deutsche-telekom/electra-base-de-squad2", tokenizer="deutsche-telekom/electra-base-de-squad2" ) contexts = ['''Die Robert Bosch GmbH ist ein im Jahr 1886 von Robert Bosch gegründetes multinationales deutsches Unternehmen. Es ist tätig als Automobilzulieferer, Hersteller von Gebrauchsgütern und Industrie- und Gebäudetechnik und darüber hinaus in der automatisierten Verpackungstechnik, wo Bosch den führenden Platz einnimmt. Die Robert Bosch GmbH und ihre rund 460 Tochter- und Regionalgesellschaften in mehr als 60 Ländern bilden die Bosch-Gruppe. Der Sitz der Geschäftsführung befindet sich auf der Schillerhöhe in Gerlingen, der Firmensitz in Stuttgart. Seit dem 1. Juli 2012 ist Volkmar Denner Vorsitzender der Geschäftsführung. Im Jahr 2015 konnte Bosch die Spitzenposition zurückgewinnen. Die Automobilsparte war im Jahr 2018 für 61 % des Konzernumsatzes von Bosch verantwortlich. Das Unternehmen hatte im Jahr 2018 in Deutschland an 85 Standorten 139.400 Mitarbeiter.''']*2 questions = ["Wer leitet die Robert Bosch GmbH?", "Wer begründete die Robert Bosch GmbH?"] qa_pipeline(context=contexts, question=questions) ``` ## Output ```json [{'score': 0.9537325501441956, 'start': 577, 'end': 591, 'answer': 'Volkmar Denner'}, {'score': 0.8804352879524231, 'start': 47, 'end': 59, 'answer': 'Robert Bosch'}] ```