File size: 2,687 Bytes
489f840 0af048a 489f840 472e106 489f840 472e106 7988b20 489f840 3e37370 81026d1 feccf8e 6cabe2a feccf8e a75b887 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 |
---
language: de
license: mit
tags:
- german
---
We released the German Question Answering model fine-tuned with our own German Question Answering dataset (**deQuAD**) containing **130k** training and **11k** test QA pairs.
## Overview
- **Language model:** [electra-base-german-uncased](https://huggingface.co/german-nlp-group/electra-base-german-uncased)
- **Language:** German
- **Training data:** deQuAD2.0 training set (~42MB)
- **Evaluation data:** deQuAD2.0 test set (~4MB)
- **Infrastructure:** 8xV100 GPU
## Evaluation
We benchmarked the question answering performance on our deQuAD test data with some German language models. The fine-tuned electra-base-german-uncased model gives the best performance (Exact Match/F1).
| Model | All | HasAns | NoAns |
|-------|--------|--------|--------|
| electra-base-german-uncased | 70.97/76.18 | 67.73/78.02 | 74.29/74.29 |
| bert-base-german-cased |58.98/64.77| 49.19/60.63| 69.03/69.03|
|bert-base-german-dbmdz-uncased|63.70/68.00| 57.03/65.52| 70.51/70.51 |
|dbmdz/bert-base-german-europeana-uncased| 58.79/63.38| 52.14/61.22| 65.59/65.59|
## Use Model in Pipeline
```python
from transformers import pipeline
qa_pipeline = pipeline(
"question-answering",
model="deutsche-telekom/electra-base-de-squad2",
tokenizer="deutsche-telekom/electra-base-de-squad2"
)
contexts = ['''Die Robert Bosch GmbH ist ein im Jahr 1886 von Robert Bosch gegründetes multinationales deutsches Unternehmen.
Es ist tätig als Automobilzulieferer, Hersteller von Gebrauchsgütern und Industrie- und Gebäudetechnik und darüber hinaus
in der automatisierten Verpackungstechnik, wo Bosch den führenden Platz einnimmt. Die Robert Bosch GmbH und ihre rund 460
Tochter- und Regionalgesellschaften in mehr als 60 Ländern bilden die Bosch-Gruppe. Der Sitz der Geschäftsführung befindet
sich auf der Schillerhöhe in Gerlingen, der Firmensitz in Stuttgart. Seit dem 1. Juli 2012 ist Volkmar Denner Vorsitzender
der Geschäftsführung. Im Jahr 2015 konnte Bosch die Spitzenposition zurückgewinnen. Die Automobilsparte war im Jahr 2018
für 61 % des Konzernumsatzes von Bosch verantwortlich. Das Unternehmen hatte im Jahr 2018 in Deutschland an 85 Standorten
139.400 Mitarbeiter.''']*2
questions = ["Wer leitet die Robert Bosch GmbH?",
"Wer begründete die Robert Bosch GmbH?"]
qa_pipeline(context=contexts, question=questions)
```
## Output
```json
[{'score': 0.9537325501441956,
'start': 577,
'end': 591,
'answer': 'Volkmar Denner'},
{'score': 0.8804352879524231,
'start': 47,
'end': 59,
'answer': 'Robert Bosch'}]
```
## License - The MIT License
Copyright (c) 2021 Fang Xu, Deutsche Telekom AG
|