File size: 2,752 Bytes
489f840
 
 
 
 
0af048a
489f840
 
472e106
489f840
 
472e106
7988b20
 
 
489f840
3e37370
 
 
 
 
 
 
 
81026d1
 
 
feccf8e
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
6cabe2a
feccf8e
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
a75b887
 
 
 
ba0afba
a75b887
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
---
language: de
license: mit
tags:
- german

---

We released the German Question Answering model fine-tuned with our own German Question Answering dataset (**deQuAD**) containing **130k** training and **11k** test QA pairs.

## Overview
- **Language model:** [electra-base-german-uncased](https://huggingface.co/german-nlp-group/electra-base-german-uncased)
- **Language:** German
- **Training data:** deQuAD2.0 training set (~42MB)
- **Evaluation data:** deQuAD2.0 test set (~4MB)
- **Infrastructure:** 8xV100 GPU  

## Evaluation
We benchmarked the question answering performance on our deQuAD test data with some German language models. The fine-tuned electra-base-german-uncased model gives the best performance (Exact Match/F1).


| Model | All | HasAns | NoAns |  
|-------|--------|--------|--------|
| electra-base-german-uncased | 70.97/76.18 | 67.73/78.02 | 74.29/74.29 |
| bert-base-german-cased |58.98/64.77| 49.19/60.63| 69.03/69.03|
|bert-base-german-dbmdz-uncased|63.70/68.00| 57.03/65.52| 70.51/70.51 |
|dbmdz/bert-base-german-europeana-uncased| 58.79/63.38| 52.14/61.22| 65.59/65.59|

## Use Model in Pipeline

```python
from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="deutsche-telekom/electra-base-de-squad2",
    tokenizer="deutsche-telekom/electra-base-de-squad2"
)

contexts = ['''Die Robert Bosch GmbH ist ein im Jahr 1886 von Robert Bosch gegründetes multinationales deutsches Unternehmen. 
Es ist tätig als Automobilzulieferer, Hersteller von Gebrauchsgütern und Industrie- und Gebäudetechnik und darüber hinaus 
in der automatisierten Verpackungstechnik, wo Bosch den führenden Platz einnimmt. Die Robert Bosch GmbH und ihre rund 460 
Tochter- und Regionalgesellschaften in mehr als 60 Ländern bilden die Bosch-Gruppe. Der Sitz der Geschäftsführung befindet 
sich auf der Schillerhöhe in Gerlingen, der Firmensitz in Stuttgart. Seit dem 1. Juli 2012 ist Volkmar Denner Vorsitzender 
der Geschäftsführung. Im Jahr 2015 konnte Bosch die Spitzenposition zurückgewinnen. Die Automobilsparte war im Jahr 2018 
für 61 % des Konzernumsatzes von Bosch verantwortlich. Das Unternehmen hatte im Jahr 2018 in Deutschland an 85 Standorten 
139.400 Mitarbeiter.''']*2

questions = ["Wer leitet die Robert Bosch GmbH?", 
            "Wer begründete die Robert Bosch GmbH?"]

qa_pipeline(context=contexts, question=questions)
```

## Output
```json
[{'score': 0.9537325501441956,
  'start': 577,
  'end': 591,
  'answer': 'Volkmar Denner'},
 {'score': 0.8804352879524231,
  'start': 47,
  'end': 59,
  'answer': 'Robert Bosch'}]
```

## License - The MIT License
Copyright (c) 2021 Fang Xu, Deutsche Telekom AG 

Get in touch: [LinkedIn](https://www.linkedin.com/in/allxufang/)