|
--- |
|
language: de |
|
license: cc-by-4.0 |
|
tags: |
|
- named-entity-recognition |
|
- legal |
|
- ner |
|
datasets: |
|
- elenanereiss/german-ler |
|
metrics: |
|
- precision |
|
- recall |
|
- f1 |
|
pipeline_tag: token-classification |
|
widget: |
|
- text: Der aus Afghanistan stammende Angeklagte war am 11. November 2007 in einen |
|
Streit mit seinem Landsmann P. um die Nutzung eines Fahrzeugstellplatzes geraten |
|
- text: Der Angeklagte hatte seinen Sohn Y. S., einen Boxsportler, sowie seinen Bruder |
|
A. S., der stark sehbehindert und kriegsversehrt war, zum Tatort mitgebracht. |
|
- text: Das Ablehnungsgesuch der Beschuldigten vom 1. April 2018 gegen die Vorsitzende |
|
Richterin am Bundesgerichtshof Sost-Scheible, die Richterin am Bundesgerichtshof |
|
Roggenbuck und die Richter am Bundesgerichtshof Cierniak, Bender und Dr. Feilcke |
|
wird als unzulässig verworfen. |
|
- text: Die Freie und Hansestadt Hamburg hat der Beschwerdeführerin ihre notwendigen |
|
Auslagen zu erstatten. |
|
- text: Zu der Verfassungsbeschwerde haben das Bundesministerium für Ernährung und |
|
Landwirtschaft, der Bayerische Jagdverband, der Naturschutzbund Deutschland e.V. |
|
(NABU), der Deutsche Bauernverband, die Arbeitsgemeinschaft Deutscher Waldbesitzerverbände |
|
e.V., der Deutsche Jagdverband e.V. sowie die Bundesarbeitsgemeinschaft der Jagdgenossenschaften |
|
und Eigenjagdbesitzer Stellung genommen. |
|
- text: Auf die Revisionen des Angeklagten und der Staatsanwaltschaft wird das Urteil |
|
des Landgerichts Fulda vom 30. Mai 2017 im Ausspruch über die Gesamtstrafe aufgehoben. |
|
- text: 'Im Tatzeitraum vom 19. Mai 2010 bis zum 21. Dezember 2011 lieferte die V. |
|
Fleisch GmbH & Co. KG (im Folgenden: Firma V.) Fleischprodukte, unter anderem |
|
Schweinerückenspeck, an das in der Ukraine ansässige Unternehmen VAT „M.Y.“ (fortan: |
|
Firma Y.).' |
|
- text: § 14 Absatz 2 Satz 2 des Gesetzes über Teilzeitarbeit und befristete Arbeitsverträge |
|
(TzBfG) vom 21. Dezember 2000 (Bundesgesetzblatt I Seite 1966), zuletzt geändert |
|
durch Gesetz vom 20. Dezember 2011 (Bundesgesetzblatt I Seite 2854), ist nach |
|
Maßgabe der Gründe mit dem Grundgesetz vereinbar. |
|
- text: Auf das Arbeitsverhältnis der Parteien fand der Manteltarifvertrag für die |
|
Beschäftigten der Mitglieder der TGAOK (BAT/AOK-Neu) vom 7. August 2003 Anwendung. |
|
- text: Besteht - wie hier - eine Diskrepanz, muss dem Gesetzeswortlaut, dem Regelungssystem |
|
und dem Regelungsziel der Vorrang zukommen (stRspr; vgl zB BVerfGE 62, 1, 45; |
|
BVerfGE 119, 96, 179; BSG SozR 4 - 2500 § 62 Nr 8 RdNr 20 f; Hauck/Wiegand, KrV |
|
2016, 1, 4). |
|
- text: Herr W. verstieß gegen § 36 Abs. 7 IfSG. |
|
base_model: bert-base-german-cased |
|
model-index: |
|
- name: elenanereiss/bert-german-ler |
|
results: |
|
- task: |
|
type: token-classification |
|
name: Token Classification |
|
dataset: |
|
name: elenanereiss/german-ler |
|
type: elenanereiss/german-ler |
|
args: elenanereiss/german-ler |
|
metrics: |
|
- type: f1 |
|
value: 0.9546215361725869 |
|
name: F1 |
|
- type: precision |
|
value: 0.9449558173784978 |
|
name: Precision |
|
- type: recall |
|
value: 0.9644870349492672 |
|
name: Recall |
|
--- |
|
|
|
|
|
# bert-german-ler |
|
|
|
## Model description |
|
|
|
This model is a fine-tuned version of [bert-base-german-cased](https://huggingface.co/bert-base-german-cased) on the |
|
[German LER Dataset](https://huggingface.co/datasets/elenanereiss/german-ler). |
|
|
|
Distribution of classes in the dataset: |
|
| | | **Fine-grained classes** | **#** | **%** | |
|
|----|---------|--------------------------|------------|---------| |
|
| 1 | **PER** | _Person_ | 1,747 | 3.26 | |
|
| 2 | **RR** | _Judge_ | 1,519 | 2.83 | |
|
| 3 | **AN** | _Lawyer_ | 111 | 0.21 | |
|
| 4 | **LD** | _Country_ | 1,429 | 2.66 | |
|
| 5 | **ST** | _City_ | 705 | 1.31 | |
|
| 6 | **STR** | _Street_ | 136 | 0.25 | |
|
| 7 | **LDS** | _Landscape_ | 198 | 0.37 | |
|
| 8 | **ORG** | _Organization_ | 1,166 | 2.17 | |
|
| 9 | **UN** | _Company_ | 1,058 | 1.97 | |
|
| 10 | **INN** | _Institution_ | 2,196 | 4.09 | |
|
| 11 | **GRT** | _Court_ | 3,212 | 5.99 | |
|
| 12 | **MRK** | _Brand_ | 283 | 0.53 | |
|
| 13 | **GS** | _Law_ | 18,52 | 34.53 | |
|
| 14 | **VO** | _Ordinance_ | 797 | 1.49 | |
|
| 15 | **EUN** | _European legal norm_ | 1,499 | 2.79 | |
|
| 16 | **VS** | _Regulation_ | 607 | 1.13 | |
|
| 17 | **VT** | _Contract_ | 2,863 | 5.34 | |
|
| 18 | **RS** | _Court decision_ | 12,58 | 23.46 | |
|
| 19 | **LIT** | _Legal literature_ | 3,006 | 5.60 | |
|
| | | **Total** | **53,632** | **100** | |
|
|
|
How to fine-tune another model on the German LER Dataset, see [GitHub](https://github.com/elenanereiss/bert-legal-ner). |
|
|
|
## Training procedure |
|
|
|
### Training hyperparameters |
|
|
|
The following hyperparameters were used during training: |
|
- learning_rate: 1e-05 |
|
- train_batch_size: 12 |
|
- eval_batch_size: 16 |
|
- max_seq_length: 512 |
|
- num_epochs: 3 |
|
|
|
## Results |
|
|
|
## Results on the dev set: |
|
|
|
``` |
|
precision recall f1-score support |
|
|
|
AN 0.75 0.50 0.60 12 |
|
EUN 0.92 0.93 0.92 116 |
|
GRT 0.95 0.99 0.97 331 |
|
GS 0.98 0.98 0.98 1720 |
|
INN 0.84 0.91 0.88 199 |
|
LD 0.95 0.95 0.95 109 |
|
LDS 0.82 0.43 0.56 21 |
|
LIT 0.88 0.92 0.90 231 |
|
MRK 0.50 0.70 0.58 23 |
|
ORG 0.64 0.71 0.67 103 |
|
PER 0.86 0.93 0.90 186 |
|
RR 0.97 0.98 0.97 144 |
|
RS 0.94 0.95 0.94 1126 |
|
ST 0.91 0.88 0.89 58 |
|
STR 0.29 0.29 0.29 7 |
|
UN 0.81 0.85 0.83 143 |
|
VO 0.76 0.95 0.84 37 |
|
VS 0.62 0.80 0.70 56 |
|
VT 0.87 0.92 0.90 275 |
|
|
|
micro avg 0.92 0.94 0.93 4897 |
|
macro avg 0.80 0.82 0.80 4897 |
|
weighted avg 0.92 0.94 0.93 4897 |
|
``` |
|
|
|
## Results on the test set: |
|
|
|
``` |
|
precision recall f1-score support |
|
|
|
AN 1.00 0.89 0.94 9 |
|
EUN 0.90 0.97 0.93 150 |
|
GRT 0.98 0.98 0.98 321 |
|
GS 0.98 0.99 0.98 1818 |
|
INN 0.90 0.95 0.92 222 |
|
LD 0.97 0.92 0.94 149 |
|
LDS 0.91 0.45 0.61 22 |
|
LIT 0.92 0.96 0.94 314 |
|
MRK 0.78 0.88 0.82 32 |
|
ORG 0.82 0.88 0.85 113 |
|
PER 0.92 0.88 0.90 173 |
|
RR 0.95 0.99 0.97 142 |
|
RS 0.97 0.98 0.97 1245 |
|
ST 0.79 0.86 0.82 64 |
|
STR 0.75 0.80 0.77 15 |
|
UN 0.90 0.95 0.93 108 |
|
VO 0.80 0.83 0.81 71 |
|
VS 0.73 0.84 0.78 64 |
|
VT 0.93 0.97 0.95 290 |
|
|
|
micro avg 0.94 0.96 0.95 5322 |
|
macro avg 0.89 0.89 0.89 5322 |
|
weighted avg 0.95 0.96 0.95 5322 |
|
``` |
|
|
|
### Reference |
|
``` |
|
@misc{https://doi.org/10.48550/arxiv.2003.13016, |
|
doi = {10.48550/ARXIV.2003.13016}, |
|
url = {https://arxiv.org/abs/2003.13016}, |
|
author = {Leitner, Elena and Rehm, Georg and Moreno-Schneider, Julián}, |
|
keywords = {Computation and Language (cs.CL), Information Retrieval (cs.IR), FOS: Computer and information sciences, FOS: Computer and information sciences}, |
|
title = {A Dataset of German Legal Documents for Named Entity Recognition}, |
|
publisher = {arXiv}, |
|
year = {2020}, |
|
copyright = {arXiv.org perpetual, non-exclusive license} |
|
} |
|
|
|
``` |
|
|
|
|
