File size: 9,026 Bytes
3c6af8a
2cdf74d
1bea949
6c21295
2cdf74d
782ed8b
 
2cdf74d
782ed8b
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
75ab7d6
 
 
 
5269fa2
c254ed4
 
 
 
 
d016818
c254ed4
 
 
2c01530
 
 
 
 
 
782ed8b
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
f8e01ee
3c6af8a
2cdf74d
9960650
2cdf74d
9960650
f1849e8
2cdf74d
 
3c6af8a
 
f1849e8
3c6af8a
75ab7d6
 
 
 
 
e2b2b92
75ab7d6
038f161
e2b2b92
75ab7d6
 
3c6af8a
 
 
 
 
83ab60e
c287791
 
3c6af8a
c287791
3c6af8a
 
 
16d5256
3c6af8a
 
 
 
c287791
 
9960650
 
 
 
c287791
3c6af8a
c287791
3c6af8a
83ab60e
c287791
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
---
language: sv
license: mit
tags:
- summarization
datasets:
- Gabriel/cnn_daily_swe
widget:
- text: 'Frankrike lås Sebastien Chabal har nämnts för en farlig tackling på Englands
    Simon Shaw under lördagens VM semifinal i Paris. Simon Shaw lastar av trots att
    Raphael Ibanez, vänster, och Sebastien Chabal. Sale Sharks framåt kommer att ställas
    inför en disciplinär utfrågning på måndag efter hans tackling på motsatt andra-rower
    Shaw noterades genom att citera kommissionär Dennis Wheelahan. Chabal började
    matchen på ersättningsbänken, men kom i 26: e minuten att ersätta den skadade
    Fabien Pelous under värd Frankrikes 14-9 nederlag. Om han blir avstängd missar
    Chabal fredagens tredje och fjärde match på Parc des Princes. Samtidigt, Frankrike
    tränare Bernard Laporte sade att nederlaget var svårare att ta än Englands 24-7
    seger i 2003 semifinalen. "År 2003 var de bättre än oss. I själva verket var de
    bättre än alla", sade Laporte, som lämnar sin roll att tillträda posten som junior
    idrottsminister i den franska regeringen. "De var som Nya Zeeland i denna turnering
    - favoriten, förutom att de gick hela vägen. Den här gången är det svårare för
    igår var det 50-50." Samtidigt, England -- försöker bli den första nationen att
    försvara VM-titeln -- avslöjade att stjärna kicker Jonny Wilkinson återigen hade
    problem med matchbollarna under semifinalen. Flughalvan, som uttryckte sin oro
    efter att ha kämpat med stöveln mot Australien, avvisade en boll innan han sparkade
    en vital trepoängare mot Frankrike. "Vi sa det inte förra veckan men en icke-match
    bollen kom ut på fältet i Marseille som Jonny sparkade," chef för rugby Rob Andrew
    sade. "Han tänkte inte på det när han sparkade det. Matchbollarna är märkta, numrerade
    ett till sex. Igår kväll hade de "World Cup semifinal England vs Frankrike" skrivet
    på dem. På matchkvällen var Jonny vaksam när han sparkade för mål att de faktiskt
    var matchbollar han sparkade. "Träningsbollarna förlorar tryck och form. Hela
    frågan förra veckan, arrangörerna accepterade alla sex matchbollar bör användas
    av båda sidor på torsdagen före matchen. " E-post till en vän.'
inference:
  parameters:
    temperature: 0.7
    min_length: 30
    max_length: 120
train-eval-index:
- config: Gabriel--xsum_swe
  task: summarization
  task_id: summarization
  splits:
    eval_split: test
  col_mapping:
    document: text
    summary: target
co2_eq_emissions:
  emissions: 0.0334
  source: Google Colab
  training_type: fine-tuning
  geographical_location: Fredericia, Denmark
  hardware_used: Tesla P100-PCIE-16GB
model-index:
- name: bart-base-cnn-swe
  results:
  - task:
      type: summarization
      name: summarization
    dataset:
      name: Gabriel/cnn_daily_swe
      type: Gabriel/cnn_daily_swe
      split: validation
    metrics:
    - type: rouge-1
      value: 22.2046
      name: Validation ROGUE-1
      verified: true
      verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiY2U4YjhhNzhjYmQ2ODY2YWU1NzY5Y2RkYzIzNTUxOTA0MmUwZjNmYTdjNmE5OWNkODhhYWExOGNkOGJkNTBkZiIsInZlcnNpb24iOjF9.lEMnUJOeoa5LepNmjsRflkQmtJAaVo03ocSs9JJuxbLeu4x0oY-XsML3O1IfDJQuvlO4WHZviykRLabkhTtbBQ
    - type: rouge-2
      value: 10.4332
      name: Validation ROGUE-2
      verified: true
      verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiODkzOGYxNTNiMjc1MGIyODAzY2Q2MjA0NTg1N2NjODc5YWZlZGI5Y2Q3ZDAwNTQyMjA4MmJjOGUxYzVlOGFlNyIsInZlcnNpb24iOjF9.lpn8VP1_AvHXvyYDJHEfMoIpb-_B5fXvMaMQ249Tngo3HBPrexPmhEvGqj1HVnVGxVFyDFhF2tYh4AhThguoBQ
    - type: rouge-l
      value: 18.1753
      name: Validation ROGUE-L
      verified: true
      verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiMWRkM2ViZjRmYmNkZTI1NWE1ODUzNGMwZTYzNzU1Yjk1ODM3NDNkZWMwMjc1ZGJmZGZkNWQxYThmN2ZiZDhjZCIsInZlcnNpb24iOjF9.6ENOPrpZ245V0jcZtiSOmWwdr06W9prPAyE9Qjnn5meiE7yoc0T0oquE9d8SLOfFqYcIbCb6vVUSVxFewj_VAA
    - type: rouge-l-sum
      value: 20.846
      name: Validation ROGUE-L-SUM
      verified: true
      verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiMDJjODc0MTQwYTM5OGRmMjE2ODUxNGM4YmYxMTJlNDE1MzI0M2Q2ZGJkZDlkOWE2NTMxNjI0YjZjMDQwYjNjNyIsInZlcnNpb24iOjF9.FvNGRVWTCJSafucQKp3eW1B__SAHCL7qHBzooe8ufYIijnNuope0W7AIphex1WMT_9o_Unni2vPGFUvT2o9qAg
---

# bart-base-cnn-swe
This model is a W.I.P

## Model description
BART is a transformer encoder-encoder (seq2seq) model with a bidirectional (BERT-like) encoder and an autoregressive (GPT-like) decoder. BART is pre-trained by (1) corrupting text with an arbitrary noising function, and (2) learning a model to reconstruct the original text. This model is a fine-tuned version of [KBLab/bart-base-swedish-cased](https://huggingface.co/KBLab/bart-base-swedish-cased) on the [Gabriel/bart-base-cnn-swe](https://huggingface.co/datasets/Gabriel/cnn_daily_swe) dataset and can be used for summarization tasks.


## Intended uses & limitations

This model should only be used to fine-tune further on and summarization tasks.


```python
from transformers import pipeline
summarizer = pipeline("summarization", model="Gabriel/bart-base-cnn-swe")
ARTICLE = """
Frankrike lås Sebastien Chabal har nämnts för en farlig tackling på Englands Simon Shaw under lördagens VM semifinal i Paris. Simon Shaw lastar av trots att Raphael Ibanez, vänster, och Sebastien Chabal. Sale Sharks framåt kommer att ställas inför en disciplinär utfrågning på måndag efter hans tackling på motsatt andra-rower Shaw noterades genom att citera kommissionär Dennis Wheelahan. Chabal började matchen på ersättningsbänken, men kom i 26: e minuten att ersätta den skadade Fabien Pelous under värd Frankrikes 14-9 nederlag. Om han blir avstängd missar Chabal fredagens tredje och fjärde match på Parc des Princes. Samtidigt, Frankrike tränare Bernard Laporte sade att nederlaget var svårare att ta än Englands 24-7 seger i 2003 semifinalen. "År 2003 var de bättre än oss. I själva verket var de bättre än alla", sade Laporte, som lämnar sin roll att tillträda posten som junior idrottsminister i den franska regeringen. "De var som Nya Zeeland i denna turnering - favoriten, förutom att de gick hela vägen. Den här gången är det svårare för igår var det 50-50." Samtidigt, England -- försöker bli den första nationen att försvara VM-titeln -- avslöjade att stjärna kicker Jonny Wilkinson återigen hade problem med matchbollarna under semifinalen. Flughalvan, som uttryckte sin oro efter att ha kämpat med stöveln mot Australien, avvisade en boll innan han sparkade en vital trepoängare mot Frankrike. "Vi sa det inte förra veckan men en icke-match bollen kom ut på fältet i Marseille som Jonny sparkade," chef för rugby Rob Andrew sade. "Han tänkte inte på det när han sparkade det. Matchbollarna är märkta, numrerade ett till sex. Igår kväll hade de "World Cup semifinal England vs Frankrike" skrivet på dem. På matchkvällen var Jonny vaksam när han sparkade för mål att de faktiskt var matchbollar han sparkade. "Träningsbollarna förlorar tryck och form. Hela frågan förra veckan, arrangörerna accepterade alla sex matchbollar bör användas av båda sidor på torsdagen före matchen. " E-post till en vän.
"""
print(summarizer(ARTICLE, max_length=130, min_length=30, num_beams=10 ,do_sample=False))
>>> [{'summary_text': """ Frankrike lås Sebastien Chabal har nämnts för en farlig tackling på Englands Simon Shaw under VM semifinal i Paris. Sale Sharks framåt kommer att ställas inför en disciplinär utfrågning på måndag efter hans tackling på motsatt andra - rower Shaw noterades genom att citera kommissionär Dennis Wheelahan. Om Chabal blir avstängd missar Chabal fredagens tredje och fjärde match på Parc des Princes."""}]
```

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- gradient_accumulation_steps: 2
- total_train_batch_size: 16
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 2*2 = 4
- mixed_precision_training: Native AMP

### Training results

| Training Loss | Epoch | Step  | Validation Loss | Rouge1  | Rouge2  | Rougel  | Rougelsum | Gen Len |
|:-------------:|:-----:|:-----:|:---------------:|:-------:|:-------:|:-------:|:---------:|:-------:|
| 2.2349        | 1.0   | 17944 | 2.0643          | 21.9564 | 10.2133 | 17.9958 | 20.6502   | 19.9992 |
| 2.0726        | 2.0   | 35888 | 2.0253          | 22.0568 | 10.3302 | 18.0648 | 20.7482   | 19.9996 |
| 1.8658        | 3.0   | 53832 | 2.0333          | 22.0871 | 10.2902 | 18.0577 | 20.7082   | 19.998  |
| 1.8121        | 4.0   | 71776 | 1.9759          | 22.2046 | 10.4332 | 18.1753 | 20.846    | 19.9971 |


### Framework versions

- Transformers 4.22.1
- Pytorch 1.12.1+cu113
- Datasets 2.4.0
- Tokenizers 0.12.1