metadata

language: sv
license: mit
datasets:
  - Gabriel/cnn_daily_swe
tags:
  - summarization
widget:
  - text: >-
      En kronologi av bombningar och försök bombattacker i det brittiska
      fastlandet sedan 1970-talet:. Polisen stänger gatorna runt Haymarket, i
      Londons livliga teaterdistrikt. 29 juni 2007: Polisen desarmerar en bomb
      bestående av 200 liter bränsle, gasflaskor och spikar som hittats i en
      övergiven bil i Haymarket i centrala London. En andra bil fylld med gas
      och spikar befanns senare ha parkerats bara några hundra meter från den
      första, innan den bogserades bort av trafikvakter i början av fredagen för
      att bryta parkeringsrestriktioner. Polisen säger att två fordon är tydligt
      kopplade. 21 juli 2005: Två veckor efter de dödliga 7/7 bombningarna
      påstås fyra män ha försökt genomföra en andra våg av attacker mot Londons
      transportnät vid tre tunnelbanestationer i London och ombord på en buss.
      Men deras påstådda ryggsäcksbomber exploderar inte. 7 juli 2005: Fyra
      självmordsbombare detonerar sig själva ombord på tre underjordiska tåg och
      en buss i en morgon rusningstid attack mot Londons transportnät, döda 52
      människor och skada omkring 700 fler. Al-Qaida tar på sig ansvaret i ett
      videouttalande.
model-index:
  - name: bart-base-cnn-swe
    results:
      - task:
          type: summarization
          name: summarization
        dataset:
          name: Gabriel/cnn_daily_swe
          type: Gabriel/cnn_daily_swe
          split: validation
        metrics:
          - name: Validation ROGUE-1
            type: rouge-1
            value: 21.7291
            verified: true
          - name: Validation ROGUE-2
            type: rouge-2
            value: 10.0209
            verified: true
          - name: Validation ROGUE-L
            type: rouge-l
            value: 17.775
            verified: true

bart-base-cnn-swe

WORK IN PROGRESS!

1. Further fine-tune on checkpoint with cnn-daily-swe.
1. Further fine-tune on xsum-swe.
1. Lastly fine-tune on smaller domain dataset.

This model is a fine-tuned version of KBLab/bart-base-swedish-cased on the Gabriel/bart-base-cnn-swe dataset.

It achieves the following results on the evaluation set:

Loss: 2.1656
Rouge1: 21.7291
Rouge2: 10.0209
Rougel: 17.775
Rougelsum: 20.429
Gen Len: 19.9931

Model description

WORK IN PROGRESS!

Intended uses & limitations

WORK IN PROGRESS!

Training and evaluation data

WORK IN PROGRESS!

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 1
eval_batch_size: 1
seed: 42
gradient_accumulation_steps: 16
total_train_batch_size: 16
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 1
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
2.3512	1.0	17944	2.1656	21.7291	10.0209	17.775	20.429	19.9931