autoevaluator's picture
Add verifyToken field to verify evaluation results are produced by Hugging Face's automatic model evaluator
e522b62
|
raw
history blame
No virus
4.83 kB
metadata
language: sv
license: mit
tags:
  - summarization
datasets:
  - Gabriel/citesum_swe
widget:
  - text: >-
      Många samtidiga programmeringsmodeller möjliggör både transaktionsminne
      och meddelandepassage. För sådana modeller har forskare byggt upp allt
      effektivare implementeringar och fastställt rimliga korrekthetskriterier,
      samtidigt som det fortfarande är ett öppet problem att få det bästa av
      båda världarna. Vi presenterar en programmeringsmodell som är den första
      som har ogenomskinliga transaktioner, säkert asynkront meddelande som
      passerar, och ett effektivt genomförande. Våra semantik använder
      preliminärt meddelande passerar och håller reda på beroenden för att
      möjliggöra ångra meddelande passerar om en transaktion avbryter. Vi kan
      programmera kommunikation idiomer som barriär och mötesplats som inte
      dödläge när de används i ett atomblock. Våra experiment visar att vår
      modell tillför lite overhead till rena transaktioner, och att den är
      betydligt effektivare än Transaktionshändelser. Vi använder en ny
      definition av säkert meddelande som kan vara av oberoende intresse.
inference:
  parameters:
    temperature: 0.7
    min_length: 30
    max_length: 120
train-eval-index:
  - config: Gabriel--citesum_swe
    task: summarization
    task_id: summarization
    splits:
      eval_split: test
    col_mapping:
      document: text
      summary: target
co2_eq_emissions:
  emissions: 0.0334
  source: Google Colab
  training_type: fine-tuning
  geographical_location: Fredericia, Denmark
  hardware_used: Tesla P100-PCIE-16GB
model-index:
  - name: Gabriel/bart-base-cnn-xsum-cite-swe
    results:
      - task:
          type: summarization
          name: summarization
        dataset:
          name: Gabriel/citesum_swe
          type: Gabriel/citesum_swe
          split: validation
        metrics:
          - type: rouge-1
            value: 29.6279
            name: Validation ROGUE-1.
            verified: true
            verifyToken: >-
              eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNTlmY2Y1YjYwZjNmOWNkOWVhYmMxMDAyMzc2ZTNjNjAwZGY3ODMxYzU5MDZmYzUyYzQ2MTFlMmRhZDRiNTZlYSIsInZlcnNpb24iOjF9.e81oB53q16v4BSRnJheHB-clDfvoSBfCWVkOH9VZhUo5ewmPAkjvC81D-LWU8WeSu7c5f2j0Wm3c0fL21yX8CQ
          - type: rouge-2
            value: 11.5697
            name: Validation ROGUE-2
            verified: true
            verifyToken: >-
              eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNzg5Y2Y0MjBiYzI3NmUzZDYyZjI1NzE2NWY5ZjFhOTBmZTc1YTExZjNkMWYyYzgzYjA0NjIxMWFhMjRiZWI5OCIsInZlcnNpb24iOjF9.TNCkn95gJVzvy_G15y37C5wy1ItPgInAdLLw7dFNsW-pTGtatXaPPCxZIvHPZ-M62h8zQ2Pk-PgxVtznVaLEBA
          - type: rouge-l
            value: 24.2429
            name: Validation ROGUE-L
            verified: true
            verifyToken: >-
              eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYWNkNjBlOTNhMjlkZmQzOTIzOGYxODc4MzRhNDVjYzE5ZGEzNjkxODRhYjE2YTdkNGNjZTNlOThjZmZhNDE5MSIsInZlcnNpb24iOjF9.qENiJzC1bU7jw9_D05Ts1EKVjb0c4lo2OdH_TtFvQvoOSIwD4R4zlz3PDe3KDaLg9xiZLPRK7LZ4Qs0AlTh4Dg
          - type: rouge-l-sum
            value: 24.4557
            name: Validation ROGUE-L-SUM
            verified: true
            verifyToken: >-
              eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiZjAwZGVlNGY0YzY4MWVmYjk2MDYwNzhjMTcyN2YwZTAwZTk1NDQ3ZjFkNjFmNDMwYzU3NjQxYzA5MzUwM2M2MCIsInZlcnNpb24iOjF9.is6bePxry141JRgV3AZAlSR_sKpIN1Nm7tlS4Ce9_b50pN5BXNDjFwDPSOj98gzwVQKpoZ8cjbUtJrGXLIwsAw

bart-base-cnn-xsum-cite-swe

This model is a fine-tuned version of Gabriel/bart-base-cnn-xsum-swe on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 2.4203
  • Rouge1: 29.6279
  • Rouge2: 11.5697
  • Rougel: 24.2429
  • Rougelsum: 24.4557
  • Gen Len: 19.9371

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 16
  • eval_batch_size: 16
  • seed: 42
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 32
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 500
  • num_epochs: 1
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Validation Loss Rouge1 Rouge2 Rougel Rougelsum Gen Len
2.4833 1.0 2558 2.4203 29.6279 11.5697 24.2429 24.4557 19.9371

Framework versions

  • Transformers 4.22.2
  • Pytorch 1.12.1+cu113
  • Datasets 2.5.1
  • Tokenizers 0.12.1