Hugging Face's logo

research-backup
/
mbart-large-cc25-jaquad-qg

Text2Text Generation
Transformers
PyTorch
Japanese
mbart
question generation
Eval Results
Inference Endpoints
Model card Files Community
mbart-large-cc25-jaquad-qg / README.md
asahi417's picture
asahi417
model update
f4b320a
preview code
|
raw
history blame
10.3 kB
metadata
license: cc-by-4.0
metrics:
  - bleu4
  - meteor
  - rouge-l
  - bertscore
  - moverscore
language: ja
datasets:
  - lmqg/qg_jaquad
pipeline_tag: text2text-generation
tags:
  - question generation
widget:
  - text: >-
      ゾフィーは貴族出身ではあったが王族出身ではなく、ハプスブルク家の皇位継承者であるフランツ・フェルディナントとの結婚は貴賤結婚となった。皇帝フランツ・ヨーゼフは、2人の間に生まれた子孫が皇位を継がないことを条件として結婚を承認していた。視察が予定されている<hl>6月28日<hl>は2人の14回目の結婚記念日であった。
    example_title: Question Generation Example 1
  - text: >-
      『クマのプーさん』の物語はまず1925年12月24日、『イヴニング・ニュース』紙のクリスマス特集号に短編作品として掲載された。これは『クマのプーさん』の第一章にあたる作品で、このときだけは挿絵をJ.H.ダウドがつけている。その後作品10話と挿絵が整い、刊行に先駆けて「イーヨーの誕生日」のエピソードが1926年8月に『ロイヤルマガジン』に、同年10月9日に『ニューヨーク・イヴニング・ポスト』紙に掲載されたあと、同年10月14日にロンドンで(メシュエン社)、21日にニューヨークで(ダットン社)『クマのプーさん』が刊行された。前著『ぼくたちがとてもちいさかったころ』がすでに大きな成功を収めていたこともあり、イギリスでは初版は前著の7倍に当たる<hl>3万5000部<hl>が刷られた。他方のアメリカでもその年の終わりまでに15万部を売り上げている。ただし依然として人気のあった前著を売り上げで追い越すには数年の時間を要した。
    example_title: Question Generation Example 2
  - text: >-
      フェルメールの作品では、17世紀のオランダの画家、ヨハネス・フェルメールの作品について記述する。フェルメールの作品は、疑問作も含め<hl>30数点<hl>しか現存しない。現存作品はすべて油彩画で、版画、下絵、素描などは残っていない。以下には若干の疑問作も含め、37点の基本情報を記載し、各作品について略説する。収録順序、推定制作年代は『「フェルメールとその時代展」図録』による。日本語の作品タイトルについては、上掲図録のほか、『「フェルメール展」図録』、『フェルメール生涯と作品』による。便宜上「1650年代の作品」「1660年代の作品」「1670年代の作品」の3つの節を設けたが、フェルメールの作品には制作年代不明のものが多く、推定制作年代については研究者や文献によって若干の差がある。
    example_title: Question Generation Example 3
model-index:
  - name: lmqg/mbart-large-cc25-jaquad
    results:
      - task:
          name: Text2text Generation
          type: text2text-generation
        dataset:
          name: lmqg/qg_jaquad
          type: default
          args: default
        metrics:
          - name: BLEU4 (Question Generation)
            type: bleu4_question_generation
            value: 32.16
          - name: ROUGE-L (Question Generation)
            type: rouge_l_question_generation
            value: 52.95
          - name: METEOR (Question Generation)
            type: meteor_question_generation
            value: 29.97
          - name: BERTScore (Question Generation)
            type: bertscore_question_generation
            value: 82.26
          - name: MoverScore (Question Generation)
            type: moverscore_question_generation
            value: 59.88
          - name: QAAlignedF1Score-BERTScore (Gold Answer)
            type: qa_aligned_f1_score_bertscore_gold_answer
            value: 87.16
          - name: QAAlignedRecall-BERTScore (Gold Answer)
            type: qa_aligned_recall_bertscore_gold_answer
            value: 87.16
          - name: QAAlignedPrecision-BERTScore (Gold Answer)
            type: qa_aligned_precision_bertscore_gold_answer
            value: 87.17
          - name: QAAlignedF1Score-MoverScore (Gold Answer)
            type: qa_aligned_f1_score_moverscore_gold_answer
            value: 63.08
          - name: QAAlignedRecall-MoverScore (Gold Answer)
            type: qa_aligned_recall_moverscore_gold_answer
            value: 63.06
          - name: QAAlignedPrecision-MoverScore (Gold Answer)
            type: qa_aligned_precision_moverscore_gold_answer
            value: 63.1

Model Card of lmqg/mbart-large-cc25-jaquad

This model is fine-tuned version of facebook/mbart-large-cc25 for question generation task on the lmqg/qg_jaquad (dataset_name: default) via lmqg.

Overview

Usage 

from lmqg import TransformersQG

# initialize model
model = TransformersQG(language="ja", model="lmqg/mbart-large-cc25-jaquad")

# model prediction
questions = model.generate_q(list_context="フェルメールの作品では、17世紀のオランダの画家、ヨハネス・フェルメールの作品について記述する。フェルメールの作品は、疑問作も含め30数点しか現存しない。現存作品はすべて油彩画で、版画、下絵、素描などは残っていない。", list_answer="30数点")
  • With transformers
from transformers import pipeline

pipe = pipeline("text2text-generation", "lmqg/mbart-large-cc25-jaquad")
output = pipe("ゾフィーは貴族出身ではあったが王族出身ではなく、ハプスブルク家の皇位継承者であるフランツ・フェルディナントとの結婚は貴賤結婚となった。皇帝フランツ・ヨーゼフは、2人の間に生まれた子孫が皇位を継がないことを条件として結婚を承認していた。視察が予定されている<hl>6月28日<hl>は2人の14回目の結婚記念日であった。")

Evaluation

Score Type Dataset
BERTScore 82.26 default lmqg/qg_jaquad
Bleu_1 57.05 default lmqg/qg_jaquad
Bleu_2 45.45 default lmqg/qg_jaquad
Bleu_3 37.81 default lmqg/qg_jaquad
Bleu_4 32.16 default lmqg/qg_jaquad
METEOR 29.97 default lmqg/qg_jaquad
MoverScore 59.88 default lmqg/qg_jaquad
ROUGE_L 52.95 default lmqg/qg_jaquad
  • Metric (Question & Answer Generation): QAG metrics are computed with the gold answer and generated question on it for this model, as the model cannot provide an answer. raw metric file
Score Type Dataset
QAAlignedF1Score (BERTScore) 87.16 default lmqg/qg_jaquad
QAAlignedF1Score (MoverScore) 63.08 default lmqg/qg_jaquad
QAAlignedPrecision (BERTScore) 87.17 default lmqg/qg_jaquad
QAAlignedPrecision (MoverScore) 63.1 default lmqg/qg_jaquad
QAAlignedRecall (BERTScore) 87.16 default lmqg/qg_jaquad
QAAlignedRecall (MoverScore) 63.06 default lmqg/qg_jaquad

Training hyperparameters

The following hyperparameters were used during fine-tuning:

  • dataset_path: lmqg/qg_jaquad
  • dataset_name: default
  • input_types: ['paragraph_answer']
  • output_types: ['question']
  • prefix_types: None
  • model: facebook/mbart-large-cc25
  • max_length: 512
  • max_length_output: 32
  • epoch: 12
  • batch: 64
  • lr: 0.0001
  • fp16: False
  • random_seed: 1
  • gradient_accumulation_steps: 1
  • label_smoothing: 0.15

The full configuration can be found at fine-tuning config file.

Citation 

@inproceedings{ushio-etal-2022-generative,
    title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
    author = "Ushio, Asahi  and
        Alva-Manchego, Fernando  and
        Camacho-Collados, Jose",
    booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
    month = dec,
    year = "2022",
    address = "Abu Dhabi, U.A.E.",
    publisher = "Association for Computational Linguistics",
}