README.md

metadata

language:
  - ar
metrics:
  - Accuracy
  - F1_score
  - BLEU
library_name: transformers
pipeline_tag: text2text-generation
tags:
  - t5
  - text2text-generation
  - text2text
  - Classification and Generation
  - Classification
  - Generation
  - ArabicT5
  - Text Classification
  - Text2Text Generation
widget:
  - example_title: الرياضة
  - text: |
      خسارة مدوية لليفربول امام تولوز وفوز كبير لبيتيس

ArabicT5: Classification and Generation of Arabic News

• The model is under trial

The number in the generated text represents the category of the news, as shown below:

category_mapping = {

  'Political':1,
  'Economy':2,
  'Health':3,
  'Sport':4,
  'Culture':5,
  'Technology':6,
  'Art':7,
  'Accidents':8

}

Training parameters

Training batch size	8
Evaluation batch size	8
learning rate	1e-4
Max length input	64
Max length target	512
Number workers	4

Results

Evaluation Loss	3.94
Training Loss	3.20
Classification accuracy	-----%
Generation accuracy	-----%
ClassificationBLEU	-----%
Generation BLEU	-----%

Example usage

from transformers import T5ForConditionalGeneration, T5Tokenizer, pipeline

model_name="Hezam/arabic-T5-news-classification-generation"
model = T5ForConditionalGeneration.from_pretrained(model_name)
tokenizer = T5Tokenizer.from_pretrained(model_name)
generation_pipeline = pipeline("text2text-generation",model=model,tokenizer=tokenizer)

text = " خسارة مدوية لليفربول امام تولوز وفوز كبير لبيتيس"

output= generation_pipeline(text,
                    num_beams=10,
                    max_length=300,
                    top_p=0.9,
                    repetition_penalty = 3.0,
                    no_repeat_ngram_size = 3)[0]["generated_text"]

print('output: 'output)

output: 4 كتبت لبنى عبد الله خسر فريق ليفربول بقيادة البرتغالي جوسفالدو فيريرا نظيره تولوز بنتيجة فى المباراة التى جمعتهما اليوم السبت ضمن منافسات الجولة الـ عمر مسابقة الدورى المصرى الممتاز والتى انتهت بفوز المارد الأحمر بهدف رد سجله أحمد سيد زيزو لاعب وسط الفريق الأول لكرة القدم بنادى

output: 4 كتبت لبنى عبد الله خسر فريق ليفربول بقيادة البرتغالي جوسفالدو فيريرا نظيره تولوز بنتيجة فى المباراة التى جمعتهما اليوم السبت ضمن منافسات الجولة الـ عمر مسابقة الدورى المصرى الممتاز والتى انتهت بفوز المارد الأحمر بهدف رد سجله أحمد سيد زيزو لاعب وسط الفريق الأول لكرة القدم بنادى