File size: 3,066 Bytes
94c274b c8cc451 94c274b c8cc451 dc3180c 94c274b dc3180c c8cc451 94c274b c8cc451 94c274b c8cc451 94c274b c8cc451 94c274b c8cc451 94c274b 0d11952 94c274b dc3180c 94c274b 0d11952 c8cc451 94c274b c8cc451 dc3180c |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 |
---
language:
- ar
metrics:
- Accuracy
library_name: transformers
pipeline_tag: text2text-generation
tags:
- t5
- text2text-generation
- text2text
- Classification and Generation
- Classification
- Generation
- ArabicT5
- Text Classification
- Text2Text Generation
widget:
- example_title: الرياضة
- text: |
أوقفوا القتل الجماعي في غزة
---
# # ArabicT5 Model for Arabic News Classification and Generation
- In this model focus on classifying and generating news Arabic.
# # The number in the generated text represents the category of the news, as shown below:
category_mapping = {
'Political':1,
'Economy':2,
'Health':3,
'Sport':4,
'Culture':5,
'Technology':6,
'Art':7,
'Accidents':8
}
# # Training parameters
| | |
| :-------------------: | :-----------:|
| Training batch size | `8` |
| Evaluation batch size | `8` |
| Learning rate | `1e-4` |
| Max length input | `64` |
| Max length target | `200` |
| Number workers | `4` |
| Epoch | `5` |
| | |
# # Results
| | |
| :---------------------: | :-----------: |
| Training Loss | `3.20` |
| Classification Accuracy | `95.7%` |
| Generation Accuracy | `88.87%` |
| | |
# # Example usage
```python
from transformers import T5ForConditionalGeneration, T5Tokenizer, pipeline
model_name = "Hezam/ArabicT5-49GB-small-classification-generation"
model = T5ForConditionalGeneration.from_pretrained(model_name)
tokenizer = T5Tokenizer.from_pretrained(model_name)
generation_pipeline = pipeline("text2text-generation",model=model,tokenizer=tokenizer)
text = "أوقفوا القتل الجماعي في غزة"
output= generation_pipeline(text,
num_beams=10,
max_length=200,
top_p=0.9,
repetition_penalty = 3.0,
no_repeat_ngram_size = 3)[0]["generated_text"]
output
```
category: 1 article: كتب عبد اللطيف صبح قال الرءيس الفلسطيني محمود عباس في تصريح ل اليوم السابع وقفوا القتل الجماعي في مدينه غزة مءكدا يجب يوقفوا قتل المدنيين العزل في قطاعي غزة والضفه وغزه واوقفوا القتل الجماع
```
bash
category: 1 article: كتب عبد اللطيف صبح قال الرءيس الفلسطيني محمود عباس في تصريح ل اليوم السابع وقفوا القتل الجماعي في مدينه غزة مءكدا يجب يوقفوا قتل المدنيين العزل في قطاعي غزة والضفه وغزه واوقفوا القتل الجماع
``` |