gpt2-orao — Najveći generativni model za srpski jezik.

  • Generiše novi tekst, ili nastavlja započeti tekstualni unos
  • Zasnovan na GPT2-large arhitekturi, 810 miliona parametara
  • Obučavan na korpusu srpskog jezika veličine 4 milijarde tokena
  • Jednaka podrška unosa i na ćirilici i na latinici!

Upotreba

>>> from transformers import pipeline, set_seed
>>> generator = pipeline('text-generation', model='jerteh/gpt2-orao')
>>> set_seed(23)
>>> generator("", max_length=30, num_return_sequences=5)
[{'generated_text': 'Ja, međutim, ne idem na Adu - kaže Miodrag.'},
{'generated_text': 'Domaćinstvo se nalazilo na mestu zvanom Kulina (ranije Kulina Vakuf) i bilo je jedno od najvećih i naj'},
{'generated_text': 'Regionalne razlike se uglavnom odnose na geografski položaj, geografsko-geografski položaj i ekonomsku razvijenost.'},
{'generated_text': 'Od tada do danas Srbija ne stoji na nogama'},
{'generated_text': 'Iz tog razloga, na ovaj način se postiže bolja efikasnost rada, odnosno smanjuje se vreme potrebno za sprovođenje simulacije.'}]

Pored navedenih, model je obučavan i na ostalim korpusima Društva za jezičke resurse i tehnologije, uključujući korpuse savremenog srpskog jezika: SrpKor2013 i SrpKor2021, kao i korpus PDRS 1.0 razvijen od strane Instituta za Srpski jezik SANU.

U slučaju potrebe za manjim modelom, pogledajte gpt2-vrabac — manji model obučen na istom korpusu.

Autor
Mihailo Škorić
Computation
Nacionalna AI platforma
Data
JeRTeh

Citiranje

@article{skoric24modeli,
  author    = {Mihailo \vSkori\'c},
  title     = {Novi jezi\vcki modeli za srpski jezik},
  journal   = {Infoteka},
  volume    = {24},
  issue     = {1},
  year      = {2024},
  publisher = {Zajednica biblioteka univerziteta u Srbiji, Beograd},
  url       = {https://arxiv.org/abs/2402.14379}
}
Downloads last month
529
Safetensors
Model size
810M params
Tensor type
F32
·
BOOL
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for jerteh/gpt2-orao

Finetunes
3 models
Quantizations
1 model

Datasets used to train jerteh/gpt2-orao

Space using jerteh/gpt2-orao 1